WO2024101576A1 - 전자 장치 및 그 제어 방법 - Google Patents

전자 장치 및 그 제어 방법 Download PDF

Info

Publication number
WO2024101576A1
WO2024101576A1 PCT/KR2023/009684 KR2023009684W WO2024101576A1 WO 2024101576 A1 WO2024101576 A1 WO 2024101576A1 KR 2023009684 W KR2023009684 W KR 2023009684W WO 2024101576 A1 WO2024101576 A1 WO 2024101576A1
Authority
WO
WIPO (PCT)
Prior art keywords
voice
user
assistance
assistant
command
Prior art date
Application number
PCT/KR2023/009684
Other languages
English (en)
French (fr)
Inventor
한수연
손기형
정소영
이영아
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020220150957A external-priority patent/KR20240069443A/ko
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US18/244,714 priority Critical patent/US20240161752A1/en
Publication of WO2024101576A1 publication Critical patent/WO2024101576A1/ko

Links

Images

Definitions

  • the present disclosure relates to an electronic device and a control method thereof, and more specifically, to an electronic device capable of using a plurality of assistance functions or switching or integrating a plurality of assistance functions, and a control method thereof.
  • the assistant function is a function that uses AI technology to help the user perform the desired function even if the user does not provide the correct command.
  • An electronic device includes a display, a memory that stores a plurality of assistance instructions corresponding to each of a plurality of voice assistants, and at least one processor operably connected to the display and the memory. do.
  • the at least one processor generates response information using at least one voice assistant based on a user voice command, controls the display to display the generated response information, and displays the first voice assistant.
  • a second voice assistance operation corresponding to the preset voice command may be activated based on the preset voice command.
  • a control method in an electronic device includes receiving a user voice command, and based on the user voice command, response information using at least one voice assistant among a plurality of voice assistants. generating, displaying the generated response information, and when a preset voice command is input during operation of the first voice assistant, activating a second voice assistant operation corresponding to the preset voice command.
  • a method performed by an integration engine that communicates with a display device having a plurality of voice assistants includes sending a first command to activate a first voice assistant among the plurality of assistants to the display device. receiving a first response from the first display device to determine a new voice assistant to be used in the display device; and transmitting a second command notifying the determined new voice assistance to the display device.
  • FIG. 1 is a diagram showing an electronic device according to an embodiment of the present disclosure
  • FIG. 2 is a diagram showing the configuration of an electronic device according to an embodiment of the present disclosure
  • FIG. 3 is a diagram showing the configuration of an electronic device according to an embodiment of the present disclosure.
  • FIG. 4 is a diagram for explaining the operation of an electronic device according to an embodiment of the present disclosure.
  • FIG. 5 is a diagram for explaining the operation of an electronic device according to an embodiment of the present disclosure.
  • FIG. 6 is a diagram for explaining a voice assistance switching operation according to an embodiment of the present disclosure.
  • FIG. 7 is a diagram for explaining the assistance function during multi-view operation according to an embodiment of the present disclosure.
  • FIG. 8 is a diagram for explaining the operation of integrated voice assistance according to an embodiment of the present disclosure.
  • FIG. 9 is a diagram for explaining the operation of integrated voice assistance according to an embodiment of the present disclosure.
  • FIG. 10 is a diagram for explaining the operation of integrated voice assistance according to an embodiment of the present disclosure.
  • FIG. 11 is a flowchart for explaining a control operation of an electronic device according to an embodiment of the present disclosure.
  • Figure 12 is a flowchart for explaining the operation of integrated voice assistance according to an embodiment of the present disclosure.
  • expressions such as “A or B,” “at least one of A or/and B,” or “one or more of A or/and B” may include all possible combinations of the items listed together.
  • “A or B,” “at least one of A and B,” or “at least one of A or B” (1) includes at least one A, (2) includes at least one B, or (3) it may refer to all cases including both at least one A and at least one B.
  • a component e.g., a first component
  • another component e.g., a second component
  • any component may be directly connected to the other component or may be connected through another component (e.g., a third component).
  • a component e.g., a first component
  • another component e.g., a second component
  • no other component e.g., a third component
  • the expression “configured to” used in the present disclosure may mean, for example, “suitable for,” “having the capacity to,” depending on the situation. ,” can be used interchangeably with “designed to,” “adapted to,” “made to,” or “capable of.”
  • the term “configured (or set to)” may not necessarily mean “specifically designed to” in hardware.
  • the expression “a device configured to” may mean that the device is “capable of” working with other devices or components.
  • the phrase "processor configured (or set) to perform A, B, and C" refers to a processor dedicated to performing the operations (e.g., an embedded processor), or by executing one or more software programs stored on a memory device.
  • a 'module' or 'unit' performs at least one function or operation, and may be implemented as hardware or software, or as a combination of hardware and software. Additionally, a plurality of 'modules' or a plurality of 'units' may be integrated into at least one module and implemented with at least one processor, except for 'modules' or 'units' that need to be implemented with specific hardware.
  • operations performed by a module, program, or other component may be executed sequentially, in parallel, iteratively, or heuristically, or at least some operations may be executed in a different order, omitted, or other operations may be added. You can.
  • electronic devices may include at least one of, for example, a TV, a monitor, a projector, a set-top box, a smartphone, a tablet PC, a desktop PC, a laptop PC, or a wearable device.
  • Wearable devices may be accessory (e.g., watches, rings, bracelets, anklets, necklaces, glasses, contact lenses, or head-mounted-device (HMD)), fabric or clothing-integrated (e.g., electronic clothing), It may include at least one of a body-attachable circuit (e.g., a skin pad or tattoo) or a bioimplantable circuit.
  • a body-attachable circuit e.g., a skin pad or tattoo
  • bioimplantable circuit e.g., a bioimplantable circuit.
  • the electronic device may include, for example, a refrigerator, air conditioner, vacuum cleaner, oven, microwave, washing machine, air purifier, set-top box, home automation control panel, security control panel, media box (e.g., Samsung HomeSync TM , Apple TV TM , or Google TV TM ), a game console (e.g., Xbox TM , PlayStation TM ), an electronic dictionary, an electronic key, a camcorder, or an electronic picture frame.
  • a refrigerator air conditioner, vacuum cleaner, oven, microwave, washing machine, air purifier, set-top box, home automation control panel, security control panel, media box (e.g., Samsung HomeSync TM , Apple TV TM , or Google TV TM ), a game console (e.g., Xbox TM , PlayStation TM ), an electronic dictionary, an electronic key, a camcorder, or an electronic picture frame.
  • media box e.g., Samsung HomeSync TM , Apple TV TM , or Google TV TM
  • game console e.g.,
  • FIG. 1 is a diagram illustrating an electronic device according to an embodiment of the present disclosure.
  • the electronic device 100 performs a voice assistance function.
  • the voice assistant function uses AI technology to help the user perform the desired function even if the user does not input the correct voice command.
  • These assistance functions are applied to various fields such as content playback, schedule management, and information search.
  • Recent electronic devices may be equipped with multiple voice assistants instead of one voice assistant.
  • voice assistants such as voice assistance (VA1) provided by the manufacturer, voice assistance (VA2) provided by the OS platform, and voice assistance (VA3) provided by a specific application.
  • VA1 voice assistance
  • VA2 voice assistance
  • VA3 voice assistance
  • the user has difficulty selecting the multiple installed voice assistants. For example, the user had to directly press a button corresponding to the voice assistance they wanted to use or select an utterance trigger that refers to the voice assistance.
  • the electronic device 100 provides a method that can be used through a plurality of voice assistants.
  • the voice assistance to be used is determined based on the user speech command, the current user, the currently running application, etc.,
  • the response command can be processed using the determined voice assistant.
  • the electronic device 100 can switch to another voice assistant while using a specific voice assistant only by a user's utterance command.
  • the electronic device 100 may provide response information corresponding to a voice command to the user using response information from multiple voice assistants rather than the result of a single voice assistant.
  • the electronic device 100 integrates and manages (or processes) a plurality of voice assistants, allowing the user to easily select/switch voice assistants and through a single voice command. It is possible to receive diverse or more accurate information.
  • the user's voice is input through the remote control 200, but when implemented, it is also possible to receive the user's voice directly from the electronic device 100, and other than the remote control 200. It is also possible to receive voice commands through a user terminal device (e.g., smartphone, tablet, etc.).
  • a user terminal device e.g., smartphone, tablet, etc.
  • being activated in the present disclosure not only means being in a state in which user speech commands can be input and processed, but may also mean being in a state in which response results processed according to voice commands can be displayed (or executed). .
  • FIG. 2 is a diagram showing the configuration of an electronic device according to an embodiment of the present disclosure.
  • the electronic device 100 may include a memory 110, a display 120, and a processor 130.
  • Memory 110 may store data necessary for one or more embodiments of the present disclosure.
  • the memory 110 may be implemented as a memory embedded in the electronic device 100 or as a memory capable of communicating with (or detachable from) the electronic device 100 depending on the data storage purpose.
  • volatile memory e.g., dynamic RAM (DRAM), static RAM (SRAM), or synchronous dynamic RAM (SDRAM), etc.
  • non-volatile memory Examples: one time programmable ROM (OTPROM), programmable ROM (PROM), erasable and programmable ROM (EPROM), electrically erasable and programmable ROM (EEPROM), mask ROM, flash ROM, flash memory (e.g.
  • a memory card eg, compact flash (CF)
  • SD secure digital
  • Micro-SD micro secure digital
  • Mini-SD mini secure digital
  • xD extreme digital
  • MMC multi-media card
  • external memory that can be connected to a USB port (e.g. For example, it may be implemented in a form such as USB memory).
  • the memory 110 may store at least one instruction or a computer program including instructions for controlling the electronic device 100.
  • These computer programs may be a plurality of assistance programs (or assistance instructions) corresponding to each of a plurality of voice assistants, an integrated engine program that integrates and manages a plurality of voice assistants, an application program installed in the electronic device 100, etc. .
  • the memory 110 may store information about an artificial intelligence model including a plurality of layers.
  • storing information about the artificial intelligence model means various information related to the operation of the artificial intelligence model, such as information about a plurality of layers included in the artificial intelligence model, parameters used in each of the plurality of layers (e.g. , filter coefficients, bias, etc.) may be stored.
  • this artificial intelligence model may be a model for voice recognition or a model for assistance functions.
  • the memory 110 may store information about voice assistance corresponding to a user, application, etc., or history information related to the use of voice assistance. For example, history information such as a specific user using a first voice assistant or a second voice assistant while a specific application is running may be stored.
  • the display 120 may receive a signal from the processor 130 and display information corresponding to the received signal.
  • the display 120 may be implemented as a display including a self-emitting device or a display including a non-light-emitting device and a backlight.
  • the display 120 may also include a driving circuit and a backlight unit that may be implemented in the form of a-si TFT, low temperature poly silicon (LTPS) TFT, or organic TFT (OTFT).
  • LTPS low temperature poly silicon
  • OTFT organic TFT
  • the display 120 is implemented as a touch screen combined with a touch sensor, a flexible display, a rollable display, a 3D display, a display in which a plurality of display modules are physically connected, etc. It can be.
  • the display 120 may display a screen corresponding to the executed application. And when a plurality of applications are running, the display 120 can display a plurality of screens corresponding to each of the plurality of applications.
  • the display 120 may display a UI screen according to a voice assistant operation, or may display the above-described UI screen together with an executed application. Additionally, the above-described UI screen may display the operation status of the voice assistant or information on the voice assistant currently in operation (or activated), or may display a response result that is a voice recognition result. Examples of various UI screens that can be displayed on the display 120 will be described later with reference to FIGS. 6 to 10.
  • the processor 130 controls each component of the electronic device 100.
  • This processor 130 may also be referred to as a control unit, control device, etc.
  • the processor 130 may be comprised of one or multiple processors. Specifically, the processor 130 may perform operations of the electronic device 100 according to various embodiments of the present disclosure by executing at least one instruction stored in the memory.
  • the processor 130 may include a digital signal processor (DSP), a microprocessor, a graphics processing unit (GPU), an artificial intelligence (AI) processor, and a neural processor (NPU) that process digital image signals.
  • DSP digital signal processor
  • GPU graphics processing unit
  • AI artificial intelligence
  • NPU neural processor
  • the processor 130 may include one or more of a controller, an application processor (AP), a communication processor (CP), or an ARM processor.
  • SoC System on Chip
  • LSI large scale integration
  • ASIC application specific integrated circuit
  • FPGA field programmable gate array
  • the processor 130 for executing the integrated voice assistance function may be a general-purpose processor such as a CPU, AP, digital signal processor (DSP), a graphics-specific processor such as a GPU, a vision processing unit (VPU), or It can be implemented through a combination of an artificial intelligence-specific processor such as NPU and software.
  • a general-purpose processor such as a CPU, AP, digital signal processor (DSP), a graphics-specific processor such as a GPU, a vision processing unit (VPU), or It can be implemented through a combination of an artificial intelligence-specific processor such as NPU and software.
  • the processor 130 may control input data to be processed according to predefined operation rules or artificial intelligence models stored in the memory 110.
  • the processor 130 may be a dedicated processor (or an artificial intelligence dedicated processor), it may be designed with a hardware structure specialized for processing a specific artificial intelligence model.
  • hardware specialized for processing a specific artificial intelligence model can be designed as a hardware chip such as ASIC or FPGA.
  • the processor 130 is implemented as a dedicated processor, it may be implemented to include a memory for implementing an embodiment of the present disclosure, or may be implemented to include a memory processing function for using an external memory.
  • the processor 130 may perform a function corresponding to the user command. For example, when a content playback command is input, the display 120 can be controlled to display an image corresponding to the content selected by the user. Such a user command may be input through a button provided on the electronic device 100, or may be input through an external device.
  • the display 120 can be controlled so that multiple screens corresponding to each of the multiple applications are displayed together. That is, the electronic device 100 can support multi-view.
  • the processor 130 may determine a voice assistant to process the user's uttered voice.
  • the voice assistance call event may be input through an external device (e.g., remote control 200, user terminal device 300, etc.), may be input through a button provided on the electronic device 100, or may be input by the user. This may be the case when a keyword that calls a specific voice assistant (for example, “Hi Bixby”) is uttered.
  • the processor 130 may determine at least one voice assistance based on at least one of a user utterance keyword, a user account, a currently running application, and voice assistance history information. .
  • the user can determine the specific voice assistant as the voice assistant to use.
  • the user when the user enters a voice command including a specific keyword (for example, “Bixby recommend a movie ⁇ ”, where “Bixby” is the call name (or keyword) of the voice assistant, it corresponds to the keyword.
  • a specific keyword for example, “Bixby recommend a movie ⁇ ”, where “Bixby” is the call name (or keyword) of the voice assistant, it corresponds to the keyword.
  • the voice assistant to be used can be determined. You can decide which voice assistant to use.
  • the processor 130 can specify the user currently using the electronic device 100, identify the current user and the currently running application, and pre-store history information. You can use to determine the voice assistant corresponding to the current user and current application.
  • the processor 130 checks the history information and determines the voice assistant to use that corresponds to the currently running application. You can. In this case, if a plurality of applications are currently running and the voice assistance corresponding to each of the plurality of applications is different, the plurality of voice assistants may be determined as the voice assistant to be used.
  • the voice assistance most used by the user may be determined as the voice assistant to use based on the user's history information.
  • the processor 130 may decide to use multiple voice assistants rather than one voice assistant. For example, when a voice command is input, the processor 130 checks the user voice command using the first voice assistant, and if the confirmed user voice command is a voice command that can be processed by another second voice assistant, the second voice assistant It may be decided to activate voice assistance and generate response information using each of the first voice assistant and the second voice assistant.
  • determining the voice assistant to use here can be implemented in various ways. For example, this may be to determine a voice assistant that performs voice recognition processing of the user's spoken voice, or it may be to determine a voice assistant that will provide a response result according to the recognition result.
  • a voice assistance call event when a voice assistance call event occurs, only the voice assistant determined in the manner described above processes the input user voice data, or all installed voice assistants process the input user voice data, and In the process of providing the corresponding response result, only the previously determined voice assistant may provide the response result.
  • processing voice data using a plurality of assistants can be implemented in various ways.
  • the processor 130 not only performs all processes such as voice recognition using voice data input by each of a plurality of voice assistants, confirming user requests, and generating response results according to the request, but also performs all processes such as voice recognition using voice data input by each of the plurality of voice assistants, and generating response results according to the request. It can also be implemented in such a way that Stance only performs voice recognition, and other voice assistants receive and operate text information according to the voice recognition results.
  • the processor 130 can process the user's voice command using the determined voice assistance. Specifically, the processor 130 converts the user's uttered voice into text using a voice recognition engine, uses the converted text to check user intent and/or objects, and confirms the user command. Response information corresponding to the confirmed user command can be generated. At this time, the processor 130 may control the display 120 to display the voice recognition result in response to the user's voice.
  • the processor 130 may perform the above-described operations on the electronic device 100 itself, or may obtain response information according to the voice recognition result using an external server (not shown).
  • the processor 130 may control the display 120 to display the response information.
  • the processor 130 may display a UI screen including response information for each of the plurality of voice applications.
  • the processor 130 may select only common response information among a plurality of response information and display a UI screen including only the selected response information.
  • the processor 130 stores response information of the voice assistant corresponding to each of the plurality of applications in the area corresponding to the screen of the plurality of applications.
  • the display 120 can be controlled to display .
  • the processor 130 may activate a second voice assistance operation corresponding to the preset voice command. For example, when a voice command is input, the processor 130 checks the user voice command using the first voice assistant, and if the confirmed user voice command is a command that calls the second voice assistant, the processor 130 uses the first voice assistant to check the user voice command. is activated, and when the second voice assistant is activated, the input voice command can be processed using the second voice assistant. In other words, the subject that will process the voice command can be switched to the second voice assistant.
  • the above-mentioned switching is performed by switching the voice application that provides response information. It may be.
  • the processor 130 may control the display 120 to display a UI screen notifying that the voice assistant is changed.
  • the electronic device 100 may further include various configurations not shown in FIG. 2. This will be explained below with reference to FIG. 3.
  • Figure 3 is a diagram showing the configuration of an electronic device according to an embodiment of the present disclosure.
  • the electronic device 100' includes a memory 110, a display 120, a processor 130, a communication device 140, an input device 150, a microphone 160, and a speaker 170. It can be included.
  • the communication device 140 includes at least one circuit and can communicate with various types of external devices. Such a communication device 140 may be implemented with various interfaces depending on the implementation example.
  • the communication device 140 includes various types of digital interfaces, AP-based Wi-Fi (Wireless LAN network), Bluetooth, Zigbee, wired/wireless LAN (Local Area Network), and WAN. It may include at least one interface among Wide Area Network (Wide Area Network), Ethernet, Near Field Communication (NFC), and IEEE 1394.
  • the communication device 140 includes High Definition Multimedia Interface (HDMI), Mobile High-Definition Link (MHL), Universal Serial Bus (USB), Display Port (DP), Thunderbolt, and Video Graphics Array (VGA). At least one interface among port, RGB port, D-SUB (D-subminiature), DVI (Digital Visual Interface), AES/EBU (Audio Engineering Society/ European Broadcasting Union), Optical, and Coaxial. It can be included.
  • HDMI High Definition Multimedia Interface
  • MHL Mobile High-Definition Link
  • USB Universal Serial Bus
  • DP Display Port
  • Thunderbolt Thunderbolt
  • VGA Video Graphics Array
  • Communication device 140 receives content.
  • the content may be content that includes sound source data, such as music content or video content, or may be content that does not include sound source data (eg, photo, text, e-book, etc.).
  • the communication device 140 can communicate with an external server and transmit and receive various data for performing assistance functions. For example, the communication device 140 may transmit an audio signal corresponding to a user's voice or text information converted from the audio signal into text to an external server. And the communication device 140 can receive response content corresponding to the transmitted information. For example, when the user utters a voice such as “Play music A,” the communication device 140 may receive content corresponding to music A.
  • the external server that transmits the above-described speech voice or text and the external server that provides response content thereto may be different from each other. That is, the external server that transmits the above-mentioned spoken voice or text may be a server that performs a voice recognition function, and the external server that provides content may be a content provision server.
  • the electronic device 100 can receive content directly from the content providing server without separate intervention, receive a response message from the server performing the voice recognition function, and receive Content can also be received by providing a request message corresponding to one response message to the content providing server.
  • an external server that performs voice recognition may generate a response message saying A music content playback and provide the response message to the electronic device 100.
  • the electronic device 100 may request and receive music content A from the content providing server.
  • an external server that performs voice recognition may directly transmit a command to the content providing server to provide A music content to the electronic device 100. In this case, the electronic device 100 may immediately receive A music content.
  • the communication device 140 may transmit an information request for executing a command corresponding to the voice recognition result. For example, when the user requests today's weather, the electronic device 100 recognizes that today's weather information must be output, and may request and receive information about today's weather from an external server.
  • the communication device 140 may transmit a command corresponding to the voice recognition result to another device. For example, if the user's voice command is a command to control another device (for example, “lower the air conditioner temperature”), a control command corresponding to the user command can be transmitted to the other device.
  • the communication device 140 may receive voice commands (specifically, voice data including sound source data and user utterances) from another device. Specifically, when a user speech command is input through a remote control or a user terminal device other than the electronic device 100, user voice data can be received from the device.
  • voice commands specifically, voice data including sound source data and user utterances
  • the communication device 140 may also receive user information or voice assistant identification information of the user terminal device.
  • the voice assistance identification information may be identification information indicating the decided voice assistance when the user determines the voice assistance in the user terminal device.
  • the input device 150 is a device for receiving a user's control command and may be configured as a button. Alternatively, the input device 150 may be implemented as a touch screen that also performs the functions of the display device 120.
  • the microphone 160 is configured to receive a user's voice or other sounds and convert them into audio data.
  • the processor 130 may perform a voice assistance function using the user's voice input through the microphone 160.
  • the microphone 160 may be configured as a stereo microphone that receives sound input from multiple locations.
  • the speaker 170 outputs sound corresponding to content. Additionally, the speaker 170 can output response information corresponding to various guidance messages or received response messages as sound. This speaker 170 may be composed of a plurality of speaker units.
  • the processor 130 When receiving voice data from an external device (for example, when receiving voice data from the user terminal device 300), the processor 130 also receives user information or voice assistant identification information included in the voice data. Then, you can use the information to decide which voice assistant to use.
  • FIG. 4 is a diagram for explaining the operation of an electronic device according to an embodiment of the present disclosure.
  • each operation is shown as being performed sequentially, but when implemented, the order may be applied in a different form from the illustrated example.
  • the standby state 410 will be described.
  • multiple voice assistants may standby.
  • the illustrated example shows a case where three voice assistants are installed, but in implementation, not only a case where two voice assistants are installed, but also four or more voice assistants may be installed.
  • the voice assistance to be used is determined.
  • the voice assistant to be used can be determined by determining the currently running application, used user information, etc.
  • the first voice assistance corresponding to the application related to watching TV may be determined as the voice assistance to be used.
  • the electronic device 100 may display response information by performing processing such as voice recognition on the user's uttered voice using the first voice assistance. .
  • a switching state 430 may be entered. For example, when the user inputs a switching command including a keyword for the second voice assistance, the electronic device 100 may switch the voice assistance to be used to the second voice assistance. At this time, the switching state 430 may display a screen indicating that the voice assistance is being switched.
  • one voice assistant is used in each of the TV viewing state 420 and the switching state 430, but a plurality of voice assistants may be used simultaneously in response to a user voice command.
  • individual response information can be obtained by using multiple voice assistants simultaneously.
  • obtain Response information using the provided response information can be displayed.
  • the response results of each of the plurality of assistances may be displayed together on the screen as in the response information provision status 440.
  • the voice assistant corresponding to each application operates individually, and the voice assistant corresponding to each application operates individually. Results can also be displayed individually (450).
  • FIG. 5 is a diagram for explaining the operation of an electronic device according to an embodiment of the present disclosure. Specifically, FIG. 5 is a diagram for explaining the operation of the electronic device 100 when the electronic device 100 receives the integrated engine 131 and the user voice (or user voice command) through the user terminal device 300. It is a drawing.
  • a plurality of voice assistants (eg, VA1, VA2, VA3) may be installed in the electronic device 100.
  • the integration engine 131 is based on the user account information and/or the currently running application (e.g., the electronic device 100 or the integration engine 131). (131)) Determine the voice assistance to use. And the integrated engine 131 may perform an assistance function using the determined voice assistance (520). Conversely, the integration engine 131 may notify the electronic device 100 of the determined voice assistance, and accordingly, the electronic device 100 may perform an assistance function using the determined voice assistance. At this time, the electronic device 100 may display information indicating the determined voice assistance on the screen.
  • the integration engine 131 receives the signal from the electronic device 100.
  • a request to switch from first voice assistance (eg, VA1) to second voice assistance (eg, VA2) may be received from the electronic device 100.
  • the integration engine 131 may determine the conversion of the voice assistance to be used from the first voice assistance to the second voice assistant corresponding to the user switch command.
  • the integration engine 131 may transmit information about the second assistance (eg, VA2), which is the converted voice assistance, to the electronic device 100.
  • the electronic device 100 may display a change in voice assistance.
  • the change in voice assistance can also be output through sound.
  • the user interface window that can be displayed during the voice assistant switching process will be described later with reference to FIG. 6.
  • the integration engine 131 can analyze the voice command and determine a voice assistant to process the voice command. As shown in the example, it may be decided to use multiple voice assistants in cases where the user's voice command is a request that does not specify a specific voice assistant or when the subject of action is called “TV.” This operation can be performed not only at the time of the first voice assistance function call event, but also while performing the assistance function using a specific voice assistant.
  • the integration engine 131 receives the voice recognition result from the second voice assistant and creates another voice based on the received voice recognition result. Assistant can also determine whether the user request can be performed. At this time, the integration engine 131 may perform the above-described operation through context analysis, and may perform the above-described decision based on whether or not a keyword indicating the integrated search (e.g., TV) is included in the voice recognition result. .
  • a keyword indicating the integrated search e.g., TV
  • the integration engine 131 determines that the operation is possible only in a voice assistant other than the current voice assistant based on the above-mentioned voice recognition result, it performs the operation only in the voice assistant that can perform the voice recognition result. You can also have it done. For example, if the user's speech request is a command to control another device, but the currently operating voice assistant cannot perform the action, and the action can only be performed by another voice assistant, the command cannot be performed. You may decide to only use the voice assistant that is available.
  • the integration engine 131 determines to use a plurality of voice assistants, and the user can provide a voice message to the plurality of voice assistants and receive response information from each. To this end, the integration engine 131 stores the user's voice data for a certain period of time and then provides the stored voice data to another voice assistant. Alternatively, the integration engine 131 may provide a voice recognition result (for example, a user request for which text information or context analysis has been completed) output from a currently operating voice assistant to another voice assistant.
  • a voice recognition result for example, a user request for which text information or context analysis has been completed
  • the integration engine 131 can display response information received from each of the plurality of voice assistants (550). At this time, the integration engine 131 may provide all confirmed response information or only common response information. Alternatively, the integration engine 131 may provide only a plurality of response information, but may process and display common responses to be more distinguishable than other responses. Various examples of user interface windows that can be displayed during an integrated response process using multiple voice assistants will be described later with reference to FIGS. 8 to 10.
  • the integration engine 131 may separately display response information corresponding to each multi-view screen (560). For example, if the first to third applications are running, the response of the voice assistant corresponding to the first application is displayed on the screen corresponding to the first application, and the response of the voice assistant corresponding to the first application is displayed on the screen corresponding to the second application. The response of the voice assistant corresponding to the application may be displayed, and the response of the voice assistant corresponding to the third application may be displayed on the screen corresponding to the third application.
  • An example of a user interface window that can be displayed on a display in such a multi-view environment will be described later with reference to FIG. 7.
  • FIG. 6 is a diagram for explaining a voice assistance switching operation according to an embodiment of the present disclosure.
  • the first screen 610 may display content and voice recognition results corresponding to the user's voice.
  • the electronic device 100 can switch the voice assistant.
  • the voice assistance is switched according to the user's request, but when implemented, the switch may also be performed by an event other than a user speech command.
  • the current voice assistant cannot perform the function according to the user's speech command, but can be performed by another voice assistant, switching to another voice assistant that can perform the function according to the user's speech command is necessary for the user. It can be determined regardless of utterance.
  • each voice assistant can perform a voice assistance function using an external server corresponding to each voice assistant. For example, if there is a communication failure between the first voice assistant and the corresponding first external server, but there is no communication failure between the second voice assistant and the corresponding second external server, this may be an example.
  • a second screen 620 indicating that conversion is in progress may be displayed.
  • a third screen 630 may be displayed indicating that the switch is completed and the user's voice command is ready to be received.
  • the operating state of the electronic device 100 is displayed, but when implemented, information (or icons) about the currently operating voice assistant can be displayed on each screen. That is, on the first screen 610, a first icon corresponding to the first voice assistance may be displayed on one side of the screen, and on the third screen 630, a second icon corresponding to the second voice assistance may be displayed on one side of the screen. It can be displayed on one side of the screen. And the second screen 630 displays a first icon corresponding to the first voice assistance on the left and a second icon corresponding to the second voice assistance on the right, so that the first voice assistance can be changed from the second voice assistance. You can intuitively display that the transition is in progress.
  • FIG. 7 is a diagram for explaining an assistance function during multi-view operation according to an embodiment of the present disclosure.
  • the electronic device 100 may display UIs 711, 713, and 715 corresponding to each of a plurality of applications on a single screen 710. Meanwhile, in the illustrated example, an example of a multi-view screen in which three UIs are displayed is shown, but when implemented, two UIs may be displayed, and four or more UIs may be displayed.
  • the present disclosure provides an assistance function that specifies the application corresponding to each multi-view or each screen during the process or operation of providing response information, etc.
  • the response result may be displayed only on the screen corresponding to the application. Additionally, even if the user does not specify an application, the UI screen or application to which the current voice command will be applied can be determined considering the user's focus, history, etc.
  • the response information 724 can be displayed only on the screen 723 corresponding to the application requested by the user among the UIs 721, 723, and 725 corresponding to each of the plurality of applications.
  • response information is displayed only on a specific screen, it is possible to individually control a specific application among a plurality of running applications through voice commands.
  • FIGS. 8 to 10 are diagrams illustrating examples of UI screens displaying integrated results according to an embodiment of the present disclosure.
  • FIG. 8 shows an example of a UI screen that displays only common response information among response information generated by a plurality of voice assistants in the process of providing response information using a plurality of voice assistants.
  • the integration engine can use a plurality of voice assistants to obtain response information corresponding to the voice command.
  • the integration engine can display only common response information as the response result 811 on the screen 810.
  • the electronic device displays response information commonly recommended by a plurality of voice assistants, so it is possible to better match the user's intention or provide more accurate information.
  • FIG. 9 it shows a case where there is no common result or a case where response results generated by each plurality of voice applications are individually output based on user settings, etc.
  • the screen 910 displays the response results of each voice assistance individually.
  • each response result is shown as including one result, but when implemented, the response result of each voice assistant may include multiple contents (or information).
  • the electronic device displays the response results of a plurality of voice assistants at once, allowing the user to easily check desired information.
  • the user had to call the voice assistant individually and check the response information of each voice assistant one by one.
  • the result is integrated into one operation. By displaying , users can more easily check the desired information.
  • Figure 10 explains a case where only a specific voice assistant is capable of responding to a user request.
  • the voice assistant corresponding to the user's request is determined and operated, thereby improving user convenience.
  • the user had to determine a voice assistant that could control the air conditioner and call the corresponding voice assistant. If another voice assistant is being used, the function of the voice assistant is terminated, the voice assistant that can control the air conditioner is called, and the above-described operation is performed.
  • the integrated engine according to the present disclosure the user can obtain a response according to the user's request even without specifying the voice assistant.
  • FIG. 11 is a flowchart for explaining a control operation of an electronic device according to an embodiment of the present disclosure.
  • response information is generated using at least one voice assistant among different voice assistants (S1120).
  • the voice assistance to be used is determined in advance, but when the voice assistance to be used is not determined in advance, for example, in a situation where a voice assistance call event occurs, the user utterance keyword, the user At least one voice assistant may be determined based on at least one of an account, a currently running application, and voice assistance history information.
  • a UI screen including response information for each of the plurality of voice assistants may be displayed.
  • response information of the voice assistant corresponding to each of the plurality of applications can be displayed in the area corresponding to the screen of the plurality of applications. .
  • a UI screen containing only common responses among response information for each of the plurality of voice assistants may be displayed.
  • the second voice assistance operation corresponding to the preset voice command is activated (S1140). Specifically, when a voice command is input, the user voice command is confirmed using the first voice assistant, and if the confirmed user voice command is a command that calls the second voice assistant, the second voice assistant is activated, and the second voice assistant is input. When the voice assistant is activated, the input voice command can be processed using the second voice assistant. At this time, if the confirmed user voice command is a command that calls or activates the first voice assistant, a UI screen notifying that the voice assistant is changed may be displayed.
  • the user voice command is confirmed using the first voice assistant, and if the confirmed user voice command is a voice command that can be processed by another second voice assistant, the second voice assistant is also activated, and the second voice assistant is activated.
  • Response information may be generated using each of the first voice assistant and the second voice assistant.
  • control method in an electronic device integrates and manages (or processes) a plurality of voice assistants, allowing the user to easily select/switch voice assistants and send a single voice command. Through this, it is possible to receive diverse or more accurate information.
  • Figure 12 is a flowchart for explaining the operation of integrated voice assistance according to an embodiment of the present disclosure.
  • this voice assistance call event occurs when the user presses or selects the microphone button provided on the electronic device, remote control, or user terminal device (S1205), or when the user utters a specific keyword (trigger command) ( S1240).
  • the microphone is pressed (S1205-Y)
  • the history information may include TV viewing history, execution of a specific app, search process, focus on specific app content, etc.
  • the voice assistance to be used can be determined based on the history information (S1215). And the assistance function using the determined voice assistance can be performed (S1220).
  • the voice assistance to be used can be determined using a pre-stored algorithm in addition to the above-described history information (S1225). Then, the assistance function using the determined voice assistance can be performed.
  • the assistance function can be performed using the converted voice assistant.
  • the user does not press the microphone button, it can be confirmed whether the user's uttered voice includes a specific keyword (S1240). For example, if you include keywords that call the integration engine (e.g., “TV,” etc.) or keywords that correspond to a specific voice assistant (e.g., “Hi Bixby,” etc.), you can use the voice assistance function. It can be judged that it will be called.
  • a specific keyword For example, if you include keywords that call the integration engine (e.g., “TV,” etc.) or keywords that correspond to a specific voice assistant (e.g., “Hi Bixby,” etc.), you can use the voice assistance function. It can be judged that it will be called.
  • the voice assistance function can be performed and the result can be displayed according to the content of each multi-view (S1250).
  • the voice assistant determines the voice assistant that will perform the voice assistance function. If there is only one voice assistance determined, the voice assistance function using the corresponding voice assistance can be performed (S1260).
  • the assistance function can be performed using the multiple voice assistants, and the response results of each voice assistant can be provided to the user (S1260).
  • Methods according to at least some of the one or more embodiments of the present disclosure described above may be implemented in the form of applications that can be installed on existing electronic devices.
  • Methods according to at least some of the various embodiments of the present disclosure described above may be implemented only through software upgrades or hardware upgrades to existing electronic devices.
  • Methods according to at least some of the various embodiments of the present disclosure described above may be performed through an embedded server provided in an electronic device or an external server of at least one of the electronic devices.
  • the various embodiments described above may be implemented as software including instructions stored in a machine-readable storage media (e.g., a computer).
  • the device is a device capable of calling instructions stored in a storage medium and operating according to the called instructions, and may include an electronic device (eg, an electronic device A) according to the disclosed embodiments.
  • the processor When executed by a device, the processor may perform the function corresponding to the instruction directly or using other components under the control of the processor.
  • a storage medium that can be read as a non-transitory storage medium may be provided in the form of a non-transitory storage medium. ), and this term does not distinguish between cases where data is semi-permanently stored in a storage medium and cases where data is stored temporarily.
  • 'non-transitory storage medium' is a buffer where data is temporarily stored.
  • the methods according to various embodiments disclosed in this document may be included in a computer program product and may be traded between a seller and a buyer.
  • the computer program product may be distributed in the form of a machine-readable storage medium (e.g. compact disc read only memory (CD-ROM)) or through an application store (e.g. Play StoreTM) or both.
  • CD-ROM compact disc read only memory
  • an application store e.g. Play StoreTM
  • it may be distributed (e.g., downloaded or uploaded) directly between user devices (e.g., smartphones), at least one of a computer program product (e.g., a downloadable app).
  • Some may be at least temporarily stored or temporarily created in a device-readable storage medium, such as the memory of a manufacturer's server, an application store server, or a relay server.
  • One or more embodiments of the present disclosure may be implemented as software including instructions stored in a machine-readable storage media (e.g., a computer).
  • the device may read instructions stored from the storage medium.
  • a device capable of making a call and operating according to a called command may include an electronic device (eg, the electronic device 100) according to the disclosed embodiments.
  • the processor may perform the function corresponding to the above-described command directly or using other components under the control of the above-described processor.
  • Instructions may contain code generated or executed by a compiler or interpreter.

Landscapes

  • User Interface Of Digital Computer (AREA)

Abstract

전자 장치는 디스플레이, 복수의 보이스 어시스턴스 각각에 대응되는 복수의 어시스턴스 인스트럭션을 저장하는 메모리, 및 디스플레이 및 메모리와 작동 가능하게 연결되는 적어도 하나의 프로세서를 포함하고, 적어도 하나의 프로세서는, 사용자 음성 명령에 기초하여 적어도 하나의 보이스 어시스턴스를 이용하여 응답 정보를 생성하고, 생성된 응답 정보를 표시하도록 디스플레이를 제어하고, 제1 보이스 어시스턴스의 동작 중에 기설정된 음성 명령에 기초하여, 기설정된 음성 명령에 대응되는 제2 보이스 어시스턴스 동작을 활성화하는 전자 장치.

Description

전자 장치 및 그 제어 방법
본 개시의 전자 장치 및 그 제어 방법에 관한 것으로, 보다 상세하게는 복수의 어시스턴스 기능을 이용하거나, 복수의 어시스턴스 기능을 전환 또는 통합할 수 있는 전자 장치 및 그 제어 방법에 관한 것이다.
최근의 전자 장치는 어시스턴스 기능을 제공한다. 여기서 어시스턴스(assistant) 기능은 AI 기술을 사용하여 사용자가 정확한 명령을 제공하지 않은 경우에도, 사용자가 원하는 기능을 수행할 수 있도록 도움을 주는 기능이다.
이러한 어시스턴스 기능은 컨텐츠 재생, 컨텐츠 검색, 스케줄 관리 및 정보 검색 등 다양한 분야에 적용되고 있다.
본 개시의 일 실시 예에 따른 전자 장치는 디스플레이, 복수의 보이스 어시스턴스 각각에 대응되는 복수의 어시스턴스 인스트럭션을 저장하는 메모리, 및 상기 디스플레이 및 상기 메모리와 작동 가능하게 연결되는 적어도 하나의 프로세서를 포함한다.
이 경우, 상기 적어도 하나의 프로세서는, 사용자 음성 명령에 기초하여 적어도 하나의 보이스 어시스턴스를 이용하여 응답 정보를 생성하고, 상기 생성된 응답 정보를 표시하도록 상기 디스플레이를 제어하고, 제1 보이스 어시스턴스의 동작 중에 기설정된 음성 명령에 기초하여, 상기 기설정된 음성 명령에 대응되는 제2 보이스 어시스턴스 동작을 활성화할 수 있다.
한편, 본 개시의 일 실시 예에 따른 전자 장치에서의 제어 방법은 사용자 음성 명령을 수신하는 단계, 상기 사용자 음성 명령에 기초하여, 복수의 보이스 어시스턴스 중 적어도 하나의 보이스 어시스턴스를 이용하여 응답 정보를 생성하는 단계, 상기 생성된 응답 정보를 표시하는 단계, 및 제1 보이스 어시스턴스의 동작 중에 기설정된 음성 명령이 입력되면, 상기 기설정된 음성 명령에 대응되는 제2 보이스 어시스턴스 동작을 활성화하는 단계를 포함한다.
한편, 본 개시의 일 실시 예에 따른 복수의 보이스 어시스턴스를 갖는 디스플레이 장치와 통신하는 통합 엔진에 의해 수행되는 방법은 복수의 어시스턴스 중 제1 보이스 어시스턴스를 활성화하는 제1 명령을 상기 디스플레이 장치에 전달하는 단계, 상기 제1 디스플레이 장치로부터 상기 디스플레이 장치에서 사용될 새로운 보이스 어시스턴스를 결정하기 위한 제1 응답을 수신하는 단계; 상기 결정된 새로운 보이스 어시스턴스를 알리는 제2 명령어를 상기 디스플레이 장치에 전달하는 단계를 포함한다.
본 개시의 실시 예들의 상술하거나 다른 측면, 특징, 이익들은 첨부도면을 참조한 아래의 설명으로부터 더욱 명백해질 것이다. 첨부도면에서:
도 1은 본 개시의 일 실시 예에 따른 전자 장치를 나타내는 도면,
도 2는 본 개시의 일 실시 예에 따른 전자 장치의 구성을 나타내는 도면,
도 3은 본 개시의 일 실시 예에 따른 전자 장치의 구성을 나타내는 도면,
도 4는 본 개시의 일 실시 예에 따른 전자 장치의 동작을 설명하기 위한 도면,
도 5는 본 개시의 일 실시 예에 따른 전자 장치의 동작을 설명하기 위한 도면,
도 6은 본 개시의 일 실시 예에 따른 보이스 어시스턴스의 전환 동작을 설명하기 위한 도면,
도 7은 본 개시의 일 실시 예에 따른 멀티뷰 동작시에 어시스턴스 기능을 설명하기 위한 도면,
도 8은 본 개시의 일 실시 예에 따른 통합 보이스 어시스턴스의 동작을 설명하기 위한 도면,
도 9는 본 개시의 일 실시 예에 따른 통합 보이스 어시스턴스의 동작을 설명하기 위한 도면,
도 10은 본 개시의 일 실시 예에 따른 통합 보이스 어시스턴스의 동작을 설명하기 위한 도면,
도 11은 본 개시의 일 실시 예에 따른 전자 장치의 제어 동작을 설명하기 위한 흐름도, 그리고,
도 12는 본 개시의 일 실시 예에 따른 통합 보이스 어시스턴스의 동작을 설명하기 위한 흐름도이다.
본 실시 예들은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 본 개시의 실시 예의 다양한 변경(modifications), 균등물(equivalents), 및/또는 대체물(alternatives)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.
본 개시를 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략한다.
덧붙여, 하기 실시 예는 여러 가지 다른 형태로 변형될 수 있으며, 본 개시의 기술적 사상의 범위가 하기 실시 예에 한정되는 것은 아니다. 오히려, 이들 실시 예는 본 개시를 더욱 충실하고 완전하게 하고, 당업자에게 본 개시의 기술적 사상을 완전하게 전달하기 위하여 제공되는 것이다.
본 개시에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 권리범위를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 개시에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다." 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 개시에서, "A 또는 B," "A 또는/및 B 중 적어도 하나," 또는 "A 또는/및 B 중 하나 또는 그 이상 "등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B," "A 및 B 중 적어도 하나," 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
본 개시에서 사용된 "제1," "제2," "첫째," 또는 "둘째, "등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다.
반면에, 어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제3 구성요소)가 존재하지 않은 것으로 이해될 수 있다.
본 개시에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)," "~하는 능력을 가지는(having the capacity to)," "~하도록 설계된(designed to)," "~하도록 변경된(adapted to)," "~하도록 만들어진(made to)," 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다.
대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
실시 예에 있어서 '모듈' 혹은 '부'는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 '모듈' 혹은 복수의 '부'는 특정한 하드웨어로 구현될 필요가 있는 '모듈' 혹은 '부'를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서로 구현될 수 있다.
다양한 실시 예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
한편, 도면에서의 다양한 요소와 영역은 개략적으로 그려진 것이다. 따라서, 본 발명의 기술적 사상은 첨부한 도면에 그려진 상대적인 크기나 간격에 의해 제한되지 않는다.
한편, 본 개시의 다양한 실시 예에 따른 전자 장치는 예를 들면, TV, 모니터, 프로젝터, 셋톱 박스, 스마트폰, 태블릿 PC, 데스크탑 PC, 랩탑 PC 또는 웨어러블 장치 중 적어도 하나를 포함할 수 있다. 웨어러블 장치는 액세서리형(예: 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트렌즈, 또는 머리 착용형 장치(head-mounted-device(HMD)), 직물 또는 의류 일체형(예: 전자 의복), 신체 부착형(예: 스킨 패드 또는 문신), 또는 생체 이식형 회로 중 적어도 하나를 포함할 수 있다.
어떤 실시 예들에서, 전자 장치는 예를 들면, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스, 홈 오토매이션 컨트롤 패널, 보안 컨트롤 패널, 미디어 박스(예: 삼성 HomeSyncTM, 애플TVTM, 또는 구글 TVTM), 게임 콘솔(예: XboxTM, PlayStationTM), 전자 사전, 전자 키, 캠코더, 또는 전자 액자 중 적어도 하나를 포함할 수 있다. 한편, 구현시에는 상술한 예들뿐만 아니라, 디스플레이를 포함하는 장치인 경우라면, 본 개시에 따른 전자 장치일 수 있다.
이하에서는 첨부한 도면을 참고하여 본 개시에 따른 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.
도 1은 본 개시의 일 실시 예에 따른 전자 장치를 나타내는 도면이다.
도 1을 참조하면, 전자 장치(100)는 보이스 어시스턴스 기능을 수행한다. 여기서 보이스 어시스턴스(assistant) 기능은 AI 기술을 이용하여 사용자가 정확한 음성 명령을 입력하지 않은 경우에도, 사용자가 원하는 기능을 수행할 수 있도록 도움을 주는 기능이다. 이러한 어시스턴스 기능은 컨텐츠 재생, 스케줄 관리, 정보 검색 등 다양한 분야에 적용되고 있다.
예를 들어, 음악을 듣고 싶은 경우, 기존에는 사용자가 듣고 싶은 음악을 정확하게 지정하여야 하였다. 그러나 어시스턴스 기능을 이용하면 사용자가 평소에 듣는 음악 취향에 대응되는 음악이 자동으로 선별되어 재생될 수 있다.
최근의 전자 장치는 하나의 보이스 어시스턴스가 아니라, 복수의 보이스 어시스턴스가 탑재되는 경우가 있다. 예를 들어, 제조사가 제공하는 보이스 어시스턴스(VA1), OS 플랫폼에서 제공하는 보이스 어시스턴스(VA2), 특정 애플리케이션이 제공하는 보이스 어시스턴스(VA3) 등 다양한 보이스 어시스턴스가 탑재되는 경우가 있다.
이와 같이 복수의 보이스 어시스턴스가 설치된 경우에, 사용자는 설치된 복수의 보이스 어시스턴스를 선택하는데 어려움이 있었다. 예를 들어, 사용자는 사용하고자 하는 보이스 어시스턴스에 대응되는 버튼을 직접 누르거나, 해당 보이스 어시스턴스를 지칭하는 발화 트리거를 선택하여야 하였다.
그리고 실행된 보이스 어시스턴스가 사용자가 의도한 보이스 어시스턴스가 아닌 경우 등과 같은 상황에서 보이스 어시스턴스 변경을 위해서는, 현재 활성화된 보이스 어시스턴스를 종료하고, 의도한 보이스 어시스턴스를 다시 선택하여 활성화하여 하는 불편함이 존재하였다.
그리고 기존에는 사용자 음성 명령에 대응하여 하나의 보이스 어시스턴스의 응답 정보(또는 응답 컨텐츠)만을 얻을 수 있었다. 그러나 각 보이스 어시스턴스는 장단점이 있기 때문에, 복수의 보이스 어시스턴스를 통합하여 이용할 수 있는 방법이 요구되었다.
이에 따라 본 개시에 따른 전자 장치(100)는 복수의 보이스 어시스턴스를 통하여 이용할 수 있는 방법을 제공한다.
예를 들어, 사용자가 리모컨(200)의 보이스 어시스턴스 버튼(210)을 눌러 보이스 어시스턴스 기능을 활성화면, 사용자 발화 명령, 현재 사용자, 현재 실행중인 애플리케이션 등에 기초하여 이용할 보이스 어시스턴스를 결정하고, 결정된 보이스 어시스턴스를 이용하여 응성 명령을 처리할 수 있다.
또한, 본 개시에 따른 전자 장치(100)는 특정의 보이스 어시스턴스를 이용 중에 사용자의 발화 명령만으로 다른 보이스 어시스턴스로의 전환을 수행할 수 있다.
또한, 본 개시에 따른 전자 장치(100)는 음성 명령에 대응되는 응답 정보를 하나의 보이스 어시스턴스의 결과가 아닌 복수의 보이스 어시스턴스의 응답 정보를 이용하여 사용자에게 제공할 수도 있다.
이러한 통합 보이스 어시스턴스의 자세한 기능에 대해서는 도 4 내지 도 10을 참조하여 보다 자세하게 설명한다. 그리고 이를 지원하는 전자 장치(100)의 구체적인 구성 및 동작에 대해서는 도 2 및 도 3을 참조하여 후술한다.
이상과 같이 본 개시에 따른 전자 장치(100)는 복수의 보이스 어시스턴스를 통합하여 관리(또는 처리)하는바, 사용자는 손쉽게 보이스 어시스턴스를 선택/전환하는 것이 가능하며, 한 번의 음성 명령을 통하여 다양하거나 또는 더욱 정확한 정보를 제공받는 것이 가능하다.
한편, 도 1을 도시하고 설명함에 있어서, 리모컨(200)을 통하여 사용자 음성을 입력받는 것으로 도시하였지만, 구현시에는 전자 장치(100)에서 직접 사용자 음성을 입력받는 것도 가능하며, 리모컨(200) 이외에 사용자 단말장치(예를 들어, 스마트폰, 태플릿 등 통하여 음성 명령을 입력받는 것도 가능하다.
또한, 도 1에서는 사용자가 선택하거나, 결정된 보이스 어시스턴스만 음성 명령을 처리하는 것으로 설명하였지만, 구현시에는 설치된 모든 보이스 어시스턴스가 사용자 음성 명령을 처리하고, 활성화된(또는 선택된) 보이스 어시스턴스만이 그 결과를 표시(또는 수행)하는 형태로도 구현될 수 있다.
즉, 본 개시에서 활성화된다는 것은 사용자 발화 명령을 입력받아 처리할 수 있는 상태가 된다는 의미뿐만 아니라, 음성 명령에 따라 처리된 응답 결과를 표시(또는 실행)할 수 있는 상태가 된다는 것을 의미할 수도 있다.
도 2는 본 개시의 일 실시 예에 따른 전자 장치의 구성을 나타내는 도면이다.
도 2를 참조하면, 전자 장치(100)는 메모리(110), 디스플레이(120), 및 프로세서(130)를 포함할 수 있다.
메모리(110)는 본 개시의 하나 이상의 실시 예를 위해 필요한 데이터를 저장할 수 있다. 메모리(110)는 데이터 저장 용도에 따라 전자 장치(100)에 임베디드된 메모리 형태로 구현되거나, 전자 장치(100)와 통신 가능한(또는 탈부착 가능한) 메모리 형태로 구현될 수도 있다.
예를 들어, 전자 장치(100)의 구동을 위한 데이터의 경우 전자 장치(100)에 임베디드된 메모리에 저장되고, 전자 장치(100)의 확장 기능을 위한 데이터의 경우 전자 장치(100)와 통신 가능한 메모리에 저장될 수 있다. 한편, 전자 장치(100)에 임베디드된 메모리의 경우 휘발성 메모리(예: DRAM(dynamic RAM), SRAM(static RAM), 또는 SDRAM(synchronous dynamic RAM) 등), 비휘발성 메모리(non-volatile Memory)(예: OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, 플래시 메모리(예: NAND flash 또는 NOR flash 등), 하드 드라이브, 또는 솔리드 스테이트 드라이브(solid state drive(SSD)) 중 적어도 하나로 구현될 수 있다. 또한, 전자 장치(100)와 통신 가능한 메모리의 경우 메모리 카드(예를 들어, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital), MMC(multi-media card) 등), USB 포트에 연결가능한 외부 메모리(예를 들어, USB 메모리) 등과 같은 형태로 구현될 수 있다.
일 예에 따라 메모리(110)는 전자 장치(100)를 제어하기 위한 적어도 하나의 인스트럭션(instruction) 또는 인스트럭션들을 포함하는 컴퓨터 프로그램을 저장할 수 있다. 이러한 컴퓨터 프로그램은 복수의 보이스 어시스턴스 각각에 대응되는 복수의 어시스턴스 프로그램(또는 어시스턴스 인스트럭션), 복수의 보이스 어시스턴스를 통합 관리하는 통합 엔진 프로그램, 전자 장치(100)에 설치된 애플리케이션 프로그램 등일 수 있다.
다른 예에 따라, 메모리(110)는 복수의 레이어를 포함하는 인공 지능 모델에 관한 정보를 저장할 수 있다. 여기서, 인공 지능 모델에 관한 정보를 저장한다는 것은 인공 지능 모델의 동작과 관련된 다양한 정보, 예를 들어 인공 지능 모델에 포함된 복수의 레이어에 대한 정보, 복수의 레이어 각각에서 이용되는 파라미터(예를 들어, 필터 계수, 바이어스 등)에 대한 정보 등을 저장한다는 것을 의미할 수 있다. 예를 들어, 이러한 인공지능 모델은 음성 인식을 위한 모델 또는 어시스턴스 기능을 위한 모델일 수 있다.
그리고 메모리(110)는 사용자, 애플리케이션 등에 대응되는 보이스 어시스턴스에 대한 정보 또는 보이스 어시스턴스의 사용과 관련된 이력 정보를 저장할 수 있다. 예를 들어, 특정 사용자가 제1 보이스 어시스턴스를 이용한다는 이력 정보 또는 특정 애플리케이션 실행 중에는 제2 보이스 어시스턴스를 이용한다는 등의 이력 정보를 저장할 수 있다.
디스플레이(120)는 프로세서(130)로부터 신호를 수신하고, 수신된 신호에 대응하는 정보를 표시할 수 있다. 예를 들어, 디스플레이(120)는 자발광 소자를 포함하는 디스플레이 또는, 비자발광 소자 및 백라이트를 포함하는 디스플레이로 구현될 수 있다.
예를 들어, LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 디스플레이, LED(Light Emitting Diodes), 마이크로 LED(micro LED), Mini LED, PDP(Plasma Display Panel), QD(Quantum dot) 디스플레이, QLED(Quantum dot light-emitting diodes), 프로젝터 등과 같은 다양한 형태의 디스플레이로 구현될 수 있다. 디스플레이(120) 내에는 a-si TFT, LTPS(low temperature poly silicon) TFT, OTFT(organic TFT) 등과 같은 형태로 구현될 수 있는 구동 회로, 백라이트 유닛 등도 함께 포함될 수 있다.
한편, 디스플레이(120)는 터치 센서와 결합된 터치 스크린, 플렉시블 디스플레이(flexible display), 롤러블 디스플레이(rollable display), 3차원 디스플레이(3D display), 복수의 디스플레이 모듈이 물리적으로 연결된 디스플레이 등으로 구현될 수 있다.
그리고 디스플레이(120)는 실행된 애플리케이션에 대응되는 화면을 표시할 수 있다. 그리고 디스플레이(120)는 복수의 애플리케이션이 구동중이면, 복수의 애플리케이션 각각에 대응되는 복수의 화면을 함께 표시할 수 있다.
그리고 디스플레이(120)는 음성 어시스턴스 동작에 따른 UI 화면을 표시하거나, 실행된 애플리케이션과 함께 상술한 UI 화면을 표시할 수도 있다. 또한, 상술한 UI 화면을 음성 어시스턴스의 동작 상태 또는 현재 동작 중(또는 활성화된)인 보이스 어시스턴스의 정보를 표시하거나, 음성 인식 결과인 응답 결과를 표시할 수도 있다. 디스플레이(120)에서 표시 가능한 다양한 UI 화면의 예에 대해서는 도 6 내지 도 10에서 후술한다.
프로세서(130)는 전자 장치(100)의 각 구성을 제어한다. 이러한 프로세서(130)는 제어부, 제어 장치 등으로 지칭될 수도 있다.
프로세서(130)는 하나 또는 복수의 프로세서로 구성될 수 있다. 구체적으로, 프로세서(130)는 메모리에 저장된 적어도 하나의 인스트럭션(instruction)을 실행함으로써, 본 개시의 다양한 실시 예에 따른 전자 장치(100)의 동작을 수행할 수 있다.
일 실시 예에 따라 프로세서(130)는 디지털 영상 신호를 처리하는 디지털 시그널 프로세서(digital signal processor(DSP), 마이크로프로세서(microprocessor), GPU(Graphics Processing Unit), AI(Artificial Intelligence) 프로세서, NPU (Neural Processing Unit), TCON(Time controller)으로 구현될 수 있다. 다만, 이에 한정되는 것은 아니며, 중앙처리장치(central processing unit(CPU)), MCU(Micro Controller Unit), MPU(micro processing unit), 컨트롤러(controller), 애플리케이션 프로세서(application processor(AP)), 또는 커뮤니케이션 프로세서(communication processor(CP)), ARM 프로세서 중 하나 또는 그 이상을 포함하거나, 해당 용어로 정의될 수 있다. 또한, 프로세서(130)는 프로세싱 알고리즘이 내장된 SoC(System on Chip), LSI(large scale integration)로 구현될 수도 있고, ASIC(application specific integrated circuit), FPGA(Field Programmable gate array) 형태로 구현될 수도 있다.
또한, 일 실시 예에 따른 통합 보이스 어시스턴스 기능을 실행하기 위한 프로세서(130)는 CPU, AP, DSP(Digital Signal Processor) 등과 같은 범용 프로세서, GPU, VPU(Vision Processing Unit)와 같은 그래픽 전용 프로세서 또는 NPU와 같은 인공 지능 전용 프로세서와 소프트웨어의 조합을 통해 구현될 수 있다.
프로세서(130)는 메모리(110)에 저장된 기 정의된 동작 규칙 또는 인공 지능 모델에 따라, 입력 데이터를 처리하도록 제어할 수 있다. 또는, 프로세서(130)가 전용 프로세서(또는 인공 지능 전용 프로세서)인 경우, 특정 인공 지능 모델의 처리에 특화된 하드웨어 구조로 설계될 수 있다. 예를 들어, 특정 인공 지능 모델의 처리에 특화된 하드웨어는 ASIC, FPGA 등의 하드웨어 칩으로 설계될 수 있다. 프로세서(130)가 전용 프로세서로 구현되는 경우, 본 개시의 실시 예를 구현하기 위한 메모리를 포함하도록 구현되거나, 외부 메모리를 이용하기 위한 메모리 처리 기능을 포함하도록 구현될 수 있다.
프로세서(130)는 사용자 명령이 입력되면, 사용자 명령에 대응되는 기능을 수행할 수 있다. 예를 들어, 컨텐츠 재생 명령이 입력되면, 사용자가 선택한 컨텐츠에 대응되는 영상이 표시되도록 디스플레이(120)를 제어할 수 있다. 이와 같은 사용자 명령은 전자 장치(100)에 구비된 버튼 등을 통하여 입력되거나, 외부 장치를 통하여 입력될 수도 있다.
그리고 현재 구동중인 애플리케이션이 복수개인 경우, 복수의 애플리케이션 각각에 대응되는 복수의 화면이 함께 표시되도록 디스플레이(120)를 제어할 수 있다. 즉, 전자 장치(100)는 멀티뷰를 지원할 수 있다.
프로세서(130)는 보이스 어시스턴스 호출 이벤트가 발생하면, 사용자 발화 음성을 처리할 보이스 어시스턴스를 결정할 수 있다. 여기서 보이스 어시스턴스 호출 이벤트는 외부 장치(예를 들어, 리모컨(200), 사용자 단말장치(300) 등)를 통하여 입력될 수 있으며, 전자 장치(100)에 구비된 버튼을 통하여 입력되거나, 사용자가 특정 보이스 어시스턴스를 호출하는 키워드(예를 들어, "하이 빅스비")를 발화한 경우 등일 수 있다.
구체적으로, 프로세서(130)는 보이스 어시스턴스 호출 이벤트가 발생하면, 사용자 발화 키워드, 사용자 계정, 현재 구동중인 애플리케이션, 보이스 어시스턴스 이력 정보 중 적어도 하나에 기초하여 적어도 하나의 보이스 어시스턴스를 결정할 수 있다.
예를 들어, 사용자가 특정 보이스 어시스턴스를 특정하여 보이스 어시스턴스 호출 이벤트를 발생시킨 경우라면, 사용자가 특정한 보이스 어시스턴스를 사용할 보이스 어시스턴스로 결정할 수 있다. 즉, 사용자가 특정 키워드를 포함하여 음성 명령을 입력한 경우(예를 들어, "빅스비 영화 추천해줘~", 여기서, "빅스비"는 보이스 어시스턴스의 호출명(또는 키워드), 해당 키워드에 대응되는 보이스 어시스턴스를 이용할 보이스 어시스턴스로 결정할 수 있다. 또는 리모컨(또는 사용자 단말장치) 상에서 특정 어시스턴스를 호출하는 버튼을 눌러 보이스 어시스턴스를 호출한 경우에도 상술한 바와 같이, 해당 버튼에 대응되는 보이스 어시스턴스를 이용할 보이스 어시스턴스로 결정할 수 있다.
만약, 사용자가 보이스 어시스턴스를 특정하지 않은 경우라면, 프로세서(130)는 현재 전자 장치(100)를 사용하는 사용자를 특정할 수 있으며, 현재 사용자와 현재 실행 중인 애플리케이션을 식별하고, 기저장된 이력 정보를 이용하여 현재 사용자 및 현재 애플리케이션에 대응되는 보이스 어시스턴스를 결정할 수 있다.
만약, 사용자 특정이 어려운 상황이라면, 예를 들어, 리모컨을 통하여 음성 명령이 입력된 경우, 프로세서(130)는 이력 정보를 확인하여 현재 실행중인 애플리케이션에 대응되는 보이스 어시스턴스를 이용할 보이스 어시스턴스로 결정할 수 있다. 이 경우, 현재 복수의 애플리케이션이 실행 중이고, 복수의 애플리케이션 각각에 대응되는 보이스 어시스턴스가 다르면, 복수의 보이스 어시스턴스를 이용할 보이스 어시스턴스로 결정할 수 있다.
반대로, 사용자는 특정되나, 현재 실행중인 애플리케이션이 없는 경우, 사용자의 이력 정보에 기초하여 해당 사용자가 가장 많이 사용하는 보이스 어시스턴스를 이용할 보이스 어시스턴스로 결정할 수 있다.
그리고 보이스 어시스턴스의 결정 과정에서, 프로세서(130)는 하나의 보이스 어시스턴스가 아닌 복수의 보이스 어시스턴스를 이용하는 것으로 결정할 수도 있다. 예를 들어, 프로세서(130)는 음성 명령이 입력되면 제1 보이스 어시스턴스를 이용하여 사용자 음성 명령을 확인하고, 확인된 사용자 음성 명령이 다른 제2 보이스 어시스턴스에서도 처리 가능한 음성 명령이면, 제2 보이스 어시스턴스도 활성화하고, 제1 보이스 어시스턴스 및 제2 보이스 어시스턴스 각각을 이용하여 응답 정보를 생성하는 것으로 결정할 수도 있다.
한편, 여기서 이용할 보이스 어시스턴스를 결정한다는 것은 다양한 방식으로 구현될 수 있다. 예를 들어, 사용자의 발화 음성을 음성 인식 처리하는 등을 수행하는 보이스 어시스턴스를 결정하는 것일 수 있으며, 인식 결과에 따른 응답 결과를 제공할 보이스 어시스턴스를 결정하는 것일 수도 있다.
즉, 구현시에는 보이스 어시스턴스 호출 이벤트가 발생하면, 앞서 설명한 방식으로 결정된 보이스 어시스턴스만 입력된 사용자 음성 데이터를 처리하는 형태이거나, 설치된 모든 보이스 어시스턴스가 입력된 사용자 음성 데이터를 처리하고, 그에 따른 응답 결과를 제공하는 과정에서 앞서 결정된 보이스 어시스턴스만 그 응답 결과를 제공하는 형태일 수도 있다.
또한, 복수의 어시스턴스를 이용하여 음성 데이터를 처리한다는 것도 다양하게 구현될 수 있다. 예를 들어, 프로세서(130)는 복수의 보이스 어시스턴스 각각이 입력된 음성 데이터를 이용한 음성 인식, 사용자 요청 확인, 요청에 따른 응답 결과 생성 등의 모든 과정을 수행하는 것뿐만 아니라, 하나의 보이스 어시스턴스가 음성 인식만을 수행하고, 음성 인식 결과에 따른 텍스트 정보를 다른 보이스 어시스턴스가 제공받아 동작하는 등의 형태로도 구현될 수 있다.
이와 같이 이용할 보이스 어시스턴스가 결정되면, 프로세서(130)는 사용자 음성 명령을 결정된 보이스 어시스턴스를 이용하여 처리할 수 있다. 구체적으로, 프로세서(130)는 사용자 발화 음성을 음성 인식 엔진을 이용하여 텍스트로 변환하고, 변환된 텍스트를 이용하여 사용자 의도(intent), 및/또는 객체 등을 확인하여, 사용자 명령을 확인하고, 확인된 사용자 명령에 대응되는 응답 정보를 생성할 수 있다. 이때, 프로세서(130)는 사용자 발화 음성에 대응하여 음성 인식 결과가 표시되도록 디스플레이(120)를 제어할 수 있다.
한편, 구현시에 프로세서(130)는 전자 장치(100) 자체적으로 상술한 동작을 수행하거나, 외부 서버(미도시)를 이용하여 음성 인식 결과에 따른 응답 정보를 획득할 수도 있다.
상술한 과정을 통하여 보이스 어시스턴스를 이용한 응답 정보가 생성되면, 프로세서(130)는 응답 정보가 표시되도록 디스플레이(120)를 제어할 수 있다. 이때, 복수의 보이스 애플리케이션의 동작에 의하여 복수의 응답 정보가 생성된 경우, 프로세서(130)는 복수의 보이스 애플리케이션 각각에 대한 응답 정보를 포함하는 UI 화면을 표시할 수 있다. 또는 프로세서(130)는 복수의 응답 정보 중 공통된 응답 정보만을 선택하고, 선택된 응답 정보만을 포함하는 UI 화면을 표시할 수도 있다.
그리고 프로세서(130)는 복수의 애플리케이션 구동에 의하여 복수의 화면을 표시 중에 사용자 음성 명령이 입력된 경우라면, 복수의 애플리케이션 각각에 대응되는 보이스 어시스턴스의 응답 정보를 복수의 애플리케이션의 화면에 대응되는 영역에 표시하도록 디스플레이(120)를 제어할 수 있다.
그리고 프로세서(130)는 제1 보이스 어시스턴스의 동작 중에 기설정된 음성 명령이 입력되면, 기설정된 음성 명령에 대응되는 제2 보이스 어시스턴스 동작을 활성화할 수 있다. 예를 들어, 프로세서(130)는 음성 명령이 입력되면 제1 보이스 어시스턴스를 이용하여 사용자 음성 명령을 확인하고, 확인된 사용자 음성 명령이 제2 보이스 어시스턴스를 호출하는 명령이면 제2 보이스 어시스턴스를 활성화하고, 제2 보이스 어시스턴스가 활성화되면 입력된 음성 명령을 제2 보이스 어시스턴스를 이용하여 처리할 수 있다. 즉, 음성 명령을 처리할 주체를 제2 보이스 어시스턴스로 전환할 수 있다.
한편, 앞서 설명한 바와 같이 복수의 보이스 애플리케이션이 모두 음성 인식 동작을 수행하고, 선택된 보이스 애플리케이션만이 응답 정보를 제공하는 형태로 구현되는 경우라면, 상술한 전환은 응답 정보를 제공하는 보이스 애플리케이션을 전환하는 것일 수 있다.
그리고 프로세서(130)는 확인된 사용자 음성 명령이 제1 보이스 어시스턴스를 호출하는 명령이면, 보이스 어시스턴스가 변경됨을 알리는 UI 화면이 표시되도록 디스플레이(120)를 제어할 수 있다.
한편, 도 2에서는 전자 장치(100)의 간단한 구성만을 도시하였지만, 전자 장치(100)는 도 2에 도시하지 않은 다양한 구성을 더 포함할 수도 있다. 이에 대해서는 도 3을 참조하여 아래에서 설명한다.
도 3은 본 개시의 일 실시 예에 따른 전자 장치의 구성을 나타내는 도면이다.
도 3을 참조하면, 전자 장치(100')는 메모리(110), 디스플레이(120), 프로세서(130), 통신 장치(140), 입력 장치(150), 마이크(160) 및 스피커(170)를 포함할 수 있다.
메모리(110), 디스플레이(120), 프로세서(130)의 동작에 대해서는 도 2에서 앞서 설명하였는바, 이하에서는 도 2에 설명하지 않는 다른 동작에 대해서만 설명한다.
통신 장치(140)는 적어도 하나의 회로를 포함하며 다양한 유형의 외부 장치와 통신을 수행할 수 있다. 이와 같은 통신 장치(140)는 구현 예에 따라 다양한 인터페이스로 구현될 수 있다. 예를 들어 통신 장치(140)는 다양한 타입의 디지털 인터페이스, AP 기반의 Wi-Fi(와이파이, Wireless LAN 네트워크), 블루투스(Bluetooth), 지그비(Zigbee), 유/무선 LAN(Local Area Network), WAN(Wide Area Network), 이더넷(Ethernet), NFC(Near Field Communication), IEEE 1394 중 적어도 하나의 인터페이스를 포함할 수 있다.
또한, 통신 장치(140)는 HDMI(High Definition Multimedia Interface), MHL (Mobile High-Definition Link), USB (Universal Serial Bus), DP(Display Port), 썬더볼트(Thunderbolt), VGA(Video Graphics Array)포트, RGB 포트, D-SUB(D-subminiature), DVI(Digital Visual Interface), AES/EBU(Audio Engineering Society/ European Broadcasting Union), 옵티컬(Optical), 코액셜(Coaxial) 중 적어도 하나의 인터페이스를 포함할 수 있다.
통신 장치(140)는 컨텐츠를 수신한다. 여기서 컨텐츠는 음악 컨텐츠, 동영상 컨텐츠 등의 음원 데이터를 갖는 컨텐츠이거나, 음원 데이터를 포함하지 않는 컨텐츠(예를 들어, 사진, 텍스트, e-book 등)일 수도 있다.
통신 장치(140)는 외부 서버와 통신할 수 있으며, 어시스턴스 기능 수행을 위한 각종 데이터를 송수신할 수 있다. 예를 들어, 통신 장치(140)는 사용자 발화 음성에 대응되는 오디오 신호 또는 해당 오디오 신호가 텍스트로 변환된 텍스트 정보를 외부 서버에 전송할 수 있다. 그리고 통신 장치(140)는 전송한 정보에 대응되는 응답 컨텐츠를 수신할 수 있다. 예를 들어, 사용자가 "음악 A 틀어줘"와 같은 음성을 발화한 경우, 통신 장치(140)는 음악 A에 대응되는 컨텐츠를 수신할 수 있다.
한편, 이와 같은 동작을 수행하는 경우, 상술한 발화 음성 또는 텍스트를 전송한 외부 서버와 이에 대한 응답 컨텐츠를 제공하는 외부 서버는 상호 상이할 수 있다. 즉, 상술한 발화 음성 또는 텍스트를 전송하는 외부 서버는 음성 인식 기능을 수행하는 서버일 수 있으며, 컨텐츠를 제공하는 외부 서버는 컨텐츠 제공 서버일 수 있다.
이와 같이 서로 다른 외부 서버가 연동하여 동작하는 경우, 전자 장치(100)는 별도의 개입 없이 컨텐츠 제공 서버로부터 직접 컨텐츠를 수신할 수 있으며, 음성 인식 기능을 수행하는 서버로부터 응답 메시지를 수신하고, 수신한 응답 메시지에 대응되는 요청 메시지를 컨텐츠 제공 서버에 제공하여 컨텐츠를 수신할 수도 있다. 예를 들어, 음성 인식을 수행하는 외부 서버는 A 음악 컨텐츠 재생이라는 응답 메시지를 생성하여, 전자 장치(100)에 제공할 수 있다. 이 경우, 전자 장치(100)는 컨텐츠 제공 서버에 A 음악 컨텐츠를 요청하여 수신할 수 있다. 또는 음성 인식을 수행하는 외부 서버가 직접 컨텐츠 제공 서버에 A 음악 컨텐츠를 전자 장치(100)에 제공하라는 명령을 전송할 수 있다. 이 경우, 전자 장치(100)는 바로 A 음악 컨텐츠를 수신할 수도 있다.
또한, 통신 장치(140)는 음성 인식 결과에 대응되는 명령을 수행하기 위한 정보 요청을 전송할 수 있다. 예를 들어, 사용자가 오늘 날씨를 요청한 경우, 전자 장치(100)는 오늘 날씨 정보를 출력해야 함을 인식하고, 외부 서버에 오늘 날씨에 대한 정보를 요청하여 수신할 수도 있다.
또한, 통신 장치(140)는 음성 인식 결과에 대응되는 명령을 다른 장치에 전송할 수 있다. 예를 들어, 사용자의 음성 명령이 다른 장치를 제어하는 명령(예를 들어, "에어컨 온도 낮춰줘")이라면, 다른 장치에 사용자 명령에 대응되는 제어 명령을 전송할 수 있다.
또한, 통신 장치(140)는 다른 장치로부터 음성 명령(구체적으로, 음원 데이터, 사용자 발화를 포함하는 음성 데이터)을 수신할 수 있다. 구체적으로, 사용자 발화 명령이 전자 장치(100)가 아닌 리모컨 또는 사용자 단말장치를 통하여 입력되는 경우, 해당 장치로부터 사용자 음성 데이터를 수신할 수 있다.
이때, 사용자 단말장치로부터 상술한 사용자 음성 데이터를 수신하는 경우, 통신 장치(140)는 사용자 단말장치의 사용자 정보 또는 보이스 어시스턴스 식별 정보를 함께 수신할 수 있다. 여기서 보이스 어시스턴스 식별 정보는 사용자가 사용자 단말장치에서 보이스 어시스턴스를 결정한 경우, 결정한 보이스 어시스턴스를 나타내는 식별 정보일 수 있다.
입력 장치(150)는 사용자의 제어 명령을 입력받기 위한 장치로 버튼으로 구성될 수 있다. 또는 입력 장치(150)는 디스플레이 장치(120)의 기능을 함께 수행하는 터치 스크린으로 구현될 수도 있다.
마이크(160)는 사용자 음성이나 기타 소리를 입력받아 오디오 데이터로 변환하기 위한 구성이다. 프로세서(130)는 마이크(160)를 통해 입력되는 사용자 음성을 이용하여 보이스 어시스턴스 기능을 수행할 수 있다. 또한, 마이크(160)는 복수의 위치에서 소리 입력을 받는 스테레오 마이크로 구성될 수 있다.
스피커(170)는 컨텐츠에 대응되는 소리를 출력한다. 그리고 스피커(170)는 각종 안내 메시지 또는 수신한 응답 메시지에 대응되는 응답 정보를 소리로 출력할 수 있다. 이러한 스피커(170)는 복수의 스피커 유닛으로 구성될 수 있다.
프로세서(130)는 외부 장치로부터 음성 데이터를 수신하는 경우(예를 들어, 사용자 단말장치(300)로부터 음성 데이터를 수신하는 경우), 음성 데이터에 포함된 사용자 정보 또는 보이스 어시스턴스 식별 정보를 함께 수신하면, 해당 정보를 이용하여 이용할 보이스 어시스턴스를 결정할 수 있다.
도 4는 본 개시의 일 실시 예에 따른 전자 장치의 동작을 설명하기 위한 도면이다.
도 4를 참조하면, 본 개시에 따른 통합 보이스 어시스턴스 기능의 다양한 동작 예를 도시한다. 도시된 예에서는 각 동작이 순차적으로 수행되는 것으로 도시되어 있으나, 구현시에는 순서는 도시된 예와 상이한 형태로 적용될 수 있다.
먼저, 대기 상태(410)를 설명한다. 대기 상태(410)는 복수의 보이스 어시스턴스가 대기할 수 있다. 한편, 도시된 예에서는 3개의 보이스 어시스턴스가 설치된 경우를 도시하나, 구현시에는 2개의 보이스 어시스턴스가 설치된 경우뿐만 아니라, 4개 이상의 보이스 어시스턴스가 설치되어 있을 수 있다.
이와 같은 대기 상태(410)에서 보이스 어시스턴스를 호출 이벤트가 발행되면, 이용할 보이스 어시스턴스가 결정된다. 앞서 설명한 바와 같이 현재 실행중인 애플리케이션, 이용한 사용자 정보 등을 결정하여 이용할 보이스 어시스턴스가 결정될 수 있다. 예를 들어, TV 시청 상태(420)인 경우, TV 시청과 관련된 애플리케이션에 대응되는 제1 보이스 어시스턴스가 이용할 보이스 어시스턴스로 결정될 수 있다.
이와 같이 제1 보이스 어시스턴스를 이용한 어시스턴스 기능이 수행되면, 전자 장치(100)는 제1 보이스 어시스턴스를 이용하여 사용자 발화 음성에 대한 음성 인식 등의 처리를 수행하여 응답 정보를 표시할 수 있다.
일 실시 예로서, 제1 보이스 어시스턴스를 이용하여 어시스턴스 기능의 수행 중에, 사용자가 제2 보이스 어시스턴스의 전환을 요청한 경우, 전환 상태(430)가 될 수 있다. 예를 들어, 사용자가 제2 보이스 어시스턴스의 키워드를 포함하는 전환 명령을 입력한 경우, 전자 장치(100)는 이용할 보이스 어시스턴스를 제2 보이스 어시스턴스로 전환할 수 있다. 이때, 전환 상태(430)는 보이스 어시스턴스가 전환중임을 나타내는 화면을 표시할 수 있다.
일 실시 예로서, TV 시청 상태(420), 전환 상태(430) 각각에서 하나의 보이스 어시스턴스가 이용되는 것으로 설명하였지만, 사용자 음성 명령에 대응하여 복수의 보이스 어시스턴스가 동시에 이용될 수 있다.
구체적으로, 사용자가 이용할 보이스 어시스턴스를 특정하지 않거나, 사용자의 발화 명령이 복수의 보이스 어시스턴스에서 처리 가능한 상황이라면, 복수의 보이스 어시스턴스를 동시에 이용하여 개별적인 응답 정보를 획득할 수 있다 그리고, 획득된 응답 정보를 이용한 응답 정보를 표시할 수 있다. 예를 들어, 응답 정보 제공 상태(440)와 같이 화면에 복수의 어시스턴스 각각의 응답 결과를 함께 표시할 수 있다.
또한, 전자 장치(100)가 멀티뷰로 동작하는 경우, 즉 복수의 애플리케이션이 실행되어, 복수의 애플리케이션의 화면이 동시에 표시되는 중인 경우, 각 애플리케이션 각각에 대응되는 보이스 어시스턴스가 개별적으로 동작하고, 그에 따른 결과도 개별적으로 표시할 수 있다(450).
도 5는 본 개시의 일 실시 예에 따른 전자 장치의 동작을 설명하기 위한 도면이다. 구체적으로, 도 5는 통합 엔진(131) 및 사용자 음성(또는 사용자 음성 명령)을 사용자 단말장치(300)를 통하여 전자 장치(100)가 입력받은 경우, 전자 장치(100)의 동작을 설명하기 위한 도면이다.
먼저, 준비 단계(510)에서는 앞서 설명한 바와 같이 복수의 보이스 어시스턴스(예를 들어, VA1, VA2, VA3)가 전자 장치(100)에 탑재될 수 있다.
이와 같은 상황에서 사용자 단말장치(300)로부터 사용자 음성 데이터가 수신되면, 통합 엔진(131)은 사용자 계정 정보 및/또는 현재 실행 중인 애플리케이션 등에 기초하여 (예를 들어, 전자 장치(100) 또는 통합 엔진(131)에서) 이용할 보이스 어시스턴스를 결정한다. 그리고 통합 엔진(131)은 결정된 보이스 어시스턴스를 이용한 어시스턴스 기능을 수행할 수 있다(520). 반대로, 통합 엔진(131)은 결정된 보이스 어시스턴스를 전자 장치(100)에 통지할 수 있으며, 그에 따라 전자 장치(100)는 결정된 보이스 어시스턴스를 이용하여 어시스턴스 기능을 수행할 수 있다. 이때, 전자장치(100)는 결정된 보이스 어시스턴스를 나타내는 정보를 화면에 표시할 수 있다.
이와 같이 제1 보이스 어시스턴스(예를 들어, VA1)를 이용하여 어시스턴스 기능을 수행 중에 사용자가 다른 보이스 어시스턴스로의 전환 명령을 입력하면, 통합 엔진(131)은 전자 장치(100)로부터 제1 보이스 어시스턴스(예를 들어, VA1)에서 제2 보이스 어시스턴스(예를 들어, VA2)로 전환하는 요청을 전자 장치(100)로부터 수신할 수 있다.
통합 엔진(131)은 이용할 보이스 어시스턴스를 제1 보이스 어시스턴스에서 사용자 전환 명령에 대응되는 제2 보이스 어시스턴스로의 전환을 결정할 수 있다.
단계 540에서, 통합 엔진(131)은 전환된 보이스 어시스턴스인 제2 어시스턴스(예를 들어, VA2)에 대한 정보를 전자 장치(100)에 전송할 수 있다. 전자 장치(100)는 보이스 어시스턴스의 전환을 표시할 수 있다. 이때, 전환을 나타내는 화면(540)을 표시하는 것뿐만 아니라, 소리로도 보이스 어시스턴스가 전환되었음을 출력할 수 있다. 이와 같은 보이스 어시스턴스의 전환 과정에서 표시될 수 있는 사용자 인터페이스 창에 대해서는 도 6에서 후술한다.
그리고 사용자 음성 명령이 입력되면, 통합 엔진(131)은 해당 음성 명령을 분석하여 해당 음성 명령을 처리할 보이스 어시스턴스를 결정할 수 있다. 도시된 예와 같이 사용자의 음성 명령이 특정 보이스 어시스턴스를 특정하지 않은 요청인 경우나, 동작 주체를 "TV"로 부르는 경우 등에 복수의 보이스 어시스턴스를 이용하는 것으로 결정할 수 있다. 이와 같은 동작은 최초 보이스 어시스턴스 기능의 호출 이벤트 시점뿐만 아니라, 특정 보이스 어시스턴스를 이용한 어시스턴스 기능의 수행 중에도 수행될 수 있다.
예를 들어, 제2 보이스 어시스턴스(VA2)를 이용한 어시스턴스 기능의 수행 중에 통합 엔진(131)은 제2 보이스 어시스턴스에서의 음성 인식 결과를 수신하고, 수신된 음성 인식 결과에 기초하여 다른 보이스 어시스턴스에서도 해당 사용자 요청을 수행할 수 있는지를 결정할 수 있다. 이때, 통합 엔진(131)은 문맥 분석을 통하여 상술한 동작을 수행할 수도 있으며, 해당 음성 인식 결과에 통합 검색을 나타내는 키워드(예를 들어, TV)의 포함 여부로 상술한 결정을 수행할 수 있다.
또는 통합 엔진(131)은 상술한 음성 인식 결과에 기초하여 해당 동작을 현재 보이스 어시스턴스가 아닌 다른 보이스 어시스턴스에서만 가능한 것으로 판단하면, 해당 음성 인식 결과를 수행할 수 있는 보이스 어시스턴스에서만 해당 동작을 수행하도록 할 수도 있다. 예를 들어, 사용자 발화 요청이 다른 장치를 제어하는 명령인데, 현재 동작중인 보이스 어시스턴스에서는 해당 동작을 수행하지 못하고, 다른 보이스 어시스턴스에서만 해당 동작을 수행할 수 있는 경우에는 해당 명령을 수행할 수 있는 보이스 어시스턴스만을 이용하는 것으로 결정할 수도 있다.
이와 같은 결정이 있으면, 통합 엔진(131)은 복수의 보이스 어시스턴스를 이용하는 것으로 결정하고, 사용자가 음성 메시지를 복수의 보이스 어시스턴스에 제공하여, 각각으로부터 응답 정보를 수신할 수 있다. 이를 위하여 통합 엔진(131)은 사용자의 음성 데이터를 일정 시간 저장하고 있다가, 다른 보이스 어시스턴스에 저장된 음성 데이터를 제공할 수 있다. 또는 통합 엔진(131)은 현재 동작 중인 보이스 어시스턴스에서 출력한 음성 인식 결과(예를 들어, 텍스트 정보 또는 문맥 분석 등이 완료된 사용자 요청)을 다른 보이스 어시스턴스에 제공할 수도 있다.
그리고 통합 엔진(131)은 복수의 보이스 어시스턴스 각각으로부터 수신한 응답 정보를 표시할 수 있다(550). 이때, 통합 엔진(131)은 확인된 응답 정보를 모두 제공할 수도 있으며, 공통된 응답 정보만을 제공할 수도 있다. 또는 통합 엔진(131)은 복수의 응답 정보만을 제공하되 공통된 응답에 대해서는 다른 응답보다 식별력 있게 처리하여 표시할 수도 있다. 복수의 보이스 어시스턴스를 이용한 통합 응답 과정에서 표시될 수 있는 사용자 인터페이스 창의 다양한 예에 대해서는 도 8 내지 도 10을 참조하여 후술한다.
그리고 통합 엔진(131)은 복수의 멀티뷰 화면을 제공 중인 경우라며, 각 멀티뷰 화면에 대응되는 응답 정보를 분리하여 표시할 수 있다(560). 예를 들어, 제1 내지 제3 애플리케이션이 실행 중이라면, 제1 애플리케이션에 대응되는 화면에, 제1 애플리케이션에 대응되는 보이스 어시스턴스의 응답을 표시하고, 제2 애플리케이션에 대응되는 화면에, 제2 애플리케이션에 대응되는 보이스 어시스턴스의 응답을 표시하고, 제3 애플리케이션에 대응되는 화면에 제3 애플리케이션에 대응되는 보이스 어시스턴스의 응답을 표시할 수 있다. 이와 같은 멀티뷰 환경에서의 디스플레이에서 표시될 수 있는 사용자 인터페이스 창의 예에 대해서는 도 7을 참조하여 후술한다.
한편, 이상에서는 본 개시에 따른 다양한 기능을 설명하였는데, 이하에서는 가 기능의 동작을 도 6 내지 도 10을 참조하여 보다 상세하게 설명한다.
도 6은 본 개시의 일 실시 예에 따른 보이스 어시스턴스의 전환 동작을 설명하기 위한 도면이다.
도 6을 참조하면, 제1 화면(610)은 컨텐츠 및 사용자 음성에 대응된 음성 인식 결과를 표시할 수 있다. 이와 같이 사용자 요청이 다른 보이스 어시스턴스로의 전환인 경우, 전자 장치(100)는 보이스 어시스턴스를 전환할 수 있다. 한편, 도시된 예에서는 사용자의 요청에 따라 보이스 어시스턴스가 전환되는 것으로 설명하였지만, 구현시에는 사용자 발화 명령이 아닌 다른 이벤트에 의해서도 전환이 수행될 수 있다.
예를 들어, 사용자 발화 명령에 따른 기능을 현재 보이스 어시스턴스에서 수행하지 못하나 다른 보이스 어시스턴스에서는 수행할 수 있는 경우, 사용자 발화 명령에 따른 기능을 수행할 수 있는 다른 보이스 어시스턴스로의 전환이 사용자 발화와 상관없이 결정될 수 있다.
상술한 예시로, 사용자 발화 명령이 외부 장치를 제어하는 것이나, 현재 보이스 어시스턴스에서는 해당 기능을 수행하지 못하나 다른 보이스 어시스턴스에서는 해당 기능을 수행할 수 있는 경우가 하나의 예시일 수 있다. 또한, 각 보이스 어시스턴스는 각 보이스 어시스턴스에 대응되는 외부 서버를 이용하여 음성 어시스턴스 기능을 수행할 수 있다. 만약, 제1 보이스 어시스턴스와 그에 대응되는 제1 외부 서버 간의 통신 장애가 있으나, 제2 보이스 어시스턴스와 그에 대응되는 제2 외부 서버 간에는 통신 장애가 없는 경우도 하나의 예시일 수 있다.
이와 같은 과정에서, 전환 중임을 알리는 제2 화면(620)을 표시할 수 있다. 그리고 보이스 어시스턴스가 전환되면, 전환이 완료되어 사용자 음성 명령을 수신할 준비가 되었음을 표시하는 제3 화면(630)을 표시할 수 있다.
한편, 도시된 예에서는 전자 장치(100)의 동작 상태만을 표시하였지만, 구현시에는 현재 동작하는 보이스 어시스턴스에 대한 정보(또는 아이콘)를 각 화면에 표시할 수 있다. 즉, 제1 화면(610)에서는 제1 보이스 어시스턴스에 대응되는 제1 아이콘이 화면의 일 측에 표시할 수 있으며, 제3 화면(630)에서는 제2 보이스 어시스턴스에 대응되는 제2 아이콘을 화면의 일 측에 표시할 수 있다. 그리고 제2 화면(630)에서는 좌측에 제1 보이스 어시스턴스에 대응되는 제1 아이콘, 우측에 제2 보이스 어시스턴스에 대응되는 제2 아이콘을 표시하여, 제1 보이스 어시스턴스에서 제2 보이스 어시스턴스로의 전환 중임을 직관적으로 표시할 수 있다.
도 7은 본 개시의 일 실시 예에 따른 멀티뷰 동작시에 어시스턴스 기능을 설명하기 위한 도면이다.
도 7을 참조하면, 전자 장치(100)는 복수의 애플리케이션 각각에 대응되는 UI(711, 713, 715)를 하나의 화면(710)으로 표시할 수 있다. 한편, 도시된 예에서는 3개의 UI가 표시되는 멀티뷰 화면의 예를 도시하였지만, 구현시에는 2개의 UI가 표시될 수도 있으며, 4개 이상의 UI가 표시될 수도 있다.
이와 같은 멀티뷰 상태에서, 기존에는 사용자 발화 명령에 따른 응답 정보를 제공시에 멀티뷰 환경의 고려 없이, 응답 정보를 표시하였다. 즉, 기존에는 멀티뷰 환경에서, 각 멀티뷰에 대응되는 애플리케이션 각각에 대해서 개별 제어가 어려웠다.
이러한 점을 해결하기 위하여, 본 개시에서는 응답 정보 등의 제공 과정 또는 동작 중에 각 멀티뷰 또는 각 화면에 대응되는 애플리케이션을 특정하는 어시스턴스 기능을 제공한다.
구체적으로, 멀티뷰 상태에서, 사용자가 특정 애플리케이션의 동작을 요청하는 음성 명령을 입력한 경우, 해당 응답 결과는 해당 애플리케이션에 대응되는 화면에만 표시될 수 있다. 또한, 사용자가 애플리케이션을 특정하지 않는 경우에도, 사용자의 포커스, 이력 등을 고려하여 현재 음성 명령이 적용될 UI 화면 또는 애플리케이션을 결정할 수 있다.
즉, 제2 화면(720)과 같이 복수의 애플리케이션 각각에 대응되는 UI(721, 723, 725) 중 사용자가 요청한 애플리케이션에 대응되는 화면(723)에만 응답 정보(724)를 표시할 수 있다. 이와 같이 특정 화면에만 응답 정보가 표시되는바, 음성 명령을 통하여 실행 중인 복수의 애플리케이션 중 특정 애플리케이션에 대한 개별 제어를 수행하는 것이 가능하다.
도 8 내지 도 10은 본 개시의 일 실시 예에 따른 통합 결과를 표시하는 UI 화면의 예를 도시한 도면이다.
구체적으로, 도 8은 복수의 보이스 어시스턴스를 이용한 응답 정보를 제공하는 과정에서, 복수의 보이스 어시스턴스에서 생성한 응답 정보 중 공통된 응답 정보만을 표시하는 UI 화면의 예를 나타내는다.
예를 들어, "사용자가 볼만한 프로그램 추천해줘"라는 음성 명령을 입력한 경우, 통합 엔진은 복수의 보이스 어시스턴스를 이용하여 상술한 음성 명령에 대응되는 응답 정보를 획득할 수 있다. 이와 같은 응답 정보가 획득되면, 통합 엔진은 공통된 응답 정보만을 응답 결과(811)로서 화면(810)에 표시할 수 있다.
이와 같이 본 개시에 따른 전자 장치는 복수의 보이스 어시스턴스에서 공통으로 추천하는 응답 정보를 표시하는바, 사용자 의도에 보다 부합하거나 보다 정확한 정보 제공이 가능하다.
도 9를 참조하면, 공통된 결과가 없는 경우나, 사용자 설정 등에 기초하여 각 복수의 보이스 애플리케이션에서의 생성한 응답 결과를 개별적으로 출력한 경우를 도시한다. 도 9를 참조하면, 화면(910)은 각 보이스 어시스턴스의 응답 결과를 개별적으로 구분하여 표시함을 확인할 수 있다. 한편, 각 응답 결과는 하나의 결과를 포함하는 형태로 도시하였으나, 구현시에는 각 보이스 어시스턴스의 응답 결과는 복수의 컨텐츠(또는 정보)를 포함할 수 있다.
이와 같이 본 개시에 따른 전자 장치는 복수의 보이스 어시스턴스의 응답 결과를 통하여 하여 한 번에 표시하는바, 사용자는 손쉽게 원하는 정보를 확인하는 것이 가능하다. 즉, 기존과 같이 하나의 보이스 어시스턴스만을 제어할 수 있는 환경이라면, 사용자는 보이스 어시스턴스를 개별적으로 호출하면서 각 보이스 어시스턴스의 응답 정보를 하나씩 확인하여야 하였으나, 본 개시에서는 하나의 동작으로 통합 결과를 표시하는바 사용자는 보다 손쉽게 원하는 정보를 확인하는 것이 가능하다.
도 10은 특정 보이스 어시스턴스만이 사용자 요청에 따른 응답 동작이 가능한 경우를 설명한다.
예를 들어, 사용자가 "에어컨 바람 세기 조절해줘"라는 발화 명령을 입력한 경우, 제1 보이스 어시스턴스만 에어컨을 제어할 수 있는 경우, 도 10에 도시된 바와 같이 제1 보이스 어시스턴스만의 응답 정보만을 표시할 수 있다.
이와 같이 사용자는 특정 보이스 어시스턴스를 특정하지 않더라도, 사용자가 요청에 대응되는 보이스 어시스턴스가 결정되어 동작하는바, 사용자 편의성이 향상된다.
즉, 기존이라면 사용자가 에어컨을 제어할 수 있는 보이스 어시스턴스를 결정하여 해당 보이스 어시스턴스를 호출하여야 하였다. 만약, 다른 보이스 어시스턴스를 이용중이라면, 해당 보이스 어시스턴스의 기능을 종료하고, 에어컨을 제어할 수 있는 보이스 어시스턴스를 호출하여 상술한 동작을 수행하였다. 그러나 본 개시에 따른 통합 엔진을 이용함으로써, 사용자는 보이스 어시스턴스를 특정하지 않더라도, 사용자의 요청에 따른 응답을 얻을 수 있다.
도 11은 본 개시의 일 실시 예에 따른 전자 장치의 제어 동작을 설명하기 위한 흐름도이다.
도 11을 참조하면, 먼저 사용자 음성 명령이 입력되면(S1110), 서로 다른 보이스 어시스턴스 중 적어도 하나의 보이스 어시스턴스를 이용하여 응답 정보를 생성한다(S1120).
한편, 상술한 동작은 이용할 보이스 어시스턴스가 미리 결정되어 있는 경우를 설명하였으나, 이용할 보이스 어시스턴스가 미리 결정되어 있지 않은 경우, 예를 들어, 보이스 어시스턴스 호출 이벤트가 발생한 상황에서는 사용자 발화 키워드, 사용자 계정, 현재 구동중인 애플리케이션, 보이스 어시스턴스 이력 정보 중 적어도 하나에 기초하여 적어도 하나의 보이스 어시스턴스를 결정할 수 있다.
이때, 하나의 보이스 어시스턴스가 아니라 복수의 보이스 어시스턴스를 결정할 수도 있다. 만약, 복수의 보이스 어시스턴스가 결정된 상태라면, 복수의 보이스 어시스턴스 각각의 응답 정보를 포함하는 UI 화면을 표시할 수 있다. 이때, 복수의 애플리케이션 각각에 대응되는 복수의 화면을 표시 중에 사용자 음성 명령이 입력되면, 복수의 애플리케이션 각각에 대응되는 보이스 어시스턴스의 응답 정보를 복수의 애플리케이션의 화면에 대응되는 영역에 표시할 수 있다. 또는 복수의 보이스 어시스턴스가 결정된 상태라면, 복수의 보이스 어시스턴스 각각의 응답 정보 중 공통된 응답만을 포함하는 UI 화면을 표시할 수도 있다.
그리고 제1 보이스 어시스턴스의 동작 중에 기설정된 음성 명령이 입력되면(S1130), 기설정된 음성 명령에 대응되는 제2 보이스 어시스턴스 동작을 활성화한다(S1140). 구체적으로, 음성 명령이 입력되면 제1 보이스 어시스턴스를 이용하여 사용자 음성 명령을 확인하고, 확인된 사용자 음성 명령이 제2 보이스 어시스턴스를 호출하는 명령이면 제2 보이스 어시스턴스를 활성화하고, 제2 보이스 어시스턴스가 활성화되면 입력된 음성 명령을 제2 보이스 어시스턴스를 이용하여 처리할 수 있다. 이때, 확인된 사용자 음성 명령이 제1 보이스 어시스턴스를 호출 또는 활성화하는 명령이면, 보이스 어시스턴스가 변경됨을 알리는 UI 화면을 표시할 수 있다.
또는 음성 명령이 입력되면 제1 보이스 어시스턴스를 이용하여 사용자 음성 명령을 확인하고, 확인된 사용자 음성 명령이 다른 제2 보이스 어시스턴스에서도 처리 가능한 음성 명령이면, 제2 보이스 어시스턴스도 활성화하고, 제1 보이스 어시스턴스 및 제2 보이스 어시스턴스 각각을 이용하여 응답 정보를 생성할 수도 있다.
이상과 같이 본 개시에 따른 전자 장치에서의 제어 방법은 복수의 보이스 어시스턴스를 통합하여 관리(또는 처리)하는바, 사용자는 손쉽게 보이스 어시스턴스를 선택/전환하는 것이 가능하며, 한 번의 음성 명령을 통하여 다양하거나 또는 더욱 정확한 정보를 제공받는 것이 가능하다.
도 12는 본 개시의 일 실시 예에 따른 통합 보이스 어시스턴스의 동작을 설명하기 위한 흐름도이다.
도 12를 참조하면, 보이스 어시스턴스 호출 이벤트가 발생하였는지를 확인한다. 구체적으로, 이러한 보이스 어시스턴스 호출 이벤트는 사용자가 전자 장치, 리모컨, 또는 사용자 단말장치에 구비된 마이크 버튼을 누르거나, 선택한 경우(S1205), 또는 사용자가 특정 키워드(트리거 명령)를 발화한 경우(S1240)일 수 있다.
만약, 마이크를 누른 경우라면(S1205-Y), 현재 화면의 문맥을 파악하기 위한 이력이 있는지를 확인할 수 있다(S1210). 여기서 이력 정보는 TV 시청 이력, 특정 앱을 수행하였는지, 검색 과정인지, 특정 앱 컨텐츠에 포커스가 맞춰져 있는지 등일 수 있다.
이력 정보가 있는 경우(S1210-Y), 이력 정보에 기초하여 이용할 보이스 어시스턴스가 결정될 수 있다(S1215). 그리고 결정된 보이스 어시스턴스를 이용한 어시스턴스 기능이 수행될 수 있다(S1220).
이력 정보가 없는 경우(S1210-N), 상술한 이력 정보 이외에 기저장된 알고리즘을 이용하여 이용할 보이스 어시스턴스를 결정할 수 있다(S1225). 그리고 결정된 보이스 어시스턴스를 이용한 어시스턴스 기능을 수행할 수 있다.
한편, 제1 보이스 어시스턴스의 이용 중에 사용자가 다른 보이스 어시스턴스의 전환 명령을 입력한 경우(S1230). 보이스 어시스턴스를 전환하고, 전환 과정을 표시할 수 있다(S1235).
전환이 완료되면, 전환된 보이스 어시스턴스를 이용하여 어시스턴스 기능을 수행할 수 있다.
만약, 사용자가 마이크 버튼을 누르지 않은 경우, 사용자 발화 음성에 특정 키워드가 포함되어 있는지를 확인할 수 있다(S1240). 예를 들어, 통합 엔진을 호출하는 키워드(예를 들어, "TV야" 등), 특정 보이스 어시스턴스에 대응되는 키워드(예를 들어, "하이 빅스비" 등)를 포함하면 보이스 어시스턴스 기능을 호출할 것으로 판단할 수 있다.
이와 같은 보이스 어시스턴스 기능이 호출되면, 전자 장치(100)가 멀티 뷰로 동작 중인지를 판단한다(S1245).
만약 멀티뷰로 동작 중인 경우, 보이스 어시스턴스 기능을 수행하고, 그 결과를 표시시에 각 멀티뷰의 컨텐츠에 따라 그 결과를 표시할 수 있다(S1250).
만약, 멀티뷰로 동작하지 않은 경우, 보이스 어시스턴스 기능을 수행할 보이스 어시스턴스를 결정한다. 만약 결정된 보이스 어시스턴스가 하나인 경우, 해당 보이스 어시스턴스를 이용한 보이스 어시스턴스 기능을 수행할 수 있다(S1260).
만약 복수의 보이스 어시스턴스가 이용되는 것으로 결정되면, 복수의 보이스 어시스턴스를 이용하여 어시스턴스 기능을 수행하고, 각 보이스 어시스턴스의 응답 결과를 통하여 사용자에게 제공할 수 있다(S1260).
상술한 본 개시의 하나 이상의 실시 예 중 적어도 일부에 따른 방법들은, 기존 전자 장치에 설치 가능한 애플리케이션 형태로 구현될 수 있다.
상술한 본 개시의 다양한 실시 예 중 적어도 일부에 따른 방법들은, 기존 전자 장치에 대한 소프트웨어 업그레이드, 또는 하드웨어 업그레이드만으로도 구현될 수 있다.
상술한 본 개시의 다양한 실시 예 중 적어도 일부에 따른 방법들은, 전자 장치에 구비된 임베디드 서버, 또는 전자 장치 중 적어도 하나의 외부 서버를 통해 수행되는 것도 가능하다.
본 개시의 일 실시 예에 따르면, 이상에서 설명된 다양한 실시 예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media에 저장된 명령어를 포함하는 소프트웨어로 구현될 수 있다. 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작할 수 있는 장치로서, 개시된 실시 예들에 따른 전자 장치(예: 전자 장치(A))를 포함할 수 있다. 명령이 프로세서에 의해 실행될 경우, 프로세서가 직접, 또는 프로세서의 제어 하에 다른 구성요소들을 이용하여 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적 저장매체'는 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예로, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다. 일 실시 예에 따르면, 본 문서에 개시된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 애플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품(예: 다운로더블 앱(downloadable app))의 적어도 일부는 제조사의 서버, 애플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
본 개시의 하나 이상의 실시 예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media에 저장된 명령어를 포함하는 소프트웨어로 구현될 수 있다. 기기는 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시 예들에 따른 전자 장치(예: 전자 장치(100))를 포함할 수 있다.
상술한 명령이 프로세서에 의해 실행될 경우, 프로세서가 직접 또는 상술한 프로세서의 제어하에 다른 구성요소들을 이용하여 상술한 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다.
이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시가 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.

Claims (15)

  1. 전자 장치에 있어서,
    디스플레이;
    복수의 보이스 어시스턴스 각각에 대응되는 복수의 어시스턴스 인스트럭션을 저장하는 메모리; 및
    상기 디스플레이 및 상기 메모리와 작동 가능하게 연결되는 적어도 하나의 프로세서;를 포함하고,
    상기 적어도 하나의 프로세서는,
    사용자 음성 명령에 기초하여 적어도 하나의 보이스 어시스턴스를 이용하여 응답 정보를 생성하고,
    상기 생성된 응답 정보를 표시하도록 상기 디스플레이를 제어하고,
    제1 보이스 어시스턴스의 동작 중에 기설정된 음성 명령에 기초하여, 상기 기설정된 음성 명령에 대응되는 제2 보이스 어시스턴스 동작을 활성화하는 전자 장치.
  2. 제1항에 있어서,
    상기 적어도 하나의 프로세서는,
    음성 명령에 기초하여 제1 보이스 어시스턴스를 이용하여 사용자 음성 명령을 확인하고,
    상기 확인된 사용자 음성 명령에 기초하여 상기 제2 보이스 어시스턴스를 활성화하고,
    상기 활성된 제2 보이스 어시스턴스에 기초하여 상기 입력된 음성 명령을 상기 제2 보이스 어시스턴스를 이용하여 처리하는 전자 장치.
  3. 제2항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 확인된 사용자 음성 명령에 기초하여, 보이스 어시스턴스가 상기 제1 보이스 어시스턴스에서 상기 제2 보이스 어시스턴스로 변경됨을 알리는 UI(User Interface) 화면을 표시하도록 상기 디스플레이를 제어하는 전자 장치.
  4. 제1항에 있어서,
    상기 적어도 하나의 프로세서는,
    음성 명령에 기초하여 제1 보이스 어시스턴스를 이용하여 사용자 음성 명령을 확인하고,
    상기 확인된 사용자 음성 명령이 제2 보이스 어시스턴스에서도 처리 가능한지에 기초하여, 상기 제2 보이스 어시스턴스도 활성화하고,
    상기 제1 보이스 어시스턴스 및 상기 제2 보이스 어시스턴스 중 적어도 하나를 이용하여 응답 정보를 생성하는 전자 장치.
  5. 제1항에 있어서,
    상기 적어도 하나의 프로세서는,
    보이스 어시스턴스 호출 이벤트에 대응하여, 사용자 발화 키워드, 사용자 계정, 현재 구동중인 애플리케이션, 보이스 어시스턴스 이력 정보 중 적어도 하나에 기초하여 적어도 하나의 보이스 어시스턴스를 결정하고,
    상기 결정된 적어도 하나의 보이스 어시스턴스를 활성화하는 전자 장치.
  6. 제1항에 있어서,
    상기 적어도 하나의 프로세서는,
    보이스 어시스턴스 호출 이벤트에 기초하여, 복수의 보이스 어시스턴스를 활성화하고, 상기 활성화된 복수의 보이스 어시스턴스 각각을 이용하여 사용자 음성 명령을 처리하는 전자 장치.
  7. 제6항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 복수의 보이스 어시스턴스 각각의 응답 정보를 포함하는 UI 화면을 표시하도록 상기 디스플레이를 제어하는 전자 장치.
  8. 제7항에 있어서,
    상기 적어도 하나의 프로세서는,
    복수의 애플리케이션 각각에 대응되는 복수의 서브 영역을 상기 디스플레이가 표시 중에 입력된 사용자 음성 명령에 기초하여, 상기 복수의 애플리케이션 각각에 대응되는 보이스 어시스턴스의 응답 정보를 상기 복수의 서브 영역 각각에 표시하도록 상기 디스플레이를 제어하는 전자 장치.
  9. 제6항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 응답 정보 또는 상기 복수의 보이스 어시스턴스에 공통된 정보를 포함하는 UI 화면을 표시하도록 상기 디스플레이를 제어하는 전자 장치.
  10. 제1항에 있어서,
    사용자 음성을 포함하는 음성 데이터를 수신하는 통신 장치; 를 더 포함하고,
    상기 적어도 하나의 프로세서는,
    상기 통신 장치로부터 음성 데이터와 함께 보이스 어시스턴스 식별 정보를 수신하면, 상기 보이스 어시스턴스 식별 정보에 대응되는 보이스 어시스턴스를 이용하여 응답 정보를 생성하는 전자 장치.
  11. 제1항에 있어서,
    사용자 음성 및 사용자 정보를 포함하는 음성 데이터를 수신하는 통신 장치;를 더 포함하고,
    상기 적어도 하나의 프로세서는,
    상기 수신된 사용자 정보에 기초하여, 상기 수신된 사용자 정보에 대응되는 보이스 어시스턴스를 이용하여 응답 정보를 생성하는 전자 장치.
  12. 전자 장치에서의 제어 방법에 있어서,
    사용자 음성 명령을 수신하는 단계;
    상기 사용자 음성 명령에 기초하여, 복수의 보이스 어시스턴스 중 적어도 하나의 보이스 어시스턴스를 이용하여 응답 정보를 생성하는 단계;
    상기 생성된 응답 정보를 표시하는 단계; 및
    제1 보이스 어시스턴스의 동작 중에 기설정된 음성 명령이 입력되면, 상기 기설정된 음성 명령에 대응되는 제2 보이스 어시스턴스 동작을 활성화하는 단계;를 포함하는 제어 방법.
  13. 제12항에 있어서,
    상기 기설정된 음성 명령에 대응되는 상기 제2 보이스 어시스턴스 동작을 활성화하는 단계는,
    음성 명령에 기초하여 제1 보이스 어시스턴스를 이용하여 사용자 음성 명령을 확인하고,
    상기 확인된 사용자 음성 명령에 기초하여 상기 제2 보이스 어시스턴스를 활성화하고,
    상기 활성된 제2 보이스 어시스턴스에 기초하여 상기 입력된 음성 명령을 상기 제2 보이스 어시스턴스를 이용하여 처리하는 제어 방법.
  14. 제12항에 있어서,
    상기 기설정된 음성 명령에 대응되는 상기 제2 보이스 어시스턴스 동작을 활성화하는 단계는,
    음성 명령에 기초하여 제1 보이스 어시스턴스를 이용하여 사용자 음성 명령을 확인하고,
    상기 확인된 사용자 음성 명령이 제2 보이스 어시스턴스에서도 처리 가능한지에 기초하여, 상기 제2 보이스 어시스턴스도 활성화하고,
    상기 제1 보이스 어시스턴스 및 상기 제2 보이스 어시스턴스 중 적어도 하나를 이용하여 응답 정보를 생성하는 제어 방법.
  15. 제12항에 있어서,
    보이스 어시스턴스 호출 이벤트에 대응하여, 사용자 발화 키워드, 사용자 계정, 현재 구동중인 애플리케이션, 보이스 어시스턴스 이력 정보 중 적어도 하나에 기초하여 적어도 하나의 보이스 어시스턴스를 결정하는 단계; 및
    상기 결정된 적어도 하나의 보이스 어시스턴스를 활성화하는 단계;를 더 포함하는 제어 방법.
PCT/KR2023/009684 2022-11-11 2023-07-07 전자 장치 및 그 제어 방법 WO2024101576A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/244,714 US20240161752A1 (en) 2022-11-11 2023-09-11 Electronic apparatus and controlling method thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020220150957A KR20240069443A (ko) 2022-11-11 전자 장치 및 그 제어 방법
KR10-2022-0150957 2022-11-11

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/244,714 Continuation US20240161752A1 (en) 2022-11-11 2023-09-11 Electronic apparatus and controlling method thereof

Publications (1)

Publication Number Publication Date
WO2024101576A1 true WO2024101576A1 (ko) 2024-05-16

Family

ID=91033119

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/009684 WO2024101576A1 (ko) 2022-11-11 2023-07-07 전자 장치 및 그 제어 방법

Country Status (1)

Country Link
WO (1) WO2024101576A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140052155A (ko) * 2012-10-19 2014-05-07 삼성전자주식회사 디스플레이 장치, 디스플레이 장치 제어 방법 및 디스플레이 장치의 제어를 위한 정보처리장치
KR20170086814A (ko) * 2016-01-19 2017-07-27 삼성전자주식회사 음성 인식 기능을 제공하는 전자 장치 및 그 동작 방법
KR20210016815A (ko) * 2019-08-05 2021-02-17 삼성전자주식회사 복수의 지능형 에이전트를 관리하는 전자 장치 및 그의 동작 방법
KR102394278B1 (ko) * 2021-10-28 2022-05-03 이희선 가상 비서 서비스를 제공하는 서버의 제어 방법
JP2022536765A (ja) * 2019-06-12 2022-08-18 ソノズ インコーポレイテッド コマンドキーワード調整を伴うネットワークマイクロフォンデバイス

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140052155A (ko) * 2012-10-19 2014-05-07 삼성전자주식회사 디스플레이 장치, 디스플레이 장치 제어 방법 및 디스플레이 장치의 제어를 위한 정보처리장치
KR20170086814A (ko) * 2016-01-19 2017-07-27 삼성전자주식회사 음성 인식 기능을 제공하는 전자 장치 및 그 동작 방법
JP2022536765A (ja) * 2019-06-12 2022-08-18 ソノズ インコーポレイテッド コマンドキーワード調整を伴うネットワークマイクロフォンデバイス
KR20210016815A (ko) * 2019-08-05 2021-02-17 삼성전자주식회사 복수의 지능형 에이전트를 관리하는 전자 장치 및 그의 동작 방법
KR102394278B1 (ko) * 2021-10-28 2022-05-03 이희선 가상 비서 서비스를 제공하는 서버의 제어 방법

Similar Documents

Publication Publication Date Title
WO2020071712A1 (en) Method for controlling plurality of voice recognizing devices and electronic device supporting the same
WO2019078617A1 (en) ELECTRONIC APPARATUS AND VOICE RECOGNITION METHOD
WO2018038466A1 (en) Display apparatus and control method thereof
WO2017119664A1 (en) Display apparatus and control methods thereof
WO2020184842A1 (ko) 전자 장치 및 전자 장치의 제어 방법
WO2020091183A1 (ko) 사용자 특화 음성 명령어를 공유하기 위한 전자 장치 및 그 제어 방법
WO2020226289A1 (en) Electronic apparatus, user terminal, and method of controlling the electronic apparatus and the user terminal
WO2019142988A1 (ko) 전자 장치, 그 제어 방법 및 컴퓨터 판독가능 기록 매체
WO2020184935A1 (en) Electronic apparatus and method for controlling thereof
WO2020213886A1 (en) Electronic apparatus and controlling method thereof
WO2020153766A1 (en) Method for displaying visual information associated with voice input and electronic device supporting the same
WO2020141794A1 (ko) 전자 장치 및 이의 제어 방법
WO2022124752A1 (ko) 전자 장치 및 전자 장치의 제어 방법
WO2017018705A1 (en) Image display apparatus and method of operating the same
WO2021153955A1 (ko) 표시 장치를 포함하는 전자 장치 및 그의 동작 방법
WO2021080290A1 (en) Electronic apparatus and control method thereof
WO2020141769A1 (en) Display apparatus, display system having the same, and method thereof
WO2020166796A1 (ko) 전자 장치 및 그 제어 방법
WO2024101576A1 (ko) 전자 장치 및 그 제어 방법
WO2019143115A1 (en) Image display apparatus and driving method thereof
WO2021206213A1 (en) Electronic apparatus and control method thereof
WO2020153691A1 (ko) 전자 장치 및 그 제어방법
WO2020251160A1 (en) Electronic apparatus and control method thereof
WO2020262920A1 (en) Display apparatus and the control method thereof
WO2024014622A1 (ko) 디스플레이 장치 및 그 동작 방법