WO2021027476A1 - 语音控制设备的方法及电子设备 - Google Patents

语音控制设备的方法及电子设备 Download PDF

Info

Publication number
WO2021027476A1
WO2021027476A1 PCT/CN2020/102113 CN2020102113W WO2021027476A1 WO 2021027476 A1 WO2021027476 A1 WO 2021027476A1 CN 2020102113 W CN2020102113 W CN 2020102113W WO 2021027476 A1 WO2021027476 A1 WO 2021027476A1
Authority
WO
WIPO (PCT)
Prior art keywords
user interface
instruction
information
voice
target
Prior art date
Application number
PCT/CN2020/102113
Other languages
English (en)
French (fr)
Inventor
吴友国
张桂成
杨鋆源
金伟明
陈闽江
Original Assignee
华为技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 华为技术有限公司 filed Critical 华为技术有限公司
Priority to US17/633,702 priority Critical patent/US20230176812A1/en
Priority to EP20853218.4A priority patent/EP3989047A4/en
Publication of WO2021027476A1 publication Critical patent/WO2021027476A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1822—Parsing for meaning understanding
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/228—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of application context

Definitions

  • the voice assistant can learn that the current user interface is provided by the foreground application based on the user interface information, and then can control the foreground application to perform operations corresponding to the target instruction according to the current user interface through the target instruction corresponding to the voice command .
  • the target superscript information corresponds to a target icon or a target manipulation instruction.
  • the electronic device is a server, and the processor is specifically configured to receive the voice instruction sent by the client device; the processor is specifically configured to In, receiving the user interface information sent by the client device; the processor is specifically configured to determine the target instruction according to the voice instruction and the user interface information.
  • the present technical solution provides an electronic device, including: one or more processors; a memory; multiple application programs; and one or more computer programs.
  • one or more computer programs are stored in the memory, and the one or more computer programs include instructions.
  • the electronic device is caused to execute the method in any one of the implementation manners in the first aspect.
  • this technical solution provides a computer program product, which when the computer program product runs on an electronic device, causes the electronic device to execute the method in any one of the implementation manners in the first aspect.
  • FIG. 1 is a schematic diagram of the hardware structure of an electronic device provided by an embodiment of the present application.
  • FIG. 4 is a schematic flowchart of a method for voice control equipment provided by an embodiment of the present application.
  • Fig. 7 is a schematic interaction diagram of a voice recognition module provided by an embodiment of the present application.
  • references described in this specification to "one embodiment” or “some embodiments”, etc. mean that one or more embodiments of the present application include a specific feature, structure, or characteristic described in combination with the embodiment. Therefore, the phrases “in one embodiment”, “in some embodiments”, “in some other embodiments”, “in some other embodiments”, etc. appearing in different places in this specification are not necessarily All refer to the same embodiment, but mean “one or more but not all embodiments” unless it is specifically emphasized otherwise.
  • the terms “including”, “including”, “having” and their variations all mean “including but not limited to” unless otherwise specifically emphasized.
  • the processor 110 may include one or more processing units.
  • the processor 110 may include an application processor (AP), a modem processor, a graphics processing unit (GPU), and an image signal processor. (image signal processor, ISP), controller, video codec, digital signal processor (digital signal processor, DSP), baseband processor, and/or neural-network processing unit (NPU), etc.
  • different processing units may be independent components or integrated in one or more processors.
  • the electronic device 101 may also include one or more processors 110.
  • the controller can generate operation control signals according to the instruction operation code and timing signals to complete the control of fetching and executing instructions.
  • a memory may be provided in the processor 110 to store instructions and data.
  • the memory in the processor 110 may be a cache memory.
  • the memory can store instructions or data that have just been used or recycled by the processor 110. If the processor 110 needs to use the instruction or data again, it can be directly called from the memory. In this way, repeated accesses are avoided, the waiting time of the processor 110 is reduced, and the efficiency of the electronic device 101 in processing data or executing instructions is improved.
  • the wireless communication function of the electronic device 100 can be implemented by an antenna, a wireless communication module 160, a modem processor, a baseband processor, and the like.
  • the antenna can be used to transmit and receive electromagnetic signals.
  • Each antenna in the electronic device 100 can be used to cover a single or multiple communication frequency bands. Different antennas can also be reused to improve antenna utilization.
  • the antenna can be used in combination with a tuning switch.
  • the display screen 194 of the electronic device 100 may be a flexible screen.
  • the flexible screen has attracted much attention for its unique characteristics and great potential.
  • flexible screens have the characteristics of strong flexibility and bendability, and can provide users with new interactive methods based on bendable characteristics, which can meet more users' needs for electronic devices.
  • the foldable display screen on the electronic device can be switched between a small screen in a folded configuration and a large screen in an unfolded configuration at any time. Therefore, users use the split screen function on electronic devices equipped with foldable display screens more and more frequently.
  • the camera 193 is used to capture still images or videos.
  • the object generates an optical image through the lens and projects it to the photosensitive element.
  • the photosensitive element may be a charge coupled device (CCD) or a complementary metal-oxide-semiconductor (CMOS) phototransistor.
  • CMOS complementary metal-oxide-semiconductor
  • the photosensitive element converts the optical signal into an electrical signal, and then transmits the electrical signal to the ISP to convert it into a digital image signal.
  • ISP outputs digital image signals to DSP for processing.
  • DSP converts digital image signals into standard RGB, YUV and other formats.
  • the electronic device 100 may include one or more cameras 193.
  • NPU is a neural-network (NN) computing processor.
  • NN neural-network
  • the NPU can realize applications such as intelligent cognition of the electronic device 100, such as image recognition, face recognition, voice recognition, text understanding, and so on.
  • the external memory interface 120 may be used to connect an external memory card, such as a Micro SD card, to expand the storage capacity of the electronic device 100.
  • the external memory card communicates with the processor 110 through the external memory interface 120 to realize the data storage function. For example, save music, video and other files in an external memory card.
  • the internal memory 121 may include a high-speed random access memory, and may also include a non-volatile memory, such as one or more disk storage components, flash memory components, universal flash storage (UFS), etc.
  • the processor 110 may execute instructions stored in the internal memory 121 and/or instructions stored in a memory provided in the processor 110 to cause the electronic device 101 to execute the instructions provided in the embodiments of the present application. The method of off-screen display, and other applications and data processing.
  • the electronic device 100 can implement audio functions through the speaker 170, the microphone 171, the earphone interface 172, and the application processor. For example, music playback, recording, etc.
  • the button 190 includes a power button, a volume button, and so on.
  • the button 190 may be a mechanical button. It can also be a touch button.
  • the electronic device 100 may receive key input, and generate key signal input related to user settings and function control of the electronic device 100.
  • the electronic device 100 can receive data through a high definition multimedia interface (HDMI) 181, and implement display functions through a display screen 194, a speaker 170, and a headphone interface 172, such as a split screen (also called an extended screen) function, Video playback function, etc.
  • HDMI high definition multimedia interface
  • a display screen 194 a speaker 170
  • a headphone interface 172 such as a split screen (also called an extended screen) function, Video playback function, etc.
  • the electronic device 100 may receive video resource data through an audio video (AV) interface 182, and realize display functions, such as a split screen function, a video playback function, etc., through a display screen 194, a speaker 170, and a headphone interface 172.
  • the AV interface 182 may include a V (video interface) 183, an L (left) interface 184, and an R (right) interface 185.
  • the V interface 183 can be used to input a mixed video signal.
  • the L interface 184 can be used to input a left channel sound signal.
  • the R interface 185 can be used to input a right channel sound signal.
  • FIG. 2 is a block diagram of the software structure of the electronic device 100 according to an embodiment of the present application.
  • the layered architecture divides the software into several layers, and each layer has a clear role and division of labor. Communication between layers through software interface.
  • the Android system is divided into four layers, from top to bottom, the application layer, the application framework layer, the Android runtime and system library, and the kernel layer.
  • the application layer can include a series of application packages.
  • the application package may include applications such as voice assistant, TV playback, TV series playback, movie playback, audio playback, gallery, browser, clock, settings, etc.
  • the application framework layer provides application programming interfaces (application programming interface, API) and programming frameworks for applications in the application layer.
  • the application framework layer includes some predefined functions.
  • the application framework layer can include a window manager, a content provider, a view system, a phone manager, a resource manager, and a notification manager.
  • the window manager is used to manage window programs.
  • the window manager can obtain the size of the display, determine whether there is a status bar, lock the screen, take a screenshot, etc.
  • the content provider is used to store and retrieve data and make these data accessible to applications.
  • the data may include videos, images, audios, browsing history, bookmarks, etc.
  • the view system includes visual controls, such as controls that display text and controls that display pictures.
  • the view system can be used to build applications.
  • the display interface can be composed of one or more views.
  • the TV play interface may include a view that displays text, a view that displays an image, and a view that displays video.
  • the resource manager provides various resources for the application, such as localized strings, icons, pictures, layout files, video files, etc.
  • the notification manager enables the application to display notification information in the status bar, which can be used to convey notification-type messages, and it can disappear automatically after a short stay without user interaction.
  • the notification manager is used to notify the download completion, message reminder, etc.
  • the notification manager can also be a notification that appears in the status bar at the top of the system in the form of a chart or scroll bar text, such as a notification of an application running in the background, or a notification that appears on the screen in the form of a dialog window. For example, prompt text information in the status bar, sound a prompt tone, etc.
  • the application layer and the application framework layer run in a virtual machine.
  • the virtual machine executes the java files of the application layer and the application framework layer as binary files.
  • the virtual machine is used to perform functions such as object life cycle management, stack management, thread management, security and exception management, and garbage collection.
  • the system library can include multiple functional modules. For example: surface manager (surface manager), media library (media libraries), 3D graphics processing library (for example: OpenGL ES), 2D graphics engine (for example: SGL), etc.
  • surface manager surface manager
  • media library media libraries
  • 3D graphics processing library for example: OpenGL ES
  • 2D graphics engine for example: SGL
  • the surface manager is used to manage the display subsystem and provides a combination of 2D and 3D layers for multiple applications.
  • the media library supports playback and recording of a variety of commonly used audio and video formats, as well as still image files.
  • the media library can support multiple audio and video encoding formats, such as: MPEG4, H.264, MP3, AAC, AMR, JPG, PNG, etc.
  • the 3D graphics processing library is used to realize 3D graphics drawing, image rendering, synthesis, and layer processing.
  • the 2D graphics engine is a drawing engine for 2D drawing.
  • the kernel layer is the layer between hardware and software.
  • the kernel layer contains at least display driver, camera driver, audio driver, and sensor driver.
  • the voice assistant in the application package can be a system-level application.
  • the voice assistant may also be called a human-computer interaction robot, a human-machine dialogue robot or a chat robot (ChatBOT), etc.
  • Voice assistant applications may also be called smart assistant applications and the like.
  • Voice assistants are currently widely used in many types of electronic devices such as mobile phones, tablet computers, smart speakers, smart TVs, etc., providing users with intelligent voice interaction methods.
  • Voice assistant is one of the cores of human-computer interaction.
  • FIG. 3 shows a schematic diagram of the user interface of the electronic device 100.
  • the electronic device 100 may be the electronic device 100 shown in FIG. 1.
  • the electronic device 100 may be a large-screen display device such as a TV or a projection device.
  • Multiple icons can be displayed in the user interface.
  • the user interface may include multiple menu icons 301, multiple resource collection icons 302, multiple function icons 303, and so on. It is understandable that the user interface illustrated in the embodiment of the present application does not constitute a specific limitation on the user interface 300. In other embodiments of the present application, the user interface 300 may include more or fewer icons than shown, or combine some icons, or split some icons, or different icon arrangements.
  • multiple menu icons 301 may include: “Home” icon, “TV series” icon, “Movie” icon, “Children” icon, “App” icon, “Music” icon, Radio” icon, “education” icon, “variety show” icon, etc. It should be understood that the electronic device 100 may also provide more menu icons 301 for the user. However, due to the limited size of the user interface, the user interface may display part of all the menu icons 301. The user can select the menu icon 301 through an infrared remote control or voice, for example.
  • the user selects the “home” icon, and the electronic device 100 may display a variety of resource collection icons 302.
  • the types of the multiple resource collections may include TV series collections, movie collections, children's collections, application collections, music collections, radio collections, education collections, variety shows, etc.
  • the electronic device 100 may display the icon of the collection of 3 TV series with the highest popularity and the icon of the collection of 3 movies with the highest popularity.
  • the electronic device 100 may display icons of multiple TV series collections.
  • the electronic device 100 may display the icons of the 3 TV series collections that are currently the most popular, and the icons of the 3 TV series collections that are being updated and are relatively popular.
  • the currently most popular 3 TV series collections can include “Ruyi's Legend”, “Shahai”, and “Jianye”.
  • the collection of 3 TV series that are being updated and relatively high in popularity can include “King behind the scenes", “House of Cards", and "Knowing whether it should be red, fat, green and thin".
  • the icon of each TV series collection may include a schematic diagram 3021 of the TV series collection (such as a still photo of the TV series), the name of the TV series collection 3022 (such as the name of the TV series), and the number of episodes 3023 of the TV series collection (such as the TV series). The latest episodes). If the TV series collection has been updated, it can display "full X episodes” (the icon corresponding to "Ru Yi's Legend” in Figure 3 shows “full 87 episodes”); if the TV series collection has not been updated yet, you can "Update to Episode Y” is displayed ("Update to Episode 8" is displayed on the icon corresponding to "King behind the scenes” in Figure 3).
  • the user selects the "movie" icon, and the electronic device 100 may display icons of multiple movie collections.
  • the electronic device 100 may display an icon of a collection of 3 movies that are currently the most popular, and an icon of a collection of 3 movies that has just been released.
  • the user selects the "children" icon, and the electronic device 100 may display a plurality of icons of a collection of children.
  • the electronic device 100 may display the icons of the 3 children's programs that are currently the most popular, and the icons of the 3 children's cartoons that have just been the most popular.
  • the user selects the “application” icon, and the electronic device 100 may display icons of multiple applications.
  • the electronic device 100 may display the icons of 3 applications used by the user recently, and the 3 application icons used most frequently.
  • the user selects the "music" icon, and the electronic device 100 may display icons of multiple music collections.
  • the electronic device 100 may display the icons of the three music albums just released and the icons of the three music playlists that the user recently collected.
  • the user selects the “station” icon, and the electronic device 100 may display icons of a collection of multiple stations.
  • the electronic device 100 may display the icons of the 3 currently most popular radio programs and the icons of the 3 most recent radio programs of the user.
  • the user selects the “education” icon, and the electronic device 100 may display icons of multiple education collections.
  • the electronic device 100 may display the icons of the 3 education collections that are currently the most popular and the icons of the 3 education collections recently played by the user.
  • the user selects the “variety show” icon, and the electronic device 100 may display icons of multiple variety show collections.
  • the electronic device 100 may display the icons of the 3 variety show collections that are currently most popular, and the icons of the 3 variety show collections recently played by the user.
  • the multiple function icons 303 in the user interface may include a return icon, a user information icon, a setting icon, a wireless connection icon, a clock icon, and the like.
  • the user selects the return icon to return to the previous user interface.
  • the user selects the user information icon to view the user account information logged in on the electronic device 100.
  • the user selects the setting icon, can enter the setting interface, and can adjust the parameters of the electronic device 100.
  • the wireless connection icon the wireless connection function of the electronic device 100 can be used, for example, to search for available wireless networks around the electronic device 100 and access the available wireless networks. Users can check the clock icon to understand the current time.
  • the user selects the clock icon to set the clock parameters of the electronic device 100.
  • Figure 4 is a method of voice control equipment.
  • the client device may be the electronic device 100 shown in FIG.
  • the client device displays the current user interface.
  • the current user interface displayed by the client device may be the user interface 300 shown in FIG. 3.
  • the client device acquires a user's voice instruction, where the voice instruction is used to indicate a target operation.
  • Users can speak voice commands, such as "Play 30 episodes of Ruyi's Royal Love in the Palace”. That is to say, after observing the current user interface, the user selects the TV series collection "Ruyi's Royal Love in the Palace” on the current user interface, and chooses to watch the 30th video resource of the "Ruyi's Royal Love in the Palace” collection.
  • the voice command can be used to instruct the client device to play the 30th episode video resource in the TV series "Ruyi's Royal Love in the Palace”.
  • step 402 may be completed by a voice assistant on the client device.
  • the user can speak a wake-up word to wake up the client device to capture the user's voice command.
  • the client device may display prompt information on the current user interface in the process of capturing the user's voice instruction to remind the user that the voice recognition function of the client device is being used.
  • the client device determines the target operation according to the voice recognition file and the voice instruction, and the voice recognition file is used to determine the target operation corresponding to the voice instruction.
  • the voice recognition file can include a variety of information for determining the target operation, so the client device can determine the operation corresponding to the voice command.
  • the voice recognition file may include data for determining that the voice command is a video playback command.
  • the voice recognition file may include data for determining that the voice command is a download application command.
  • the client device can perform a target operation in response to a voice command issued by the user.
  • the client device acquires a user's voice instruction, where the voice instruction is used to indicate a target instruction or a target operation.
  • 501 can be completed by a voice assistant on the client device.
  • the user can speak a wake-up word to wake up the client device to capture the user's voice command.
  • the target instruction may be the text content of a voice instruction, for example.
  • the target operation may be, for example, a response operation indicated by the target instruction.
  • the user can speak a voice command, such as "Play 30 episodes of Ruyichuan”. That is, after observing the user interface displayed by the client device, the user can select the TV series collection "Ruyi's Royal Love in the Palace” on the user interface, and choose to watch the 30th episode of the video resource in the "Ruyi's Royal Love in Love” collection.
  • the voice command can be used to instruct the client device to play the 30th episode video resource in the TV series "Ru Yi's Royal Love in the Palace".
  • the user can speak a voice command, such as "show movie page".
  • a voice command such as "show movie page”.
  • the user can select the movie collection on the user interface, so that the user can continue to browse the movie resources in the movie collection.
  • the voice command can be used to instruct the client device to display the user interface corresponding to the movie collection.
  • the user can speak a voice command, such as "No. 3".
  • a voice command such as "No. 3”.
  • the user can select the icon or manipulation instruction corresponding to the superscript 3.
  • the voice command can be used to instruct the client device to perform the operation corresponding to the superscript 3.
  • the client device may display prompt information on the current user interface in the process of capturing the user's voice instruction to remind the user that the voice recognition function of the client device is being used.
  • the client device obtains user interface information of a current user interface, where the current user interface is a user interface currently displayed on the client device.
  • the current user interface may be the user interface observed by the user in 501.
  • the current user interface may be, for example, the user interface 300 as shown in FIG. 3.
  • the user interface information may include various information indicating the current user interface.
  • 502 can be completed by a voice assistant on the client device.
  • execution order of 501 and 502 can be exchanged. For example, execute 501 first, then execute 502. Or, execute 502 first, and then execute 501.
  • the user interface information includes at least one of the following information: icon names of the current user interface, hot word information, instruction information of manipulation instructions, and target sign information.
  • the user interface 300 may include a "home” icon, a "TV series” icon, a “movie” icon, a “children” icon, an “application” icon, a “music” icon, and a “radio” icon.
  • the user interface information corresponding to the user interface 300 may include: homepage, TV series, movies, children, apps, music, radio, education, variety shows, Ruyi's Legend, Shahai, Jiangye, King of the Backstage, House of Cards, Zhizhi Do you know if it should be red, fat, green, thin, return, user information, settings, wireless connection, clock, etc. It should be understood that a collection may refer to a collection of data resources. For example, the collection of "Ruyi's Royal Love in the Palace” may be a resource collection that includes the complete TV series and videos of "Ru Yi's Royal Love in the Palace".
  • the user interface information includes hot word information.
  • the hot word information included in the user interface information corresponding to the user interface 300 may include: children.
  • the hot word information included in the user interface information corresponding to the user interface 300 may include: Ruyi.
  • “Avengers” is often referred to as “Avengers” and “Avengers” for short.
  • “Avengers” can correspond to the hot words “Fulian” and the hot words “Avenger”. Therefore, in the case that the current user interface includes the "Avengers" collection icon, the hot word information included in the user interface information may include: reunion and the Avengers.
  • the hot word information included in the user interface information corresponding to the user interface 300 may include: account and login information.
  • the function of the "clock” application is to check the time, so "clock” can correspond to the hot words "time” and "what time”. Therefore, the hot word information included in the user interface information corresponding to the user interface 300 may include: time and time.
  • the manipulation instruction may include at least one of the following: refresh user interface instruction, move user interface instruction, page turning instruction, move selection box instruction, etc.
  • the user interface information may include at least one of "refresh”, “refresh page”, “refresh”, “refresh interface”, “refresh user interface” and other information.
  • the manipulation instruction includes a movement user interface instruction
  • the user interface information may include “move left”, “move right”, “move up”, “move down”, “move”, “slide”, and “move”. At least one of the “user interface” and other information.
  • the user interface information may include at least one of "next”, “previous”, and "moving selection box”.
  • the user interface information may include an expression that may be used by the user, and the expression may indicate a corresponding manipulation instruction.
  • the user interface information further includes target superscript information displayed on the current user interface.
  • the target superscript information may correspond to a target icon, a target collection, or a target manipulation instruction, for example.
  • the user interface information further includes the corresponding relationship between the target superscript information and the target icon.
  • the user interface information further includes the correspondence between the target superscript information and the target collection.
  • corner mark 1 can correspond to the icon of the TV series "Ru Yi's Legend”
  • corner mark 2 can correspond to the icon of the TV series collection "Sand Sea”
  • corner mark 3 can correspond to the icon of the TV series collection "Jiang Ye”
  • corner mark 4 can correspond to the icon of the TV series collection "King behind the scenes”
  • corner mark 5 can correspond to the icon of the TV series collection "House of Cards”
  • corner mark 6 can correspond to the icon of the TV series collection "Knowing it should be red, fat, green and thin” correspond.
  • the user interface information may include information indicating "Corner 1-Ruyi Chuan”, information indicating “Corner 2-Sand Sea”, information indicating “Corner 3-Jiang Ye”, and information indicating "Corner 4-
  • the information of “King behind the scenes” indicates the information of “Corner 5—House of Cards” and the information of “Corner 6—Is it red, fat, green, thin”.
  • the user interface information further includes the correspondence between the target superscript information and the target manipulation instruction.
  • the current user interface displays corner mark 1 and corner mark 2.
  • the target control instruction corresponding to corner mark 1 is: play video at a resolution of 720P;
  • the target control instruction corresponding to corner mark 2 is: play a video at a resolution of 1080P. Therefore, the user interface information may include information indicating "Superscript 1-720P" and information indicating "Superscript 2-1080P".
  • the current user interface displays corner mark 1 and corner mark 2.
  • the target control instruction corresponding to corner mark 1 is: play the video at the double speed 1.0x
  • the target control command corresponding to corner mark 2 is: play the video at the double speed 2.0x. Therefore, the user interface information may include information indicating "postmark 1-1.0x", and information indicating "postmark 2-2.0x”.
  • the obtaining user interface information of the current user interface includes: sending first instruction information to a foreground application, where the first instruction information is used to instruct the foreground application to feed back the user interface information; and receiving the foreground application
  • the user interface information is obtained by the foreground searching for information related to the current user interface.
  • the foreground application may be, for example, a video playback application, an audio playback application, a desktop application, a setting application, a live TV application, a radio application, and so on.
  • the voice assistant of the client device detects the user's voice instruction, it can send first indication information to the foreground application by calling the software interface of the foreground application of the client device, and the first indication information may indicate The foreground application feeds back the user interface information.
  • the foreground application may send the user interface information to the voice assistant through the software interface according to the first instruction information.
  • the way for the foreground application to determine the user interface information may be to scan the elements of the current user interface.
  • the elements may include icons, collection information corresponding to the icons, and manipulation instructions corresponding to the current user interface.
  • the way for the foreground application to determine the user interface information may also include obtaining data related to elements on the current user interface from a network device (for example, a cloud server).
  • a network device for example, a cloud server.
  • the hot words related to "Ruyi's Biography" include " ⁇ yi”.
  • the NLU module needs to further understand the content of the dialogue. For simplicity, the most core part can be selected for understanding, and the others can be ignored. Those most important parts can be called slots.
  • the NLU module can determine that the user's intention is "play”, and the slot information related to the intention is "video name” and "episode number".
  • the user’s expression only contains the slot information of “video name”, then the slot information of the “set number” of the DST module is missing, and the DST module can send the missing slot information to the DM module.
  • the DM module controls the NLG module to generate a dialog asking the user for missing slot information.
  • the main function of the NLG module is to generate dialogue.
  • the DM module determines that the "number of episodes" slot information is missing, it can control the NLG module to generate a corresponding dialog as "Which episode do you want to start playing?".
  • TTS is a speech synthesis broadcast technology.
  • the main goal is to handle the "phonology" problem of the broadcast. This requires judgment and unified consideration of information such as symbols, polyphonic characters, sentence patterns, and processing of the pronunciation of characters in the broadcast.
  • timbre In order to adapt to the preferences of different people, we must also pay attention to "timbre”. In general, it is to deal with "phonology” and "timbre”.
  • the server sends the target instruction to the client device.
  • the server feeds back the recognition result of the voice command to the client device.
  • the client device determines and executes the target operation according to the target instruction.
  • the target instruction includes the identifier of the foreground application.
  • the foreground application sends the user interface information including the identifier of the foreground application to the voice assistant, and the voice assistant sends the user interface information to the server.
  • the server determines the target instruction according to the user interface information and the voice instruction, and the target instruction may carry the identifier of the foreground application. Therefore, the voice assistant can call the software interface of the foreground application according to the identifier of the foreground application sent by the server, and send the target instruction to the foreground application.
  • the foreground application can execute the target operation according to the target instruction.
  • the voice assistant establishes a binding relationship between the voice assistant and the foreground application.
  • the voice assistant can call the software interface of the foreground application to establish a binding relationship between the voice assistant and the foreground application.
  • the foreground application displays the corner mark.
  • the client device can display one or more corner marks on the currently displayed user interface.
  • the currently displayed user interface may be the current user interface.
  • the user speaks a voice command.
  • the voice assistant obtains the user's voice instructions.
  • the foreground application sends the user interface information of the current user interface to the voice assistant.
  • the voice assistant receives the user interface information sent by the previous application.
  • the foreground application can send user interface information to the voice assistant, and the period of time does not exceed the preset threshold (such as 100ms), the voice The assistant can send the user interface information to the access platform of the cloud server. If the voice assistant does not receive user interface information for a long time after the voice assistant is bound with the foreground application, the interface between the client and the cloud server does not carry parameters.
  • the preset threshold such as 100ms
  • the voice assistant sends the voice instruction and the user interface information to the access platform of the server.
  • the voice assistant can cancel the call to the software interface of the foreground application.
  • the foreground application removes the corner mark on the current user interface.
  • the access platform may send the voice command and the user interface information sent by the voice assistant to the ASR module of the server.
  • the ASR module can receive the voice instruction and the user interface information sent by the access platform.
  • the access platform receives the text sent by the ASR module.
  • the access platform may send the user interface information sent by the voice assistant and the text sent by the ASR module to the DM module of the server.
  • the DM module receives the text and the user interface information.
  • the DM module analyzes the intent and slot of the text according to the user interface information to obtain a target instruction corresponding to the voice instruction.
  • the DM module sends the target instruction to the access platform.
  • the foreground application receives the target instruction sent by the voice assistant.
  • the user can perceive that the client device responds to the user's voice command by performing a target operation.
  • the target superscript information corresponds to a target icon or a target manipulation instruction.
  • the client device can implement voice recognition operations through a voice recognition (automatic speech recognition, ASR) module, a semantic understanding (natural language understanding, NLU) module, and user interface information.
  • ASR automatic speech recognition
  • NLU natural language understanding
  • One possible implementation is that the method 900 shown in FIG. 9 is executed by the client device.
  • the method further includes: sending the user interface information and the voice instruction to a server; and determining the target instruction corresponding to the voice instruction
  • the target instruction includes: receiving a target instruction sent by the server, the target instruction being determined by the server according to the user interface information and the user's voice instruction.
  • the specific implementation of 901 to 902 can refer to 501, 502 in the embodiment shown in FIG. 5, and the specific implementation of 903 can refer to 503-505 in the embodiment shown in FIG. 5, and it is not necessary to repeat it here. .
  • One possible implementation is that the method 900 shown in FIG. 9 is executed by a server.
  • the method further includes: sending the target instruction to the client device.
  • the specific implementation manners of 901 to 902 may refer to 503 in the embodiment shown in FIG. 5, and the specific implementation manner of 903 may refer to 4 in the embodiment shown in FIG. 5, which is not repeated here.
  • an electronic device in order to implement the above-mentioned functions, includes hardware and/or software modules corresponding to each function.
  • this application can be implemented in the form of hardware or a combination of hardware and computer software. Whether a certain function is executed by hardware or computer software-driven hardware depends on the specific application and design constraint conditions of the technical solution. Those skilled in the art can use different methods for each specific application in combination with the embodiments to implement the described functions, but such implementation should not be considered as going beyond the scope of the present application.
  • the electronic device can be divided into functional modules according to the foregoing method examples.
  • each functional module can be divided corresponding to each function, or two or more functions can be integrated into one processing module.
  • the above integrated modules can be implemented in the form of hardware. It should be noted that the division of modules in this embodiment is illustrative, and is only a logical function division, and there may be other division methods in actual implementation.
  • FIG. 10 shows a schematic diagram of a possible composition of the electronic device 1000 involved in the foregoing embodiment.
  • the electronic device 1000 may include: an acquisition module 1001. Processing module 1002.
  • the electronic device 1000 may be, for example, the client device or server described above.
  • the obtaining module 1001 may be used to obtain a user's voice instruction, and the voice instruction is used to indicate a target instruction.
  • the voice assistant in FIG. 2 may be used to implement the function of the acquiring unit 1001.
  • the voice assistant in FIG. 2 may be used to implement the function of the acquiring unit 1001.
  • the electronic device provided in this embodiment is used to execute the above-mentioned voice control device method, and therefore can achieve the same effect as the above-mentioned implementation method.
  • the electronic device may include a processing module, a storage module, and a communication module.
  • the processing module can be used to control and manage the actions of the electronic device, for example, can be used to support the electronic device to execute the steps performed by the above-mentioned units.
  • the storage module can be used to support the electronic device to execute the storage program code and data.
  • the communication module can be used to support communication between electronic devices and other devices.
  • the processing module may be a processor or a controller. It can implement or execute various exemplary logical blocks, modules and circuits described in conjunction with the disclosure of this application.
  • the processor may also be a combination of computing functions, for example, a combination of one or more microprocessors, a combination of digital signal processing (DSP) and a microprocessor, and so on.
  • the storage module may be a memory.
  • the communication module may specifically be a radio frequency circuit, a Bluetooth chip, a Wi-Fi chip, and other devices that interact with other electronic devices.
  • This embodiment also provides a computer program product, which when the computer program product runs on a computer, causes the computer to execute the above-mentioned related steps, so as to realize the method of voice control device in the above-mentioned embodiment.
  • the embodiments of the present application also provide a device.
  • the device may specifically be a chip, component or module.
  • the device may include a processor and a memory connected to each other.
  • the memory is used to store computer execution instructions.
  • the processor can execute the computer-executable instructions stored in the memory, so that the chip executes the voice control device method in the foregoing method embodiments.
  • the embodiment of the present application provides a terminal device, which has a function of implementing the behavior of the terminal device in any of the foregoing method embodiments.
  • the function can be realized by hardware, or by hardware executing corresponding software.
  • the hardware or software includes one or more modules corresponding to each sub-function of the above-mentioned functions.
  • the terminal device may be user equipment.
  • An embodiment of the present application also provides a communication system, which includes the network device (such as a cloud server) and a terminal device described in any of the foregoing embodiments.
  • the network device such as a cloud server
  • a terminal device described in any of the foregoing embodiments.
  • the embodiment of the present application also provides a computer-readable storage medium on which a computer program is stored.
  • the computer program is executed by a computer, the method process related to the terminal device in any of the foregoing method embodiments is implemented.
  • the computer may be the aforementioned terminal device.
  • the memory mentioned in the embodiments of the present application may be a volatile memory or a non-volatile memory, or may include both volatile and non-volatile memory.
  • the non-volatile memory can be read-only memory (ROM), programmable read-only memory (programmable ROM, PROM), erasable programmable read-only memory (erasable PROM, EPROM), and electronic Erase programmable read-only memory (electrically EPROM, EEPROM) or flash memory.
  • the volatile memory may be random access memory (RAM), which is used as an external cache.
  • the disclosed system, device, and method may be implemented in other ways.
  • the device embodiments described above are only illustrative.
  • the division of the units is only a logical function division, and there may be other divisions in actual implementation, for example, multiple units or components can be combined or It can be integrated into another system, or some features can be ignored or not implemented.
  • the displayed or discussed mutual coupling or direct coupling or communication connection may be indirect coupling or communication connection through some interfaces, devices or units, and may be in electrical, mechanical or other forms.
  • the units described as separate components may or may not be physically separated, and the components displayed as units may or may not be physical units, that is, they may be located in one place, or they may be distributed on multiple network units. Some or all of the units may be selected according to actual needs to achieve the objectives of the solutions of the embodiments.

Abstract

一种应用于人工智能领域的语音控制设备的方法、电子设备。所述语音控制设备的方法包括：获取用户的语音指令，所述语音指令用于指示目标指令（901）；获取当前用户界面的用户界面信息，所述当前用户界面为客户端设备当前显示的用户界面（902）；确定所述语音指令所对应的所述目标指令，所述目标指令是由所述语音指令以及所述用户界面信息得到（903）。通过以上方式有利于提高语音识别的效率。

Description

语音控制设备的方法及电子设备
本申请要求于2019年8月9日提交中国专利局、申请号为201910735931.9、申请名称为“一种操控界面的方法和设备”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
本申请要求于2020年4月9日提交中国专利局、申请号为202010273843.4、申请名称为“语音控制设备的方法及电子设备”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及人工智能领域以及电子设备领域，并且更具体地，涉及一种语音控制设备的方法及电子设备。
背景技术
用户可以通过大屏显示装置观看电视直播、网络视频资源、本地视频资源，并收听网络音频资源、本地音频资源等。在用户观看视频或收听音乐之前，用户可以根据大屏显示装置显示的用户界面，说出想要播放的视音频资源；大屏显示装置或与大屏显示装置连接的机顶盒可以捕获并响应用户的语音。
为保证语音识别的准确性和高效性，通常为大屏显示装置配置了用于语音识别的文件，该语音识别文件可以用于识别调取大屏显示装置上配置的数据资源的语音指令。为获得相对优良的用户体验感，需要经常更新在大屏显示装置上显示或播放的数据资源。例如，大屏显示装置可以播放最新上映的电视剧。相应地，需要耗费较大的工作量来在大屏显示装置上更新语音识别文件。这可能会降低语音识别的效率。
发明内容
本申请提供一种语音控制设备的方法及电子设备，其目的在于提高语音识别的效率。
第一方面，提供了一种语音控制设备的方法，包括：获取用户的语音指令，所述语音指令用于指示目标指令；获取当前用户界面的用户界面信息，所述当前用户界面为客户端设备当前显示的用户界面；确定所述语音指令所对应的所述目标指令，所述目标指令是由所述语音指令以及所述用户界面信息得到。
可选的，所述语音控制设备的方法可以由客户端设备(又可以被称为终端设备)或服务器(又可以被称为网络设备)完成。
可选的，所述语音控制设备的方法可以由客户端设备上的语音助手完成。
用户界面信息可以包括指示当前用户界面的各种信息。
在本申请中，与客户端设备能够显示、播放的数据资源相比，当前用户界面上的信息内容相对较少，获取用户界面信息的时间可以相对较短。并且，客户端设备在显示用户界 面信息的同时，还可以获取至少部分用户界面信息，因此获取用户界面信息的效率可以相对较高。然后，在更新客户端设备的用户显示界面的同时，还可以将用户界面信息更新，更新的方式相对简便。在当前用户界面被更新的情况下，由于客户端设备在显示该更新后的用户界面时就已经获知了该更新后的用户界面的至少部分用户界面信息，因此当前用户界面的更新对语音识别效率的影响通常相对较小。另外，用户界面信息可以反映用户在当前用户界面上可以观察到的信息，参考用户界面信息识别用户的语音指令，有利于提升语音识别的正确率。
结合第一方面，在第一方面的某些实现方式中，所述用户界面信息包括以下至少一种信息：所述当前用户界面的图标名称、热词信息、操控指令的指示信息、目标角标信息。
图标可以被分类为菜单图标、资源合集图标、功能图标等。
在本申请中，用户界面信息可以从多个角度反映用户界面上的内容，以便于用户使用多种方式操控客户端设备。
结合第一方面，在第一方面的某些实现方式中，所述目标角标信息与目标图标或目标操控指令对应。
可选的，所述用户界面信息还包括所述目标角标信息与目标图标之间的对应关系。
可选的，所述用户界面信息还包括所述目标角标信息与目标合集之间的对应关系。
可选的，所述用户界面信息还包括所述目标角标信息与目标操控指令之间的对应关系。
在本申请中，通过在当前用户界面上显示角标，有利于增加可识别的语音指令数量，有利于提升语音识别的正确率。例如，在用户无法用语言描述图案的情况下，用户可以根据角标反映的信息，相对快速地表述语音指令。
结合第一方面，在第一方面的某些实现方式中，所述获取用户的语音指令，包括：接收所述客户端设备发送的所述语音指令；所述获取当前用户界面的用户界面信息，包括：接收所述客户端设备发送的所述用户界面信息；所述确定所述语音指令所对应的目标指令，包括：根据所述语音指令以及所述用户界面信息，确定所述目标指令。
服务器例如可以通过语音识别(automatic speech recognition，ASR)模块、语义理解(natural language understanding，NLU)模块实现语音识别的操作。可选的，服务器或客户端设备还可以包括对话控制(dialogue state tracking，DST)模块、对话管理(dialogue manager，DM)模块、对话生成(natural language generation，NLG)模块和语音播报(text to speech，TTS)模块等实现语音识别的操作。
在本申请中，服务器在获取用户界面信息之后，可以参考客户端当前显示的内容，识别用户做出的语音指令，有利于服务器排除无用的语音识别数据，相对快速、准确地将用户的语音指令转换为对应的目标指令。
结合第一方面，在第一方面的某些实现方式中，所述方法还包括：将所述目标指令发送给所述客户端设备。
在本申请中，使用服务器识别语音指令，并通过通信网络进行数据传送，可以降低对客户端设备的处理能力的要求。例如客户端设备可以不具有语音识别能力，或者客户端设备的处理器速度、存储器容量可以相对普通。
结合第一方面，在第一方面的某些实现方式中，所述确定所述语音指令所对应的目标 指令，包括：所述客户端设备根据所述语音指令以及所述用户界面信息，确定所述目标指令。
在本申请中，客户端设备可以具备语音识别的能力。由于用户界面信息缩小了语音识别的参考数据量，因此有利于提升客户端设备的语音识别效果。
结合第一方面，在第一方面的某些实现方式中，在所述确定所述语音指令所对应的目标指令之前，所述方法还包括：将所述用户界面信息以及所述语音指令发送给服务器；所述确定所述语音指令所对应的目标指令，包括：接收所述服务器发送的目标指令，所述目标指令由所述服务器根据所述用户界面信息以及所述用户的语音指令确定。
在本申请中，服务器在获取用户界面信息之后，可以参考客户端当前显示的内容，识别用户做出的语音指令，有利于服务器排除无用的语音识别数据，相对快速、准确地将用户的语音指令转换为对应的目标指令。另外，使用服务器识别语音指令，并通过通信网络进行数据传送，可以降低对客户端设备的处理能力的要求。例如客户端设备可以不具有语音识别能力，或者客户端设备的处理器速度、存储器容量可以相对普通。
结合第一方面，在第一方面的某些实现方式中，在所述获取当前用户界面的用户界面信息之前，所述方法还包括：向前台应用发送第一指示信息，所述第一指示信息用于指示所述前台应用反馈所述用户界面信息；所述获取当前用户界面的用户界面信息，包括：接收所述前台应用发送的所述用户界面信息，所述用户界面信息由所述前台应用检索与所述当前用户界面相关的信息得到。
前台应用例如可以是视频播放应用、音频播放应用、桌面应用、设置应用、电视直播应用、电台应用等。
检索还可以被解释为搜索、扫描等含义。
前台应用确定用户界面信息的方式可以是，搜索用于显示当前用户界面的文档，得到该用户界面信息。该文档例如可以包括超级文本标记语言(hyper text markup language，HTML)文件、可扩展标记语言(extensible markup language，XML)文件、脚本文件等。
前台应用确定用户界面信息的方式可以是，扫描当前用户界面的元素，根据该元素得到该用户界面信息。元素可以包括图标、图标对应的合集信息、所述当前用户界面对应的操控指令等。
在本申请中，前台应用的标识可以将语音指令、前台应用当前显示的当前用户界面、用于控制前台应用的目标指令关联起来，使得用户可以通过语音指令控制多个前台应用，具有相对更强的灵活性。
结合第一方面，在第一方面的某些实现方式中，所述用户界面信息还包括所述前台应用的标识。
在本申请中，语音助手可以根据该用户界面信息，获知当前用户界面是由所述前台应用提供，进而可以通过语音指令对应的目标指令，控制前台应用根据当前用户界面执行与目标指令对应的操作。
结合第一方面，在第一方面的某些实现方式中，所述目标指令还包括所述前台应用的标识。
在本申请中，语音助手可以根据该目标指令，获知目标指令是用于指示所述前台应用执行目标操作，进而使得前台应用可以执行用于满足用户期望的操作。
结合第一方面，在第一方面的某些实现方式中，所述用户界面信息包括目标角标信息，在所述获取用户的语音指令之前，所述方法还包括：在所述当前用户界面上显示角标；在所述获取用户的语音指令之后，所述方法还包括：去除所述当前用户界面上的角标。
在本申请中，显示角标可以为用户提供更多可选的语音指令方式，在合适的时间去除角标显示，有利于使用户界面具有相对简洁的显示效果。
第二方面，提供了一种电子设备，包括：获取模块，用于获取用户的语音指令，所述语音指令用于指示目标指令；所述获取模块还用于，获取当前用户界面的用户界面信息，所述当前用户界面为客户端设备当前显示的用户界面；处理模块，用于确定所述语音指令所对应的所述目标指令，所述目标指令是由所述语音指令以及所述用户界面信息得到。
结合第二方面，在第二方面的某些实现方式中，所述用户界面信息包括以下至少一种信息：所述当前用户界面的图标名称、热词信息、操控指令的指示信息、目标角标信息。
结合第二方面，在第二方面的某些实现方式中，所述目标角标信息与目标图标或目标操控指令对应。
结合第二方面，在第二方面的某些实现方式中，所述电子设备为服务器，所述获取模块具体用于，接收所述客户端设备发送的所述语音指令；所述获取模块具体用于，接收所述客户端设备发送的所述用户界面信息；所述处理模块具体用于，根据所述语音指令以及所述用户界面信息，确定所述目标指令。
结合第二方面，在第二方面的某些实现方式中，所述服务器还包括：收发模块，用于将所述目标指令发送给所述客户端设备。
结合第二方面，在第二方面的某些实现方式中，所述电子设备为所述客户端设备，所述处理模块具体用于，根据所述语音指令以及所述用户界面信息，确定所述目标指令。
结合第二方面，在第二方面的某些实现方式中，所述电子设备为所述客户端设备，所述客户端设备还包括收发模块，用于在所述处理模块确定所述语音指令所对应的目标指令之前，将所述用户界面信息以及所述语音指令发送给服务器；所述处理模块具体用于，接收所述服务器发送的目标指令，所述目标指令由所述服务器根据所述用户界面信息以及所述用户的语音指令确定。
结合第二方面，在第二方面的某些实现方式中，所述电子设备还包括：发送模块，用于在所述获取模块获取当前用户界面的用户界面信息之前，向前台应用发送第一指示信息，所述第一指示信息用于指示所述前台应用反馈所述用户界面信息所述获取模块具体用于，接收所述前台应用发送的所述用户界面信息，所述用户界面信息由所述前台应用检索与所述当前用户界面相关的信息得到。
结合第二方面，在第二方面的某些实现方式中，所述用户界面信息还包括所述前台应用的标识。
结合第二方面，在第二方面的某些实现方式中，所述目标指令还包括所述前台应用的标识。
结合第二方面，在第二方面的某些实现方式中，所述用户界面信息包括目标角标信息，所述处理模块还用于，在所述获取模块获取用户的语音指令之前，在所述当前用户界面上显示角标；所述处理模块还用于，在所述获取模块获取用户的语音指令之后，去除所述当前用户界面上的角标。
第三方面，提供了一种电子设备，包括：处理器，用于获取用户的语音指令，所述语音指令用于指示目标指令；所述处理器还用于，获取当前用户界面的用户界面信息，所述当前用户界面为客户端设备当前显示的用户界面；所述处理器还用于，确定所述语音指令所对应的所述目标指令，所述目标指令是由所述语音指令以及所述用户界面信息得到。
结合第三方面，在第三方面的某些实现方式中，所述用户界面信息包括以下至少一种信息：所述当前用户界面的图标名称、热词信息、操控指令的指示信息、目标角标信息。
结合第三方面，在第三方面的某些实现方式中，所述目标角标信息与目标图标或目标操控指令对应。
结合第三方面，在第三方面的某些实现方式中，所述电子设备为服务器，所述处理器具体用于，接收所述客户端设备发送的所述语音指令；所述处理器具体用于，接收所述客户端设备发送的所述用户界面信息；所述处理器具体用于，根据所述语音指令以及所述用户界面信息，确定所述目标指令。
结合第三方面，在第三方面的某些实现方式中，所述电子设备还包括：收发器，用于将所述目标指令发送给所述客户端设备。
结合第三方面，在第三方面的某些实现方式中，所述电子设备为所述客户端设备，所述处理器具体用于，根据所述语音指令以及所述用户界面信息，确定所述目标指令。
结合第三方面，在第三方面的某些实现方式中，所述电子设备为所述客户端设备，所述客户端设备还包括收发器，用于在所述处理器确定所述语音指令所对应的目标指令之前，将所述用户界面信息以及所述语音指令发送给服务器；所述处理器具体用于：接收所述服务器发送的目标指令，所述目标指令由所述服务器根据所述用户界面信息以及所述用户的语音指令确定。
结合第三方面，在第三方面的某些实现方式中，所述电子设备还包括：收发器，用于在所述处理器获取当前用户界面的用户界面信息之前，向前台应用发送第一指示信息，所述第一指示信息用于指示所述前台应用反馈所述用户界面信息，所述处理器具体用于，接收所述前台应用发送的所述用户界面信息，所述用户界面信息由所述前台应用检索与所述当前用户界面相关的信息得到。
结合第三方面，在第三方面的某些实现方式中，所述用户界面信息还包括所述前台应用的标识。
结合第三方面，在第三方面的某些实现方式中，所述目标指令还包括所述前台应用的标识。
结合第三方面，在第三方面的某些实现方式中，所述用户界面信息包括目标角标信息，所述处理器还用于，在所述处理器获取用户的语音指令之前，在所述当前用户界面上显示角标；所述处理器还用于，在所述处理器获取用户的语音指令之后，去除所述当前用户界面上的角标。
第四方面，本技术方案提供了一种电子设备，包括：一个或多个处理器；存储器；多个应用程序；以及一个或多个计算机程序。其中，一个或多个计算机程序被存储在存储器中，一个或多个计算机程序包括指令。当指令被电子设备执行时，使得电子设备执行第一方面中的任意一种实现方式中的方法。
第五方面，本技术方案提供了一种电子设备，包括一个或多个处理器和一个或多个存 储器。该一个或多个存储器与一个或多个处理器耦合，一个或多个存储器用于存储计算机程序代码，计算机程序代码包括计算机指令，当一个或多个处理器执行计算机指令时，使得电子设备执行第一方面中的任意一种实现方式中的方法。
第六方面，提供了一种通信装置，所述装置包括：处理器、存储器和收发器，所述存储器，用于存储计算机程序，所述处理器，用于执行所述存储器中存储的计算机程序，以使得所述装置执行上述第一方面的任一种可能的实现方式所述的方法。
第七方面，提供了一种通信装置，所述通信装置包括：至少一个处理器和通信接口，所述通信接口用于所述通信装置与其它通信装置进行信息交互，当程序指令在所述至少一个处理器中执行时，使得所述通信装置实现第一方面的任一种可能的实现方式所述的方法。
第八方面，本技术方案提供了一种非易失性计算机可读存储介质，包括计算机指令，当计算机指令在电子设备上运行时，使得电子设备执行第一方面中的任意一种实现方式中的方法。
第九方面，本技术方案提供了一种计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备执行第一方面中的任意一种实现方式中的方法。
第十方面，提供一种芯片，所述芯片包括处理器与数据接口，所述处理器通过所述数据接口读取存储器上存储的指令，执行上述第一方面中的任意一种实现方式中的方法。
可选地，作为一种实现方式，所述芯片还可以包括存储器，所述存储器中存储有指令，所述处理器用于执行所述存储器上存储的指令，当所述指令被执行时，所述处理器用于执行第一方面中的任意一种实现方式中的方法。
附图说明
图1是本申请实施例提供的一种电子设备的硬件结构示意图。
图2是本申请实施例提供的一种电子设备的软件结构示意图。
图3是本申请实施例提供的一种用户界面示意图。
图4是本申请实施例提供的一种语音控制设备的方法的示意性流程图。
图5是本申请实施例提供的一种语音控制设备的方法的示意性流程图。
图6是本申请实施例提供的一种用户界面示意图。
图7是本申请实施例提供的一种语音识别模块的示意性交互图。
图8是本申请实施例提供的一种语音控制设备的方法的示意性流程图。
图9是本申请实施例提供的一种语音控制设备的方法的示意性流程图。
图10是本申请实施例提供的一种电子设备的示意性框图。
具体实施方式
下面将结合附图，对本申请中的技术方案进行描述。
以下实施例中所使用的术语只是为了描述特定实施例的目的，而并非旨在作为对本申请的限制。如在本申请的说明书和所附权利要求书中所使用的那样，单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括例如“一个或多个”这种表达形式，除非其上下文中明确地有相反指示。还应当理解，在本申请以下各实施例中， “至少一个”、“一个或多个”是指一个、两个或两个以上。术语“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系；例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A、B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。
在本说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
以下介绍了本申请实施例提供的电子设备、用于这样的电子设备的用户界面、和用于使用这样的电子设备的实施例。在一些实施例中，电子设备可以是还包含其它功能诸如个人数字助理和/或音乐播放器功能的便携式电子设备，诸如手机、平板电脑、视频播放器等。便携式电子设备的示例性实施例包括但不限于搭载
Figure PCTCN2020102113-appb-000001
或者其它操作系统的便携式电子设备。上述便携式电子设备也可以是其它便携式电子设备，诸如膝上型计算机(Laptop)等。还应当理解的是，在其他一些实施例中，上述电子设备也可以不是便携式电子设备，而是台式计算机、电视、笔记本电脑、投影设备、机顶盒等。
示例性的，图1示出了电子设备100的结构示意图。电子设备100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，天线，无线通信模块160，扬声器170，麦克风171，耳机接口172，高清多媒体接口(high definition multimedia interface，HDMI)181，复合视频(audio video，AV)接口182，按键190，摄像头193，显示屏194等。
可以理解的是，本申请实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processing unit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的部件，也可以集成在一个或多个处理器中。在一些实施例中，电子设备101也可以包括一个或多个处理器110。其中，控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。在其他一些实施例中，处理器110中还可以设置存储器，用于存储指令和数据。示例性地，处理器110中的存储器可以为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。这样就避免了重复存取，减少了处理器110的等待时间，因而提高了电子设备101处理数据或执行指令的效率。
在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路间 (inter-integrated circuit，I2C)接口，集成电路间音频(inter-integrated circuit sound，I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口，通用输入输出(general-purpose input/output，GPIO)接口，和/或USB接口等。其中，USB接口130是符合USB标准规范的接口，具体可以是Mini USB接口，Micro USB接口，USB Type C接口等。USB接口130可以用于连接充电器为电子设备101充电，也可以用于电子设备101与外围设备之间传输数据。该USB接口130也可以用于连接耳机，通过耳机播放音频。
可以理解的是，本申请实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对电子设备100的结构限定。在本申请另一些实施例中，电子设备100也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。
电子设备100的无线通信功能可以通过天线、无线通信模块160，调制解调处理器以及基带处理器等实现。
天线可以用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。在另外一些实施例中，天线可以和调谐开关结合使用。
无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wireless local area networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星系统(global navigation satellite system，GNSS)，调频(frequency modulation，FM)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。
电子设备100通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emitting diode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emitting diode，FLED)，量子点发光二极管(quantum dot light emitting diodes，QLED)等。在一些实施例中，电子设备100可以包括1个或多个显示屏194。
电子设备100的显示屏194可以是一种柔性屏，目前，柔性屏以其独特的特性和巨大的潜力而备受关注。柔性屏相对于传统屏幕而言，具有柔韧性强和可弯曲的特点，可以给用户提供基于可弯折特性的新交互方式，可以满足用户对于电子设备的更多需求。对于配置有可折叠显示屏的电子设备而言，电子设备上的可折叠显示屏可以随时在折叠形态下的小屏和展开形态下大屏之间切换。因此，用户在配置有可折叠显示屏的电子设备上使用分屏功能，也越来越频繁。
电子设备100可以通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，电子设备100可以包括1个或多个摄像头193。
数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样，电子设备100可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，MPEG)1，MPEG2，MPEG3，MPEG4等。
NPU为神经网络(neural-network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。
外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。
内部存储器121可以用于存储一个或多个计算机程序，该一个或多个计算机程序包括指令。处理器110可以通过运行存储在内部存储器121的上述指令，从而使得电子设备101执行本申请一些实施例中所提供的灭屏显示的方法，以及各种应用以及数据处理等。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统；该存储程序区还可以存储一个或多个应用(比如图库、联系人等)等。存储数据区可存储电子设备101使用过程中所创建的数据(比如照片，联系人等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如一个或多个磁盘存储部件，闪存部件，通用闪存存储器(universal flash storage，UFS)等。在一些实施例中，处理器110可以通过运行存储在内部存储器121的指令，和/或存储在设置于处理器110中的存储器的指令，来使得电子设备101执行本申请实施例中所提供的灭屏显示的方法，以及其他应用及数据处理。
电子设备100可以通过扬声器170，麦克风171，耳机接口172，以及应用处理器等实现音频功能。例如音乐播放，录音等。
按键190包括开机键，音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入，产生与电子设备100的用户设置以及功能控制有关的键信号输入。
电子设备100可以通过高清多媒体接口(high definition multimedia interface，HDMI)181接收数据，并通过显示屏194、扬声器170、耳机接口172实现显示功能，例如分屏(又可以被称为扩展屏幕)功能、视频播放功能等。
电子设备100可以通过复合视频(audio video，AV)接口182接收视频资源数据，并通过显示屏194、扬声器170、耳机接口172实现显示功能，例如分屏功能、视频播放功能等。AV接口182可以包括V(video接口)183、L(left)接口184、R(right)接口185。V接口183可以用于输入混合视频信号。L接口184可以用于输入左声道声音信号。R接口185可以用于输入右声道声音信号。
图2是本申请实施例的电子设备100的软件结构框图。分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将Android系统分为四层，从上至下分别为应用程序层，应用程序框架层，安卓运行时(Android runtime)和系统库，以及内核层。应用程序层可以包括一系列应用程序包。
如图2所示，应用程序包可以包括语音助手、电视播放、电视剧播放、电影播放、音频播放、图库、浏览器、时钟、设置等应用程序。
应用程序框架层为应用程序层的应用程序提供应用编程接口(application programming interface，API)和编程框架。应用程序框架层包括一些预先定义的函数。
如图2所示，应用程序框架层可以包括窗口管理器，内容提供器，视图系统，电话管理器，资源管理器，通知管理器等。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。
内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。所述数据可以包括视频，图像，音频，浏览历史和书签等。
视图系统包括可视控件，例如显示文字的控件，显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如，电视剧播放界面可以包括显示文字的视图、显示图像的视图以及显示视频的视图。
资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等等。
通知管理器使应用程序可以在状态栏中显示通知信息，可以用于传达告知类型的消息，可以短暂停留后自动消失，无需用户交互。比如通知管理器被用于告知下载完成，消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知，例如后台运行的应用程序的通知，还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息，发出提示音等。
Android Runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。
核心库包含两部分：一部分是java语言需要调用的功能函数，另一部分是安卓的核心库。
应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理，堆栈管理，线程管理，安全和异常的管理，以及垃圾回收等功能。
系统库可以包括多个功能模块。例如：表面管理器(surface manager)，媒体库(media libraries)，三维图形处理库(例如：OpenGL ES)，2D图形引擎(例如：SGL)等。
表面管理器用于对显示子系统进行管理，并且为多个应用程序提供了2D和3D图层的融合。
媒体库支持多种常用的音频，视频格式回放和录制，以及静态图像文件等。媒体库可以支持多种音视频编码格式，例如:MPEG4，H.264，MP3，AAC，AMR，JPG，PNG等。
三维图形处理库用于实现三维图形绘图，图像渲染，合成，和图层处理等。
2D图形引擎是2D绘图的绘图引擎。
内核层是硬件和软件之间的层。内核层至少包含显示驱动，摄像头驱动，音频驱动，传感器驱动。
应用程序包中的语音助手可以是系统级应用。语音助手也可称为人机交互机器人、人机对话机器人或聊天机器人(ChatBOT)等。语音助手应用也可以称为智慧助手应用等。语音助手目前广泛应用于手机、平板电脑、智能音箱、智能电视等多类电子设备，为用户提供了智能化的语音交互方式。语音助手是人机交互的核心之一。
图3所示为电子设备100的用户界面的示意图。该电子设备100可以是如图1所示的电子设备100。例如，电子设备100可以是电视、投影设备等大屏显示装置。在该用户界面中可以显示有多个图标。例如用户界面可以包括多个菜单图标301、多个资源合集图标302、多个功能图标303等。可以理解的是，本申请实施例示意的用户界面并不构成对用户界面300的具体限定。在本申请另一些实施例中，用户界面300可以包括比图示更多或更少的图标，或者组合某些图标，或者拆分某些图标，或者不同的图标布置。
在如图3所示的用户界面上，多个菜单图标301可以包括：“首页”图标、“电视剧”图标、“电影”图标、“少儿”图标、“应用”图标、“音乐”图标、“电台”图标、“教育”图标、“综艺”图标等。应理解，电子设备100还可以为用户提供更多的菜单图标301，然而由于用户界面的尺寸有限，该用户界面可以显示全部菜单图标301中的一部分。用户例如可以通过红外遥控器或语音选择菜单图标301。
在一个示例中，用户选择“首页”图标，电子设备100可以显示多种资源合集图标302。该多种资源合集的类型可以包括电视剧合集、电影合集、少儿合集、应用程序合集、音乐合集、电台合集、教育合集、综艺合集等。例如，电子设备100可以显示当前热度最高的3部电视剧合集的图标，和热度最高的3部电影合集的图标。
在一个示例中，用户选择“电视剧”图标，如图3所示，电子设备100可以显示多个电视剧合集的图标。例如，电子设备100可以显示当前热度最高的3部电视剧合集的图标，以及正在更新且热度相对较高的3部电视剧合集的图标。如图3所示，当前热度最高的3部电视剧合集可以包括“如懿传”、“沙海”、“将夜”。正在更新且热度相对较高的3部电视剧合集可以包括“幕后之王”、“纸牌屋”、“知否知否应是红肥绿瘦”。可选的，每个电视剧合集的图标可以包括电视剧合集的示意图3021(如该电视剧的剧照)、该电视剧合集的名称3022(如该电视剧的名称)、该电视剧合集的集数3023(如该电视剧的 最新集数)。如果该电视剧合集已经更新完毕，则可以显示“全X集”(如图3中“如懿传”所对应的图标上显示有“全87集”)；如果该电视剧合集尚未更新完毕，则可以显示“更新至Y集”(如图3中“幕后之王”所对应的图标上显示有“更新至8集”)。
在一个示例中，用户选择“电影”图标，电子设备100可以显示多个电影合集的图标。例如，电子设备100可以显示当前热度最高的3部电影合集的图标，以及刚刚上映的3部电影合集的图标。
在一个示例中，用户选择“少儿”图标，电子设备100可以显示多个少儿合集的图标。例如，电子设备100可以显示当前热度最高的3部少儿节目的图标，以及刚刚热度最高的3部少儿动画片的图标。
在一个示例中，用户选择“应用”图标，电子设备100可以显示多个应用程序的图标。例如，电子设备100可以显示最近用户使用的3个应用程序的图标，以及用于最常用的3个应用图标。
在一个示例中，用户选择“音乐”图标，电子设备100可以显示多个音乐合集的图标。例如，电子设备100可以显示刚刚发布的3个音乐专辑的图标，以及用户最新收藏的3个音乐播放列表的图标。
在一个示例中，用户选择“电台”图标，电子设备100可以显示多个电台合集的图标。例如，电子设备100可以显示当前热度最高的3个电台节目的图标，以及用户最新收藏的3个电台节目的图标。
在一个示例中，用户选择“教育”图标，电子设备100可以显示多个教育合集的图标。例如，电子设备100可以显示当前热度最高的3个教育合集的图标，以及用户最近播放的3个教育合集的图标。
在一个示例中，用户选择“综艺”图标，电子设备100可以显示多个综艺合集的图标。例如，电子设备100可以显示当前热度最高的3个综艺合集的图标，以及用户最近播放的3个综艺合集的图标。
用户界面中的多个功能图标303可以包括返回图标、用户信息图标、设置图标、无线连接图标、时钟图标等。用户选择返回图标，可以返回上一层用户界面。用户选择用户信息图标，可以查看在电子设备100上登录的用户账号信息。用户选择设置图标，可以进入设置界面，并可以调整电子设备100的参数。用户选择无线连接图标，可以使用电子设备100的无线连接功能，例如搜索电子设备100周围的可用无线网络，并接入该可用无线网络。用户可以查看时钟图标，了解当前的时间。用户选择时钟图标，可以设置电子设备100的时钟参数。
图4是一种语音控制设备的方法。在图4所示的方法中，客户端设备可以是如图1所示的电子设备100。
401，客户端设备显示当前用户界面。
例如，客户端设备显示的当前用户界面可以是如图3所示的用户界面300。
402，客户端设备获取用户的语音指令，所述语音指令用于指示目标操作。
用户可以说出语音指令，如“播放如懿传30集”。也就是说，用户在观察该当前用户界面之后，选择该当前用户界面上的电视剧合集“如懿传”，并选择观看该“如懿传”合集中的第30集视频资源。该语音指令可以用于指示客户端设备播放电视剧合集“如懿传”中 的第30集视频资源。
可选的，骤402可以由客户端设备上的语音助手完成。
可选的，用户可以说出唤醒词，以唤醒客户端设备捕获用户的语音指令。
可选的，如图3中的304所示，客户端设备在捕获用户的语音指令的过程中，可以在当前用户界面上显示提示信息，以提示用户正在使用客户端设备的语音识别功能。
403，所述客户端设备根据语音识别文件以及所述语音指令，确定所述目标操作，所述语音识别文件用于确定所述语音指令所对应的目标操作。
403可以由客户端设备上的语音助手完成。
语音识别文件可以包括用于确定目标操作的多种信息，因此客户端设备可以确定语音指令所对应的操作。例如，语音识别文件可以包括用于确定语音指令为播放视频指令的数据。又如，语音识别文件可以包括用于确定语音指令为下载应用指令的数据。
客户端设备例如可以通过语音识别(automatic speech recognition，ASR)模块、语义理解(natural language understanding，NLU)模块实现语音识别的操作。
404，所述客户端设备执行所述目标操作。
也就是说，客户端设备可以执行目标操作，以响应用户发出的语音指令。
综上所述，客户端设备可以根据语音识别文件，识别用户的语音。而为获得优良的用户体验感，需要经常更新数据资源库、用户界面等内容。另外，还需要更新语音识别文件，以便于用户便捷地使用语音指令。因此需要耗费较大的工作量来更新语音识别文件。另外，语音包的数据量通常较大，不利于语音识别的效率。
图5是本申请实施例提供的一种语音控制设备的方法。在图4所示的方法中，客户端设备可以是如图1所示的电子设备100。
501，客户端设备获取用户的语音指令，所述语音指令用于指示目标指令或目标操作。
可选的，501可以由客户端设备上的语音助手完成。
可选的，用户可以说出唤醒词，以唤醒客户端设备捕获用户的语音指令。
目标指令例如可以是语音指令的文本内容。
目标操作例如可以是目标指令所指示的响应操作。
在一个示例中，用户可以说出语音指令，如“播放如懿传30集”。也就是说，用户在观察到客户端设备显示的用户界面之后，可以选择该用户界面上的电视剧合集“如懿传”，并选择观看该“如懿传”合集中的第30集视频资源。该语音指令可以用于指示客户端设备播放电视剧合集“如懿传”中的第30集视频资源。
在一个示例中，用户可以说出语音指令，如“显示电影页面”。也就是说，用户在观察到客户端设备显示的用户界面之后，可以选择该用户界面上的电影合集，从而可以继续浏览电影合集中的电影资源。该语音指令可以用于指示客户端设备显示电影合集所对应的用户界面。
在一个示例中，用户可以说出语音指令，如“打开WiFi(即无线保真(wireless fidelity))”。也就是说，在观察到客户端设备显示的用户界面之后，用户可以选择该用户界面上的无线连接图标，并设置客户端设备的无线连接参数。该语音指令可以用于指示客户端设备启动无线连接模块。
在一个示例中，用户可以说出语音指令，如“第3个”。也就是说，在观察到客户端 设备显示的用户界面之后，用户可以选择角标3对应的图标或操控指令。该语音指令可以用于指示客户端设备执行角标3所对应的操作。
在一个示例中，用户可以说出语音指令，如“下一页”。也就是说，在观察到客户端设备显示的用户界面之后，用户可以控制客户端设备执行翻页操作，从而用户可以继续浏览下一页用户界面。该语音指令可以用于指示客户端设备显示下一页用户界面。
可选的，如图3中的304所示，客户端设备在捕获用户的语音指令的过程中，可以在当前用户界面上显示提示信息，以提示用户正在使用客户端设备的语音识别功能。
502，所述客户端设备获取当前用户界面的用户界面信息，所述当前用户界面为所述客户端设备当前显示的用户界面。
当前用户界面可以是501中用户观察到的用户界面。当前用户界面例如可以是如图3所示的用户界面300。用户界面信息可以包括指示当前用户界面的各种信息。
可选的，502可以由客户端设备上的语音助手完成。
可选的，501与502的执行顺序可以调换。如先执行501，后执行502。或者，先执行502，后执行501。
可选的，所述用户界面信息包括以下至少一种信息：所述当前用户界面的图标名称、热词信息、操控指令的指示信息、目标角标信息。
在一个示例中，用户界面信息可以包括所述当前用户界面的图标名称。
以如图3所示的用户界面300为例，用户界面300可以包括“首页”图标、“电视剧”图标、“电影”图标、“少儿”图标、“应用”图标、“音乐”图标、“电台”图标、“教育”图标、“综艺”图标、“如懿传”合集图标、“沙海”合集图标、“将夜”合集图标、“幕后之王”合集图标、“纸牌屋”合集图标、“知否知否应是红肥绿瘦”合集图标、返回图标、用户信息图标、设置图标、无线连接图标、时钟图标等。因此，与用户界面300对应的用户界面信息可以包括：首页、电视剧、电影、少儿、应用、音乐、电台、教育、综艺、如懿传、沙海、将夜、幕后之王、纸牌屋、知否知否应是红肥绿瘦、返回、用户信息、设置、无线连接、时钟等。应理解，合集可以指数据资源的集合。例如，“如懿传”合集可以是包含“如懿传”全集电视剧视频的资源集合。
在一个示例中，所述用户界面信息包括热词信息。
例如，“少儿”被称为“儿童”等。也就是说“少儿”可以对应热词“儿童”。因此，与用户界面300对应的用户界面信息所包括的热词信息可以有：儿童。
又如，“音乐”被称为“歌曲”等。也就是说“音乐”可以对应热词“歌曲”。因此，与用户界面300对应的用户界面信息所包括的热词信息可以有：歌曲。
又如，“电台”被称为“广播”等。也就是说“电台”可以对应热词“广播”。因此，与用户界面300对应的用户界面信息所包括的热词信息可以有：广播。
又如，“如懿传”常被简称为“如懿”等。也就是说“如懿传”可以对应热词“如懿”。因此，与用户界面300对应的用户界面信息所包括的热词信息可以有：如懿。
又如，“知否知否应是红肥绿瘦”常被简称为“知否”、“知否知否”等。也就是说“知否知否应是红肥绿瘦”可以对应热词“知否”、热词“知否知否”。因此，与用户界面300对应的用户界面信息所包括的热词信息可以有：知否、知否知否。
又如，“复仇者联盟”常被简称为“复联”、“复仇者”等。也就是说“复仇者联盟”可以 对应热词“复联”、热词“复仇者”。因此，在当前用户界面包含“复仇者联盟”合集图标的情况下，用户界面信息所包括的热词信息可以有：复联、复仇者。
又如，“用户信息”常被称为“账户”、“登录信息”等。也就是说“用户信息”可以对应热词“账户”、热词“登录信息”等。因此，与用户界面300对应的用户界面信息所包括的热词信息可以有：账户、登录信息。
又如，“无线连接”应用的功能可以包括连接无线保真(wireless fidelity，WiFi)，因此“无线连接”可以对应热词“WiFi”、“无线”、“热点”、“网络”等。因此，与用户界面300对应的用户界面信息所包括的热词信息可以有：WiFi、无线、热点、网络。
又如，“时钟”应用的功能是查看时间，因此“时钟”可以对应热词“时间”、“几点”。因此，与用户界面300对应的用户界面信息所包括的热词信息可以有：时间、几点。
在一个示例中，所述用户界面信息包括操控指令的指示信息。
可选的，所述操控指令可以包括以下中的至少一个：刷新用户界面指令、移动用户界面指令、翻页指令、移动选择框指令等。
例如，在操控指令包括刷新用户界面指令的情况下，用户界面信息可以包括“刷新”、“刷新页面”、“刷新一下”、“刷新界面”、“刷新用户界面”等信息中的至少一个。
又如，在操控指令包括移动用户界面指令的情况下，用户界面信息可以包括“左移”、“右移”、“上移”、“下移”、“移动”、“滑动”、“移动用户界面”等信息中的至少一个。
又如，在操控指令包括翻页指令的情况下，用户界面信息可以包括“上一页”、“下一页”、“翻页”、“左翻”、“右翻”等信息中的至少一个。
又如，在操控指令包括移动选择框指令的情况下，用户界面信息可以包括“下一个”、“上一个”、“移动选择框”等信息中的至少一个。
可以看出，用户可以通过多种不同的表述，指示同一操控指令。因此，用户界面信息可以包括用户可能用到的表述，该表述可以指示对应的操控指令。
在一个示例中，所述用户界面信息还包括所述当前用户界面上显示的目标角标信息。
所述目标角标信息例如可以与目标图标、目标合集或目标操控指令对应。
可选的，所述用户界面信息还包括所述目标角标信息与目标图标之间的对应关系。
可选的，所述用户界面信息还包括所述目标角标信息与目标合集之间的对应关系。
如图6所示，当前用户界面可以显示多个角标601，包括角标1、角标2、角标3、角标4、角标5、角标6。其中，角标1可以与电视剧合集“如懿传”的图标对应；角标2可以与电视剧合集“沙海”的图标对应；角标3可以与电视剧合集“将夜”的图标对应；角标4可以与电视剧合集“幕后之王”的图标对应；角标5可以与电视剧合集“纸牌屋”的图标对应；角标6可以与电视剧合集“知否知否应是红肥绿瘦”的图标对应。因此，用户界面信息可以包括指示“角标1—如懿传”的信息，指示“角标2—沙海”的信息，指示“角标3—将夜”的信息，指示“角标4—幕后之王”的信息，指示“角标5—纸牌屋”的信息，以及，指示“角标6—知否知否应是红肥绿瘦”的信息。
可选的，所述用户界面信息还包括所述目标角标信息与目标操控指令之间的对应关系。
例如，当前用户界面显示角标1和角标2。其中，角标1对应的目标操控指令为：按 照分辨率720P播放视频；角标2对应的目标操控指令为：按照分辨率1080P播放视频。因此，用户界面信息可以包括指示“角标1—720P”的信息，以及，指示“角标2—1080P”的信息。
又如，当前用户界面显示角标1和角标2。其中，角标1对应的目标操控指令为：按照倍速1.0x播放视频；角标2对应的目标操控指令为：按照倍速2.0x播放视频。因此，用户界面信息可以包括指示“角标1—1.0x”的信息，以及，指示“角标2—2.0x”的信息。
可选的，所述获取当前用户界面的用户界面信息，包括：向前台应用发送第一指示信息，所述第一指示信息用于指示所述前台应用反馈所述用户界面信息；接收所述前台应用发送的所述用户界面信息，所述用户界面信息由所述前台检索与所述当前用户界面相关的信息得到。
前台应用例如可以是视频播放应用、音频播放应用、桌面应用、设置应用、电视直播应用、电台应用等。
例如，所述客户端设备的语音助手在检测到用户的语音指令后，可以通过调用所述客户端设备的前台应用的软件接口，向前台应用发送第一指示信息，该第一指示信息可以指示所述前台应用反馈所述用户界面信息。所述前台应用可以根据所述第一指示信息，通过所述软件接口将所述用户界面信息发送给所述语音助手。
前台应用确定用户界面信息的方式可以是扫描当前用户界面的元素。元素可以包括图标、图标对应的合集信息、所述当前用户界面对应的操控指令等。
前台应用确定用户界面信息的方式还可以包括从网络设备(例如云服务器)获取与当前用户界面上的元素相关的数据。例如，获取与“如懿传”相关的热词包括“如懿”。
前台应用确定用户界面信息的方式可以是，搜索用于显示当前用户界面的文档，得到该用户界面信息。该文档例如可以包括超级文本标记语言(hyper text markup language，HTML)文件、可扩展标记语言(extensible markup language，XML)文件、脚本文件等。
可选的，所述用户界面信息还包括所述前台应用的标识。
也就是说，语音助手可以根据该用户界面信息，获知当前用户界面是由所述前台应用提供，且所述用户界面信息是由所述前台应用提供。
假设当前用户界面被更新，例如在当前用户界面上增加了一部电视剧的图标。由于语音助手可以通过前台应用获取用户界面信息，而前台应用在显示该更新后的用户界面时就已经获知了该更新后的用户界面上的元素，因此当前用户界面的更新不会影响语音助手的语音识别效率。
下面表1提供一种语音助手从前台应用获取用户界面信息的代码。具体地，该用户界面信息可以包括热词信息、操控指令的指示信息、角标最大值。
表1
Figure PCTCN2020102113-appb-000002
Figure PCTCN2020102113-appb-000003
可选的，在所述获取用户的语音指令之前，所述方法还包括：在所述当前用户界面上显示角标。
例如，所述用户界面信息包括目标角标信息，在语音助手获取到用户的语音指令之前，所述方法还包括：语音助手向所述前台应用发送第二指示信息，所述第二指示信息用于指示所述前台应用在所述当前用户界面上显示角标。也就是说，当用户说出唤醒词唤醒语音助手后，语音助手可以向前台应用发送第二指示信息，从而前台应用可以在当前显示的界面上显示角标。之后，用户可以观察显示有角标的用户界面，并说出包含角标信息的语音。前台应用反馈给语音助手的用户界面信息可以包括角标的信息。
可选的，在所述获取用户的语音指令之后，所述方法还包括：去除所述当前用户界面上的角标。
在语音助手获取到语音指令之后，前台应用就可以去除当前用户界面上的角标。例如，在所述前台应用将所述用户界面信息反馈给所述语音助手之后，所述前台应用可以去除所述用户界面上的角标。不包括角标的用户界面可以具有相对简洁的显示效果。
503，所述客户端设备将所述用户界面信息以及所述语音指令发送给服务器。
相应地，所述服务器接收所述客户端设备发送的所述用户界面信息以及所述语音指令。
可选的，503可以由客户端设备上的语音助手完成。
客户端设备可以不具备语音识别的能力，即客户端设备可能无法将用户的语音指令转换为与该语音指令对应的设备控制指令的能力。客户端设备可以将用户的语音指令发送至服务器，由服务器执行语音识别的操作。并且，服务器可以根据客户端设备当前显示的用户界面，执行语音识别的操作。因此，客户端设备可以将用于指示当前显示的用户界面的用户界面指示信息发送给服务器。
504，所述服务器根据所述用户界面信息以及所述用户的语音指令，确定目标指令，所述目标指令用于指示所述客户端设备执行所述目标操作。
在一个示例中，语音指令为“播放如懿传30集”。用户界面信息包括：如懿传。服务器可以根据语音指令中的“播放”确定目标操作的类型为播放音视频，将语音指令中的“如懿传”与用户界面信息中的“如懿传”对应起来，从而服务器可以确定目标指令，该目标指令对应的目标操作为：播放电视剧合集“如懿传”中的第30集视频资源。
在一个示例中，语音指令为“显示电影页面”。用户界面信息包括：电影。服务器可以根据语音指令中的“显示”确定目标操作的类型为显示特定用户界面，将语音指令中的“电影”与用户界面信息中的“电影”对应起来，从而服务器可以确定目标指令，该目标指令对应的目标操作为：显示电影合集所对应的用户界面。
在一个示例中，语音指令为“打开WiFi”。用户界面信息包括：WiFi。服务器可以根据语音指令中的“打开”确定目标操作的类型为启动特定功能，将语音指令中的“WiFi”与用户界面信息中的“WiFi”对应起来，从而服务器可以确定目标指令，该目标指令对应的目标操作为：启动客户端设备的无线连接模块。
在一个示例中，语音指令为“第3个”。用户界面信息包括：角标3—将夜。服务器可以根据语音指令确定目标操作的类型为点击，将语音指令中的“3”与用户界面信息中的“角标3—将夜”对应起来，从而服务器可以确定目标指令，该目标指令对应的目标操作为：点击电视剧合集“将夜”的图标。
在一个示例中，语音指令为“下一页”。用户界面信息包括：下一页。服务器可以根据语音指令确定目标操作的类型为翻页操作，将语音指令中的“下一页”与用户界面信息中的“下一页”对应起来，从而服务器可以确定目标指令，该目标指令对应的目标操作为：显示下一页用户界面。
服务器例如可以通过语音识别(automatic speech recognition，ASR)模块、语义理解(natural language understanding，NLU)模块实现语音识别的操作。可选的，服务器或客户端设备还可以包括对话控制(dialogue state tracking，DST)模块、对话管理(dialogue manager，DM)模块、对话生成(natural language generation，NLG)模块和语音播报(text to speech，TTS)模块等实现语音识别的操作。下面通过图7阐述各个模块的作用，其中图7中的701可以表示语音指令。
(1)ASR模块
ASR模块的主要作用是将用户的语音识别为文字内容。ASR模块可以根据用户界面信息，用户的语音指令进行处理，将一段语音变成对应的文字。例如，可以将语音指令中的一部分与用户界面信息所包含的图标名称对应。由于近年来机器学习能力的发展，大幅提升了ASR语音识别模块的识别准确率，这才让人与机器的语音交互成为可能，因此ASR是语音交互真正意义上的起点。虽然ASR模块可以获知用户在说什么，但其无法理解用 户的意思，对语义的理解会交由NLU模块来处理。
(2)NLU模块
NLU模块的主要作用是理解用户的意图(intent)，进行槽位(slot)解析。NLU模块可以根据用户界面信息，确定语音指令的意图和槽位。例如，可以将ASR模块得到的文字与用户界面信息所包含的图标名称对应。
示例性的，当前显示的用户界面如图3所示。用户表达：播放如懿传30集。
由于当前显示的用户界面包括电视剧合集“如懿传”的图标，因此NLU模块可以解析得出表2所示的内容。
表2
Figure PCTCN2020102113-appb-000004
因此，NLU模块可以将语音指令“播放如懿传30集”转变为对应的目标指令。
上述示例中提到了2个概念，分别是意图和槽位，下面对这两个概念进行详细解释。
意图
意图可以理解成是一个分类器，确定用户表达的这句话是哪个类型，进而由这个类型对应的程序做专门的解析。在一种实现方式中，“这个类型对应的程序”可以是机器人(Bot)，比如用户说：“给我放一个喜剧电影吧”，NLU模块判断用户的意图分类是电影，因此召唤出电影机器人(Bot)给用户推荐一部电影播放，用户听着觉得不对的时候，说：“换一部”，还是这个电影机器人继续为用户服务，直到用户表达别的问题，意图已经不是电影的时候，再切换成别的机器人为用户服务。
槽位
当用户意图被确定之后，NLU模块就需要进一步理解对话中的内容，为简便起见，可以选择最核心的部分进行理解，其他可以忽略，那些最重要的部分可以称之为槽位(Slot)。
在“播放如懿传30集”这个例子中定义了2个核心槽位，分别是“视频名称”、“集数”。如果要全面考虑用户播放视频需要输入的内容，我们肯定能想到更多，比如播放起点、播放速度、播放分辨率等，对于语音交互的设计者来说，设计的起点就是定义槽位。
下面提供几种确定目标指令的代码。
示例1
Figure PCTCN2020102113-appb-000005
Figure PCTCN2020102113-appb-000006
示例2
Figure PCTCN2020102113-appb-000007
示例3
Figure PCTCN2020102113-appb-000008
(3)DST模块和DM模块
DST模块主要的作用是进行槽位检验与合并，DM模块的主要作用是做顺序填槽澄清、消歧。
示例性的，用户表达的是“播放如懿传”，此时NLU模块可以确定用户的意图为“播放”，该意图相关的槽位信息为“视频名称”和“集数”。而用户的表达的语句中只有“视频名称”这一个槽位信息，那么此时DST模块“集数”这一槽位信息缺失，DST模块可以将缺失的槽位信息发送给DM模块，并由DM模块控制NLG模块生成向用户询问缺失的槽位信息的对话。
示例性的，用户：我想看视频；
BOT：请问视频的名称是什么？
用户：如懿传；
BOT：请问您想从第几集开始播放？
…
当用户将“播放”这一意图中所有的槽位信息都补充完整后，DM模块可以先对各个槽位信息进行按照预设的顺序进行跳槽。示例性的，填槽的顺序可以依次为“视频名称”，“集数”，其中分别对应的槽位信息为“如懿传、“第30集”。
在填槽完成后，DM模块可以控制命令执行模块去执行“播放”这一操作。示例性的，命令执行模块可以打开电视剧应用，并从如懿传第30集开始播放。
应理解，在不同的对话系统中，对话管理器各模块的叫法与设计都不尽相同，这里可以统一认为DST模块与DM模块是一个整体，用于进行对话状态控制和管理。举例来说，如果用户表达了“播放”的需求，但是什么信息都没说清楚，我们就需要对话系统询问用户必须获知的槽位信息。
(4)对话生成NLG模块
NLG模块的主要作用是生成对话。
示例性的，当DM模块确定“集数”这一槽位信息缺失时，可以控制NLG模块生成对应的对话为“请问您想从第几集开始播放？”。
示例性的，当命令执行模块在完成“播放”这一操作后，可以告知DM模块该操作已经完成，此时DM模块可以控制NLG模块生成对应的对话为“现在为您播放如懿传第30集…”。
(5)TTS模块
TTS模块的主要作用是向用户播报对话。
TTS是语音合成播报技术，主要目标是处理好播报的“音韵”问题，这需要对符号、多音字，句型等等信息做判断、统一考虑，处理播报中的字音读法。另一方面，为适应不同人群喜好，也要关注“音色”。总的来说就是处理好“音韵”和“音色”。
为了提升TTS播报质量，会邀请真人录制标准的模板部分，这样整个对话系统听起来会更加自然。
505，所述服务器将所述目标指令发送至所述客户端设备。
相应地，所述客户端设备接收所述服务器发送的所述目标指令。可选的，客户端设备上的语音助手可以接收所述服务器发送的所述目标指令。
也就是说，服务器将对语音指令的识别结果反馈给客户端设备。
可选的，还包括506，所述客户端设备根据所述目标指令，确定并执行所述目标操作。
也就是说，客户端设备可以根据服务器发送的目标指令，确定目标指令所指示的目标操作，并执行该目标操作，以响应用户发出的语音指令。
可选的，所述目标指令包括所述前台应用的标识。
例如，前台应用将包含前台应用标识的用户界面信息发送给语音助手，语音助手再将该用户界面信息发送给服务器。服务器根据用户界面信息和语音指令，确定所述目标指令，并且该目标指令可以携带前台应用的标识。从而，语音助手可以根据服务器发送的该前台应用的标识，调用该前台应用的软件接口，并将该目标指令发送给前台应用。前台应用可以根据该目标指令，执行目标操作。
下面通过图8所示的示例详细阐述本申请提供的语音控制设备的方法。
801，用户说出唤醒词唤醒语音助手。
语音助手例如可以是客户端设备的语音助手。
802，语音助手建立语音助手与前台应用之间的绑定关系。
前台应用例如可以是客户端设备的前台应用。
例如，语音助手可以调用前台应用的软件接口，从而建立语音助手与前台应用之间的绑定关系。
803，前台应用显示角标。
也就是说，客户端设备可以在当前显示的用户界面上显示一个或多个角标。当前显示的用户界面可以是当前用户界面。
804，用户说出语音指令。
相应地，语音助手获取用户的语音指令。
804的具体实现方式可以参考图5所示实施例中的501，在此就不必赘述。
805，前台应用将所述当前用户界面的用户界面信息发送给语音助手。
相应地，语音助手接收前应用发送的所述用户界面信息。
805的具体实现方式可以参考图5所示实施例中的502，在此就不必赘述。
例如，如图8所示，在语音助手与前台应用绑定后的一段时间内，前台应用可以将用户界面信息发送给语音助手，且该段时间未超过预设阈值(如100ms)，则语音助手可以将用户界面信息发送给云服务器的接入平台。如果在语音助手与前台应用绑定后的较长时间内，语音助手未接收到用户界面信息，则客户端与云服务器之间的接口不携带参数。
806，语音助手将所述语音指令和所述用户界面信息发送给服务器的接入平台。
相应地，服务器的接入平台接收语音助手发送的所述语音指令和所述用户界面信息。
806的具体实现方式可以参考图5所示实施例中的503，在此就不必赘述。
807，语音助手解除语音助手与前台应用之间的绑定关系。
例如，语音助手可以解除对前台应用的软件接口的调用。
808，前台应用去除当前用户界面上的角标。
809，所述接入平台可以将语音助手发送的所述语音指令和所述用户界面信息发送给服务器的ASR模块。
相应地，所述ASR模块可以接收所述接入平台发送的所述语音指令和所述用户界面信息。
810，所述ASR模块可以根据所述用户界面信息，将所述语音指令转换为文本，并将所述文本发送给所述接入平台。
相应地，所述接入平台接收所述ASR模块发送的所述文本。
811，所述接入平台可以将语音助手发送的所述用户界面信息和所述ASR模块发送的所述文本发送给服务器的DM模块。
相应地，所述DM模块接收所述文本和所述用户界面信息。
812，所述DM模块根据所述用户界面信息，对所述文本进行意图、槽位的解析，得到与所述语音指令对应的目标指令。
813，所述DM模块将所述目标指令发送给所述接入平台。
相应地，所述接入平台接收所述DM模块发送的所述目标指令。
809至813的具体实现方式可以参考图5所示实施例中的504，在此就不必赘述。
814，所述接入平台将所述目标指令发送给所述语音助手。
相应地，所述语音助手接收所述接入平台发送的所述目标指令。
814的具体实现方式可以参考图5所示实施例中的505，在此就不必赘述。
815，所述语音助手调用所述前台应用的软件接口。
816，所述语音助手将所述目标指令发送给所述前台应用。
相应地，所述前台应用接收所述语音助手发送的所述目标指令。
817，所述前台应用根据所述目标指令，执行所述语音指令所指示的目标操作。
815至817的具体实现方式可以参考图5所示实施例中的506，在此就不必赘述。
818，所述前台应用向所述语音助手发送反馈结果。
该反馈结果例如可以指示所述前台应用成功接收到所述目标指令。
819，所述前台应用向用户展示所述目标操作的执行结果。
也就是说，用户可以感知到客户端设备通过执行目标操作来响应用户的语音指令。
图9是本申请实施例提供的一种语音控制设备的方法的示意性流程图。
901，获取用户的语音指令，所述语音指令用于指示目标指令。
902，获取当前用户界面的用户界面信息，所述当前用户界面为客户端设备当前显示的用户界面。
903，确定所述语音指令所对应的所述目标指令，所述目标指令是由所述语音指令以及所述用户界面信息得到。
可选的，所述用户界面信息包括以下至少一种信息：所述当前用户界面的图标名称、热词信息、操控指令的指示信息、目标角标信息。
可选的，所述目标角标信息与目标图标或目标操控指令对应。
一种可能的实现方式是，图9所示的方法900由客户端设备执行。
可选的，所述确定所述语音指令所对应的目标指令，包括：所述客户端设备根据所述语音指令以及所述用户界面信息，确定所述目标指令。
客户端设备例如可以通过语音识别(automatic speech recognition，ASR)模块、语义理解(natural language understanding，NLU)模块，并结合用户界面信息，实现语音识别的操作。
在此情况下，901至902的具体实现方式可以参考图5所示实施例中的501、502，903的具体实现方式可以参考图5所示实施例中的504，在此就不必赘述。
一种可能的实现方式是，图9所示的方法900由客户端设备执行。
可选的，在所述确定所述语音指令所对应的目标指令之前，所述方法还包括：将所述用户界面信息以及所述语音指令发送给服务器；所述确定所述语音指令所对应的目标指令，包括：接收所述服务器发送的目标指令，所述目标指令由所述服务器根据所述用户界面信息以及所述用户的语音指令确定。
在此情况下，901至902的具体实现方式可以参考图5所示实施例中的501、502，903的具体实现方式可以参考图5所示实施例中的503-505，在此就不必赘述。
一种可能的实现方式是，图9所示的方法900由服务器执行。
可选的，所述获取用户的语音指令，包括：接收所述客户端设备发送的所述语音指令；所述获取当前用户界面的用户界面信息，包括：接收所述客户端设备发送的所述用户界面信息；所述确定所述语音指令所对应的目标指令，包括：根据所述语音指令以及所述用户界面信息，确定所述目标指令。
可选的，所述方法还包括：将所述目标指令发送给所述客户端设备。
在此情况下，901至902的具体实现方式可以参考图5所示实施例中的503，903的具体实现方式可以参考图5所示实施例中的4，在此就不必赘述。
可以理解的是，电子设备为了实现上述功能，其包含了执行各个功能相应的硬件和/或软件模块。结合本文中所公开的实施例描述的各示例的算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以结合实施例对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
本实施例可以根据上述方法示例对电子设备进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块可以采用硬件的形式实现。需要说明的是，本实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
在采用对应各个功能划分各个功能模块的情况下，图10示出了上述实施例中涉及的电子设备1000的一种可能的组成示意图，如图10所示，该电子设备1000可以包括：获取模块1001、处理模块1002。电子设备1000例如可以是上文所述的客户端设备或服务器。
其中，获取模块1001可以用于获取用户的语音指令，所述语音指令用于指示目标指令。
示例性的，图2中的语音助手可以用于实现获取单元1001的功能。
所述获取模块1001还可以用于，获取当前用户界面的用户界面信息，所述当前用户界面为所述客户端设备当前显示的用户界面。
示例性的，图2中的语音助手可以用于实现获取单元1001的功能。
处理模块1002，用于确定所述语音指令所对应的所述目标指令，所述目标指令是由所述语音指令以及所述用户界面信息得到。
需要说明的是，上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。
本实施例提供的电子设备，用于执行上述语音控制设备的方法，因此可以达到与上述实现方法相同的效果。
在采用集成的单元的情况下，电子设备可以包括处理模块、存储模块和通信模块。其中，处理模块可以用于对电子设备的动作进行控制管理，例如，可以用于支持电子设备执行上述各个单元执行的步骤。存储模块可以用于支持电子设备执行存储程序代码和数据等。通信模块，可以用于支持电子设备与其他设备的通信。
其中，处理模块可以是处理器或控制器。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，数字信号处理(digital signal processing，DSP)和微处理器 的组合等等。存储模块可以是存储器。通信模块具体可以为射频电路、蓝牙芯片、Wi-Fi芯片等与其他电子设备交互的设备。
在一个实施例中，当处理模块为处理器，存储模块为存储器时，本实施例所涉及的电子设备可以为具有图1所示结构的设备。
本实施例还提供了一种计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行上述相关步骤，以实现上述实施例中的语音控制设备的方法。
另外，本申请的实施例还提供一种装置，这个装置具体可以是芯片，组件或模块，该装置可包括相连的处理器和存储器；其中，存储器用于存储计算机执行指令，当装置运行时，处理器可执行存储器存储的计算机执行指令，以使芯片执行上述各方法实施例中的语音控制设备的方法。
本申请实施例提供了一种终端设备，该终端设备具有实现上述任一方法实施例中终端设备的行为的功能。所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能中各个子功能相对应的模块。具体地，该终端设备可以是用户设备。
本申请实施例还提供了一种通信系统，该系统包括上述任一实施例所述的网络设备(如云服务器)和终端设备。
本申请实施例还提供了一种通信系统，该系统包括上述任一实施例所述的电子设备和服务器。
本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被计算机执行时实现上述任一方法实施例中与终端设备相关的方法流程。具体地，该计算机可以为上述终端设备。
本申请实施例还提供了一种计算机程序或包括计算机程序的一种计算机程序产品，该计算机程序在某一计算机上执行时，将会使所述计算机实现上述任一方法实施例中与终端设备相关的方法流程。具体地，该计算机可以为上述终端设备。
本申请实施例还提供了一种装置，应用于终端设备中，所述装置与存储器耦合，用于读取并执行所述存储器中存储的指令，使得所述终端设备能执行上述任一方法实施例中与终端设备相关的方法流程。所述存储器可以集成在所述处理器中，也可以独立于所述处理器之外。所述装置可以为所述终端设备上的芯片(如片上系统(system on a chip，SoC))。
应理解，本申请实施例中提及的处理器可以是中央处理单元(central processing unit，CPU)，还可以是其他通用处理器、数字信号处理器(digital signal processor，DSP)、专用集成电路(application specific integrated circuit，ASIC)、现成可编程门阵列(field programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
还应理解，本申请实施例中提及的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-only memory，ROM)、可编程只读存储器(programmable ROM，PROM)、可擦除可编程只读存储器(erasable PROM，EPROM)、电可擦除可编程只读存储器(electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory，RAM)， 其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(static RAM，SRAM)、动态随机存取存储器(dynamic rAM，DRAM)、同步动态随机存取存储器(synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(double data rate SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(direct rambus RAM，DR RAM)。
应注意，本文描述的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
还应理解，本文中涉及的第一、第二以及各种数字编号仅为描述方便进行的区分，并不用来限制本申请的范围。
本申请中，“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。
本申请中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，“a、b、或c中的至少一项(个)”，或，“a、b、和c中的至少一项(个)”，均可以表示：a、b、c、a-b(即a和b)、a-c、b-c、或a-b-c，其中a、b、c分别可以是单个，也可以是多个。
应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，部分或全部步骤可以并行执行或先后执行，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储 在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，网络设备或者终端设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请各方法实施例之间相关部分可以相互参考；各装置实施例所提供的装置用于执行对应的方法实施例所提供的方法，故各装置实施例可以参考相关的方法实施例中的相关部分进行理解。
本申请各装置实施例中给出的装置结构图仅示出了对应的装置的简化设计。在实际应用中，该装置可以包含任意数量的发射器，接收器，处理器，存储器等，以实现本申请各装置实施例中该装置所执行的功能或操作，而所有可以实现本申请的装置都在本申请的保护范围之内。
本申请各实施例中提供的消息/帧/指示信息、模块或单元等的名称仅为示例，可以使用其他名称，只要消息/帧/指示信息、模块或单元等的作用相同即可。
在本申请实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
应当理解，尽管在本申请实施例中可能采用术语第一、第二、第三等来描述各种消息、请求和终端，但这些消息、请求和终端不应限于这些术语。这些术语仅用来将消息、请求和终端彼此区分开。例如，在不脱离本申请实施例范围的情况下，第一终端也可以被称为第二终端，类似地，第二终端也可以被称为第一终端。
取决于语境，如在此所使用的词语“如果”或“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关硬件来完成，所述的程序可以存储于一个设备的可读存储介质中，该程序在执行时，包括上述全部或部分步骤，所述的存储介质，如：FLASH、EEPROM等。
以上所述的具体实施方式，对本申请的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，不同的实施例可以进行组合，以上所述仅为本申请的具体实施方式而已，并不用于限定本申请的保护范围，凡在本申请的精神和原则之内，所做的任何组合、修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (24)

  1. 一种语音控制设备的方法，其特征在于，包括：
    获取用户的语音指令，所述语音指令用于指示目标指令；
    获取当前用户界面的用户界面信息，所述当前用户界面为客户端设备当前显示的用户界面；
    确定所述语音指令所对应的所述目标指令，所述目标指令是由所述语音指令以及所述用户界面信息得到。
  2. 根据权利要求1所述的方法，其特征在于，所述用户界面信息包括以下至少一种信息：所述当前用户界面的图标名称、热词信息、操控指令的指示信息、目标角标信息。
  3. 根据权利要求2所述的方法，其特征在于，所述目标角标信息与目标图标或目标操控指令对应。
  4. 根据权利要求1至3中任一项所述的方法，其特征在于，在所述确定所述语音指令所对应的目标指令之前，所述方法还包括：
    将所述用户界面信息以及所述语音指令发送给服务器；
    所述确定所述语音指令所对应的目标指令，包括：
    接收所述服务器发送的目标指令，所述目标指令由所述服务器根据所述用户界面信息以及所述用户的语音指令确定。
  5. 根据权利要求1至3中任一项所述的方法，其特征在于，所述确定所述语音指令所对应的目标指令，包括：
    所述客户端设备根据所述语音指令以及所述用户界面信息，确定所述目标指令。
  6. 根据权利要求4或5所述的方法，其特征在于，在所述获取当前用户界面的用户界面信息之前，所述方法还包括：
    向前台应用发送第一指示信息，所述第一指示信息用于指示所述前台应用反馈所述用户界面信息；
    所述获取当前用户界面的用户界面信息，包括：
    接收所述前台应用发送的所述用户界面信息，所述用户界面信息由所述前台应用检索与所述当前用户界面相关的信息得到。
  7. 根据权利要求4至6中任一项所述的方法，其特征在于，所述用户界面信息包括目标角标信息，在所述获取用户的语音指令之前，所述方法还包括：
    在所述当前用户界面上显示角标；
    在所述获取用户的语音指令之后，所述方法还包括：
    去除所述当前用户界面上的角标。
  8. 根据权利要求6所述的方法，其特征在于，所述用户界面信息还包括所述前台应用的标识。
  9. 根据权利要求8所述的方法，其特征在于，所述目标指令还包括所述前台应用的标识。
  10. 根据权利要求1至3中任一项所述的方法，其特征在于，所述获取用户的语音指 令，包括：
    接收所述客户端设备发送的所述语音指令；
    所述获取当前用户界面的用户界面信息，包括：
    接收所述客户端设备发送的所述用户界面信息；
    所述确定所述语音指令所对应的目标指令，包括：
    根据所述语音指令以及所述用户界面信息，确定所述目标指令。
  11. 根据权利要求10所述的方法，其特征在于，所述方法还包括：
    将所述目标指令发送给所述客户端设备。
  12. 一种电子设备，其特征在于，包括：
    获取模块，用于获取用户的语音指令，所述语音指令用于指示目标指令；
    所述获取模块还用于，获取当前用户界面的用户界面信息，所述当前用户界面为客户端设备当前显示的用户界面；
    处理模块，用于确定所述语音指令所对应的所述目标指令，所述目标指令是由所述语音指令以及所述用户界面信息得到。
  13. 根据权利要求12所述的电子设备，其特征在于，所述用户界面信息包括以下至少一种信息：所述当前用户界面的图标名称、热词信息、操控指令的指示信息、目标角标信息。
  14. 根据权利要求13所述的电子设备，其特征在于，所述目标角标信息与目标图标或目标操控指令对应。
  15. 根据权利要求12至14中任一项所述的电子设备，其特征在于，所述电子设备为所述客户端设备，所述客户端设备还包括：
    收发模块，用于在所述处理模块确定所述语音指令所对应的目标指令之前，将所述用户界面信息以及所述语音指令发送给服务器；
    所述处理模块具体用于：接收所述服务器发送的目标指令，所述目标指令由所述服务器根据所述用户界面信息以及所述用户的语音指令确定。
  16. 根据权利要求12至14中任一项所述的电子设备，其特征在于，所述电子设备为所述客户端设备，
    所述处理模块具体用于，根据所述语音指令以及所述用户界面信息，确定所述目标指令。
  17. 根据权利要求15或16所述的电子设备，其特征在于，所述电子设备还包括：
    发送模块，用于在所述获取模块获取当前用户界面的用户界面信息之前，向前台应用发送第一指示信息，所述第一指示信息用于指示所述前台应用反馈所述用户界面信息
    所述获取模块具体用于，接收所述前台应用发送的所述用户界面信息，所述用户界面信息由所述前台应用检索与所述当前用户界面相关的信息得到。
  18. 根据权利要求15至17中任一项所述的电子设备，其特征在于，所述用户界面信息包括目标角标信息，
    所述处理模块还用于，在所述获取模块获取用户的语音指令之前，在所述当前用户界面上显示角标；
    所述处理模块还用于，在所述获取模块获取用户的语音指令之后，去除所述当前用户 界面上的角标。
  19. 根据权利要求17所述的电子设备，其特征在于，所述用户界面信息还包括所述前台应用的标识。
  20. 根据权利要求19所述的电子设备，其特征在于，所述目标指令还包括所述前台应用的标识。
  21. 根据权利要求12至14中任一项所述的电子设备，其特征在于，所述电子设备为服务器，
    所述获取模块具体用于，接收所述客户端设备发送的所述语音指令；
    所述获取模块具体用于，接收所述客户端设备发送的所述用户界面信息；
    所述处理模块具体用于，根据所述语音指令以及所述用户界面信息，确定所述目标指令。
  22. 根据权利要求21所述的电子设备，其特征在于，所述服务器还包括：
    收发模块，用于将所述目标指令发送给所述客户端设备。
  23. 一种计算机可读存储介质，其特征在于，所述计算机可读介质存储用于设备执行的程序代码，该程序代码包括用于执行如权利要求1-11中任一项所述的方法。
  24. 一种芯片，其特征在于，所述芯片包括处理器与数据接口，所述处理器通过所述数据接口读取存储器上存储的指令，以执行如权利要求1-11中任一项所述的方法。
PCT/CN2020/102113 2019-08-09 2020-07-15 语音控制设备的方法及电子设备 WO2021027476A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/633,702 US20230176812A1 (en) 2019-08-09 2020-07-15 Method for controlling a device using a voice and electronic device
EP20853218.4A EP3989047A4 (en) 2019-08-09 2020-07-15 METHOD FOR VOICE CONTROL OF A DEVICE, AND ELECTRONIC DEVICE

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
CN201910735931 2019-08-09
CN201910735931.9 2019-08-09
CN202010273843.4A CN112346695A (zh) 2019-08-09 2020-04-09 语音控制设备的方法及电子设备
CN202010273843.4 2020-04-09

Publications (1)

Publication Number Publication Date
WO2021027476A1 true WO2021027476A1 (zh) 2021-02-18

Family

ID=74357840

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/102113 WO2021027476A1 (zh) 2019-08-09 2020-07-15 语音控制设备的方法及电子设备

Country Status (4)

Country Link
US (1) US20230176812A1 (zh)
EP (1) EP3989047A4 (zh)
CN (2) CN112346695A (zh)
WO (1) WO2021027476A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113076079A (zh) * 2021-04-20 2021-07-06 广州小鹏汽车科技有限公司 语音控制方法、服务器、语音控制系统和存储介质
CN113282268A (zh) * 2021-06-03 2021-08-20 腾讯科技（深圳）有限公司 音效配置方法和装置、存储介质及电子设备
CN113628622A (zh) * 2021-08-24 2021-11-09 北京达佳互联信息技术有限公司 语音交互方法、装置、电子设备及存储介质
CN114968533A (zh) * 2022-06-09 2022-08-30 中国人民解放军32039部队 嵌入式卫星任务调度管理方法、系统和电子设备
CN115396709A (zh) * 2022-08-22 2022-11-25 海信视像科技股份有限公司 显示设备、服务器及免唤醒语音控制方法
WO2023093846A1 (zh) * 2021-11-25 2023-06-01 中移（杭州）信息技术有限公司 一种电子装置的控制方法和系统，及存储介质

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111367491A (zh) * 2020-03-02 2020-07-03 成都极米科技股份有限公司 语音交互方法、装置、电子设备及存储介质
CN113507500A (zh) * 2021-06-04 2021-10-15 上海闻泰信息技术有限公司 终端控制方法、装置、计算机设备和计算机可读存储介质
WO2023272629A1 (zh) * 2021-06-30 2023-01-05 华为技术有限公司 界面的控制方法、装置和系统
CN114090148A (zh) * 2021-11-01 2022-02-25 深圳Tcl新技术有限公司 信息同步方法、装置、电子设备及计算机可读存储介质
CN114049892A (zh) * 2021-11-12 2022-02-15 杭州逗酷软件科技有限公司 语音控制方法、装置以及电子设备
CN117334183A (zh) * 2022-06-24 2024-01-02 华为技术有限公司 语音交互的方法、电子设备和语音助手开发平台

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101193159A (zh) * 2006-11-24 2008-06-04 辉翼科技股份有限公司 可同步化多形式数据通道的主从式通信系统
CN104093077A (zh) * 2013-10-29 2014-10-08 腾讯科技（深圳）有限公司 多终端互联的方法、装置及系统
CN107077319A (zh) * 2016-12-22 2017-08-18 深圳前海达闼云端智能科技有限公司 基于语音控制的位置定位方法、装置、用户设备及计算机程序产品
US10318236B1 (en) * 2016-05-05 2019-06-11 Amazon Technologies, Inc. Refining media playback

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6882974B2 (en) * 2002-02-15 2005-04-19 Sap Aktiengesellschaft Voice-control for a user interface
US20050273487A1 (en) * 2004-06-04 2005-12-08 Comverse, Ltd. Automatic multimodal enabling of existing web content
US20120030712A1 (en) * 2010-08-02 2012-02-02 At&T Intellectual Property I, L.P. Network-integrated remote control with voice activation
US20120110456A1 (en) * 2010-11-01 2012-05-03 Microsoft Corporation Integrated voice command modal user interface
US8886546B2 (en) * 2011-12-19 2014-11-11 Verizon Patent And Licensing Inc. Voice application access
CN103748889A (zh) * 2012-08-17 2014-04-23 弗莱克斯电子有限责任公司 多种来源的电子节目指南信息聚集
US20140350941A1 (en) * 2013-05-21 2014-11-27 Microsoft Corporation Method For Finding Elements In A Webpage Suitable For Use In A Voice User Interface (Disambiguation)
US20190042186A1 (en) * 2017-08-07 2019-02-07 Dolbey & Company, Inc. Systems and methods for using optical character recognition with voice recognition commands
CN107919129A (zh) * 2017-11-15 2018-04-17 百度在线网络技术（北京）有限公司 用于控制页面的方法和装置
CN107832036B (zh) * 2017-11-22 2022-01-18 北京小米移动软件有限公司 语音控制方法、装置及计算机可读存储介质
CN108880961A (zh) * 2018-07-19 2018-11-23 广东美的厨房电器制造有限公司 家电设备控制方法及装置、计算机设备和存储介质
CN108683937B (zh) * 2018-03-09 2020-01-21 百度在线网络技术（北京）有限公司 智能电视的语音交互反馈方法、系统及计算机可读介质
CN108958844B (zh) * 2018-07-13 2021-09-03 京东方科技集团股份有限公司 一种应用程序的控制方法及终端
CN109391833B (zh) * 2018-09-13 2021-01-26 苏宁智能终端有限公司 一种智能电视的语音控制方法及智能电视
CN109448727A (zh) * 2018-09-20 2019-03-08 李庆湧 语音交互方法以及装置
CN113794800B (zh) * 2018-11-23 2022-08-26 华为技术有限公司 一种语音控制方法及电子设备
CN109801625A (zh) * 2018-12-29 2019-05-24 百度在线网络技术（北京）有限公司 虚拟语音助手的控制方法、装置、用户设备及存储介质
US20220317968A1 (en) * 2021-04-02 2022-10-06 Comcast Cable Communications, Llc Voice command processing using user interface context

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101193159A (zh) * 2006-11-24 2008-06-04 辉翼科技股份有限公司 可同步化多形式数据通道的主从式通信系统
CN104093077A (zh) * 2013-10-29 2014-10-08 腾讯科技（深圳）有限公司 多终端互联的方法、装置及系统
US10318236B1 (en) * 2016-05-05 2019-06-11 Amazon Technologies, Inc. Refining media playback
CN107077319A (zh) * 2016-12-22 2017-08-18 深圳前海达闼云端智能科技有限公司 基于语音控制的位置定位方法、装置、用户设备及计算机程序产品

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3989047A4

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113076079A (zh) * 2021-04-20 2021-07-06 广州小鹏汽车科技有限公司 语音控制方法、服务器、语音控制系统和存储介质
CN113282268A (zh) * 2021-06-03 2021-08-20 腾讯科技（深圳）有限公司 音效配置方法和装置、存储介质及电子设备
CN113628622A (zh) * 2021-08-24 2021-11-09 北京达佳互联信息技术有限公司 语音交互方法、装置、电子设备及存储介质
WO2023093846A1 (zh) * 2021-11-25 2023-06-01 中移（杭州）信息技术有限公司 一种电子装置的控制方法和系统，及存储介质
CN114968533A (zh) * 2022-06-09 2022-08-30 中国人民解放军32039部队 嵌入式卫星任务调度管理方法、系统和电子设备
CN114968533B (zh) * 2022-06-09 2023-03-24 中国人民解放军32039部队 嵌入式卫星任务调度管理方法、系统和电子设备
CN115396709A (zh) * 2022-08-22 2022-11-25 海信视像科技股份有限公司 显示设备、服务器及免唤醒语音控制方法

Also Published As

Publication number Publication date
EP3989047A1 (en) 2022-04-27
CN115145529B (zh) 2023-05-09
EP3989047A4 (en) 2022-08-17
CN115145529A (zh) 2022-10-04
US20230176812A1 (en) 2023-06-08
CN112346695A (zh) 2021-02-09

Similar Documents

Publication Publication Date Title
WO2021027476A1 (zh) 语音控制设备的方法及电子设备
WO2020244495A1 (zh) 一种投屏显示方法及电子设备
WO2021057830A1 (zh) 一种信息处理方法及电子设备
WO2020244500A1 (zh) 一种投屏场景下的触控方法及电子设备
WO2020244492A1 (zh) 一种投屏显示方法及电子设备
WO2022052776A1 (zh) 一种人机交互的方法、电子设备及系统
WO2021013132A1 (zh) 输入方法及电子设备
CN112527174B (zh) 一种信息处理方法及电子设备
WO2021249318A1 (zh) 一种投屏方法和终端
CN112527222A (zh) 一种信息处理方法及电子设备
WO2020155875A1 (zh) 电子设备的显示方法、图形用户界面及电子设备
WO2023130921A1 (zh) 一种适配多设备的页面布局的方法及电子设备
US20220116497A1 (en) Image Classification Method and Electronic Device
WO2022057852A1 (zh) 一种多应用程序之间的交互方法
WO2022042769A2 (zh) 多屏交互的系统、方法、装置和介质
CN112383664A (zh) 一种设备控制方法、第一终端设备及第二终端设备
CN112015943A (zh) 一种哼唱识别方法及相关设备
WO2021052488A1 (zh) 一种信息处理方法及电子设备
WO2021031862A1 (zh) 一种数据处理方法及其装置
WO2023030098A1 (zh) 视频剪辑方法、电子设备及存储介质
CN115270808A (zh) 显示设备和语义理解方法
CN115696020A (zh) 跨设备的拍摄方法、相关装置及系统
WO2023103948A1 (zh) 一种显示方法及电子设备
WO2022206600A1 (zh) 一种投屏方法、系统及相关装置
US20240056677A1 (en) Co-photographing method and electronic device

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20853218

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020853218

Country of ref document: EP

Effective date: 20220118

NENP Non-entry into the national phase

Ref country code: DE