WO2020057255A1 - 基于终端界面识别的语音控制方法、系统及智能终端 - Google Patents

基于终端界面识别的语音控制方法、系统及智能终端 Download PDF

Info

Publication number
WO2020057255A1
WO2020057255A1 PCT/CN2019/097800 CN2019097800W WO2020057255A1 WO 2020057255 A1 WO2020057255 A1 WO 2020057255A1 CN 2019097800 W CN2019097800 W CN 2019097800W WO 2020057255 A1 WO2020057255 A1 WO 2020057255A1
Authority
WO
WIPO (PCT)
Prior art keywords
voice
terminal
interface
current interface
voice control
Prior art date
Application number
PCT/CN2019/097800
Other languages
English (en)
French (fr)
Inventor
王子
梁博
杨扬
杨楠
Original Assignee
珠海格力电器股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 珠海格力电器股份有限公司 filed Critical 珠海格力电器股份有限公司
Publication of WO2020057255A1 publication Critical patent/WO2020057255A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Definitions

  • the present application relates to the field of user interface technology, and in particular, to a voice control method, system, and smart terminal based on terminal interface recognition.
  • GUI Graphical User Interface
  • Many current softwares take the form of a graphical user interface (GUI, Graphical User Interface), which allows users to interact with the GUI through a mouse, keyboard, touch screen, and the like.
  • GUI Graphical User Interface
  • portable visual equipment such as smart glasses, smart watches, and so on are constantly emerging. Among them, many equipments are inconvenient to operate by hand, and voice control is a good alternative.
  • the present application provides a voice control method, system, and intelligent terminal based on terminal interface recognition.
  • a voice control method based on terminal interface recognition including:
  • the user performs event operations on the terminal by inputting corresponding voice instructions.
  • an operation instruction in each interface of the application is marked with a voice instruction in advance, and when the application interface opens the interface, a voice instruction is automatically generated according to the marked policy and displayed on the current interface.
  • control information in the current interface is identified, it is determined whether there is an operation event, and if there is, a voice instruction corresponding to the operation event is generated.
  • control information includes one or more of ImageView, Buttom, ListView, TextView, and EditView.
  • the operation event includes one or more of editing, swiping, clicking, and long-pressing operations.
  • the voice instruction is superimposed and displayed on an operation area corresponding to an operation event.
  • a voice control system based on terminal interface recognition including:
  • An acquisition module for acquiring and identifying the content of the current interface
  • a generating module which generates a voice instruction corresponding to an operation event in the current interface according to a pre-defined policy
  • Display module superimposed display of voice instructions on the current interface
  • the execution module executes a voice instruction input by a user to perform an event operation on the terminal.
  • the generating module includes a determining unit for determining whether control information exists in the current interface.
  • the generating module includes a storage unit for storing a voice instruction corresponding to an operation event for the calling of the generating module.
  • an intelligent terminal including:
  • the smart terminal is provided with the voice control system according to any one of claims 7-9, and the smart terminal is provided with a wake-up device, a display, and a voice receiving module.
  • the wake-up device is used to wake up the smart terminal.
  • the voice receiving module is used for displaying a current interface, and the voice receiving module is used for receiving a voice instruction input by a user.
  • the wake-up device includes a physical button and / or a virtual touch button.
  • Acquire and identify the content of the current interface Acquire and identify the content of the current interface; generate a voice instruction corresponding to an operation event in the current interface according to a predetermined policy; superimpose the voice instruction on the current interface; the user performs an event operation on the terminal by entering the corresponding voice instruction.
  • the detailed operation of each application interface can be controlled by voice. The user can quickly understand and remember the voice instructions of various operations. The voice instructions correspond to the detailed positions of the interface operations. The recognition accuracy will be greatly improved, and at the same time, it will be improved. User experience.
  • Fig. 1 is a flow chart showing a voice control method based on terminal interface recognition according to an exemplary embodiment
  • Fig. 2 is a schematic diagram showing a voice control system based on terminal interface recognition according to an exemplary embodiment
  • Fig. 3 is a schematic diagram showing a smart terminal according to an exemplary embodiment
  • Fig. 4 is a schematic diagram showing a smart terminal according to an exemplary embodiment.
  • An embodiment of the present application discloses a method for analyzing file download behavior and a smart terminal.
  • the flowchart of the method is shown in FIG. 1 and includes:
  • S1 The user wakes up the speech recognition function of the smart terminal
  • the smart terminal is provided with a wake-up device, a display, and a voice receiving module.
  • the wake-up device is used to wake up the smart terminal
  • the display is used for displaying the current interface
  • the voice receiving module is used to receive a voice instruction input by a user
  • the wake-up device Including physical keys and / or virtual touch keys; the user can turn on the voice recognition function of the smart terminal through wake-up methods such as key wake-up or voice wake-up;
  • S2 The smart terminal acquires and identifies the content of the current interface
  • the smart terminal After awakening the voice recognition function of the smart terminal, the smart terminal obtains and recognizes the content of the current interface.
  • the main information obtained and recognized includes the structure level of the interface, various controls, and extracts control information;
  • control information includes one or more of ImageView, Buttom, ListView, TextView, and EditView; operation events include editing , Swipe, click and long press one or more, as shown in Figure 3;
  • S3 Generate a voice instruction corresponding to an operation event in the current interface according to a predetermined policy
  • Voice instructions are marked in advance for operation events in each interface of the application.
  • the voice instructions are automatically generated according to the marked strategy and displayed on the current interface.
  • By reading the underlying information of the current interface it is possible to know the current interface.
  • the method for generating a voice instruction for an operation event in the current interface is manual setting, specifically, including: obtaining an operation event in the current interface, such as long-pressing or double-clicking a setting area of the screen, or triggering a setting on the screen Selected virtual keys, or select the relevant key option in the setup menu. Enter the manual setting mode; in this mode, when the user clicks a button or icon, the button or icon will not be triggered, only a voice command will be set for the button or icon; select the operation event in the current interface of the smart terminal, and manually set the voice command; Memorizing the correspondence between the operation event and the voice instruction;
  • the method for generating a voice instruction for an operation event in the current interface is automatically generated. Specifically, the method includes: reading the control information of the current interface of the smart terminal to determine whether there is an operation event, and automatically generating the Voice commands corresponding to operation events;
  • the smart terminal generates a voice command corresponding to an operation event in the current interface according to a pre-established strategy, and activates the voice recognition function, and the voice command is superimposed and displayed on the operation area corresponding to the operation event; as shown in FIG. 4, the return on the current interface Voice commands are superimposed on the button position to return;
  • S5 The user performs event operations on the terminal by inputting corresponding voice instructions
  • the smart terminal generates a voice command corresponding to an operation event in the current interface according to a pre-established strategy, and activates the voice recognition function, and the voice command is superimposed and displayed on the operation area corresponding to the operation event; the user performs an event on the terminal by entering the corresponding voice command Operation; as shown in Figure 4, the user enters a voice command to return, and the smart terminal performs the return operation;
  • an embodiment of the present application discloses a voice control system based on terminal interface recognition, including: an acquisition module 1, a generation module 2, a display module 3, and an execution module 4;
  • the acquisition module 1 is used to acquire and identify the content of the current interface; the acquisition module performs information acquisition and identification of the content of the current interface.
  • the main information for acquisition and identification includes the interface composition structure level, various controls, and extracts control information; identifies the current Control information in the interface to determine whether there is an operation event, and if there is, a voice command corresponding to the operation event is generated; control information includes one or more of ImageView, Buttom, ListView, TextView, and EditView; operation events include editing, sliding , Tap and hold one or more of the actions;
  • the generating module 2 generates a voice instruction corresponding to an operation event in the current interface according to a predetermined policy; the generating module 2 includes a determining unit 21 and a storage unit 22, and the determining unit 21 is configured to determine whether control information exists in the current interface; the storage unit 22 It is used to store the voice instruction corresponding to the operation event, which is called by the generating module 2;
  • Display module 3 superimposed display of voice instructions on the current interface; generation module 2 generates voice instructions corresponding to operating events in the current interface according to a pre-defined strategy, and activates the voice recognition function, display module 3 superimposes and displays voice instructions on On the operation area corresponding to the operation event;
  • the execution module 4 executes a voice instruction input by the user to perform an event operation on the terminal; the generation module 2 generates a voice instruction corresponding to an operation event in the current interface according to a predetermined policy, and activates the voice recognition function, and the display module 3 superimposes the voice instruction It is displayed on the operation area corresponding to the operation event; the user performs the event operation on the terminal by inputting the corresponding voice instruction, and the execution module 4 executes the voice instruction input by the user.
  • Any process or method description in a flowchart or otherwise described herein can be understood as a module, fragment, or portion of code that includes one or more executable instructions for implementing a particular logical function or step of a process
  • the scope of the alternative implementations of this application includes additional implementations, in which the functions may be performed out of the order shown or discussed, including performing functions in a substantially simultaneous manner or in the reverse order according to the functions involved, which It should be understood by those skilled in the art to which the embodiments of the present application belong.
  • each part of the application may be implemented by hardware, software, firmware, or a combination thereof.
  • multiple steps or methods may be implemented by software or firmware stored in a memory and executed by a suitable instruction execution system.
  • a suitable instruction execution system For example, if implemented in hardware, as in another embodiment, it may be implemented using any one or a combination of the following techniques known in the art: Discrete logic circuits, application-specific integrated circuits with suitable combinational logic gate circuits, programmable gate arrays (PGA), field programmable gate arrays (FPGA), etc.
  • a person of ordinary skill in the art can understand that all or part of the steps carried by the methods in the foregoing embodiments can be implemented by a program instructing related hardware.
  • the program can be stored in a computer-readable storage medium.
  • the program is When executed, one or a combination of the steps of the method embodiment is included.
  • each functional unit in each embodiment of the present application may be integrated into one processing module, or each unit may exist separately physically, or two or more units may be integrated into one module.
  • the above integrated modules may be implemented in the form of hardware or software functional modules. If the integrated module is implemented in the form of a software functional module and sold or used as an independent product, it may also be stored in a computer-readable storage medium.
  • the aforementioned storage medium may be a read-only memory, a magnetic disk, or an optical disk.

Abstract

一种基于终端界面识别的语音控制方法、系统及智能终端。方法包括：获取和识别当前界面的内容(S2)；根据预先制定的策略生成与当前界面中操作事件对应的语音指令(S3)；将语音指令叠加显示在当前界面上(S4)；用户通过输入对应的语音指令对终端进行事件操作(S5)。各应用界面详细操作可以通过语音控制，用户可以快速了解和记住各类操作的语音指令，语音指令与界面操作的详细位置实现一一对应，其识别准确度会很大程度的提高，同时提升了用户体验。

Description

基于终端界面识别的语音控制方法、系统及智能终端
相关申请
本申请要求2018年09月17日申请的，申请号为201811082204.9，名称为“基于终端界面识别的语音控制方法、系统及智能终端”的中国专利申请的优先权，在此将其全文引入作为参考。
技术领域
本申请涉及用户界面技术领域，具体涉及一种基于终端界面识别的语音控制方法、系统及智能终端。
背景技术
当前的很多软件采取图形用户界面(GUI，Graphical User Interface)的形式，允许用户通过鼠标、键盘、触摸屏等与GUI交互。随着计算机技术的飞速发展，各种便携式可视装备不断涌现，如智能眼镜、智能手表等等。其中，很多装备是不方便用手操作的，语音控制是一种很好的替代方案。
传统的软件用户界面仅考虑可视表现而开发，对于有助于语音交互的界面开发细节关注不够。目前存在各种技术以提供更好的语音人机交互，其中很多注重于创建可结合的更易于语音输入交互的新交互风格，如CommandTalk、ATIS、ELVIS、SUITEKeys等等。SUITEKeys直接模拟用手移动鼠标并且按各个键的交互。这些系统侧重于提供用于口头人机交互的改进型模型，从而在根本上改变交互风格。
随着通讯技术的不断发展，终端的控制方式越来越丰富，也越来越智能，其中，语音控制即一种应用广泛、技术较成熟的控制方式。但是现有技术中的语音系统，仍存在各应用界面详细操作无法使用语音控制，用户无法了解和记住各类操作的语音指令，语音指令与界面操作的详细位置无法一一对应的问题，其识别准确度会很大程度的降低，造成不良的用户体验。
发明内容
为至少在一定程度上克服相关技术中存在的问题，本申请提供基于终端界面识别的语音控制方法、系统及智能终端。
根据本申请实施例的第一方面，提供一种基于终端界面识别的语音控制方法，包括：
获取和识别当前界面的内容；
根据预先制定的策略生成与当前界面中操作事件对应的语音指令；
将语音指令叠加显示在当前界面上；
用户通过输入对应的语音指令对终端进行事件操作。
在其中一个实施例中，预先对应用程序各界面中的操作事件进行语音指令标注，应用程序界面打开界面时根据标注的策略自动生成语音指令，在当前界面上显示。
在其中一个实施例中，识别当前界面中的控件信息，判断是否存在操作事件，若有则生成与操作事件对应的语音指令。
在其中一个实施例中，控件信息包括ImageView、Buttom、ListView、TextView和EditView中的一种或多种。
在其中一个实施例中，所述操作事件包括编辑、滑动、点击和长按操作中的一种或多种。
在其中一个实施例中，所述语音指令叠加显示于操作事件对应的操作区域上。
根据本申请实施例的第二方面，提供一种基于终端界面识别的语音控制系统，包括：
获取模块，用于获取和识别当前界面的内容；
生成模块，根据预先制定的策略生成与当前界面中操作事件对应的语音指令；
显示模块；将语音指令叠加显示在当前界面上；
执行模块，执行用户输入的语音指令对终端进行事件操作。
在其中一个实施例中，所述生成模块包括判断单元，用于判断当前界面中是否存在控件信息。
在其中一个实施例中，所述生成模块包括存储单元，用于存储与操作事件对应的语音指令，供生成模块调用。
根据本申请实施例的第三方面，提供一种智能终端，包括：
所述智能终端上设有权利要求7-9任一所述的语音控制系统，所述智能终端上设有唤醒装置、显示器、语音接收模块，所述唤醒装置用于唤醒智能终端，所述显示器用于当前界面的显示，所述语音接收模块用于接收用户输入的语音指令。
在其中一个实施例中，所述唤醒装置包括实体按键和/或虚拟触摸按键。
本申请的实施例提供的技术方案可以包括以下有益效果：
获取和识别当前界面的内容；根据预先制定的策略生成与当前界面中操作事件对应的语音指令；将语音指令叠加显示在当前界面上；用户通过输入对应的语音指令对终端进行 事件操作。各应用界面详细操作可以通过语音控制，用户可以快速了解和记住各类操作的语音指令，语音指令与界面操作的详细位置实现一一对应，其识别准确度会很大程度的提高，同时提升了用户体验。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1是根据一示例性实施例示出的一种基于终端界面识别的语音控制方法的流程图；
图2是根据一示例性实施例示出的一种基于终端界面识别的语音控制系统的示意图；
图3是根据一示例性实施例示出的一种智能终端的示意图；
图4是根据一示例性实施例示出的一种智能终端的示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。
本申请实施例公开了文件下载行为的分析方法及智能终端，该方法的流程图如图1所示，包括：
S1：用户唤醒智能终端语音识别功能；
智能终端上设有唤醒装置、显示器、语音接收模块，所述唤醒装置用于唤醒智能终端，所述显示器用于当前界面的显示，所述语音接收模块用于接收用户输入的语音指令；唤醒装置包括实体按键和/或虚拟触摸按键；用户通过按键唤醒或语音唤醒等唤醒方式打开智能终端的语音识别功能；
S2：智能终端获取和识别当前界面的内容；
唤醒智能终端的语音识别功能后，智能终端对当前界面的内容进行信息获取和识别，获取和识别的主要信息包括界面组成结构级，各类控件，并提取控件信息；
识别当前界面中的控件信息，判断是否存在操作事件，若有则生成与操作事件对应的语音指令；控件信息包括ImageView、Buttom、ListView、TextView和EditView中的一种或多种；操作事件包括编辑、滑动、点击和长按操作中的一种或多种，如图3所示；
S3：根据预先制定的策略生成与当前界面中操作事件对应的语音指令；
预先对应用程序各界面中的操作事件进行语音指令标注，应用程序界面打开界面时根据标注的策略自动生成语音指令，在当前界面上显示；通过读取当前界面的底层信息，获知当前界面的可操作按键或者图标，并在上述按键或者图标上生成对应的语音指令；
在一些实施例中，对当前界面中操作事件生成语音指令的方法为手动设置，具体来说，包括：获取当前界面中操作事件，例如长按或者双击屏幕的设定区域，或者触发屏幕上设定的虚拟按键，或者在设置菜单中选择相关的按键选项。进入手动设置模式；在该模式下，当用户点击按键或者图标时，不会触发按键或者图标，仅会对按键或者图标设置语音指令；选择智能终端当前界面中操作事件，并手动设置语音指令；记忆所述操作事件与语音指令的对应关系；
在一些实施例中，对当前界面中操作事件生成语音指令的方法为自动生成，具体来说，包括：通过读取智能终端当前界面的控件信息，判断是否存在操作事件，若有则自动生成与操作事件对应的语音指令；
S4：将语音指令叠加显示在当前界面上；
智能终端根据预先制定的策略生成与当前界面中操作事件对应的语音指令，并激活语音识别功能后，语音指令叠加显示于操作事件对应的操作区域上；如图4所示，在当前界面的返回按钮位置上叠加显示语音指令返回；
S5：用户通过输入对应的语音指令对终端进行事件操作；
智能终端根据预先制定的策略生成与当前界面中操作事件对应的语音指令，并激活语音识别功能后，语音指令叠加显示于操作事件对应的操作区域上；用户通过输入对应的语音指令对终端进行事件操作；如图4所示，用户输入语音指令返回，智能终端执行返回的操作；
根据图2所示，本申请实施例公开了一种基于终端界面识别的语音控制系统，包括：获取模块1、生成模块2、显示模块3及执行模块4；
获取模块1，用于获取和识别当前界面的内容；获取模块对当前界面的内容进行信息获取和识别，获取和识别的主要信息包括界面组成结构级，各类控件，并提取控件信息；识别当前界面中的控件信息，判断是否存在操作事件，若有则生成与操作事件对应的语音指令；控件信息包括ImageView、Buttom、ListView、TextView和EditView中的一种或多种；操作事件包括编辑、滑动、点击和长按操作中的一种或多种；
生成模块2，根据预先制定的策略生成与当前界面中操作事件对应的语音指令；生成模块2包括判断单元21和存储单元22，判断单元21用于判断当前界面中是否存在控件信息；存储单元22用于存储与操作事件对应的语音指令，供生成模块2调用；
显示模块3；将语音指令叠加显示在当前界面上；生成模块2根据预先制定的策略生成与当前界面中操作事件对应的语音指令，并激活语音识别功能后，显示模块3将语音指令叠加显示于操作事件对应的操作区域上；
执行模块4，执行用户输入的语音指令对终端进行事件操作；生成模块2根据预先制定的策略生成与当前界面中操作事件对应的语音指令，并激活语音识别功能后，显示模块3将语音指令叠加显示于操作事件对应的操作区域上；用户通过输入对应的语音指令，执行模块4执行用户输入的语音指令对终端进行事件操作。
可以理解，本申请是通过一些实施例进行描述的，本领域技术人员知悉的，在不脱离本申请的精神和范围的情况下，可以对这些特征和实施例进行各种改变或等效替换。另外，在本申请的教导下，可以对这些特征和实施例进行修改以适应具体的情况及材料而不会脱离本申请的精神和范围。因此，本申请不受此处所公开的具体实施例的限制，所有落入本申请的权利要求范围内的实施例都属于本申请所保护的范围内。
可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。
需要说明的是，在本申请的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本申请的描述中，除非另有说明，“多个”的含义是指至少两个。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的可选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (11)

  1. 一种基于终端界面识别的语音控制方法，其特征在于，所述方法包括：
    获取和识别当前界面的内容；
    根据预先制定的策略生成与当前界面中操作事件对应的语音指令；
    将语音指令叠加显示在当前界面上；
    用户通过输入对应的语音指令对终端进行事件操作。
  2. 根据权利要求1所述的基于终端界面识别的语音控制方法，其特征在于：预先对应用程序各界面中的操作事件进行语音指令标注，应用程序界面打开界面时根据标注的策略自动生成语音指令，在当前界面上显示。
  3. 根据权利要求1所述的基于终端界面识别的语音控制方法，其特征在于：识别当前界面中的控件信息，判断是否存在操作事件，若有则生成与操作事件对应的语音指令。
  4. 根据权利要求3所述的基于终端界面识别的语音控制方法，其特征在于：控件信息包括ImageView、Buttom、ListView、TextView和EditView中的一种或多种。
  5. 根据权利要求1所述的基于终端界面识别的语音控制方法，其特征在于：所述操作事件包括编辑、滑动、点击和长按操作中的一种或多种。
  6. 根据权利要求1所述的基于终端界面识别的语音控制方法，其特征在于：所述语音指令叠加显示于操作事件对应的操作区域上。
  7. 一种基于终端界面识别的语音控制系统，其特征在于：包括
    获取模块，用于获取和识别当前界面的内容；
    生成模块，根据预先制定的策略生成与当前界面中操作事件对应的语音指令；
    显示模块；将语音指令叠加显示在当前界面上；
    执行模块，执行用户输入的语音指令对终端进行事件操作。
  8. 根据权利要求7所述的一种基于终端界面识别的语音控制系统，其特征在于：所述生成模块包括判断单元，用于判断当前界面中是否存在控件信息。
  9. 根据权利要求7或8所述的一种基于终端界面识别的语音控制系统，其特征在于：所述生成模块包括存储单元，用于存储与操作事件对应的语音指令，供生成模块调用。
  10. 一种智能终端，其特征在于，所述智能终端上设有权利要求7-9任一所述的语音控制系统，所述智能终端上设有唤醒装置、显示器、语音接收模块，所述唤醒装置用于唤醒智能终端，所述显示器用于当前界面的显示，所述语音接收模块用于接收用户输入的语 音指令。
  11. 根据权利要求10所述的智能终端，其特征在于：所述唤醒装置包括实体按键和/或虚拟触摸按键。
PCT/CN2019/097800 2018-09-17 2019-07-26 基于终端界面识别的语音控制方法、系统及智能终端 WO2020057255A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201811082204.9A CN109215650A (zh) 2018-09-17 2018-09-17 一种基于终端界面识别的语音控制方法、系统及智能终端
CN201811082204.9 2018-09-17

Publications (1)

Publication Number Publication Date
WO2020057255A1 true WO2020057255A1 (zh) 2020-03-26

Family

ID=64984339

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/097800 WO2020057255A1 (zh) 2018-09-17 2019-07-26 基于终端界面识别的语音控制方法、系统及智能终端

Country Status (2)

Country Link
CN (1) CN109215650A (zh)
WO (1) WO2020057255A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109215650A (zh) * 2018-09-17 2019-01-15 珠海格力电器股份有限公司 一种基于终端界面识别的语音控制方法、系统及智能终端
CN109979460A (zh) * 2019-03-11 2019-07-05 上海白泽网络科技有限公司 可视化语音信息交互方法及装置
CN112102823A (zh) * 2020-07-21 2020-12-18 深圳市创维软件有限公司 一种智能终端的语音交互方法、智能终端及存储介质
CN114895999B (zh) * 2022-03-31 2023-09-19 思必驰科技股份有限公司 基于交互界面的对话方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103208283A (zh) * 2012-01-11 2013-07-17 三星电子株式会社 使用语音识别执行用户功能的方法及装置
CN103853355A (zh) * 2014-03-17 2014-06-11 吕玉柱 电子设备操作方法及其操控设备
US8893052B2 (en) * 2008-11-11 2014-11-18 Pantech Co., Ltd. System and method for controlling mobile terminal application using gesture
CN106131173A (zh) * 2016-07-01 2016-11-16 北京奇虎科技有限公司 移动终端和移动终端远程协助与受助方法、装置
CN106484270A (zh) * 2016-09-12 2017-03-08 深圳市金立通信设备有限公司 一种语音操作事件添加方法及终端
CN109215650A (zh) * 2018-09-17 2019-01-15 珠海格力电器股份有限公司 一种基于终端界面识别的语音控制方法、系统及智能终端

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100684519B1 (ko) * 2004-09-20 2007-02-20 주식회사 대우일렉트로닉스 카오디오용 음성 인식 핸즈프리 장치 및 이를 구비하는카오디오
KR20130032966A (ko) * 2011-09-26 2013-04-03 엘지전자 주식회사 사용자 인터페이스 방법 및 장치
KR101984094B1 (ko) * 2012-11-13 2019-05-30 엘지전자 주식회사 이동 단말기 및 그것의 제어방법
CN105575390A (zh) * 2014-10-23 2016-05-11 中兴通讯股份有限公司 语音控制方法及装置
CN104899003A (zh) * 2015-06-12 2015-09-09 广州视源电子科技股份有限公司 终端控制方法和系统
CN105957530B (zh) * 2016-04-28 2020-01-03 海信集团有限公司 一种语音控制方法、装置和终端设备
CN108279839A (zh) * 2017-01-05 2018-07-13 阿里巴巴集团控股有限公司 基于语音的交互方法、装置、电子设备及操作系统
CN107967055A (zh) * 2017-11-16 2018-04-27 深圳市金立通信设备有限公司 一种人机交互方法、终端及计算机可读介质
CN108364647A (zh) * 2018-02-09 2018-08-03 智慧海派科技有限公司 基于语音识别的应用程序显示方法及移动终端
CN108538291A (zh) * 2018-04-11 2018-09-14 百度在线网络技术（北京）有限公司 语音控制方法、终端设备、云端服务器及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8893052B2 (en) * 2008-11-11 2014-11-18 Pantech Co., Ltd. System and method for controlling mobile terminal application using gesture
CN103208283A (zh) * 2012-01-11 2013-07-17 三星电子株式会社 使用语音识别执行用户功能的方法及装置
CN103853355A (zh) * 2014-03-17 2014-06-11 吕玉柱 电子设备操作方法及其操控设备
CN106131173A (zh) * 2016-07-01 2016-11-16 北京奇虎科技有限公司 移动终端和移动终端远程协助与受助方法、装置
CN106484270A (zh) * 2016-09-12 2017-03-08 深圳市金立通信设备有限公司 一种语音操作事件添加方法及终端
CN109215650A (zh) * 2018-09-17 2019-01-15 珠海格力电器股份有限公司 一种基于终端界面识别的语音控制方法、系统及智能终端

Also Published As

Publication number Publication date
CN109215650A (zh) 2019-01-15

Similar Documents

Publication Publication Date Title
WO2020057255A1 (zh) 基于终端界面识别的语音控制方法、系统及智能终端
US11790914B2 (en) Methods and user interfaces for voice-based control of electronic devices
JP7166391B2 (ja) アバターの作成及び編集
CN113518145B (zh) 用于管理可控外部设备的用户界面
JP7349566B2 (ja) グラフィカルオブジェクトをカスタマイズするためのユーザインタフェース
US20190121520A1 (en) Device, Method, and Graphical User Interface for Manipulating Framed Graphical Objects
CN111666354B (zh) 结构化建议
CN111176516B (zh) 用于操纵用户界面的设备、方法和图形用户界面
US9965039B2 (en) Device and method for displaying user interface of virtual input device based on motion recognition
CN116888555A (zh) 用于伴有动态反馈的媒体控制的方法和界面
CN108140361A (zh) 观影模式
CN112262560B (zh) 用于更新外部设备的网络连接设置的用户界面的方法、电子设备和非暂态计算机可读存储介质
CN114020203A (zh) 用于内容流式传输的用户界面
CN108089727A (zh) 用于屏幕的手写键盘
CN115997188A (zh) 与电子设备上的手写内容的交互
CN105144067A (zh) 用于调节控件的外观的设备、方法和图形用户界面
TW201145150A (en) Automatically displaying and hiding an on-screen keyboard
WO2020232912A1 (zh) 一种触摸屏操作方法、电子设备及存储介质
CN106233237B (zh) 一种处理与应用关联的新消息的方法和装置
CN106933450A (zh) 一种控制方法及电子设备
US20220116399A1 (en) Media service configuration
CN109343757A (zh) 一种电子设备的操作控制方法及电子设备
CN107111415B (zh) 用于移动应用接口元素的设备、方法和图形用户界面
US20230393865A1 (en) Method of activating and managing dual user interface operating modes
CN115698933A (zh) 用于在选择模式之间转变的用户界面

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19862436

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19862436

Country of ref document: EP

Kind code of ref document: A1