WO2013155847A1 - 一种语音控制浏览器动作的方法、系统及浏览器 - Google Patents

一种语音控制浏览器动作的方法、系统及浏览器 Download PDF

Info

Publication number
WO2013155847A1
WO2013155847A1 PCT/CN2012/086047 CN2012086047W WO2013155847A1 WO 2013155847 A1 WO2013155847 A1 WO 2013155847A1 CN 2012086047 W CN2012086047 W CN 2012086047W WO 2013155847 A1 WO2013155847 A1 WO 2013155847A1
Authority
WO
WIPO (PCT)
Prior art keywords
field
voice
command
browser
template
Prior art date
Application number
PCT/CN2012/086047
Other languages
English (en)
French (fr)
Inventor
周晓波
司天歌
刘玉国
Original Assignee
腾讯科技（深圳）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 腾讯科技（深圳）有限公司 filed Critical 腾讯科技（深圳）有限公司
Publication of WO2013155847A1 publication Critical patent/WO2013155847A1/zh
Priority to US14/098,134 priority Critical patent/US20140096004A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/957—Browsing optimisation, e.g. caching or content distillation

Definitions

  • the invention belongs to the technical field of browsers, and in particular relates to a method, a system and a browser for controlling the action of a browser by voice.
  • voice technology is beginning to spread in browser products.
  • voice input method the specific product form, such as voice search, voice input text, etc.
  • voice command mode the voice control forward, backward and other browser actions.
  • the second mode is to use a voice-converted text to execute commands, that is, a new way of interaction, and the operations performed during interaction are controlled by voice.
  • commands that is, a new way of interaction, and the operations performed during interaction are controlled by voice.
  • voice In other words, it is a new user interface (User Interface, UI).
  • this mode is a general control that is independent of the content of the web page, it must be universal, that is, control the operations that can be performed on each web page. For example, control page turning, forward, backward, open web pages, and the like.
  • the second mode is for the function of the browser itself, and has nothing to do with the specific content of the web page.
  • the browser can only perform general control irrelevant to the content of the webpage through the voice, and cannot control the specific content of the webpage.
  • the embodiment of the invention provides a method, a device and a browser for controlling the action of a browser, and aims to solve the problem that the prior art can only perform general control on the browser regardless of the content of the webpage, and cannot control the specific content of the webpage. The problem.
  • a method of voice control browser action comprising:
  • a method of voice control browser action comprising:
  • An element corresponding to the value of the element field in the template entry is found in the current web page, such that the element performs an operation corresponding to the value of the operation field.
  • a system for voice control browser actions comprising:
  • a voice receiving unit configured to receive an input voice command
  • a template entry searching unit configured to search for a template entry in a preset webpage template according to a command field of the voice command, where the template entry includes a one-to-one correspondence between an element field, a command field, and an operation field;
  • an action execution unit configured to find an element corresponding to the value of the element field in the template entry in the current webpage, so that the element performs an operation corresponding to the value of the operation field.
  • a browser including a system for voice control browser actions, the system comprising:
  • a voice receiving unit configured to receive an input voice command
  • a template entry searching unit configured to search for a template entry in a preset webpage template according to a command field of the voice command, where the template entry includes a one-to-one correspondence between an element field, a command field, and an operation field;
  • an action execution unit configured to find an element corresponding to the value of the element field in the template entry in the current webpage, so that the element performs an operation corresponding to the value of the operation field.
  • the browser after receiving the voice control command input by the user, finds the value of the command field in the preset webpage template as a template entry of the voice command, and the webpage template includes multiple templates.
  • Due to the usage scenario of the voice control command it is not a general browser operation, but an operation control command customized according to the content of the webpage, such as "broadcast", "broadcast”, etc., so it is a voice control browser action related to the content of the webpage.
  • the method can perform corresponding voice control according to the content of the webpage, thereby further improving the user's voice experience.
  • FIG. 1 is a flowchart of an implementation of a method for controlling a voice of a browser according to Embodiment 1 of the present invention
  • FIG. 2 is a schematic diagram of a webpage of a first interaction point according to Embodiment 1 of the present invention.
  • FIG. 3 is a schematic diagram of a webpage of a second interaction point according to Embodiment 1 of the present invention.
  • FIG. 4 is a schematic diagram of a webpage of a third interaction point according to Embodiment 4 of the present invention.
  • FIG. 5 is a flowchart of an implementation of a method for controlling a voice of a browser provided by Embodiment 2 of the present invention.
  • FIG. 6 is a structural block diagram of a system for controlling the action of a voice control browser according to Embodiment 3 of the present invention.
  • FIG. 7 is a structural block diagram of a system for controlling the action of a voice control browser according to Embodiment 4 of the present invention.
  • the structure of the webpage is relatively simple, and the content submitted by the user is increased, but the entrance is single, such as t.qq.com, the main operation is “retransmission”, “Send Weibo", "Publish a comment” and so on. Therefore, the embodiment of the present invention provides some voice control commands for some typical web products. After receiving the voice control command, the browser finds the value of the command field in the preset webpage template as the template entry of the voice command.
  • the webpage template includes a plurality of template entries, where the template entries include an element field, a command field, and an operation field; and an element corresponding to the value of the element field in the template entry is found, so that the element performs The operation corresponding to the value of the operation field.
  • FIG. 1 is a flowchart of a method for implementing a voice control browser action according to Embodiment 1 of the present invention.
  • a browser controls a voice control function by default, and can receive a voice control command input by a user, and according to the command, To control the corresponding elements in the web page, as detailed below:
  • step S101 an input voice control command is received.
  • the user inputs a web address in the web address input field of the browser, and the browser opens the corresponding web page for the user.
  • the user can voice input a command corresponding to the operation of a button in the content of the webpage, and after receiving the voice control command, the browser can control the button to perform a corresponding operation.
  • a web page there are several interaction points for the user. Taking t.qq.com as an example, typical interaction points are shown in Figures 2, 3 and 4, respectively, including: a) sending microblogs, b) rebroadcasting, c) comments, or comments and rebroadcasts. These three typical interaction points, users can enter their own text, or just broadcast or comment, without entering text.
  • the present invention is directed to such an operation by having voice control commands to control buttons corresponding to "broadcast”, “broadcast” or “comment”. That is, when the user says “broadcast”, “broadcast” or “comment”, these actions are triggered, just like clicking a mouse on these buttons.
  • This voice control mode differs from the second mode mentioned in the background art in that "broadcast”, “broadcast” and “comment” are the contents of a web page, and therefore, the present invention is a voice control for a specific web page. mode.
  • the template field is found in the preset webpage template as a template entry of the voice command, and the webpage template includes a plurality of template entries, where the template entry includes an element field, a command field, and Action field.
  • the event corresponding to the corresponding element in the webpage content can be controlled by the voice control command and needs to be specified by a webpage template.
  • the webpage template includes a plurality of template entries. For different elements in the webpage, different template entries are corresponding. In the template entry, it is necessary to determine which element in the webpage is controlled by what is used, that is, three basic fields are specified: ⁇ element , Command, Action>. How to identify an element, in this embodiment, the ID attribute of the element is used because the ID of each element in the HTML is unique.
  • step S103 an element corresponding to the value of the element field in the template entry is found in the current web page, so that the element performs an operation corresponding to the value of the operation field.
  • the browser searches for the corresponding template entry ⁇ 'mybuttonid' in the webpage template according to the command, 'relay', 'forwardweibo '>, then, find the button with the element ID 'mybuttonid' in the web page, and make the button perform the 'forwardweibo' operation.
  • the browser detects the command, and when detecting that the voice control command matches the command to be executed by the corresponding element in the webpage content, the voice control command is used to control the location.
  • the elements perform the corresponding operations. Since the input voice control command is a command for webpage content, it is a voice control mode based on webpage content.
  • FIG. 5 is a flowchart showing an implementation process of a voice control browser action method according to Embodiment 2 of the present invention, which is described in detail as follows:
  • step S501 a URL that needs to control the action of the browser with voice is added to the whitelist, the whitelist is a list of URLs, and the URL included in the list of URLs is a URL that needs to use voice to control browser actions. .
  • the present invention is directed to the content of a webpage, what operations of the webpage can be controlled by voice control commands are not known, and therefore operations are required, that is, the webpage producers apply for cooperation. For example, for the t.qq.com page, if you want voice control, you need to apply to add the URL of the page to the whitelist. When the browser encounters the URL in the whitelist, the voice control function is activated. Compared with the first embodiment. You don't need to turn on the voice control function for each webpage, which saves computer resources and helps to improve the speed of web browsing.
  • step S502 it is determined whether the web address input by the user is in a preset white list, and the white list includes all web addresses that need to use voice to control the browser action, and if so, the voice control function is activated.
  • the browser determines whether the web address is in the preset white list, and the white list includes all the URLs that need to use voice to control the browser action. Yes, the voice control function is activated.
  • step S503 an input voice control command is received.
  • the template field is found in the preset webpage template as a template entry of the voice command, and the webpage template includes a plurality of template entries, where the template entry includes an element field, a command field, and Action field.
  • step S505 an element corresponding to the value of the element field in the template entry is found in the current web page, so that the element performs an operation corresponding to the value of the operation field.
  • steps S503 to S505 is similar to the execution of steps S101-S103 in the first embodiment.
  • steps S101-S103 for details, refer to the description of the first embodiment.
  • the URL of the webpage that needs voice control is added to the whitelist.
  • the voice control function is enabled, and the corresponding element in the webpage is controlled by the input voice control command. .
  • the voice control function is only enabled for the webpage in the whitelist, which saves computer resources and is more convenient for speeding up the browsing speed of the webpage.
  • FIG. 6 is a block diagram showing a specific structure of a system for controlling the action of a voice control browser according to Embodiment 3 of the present invention. For the convenience of description, only parts related to the embodiment of the present invention are shown.
  • the system for controlling the action of the voice control browser is a software unit, a hardware unit or a combination of software and hardware in the browser, and the system includes a voice receiving unit 61, a template item searching unit 62, and an action executing unit 63.
  • the voice receiving unit 61 is configured to receive the input voice command.
  • a template entry searching unit 62 configured to find, in a preset webpage template, a template entry whose value is a template entry of the voice command, where the webpage template includes a plurality of template entries, where the template entry includes an element field, Command field and action field;
  • the action execution unit 63 is configured to find an element corresponding to the value of the element field in the template entry in the current webpage, and cause the element to perform an operation corresponding to the value of the operation field.
  • FIG. 7 is a block diagram showing a specific structure of a system for controlling the action of a voice control browser according to Embodiment 4 of the present invention. For the convenience of description, only parts related to the embodiment of the present invention are shown.
  • the system for controlling the action of the voice control browser is a software unit, a hardware unit or a combination of software and hardware in the browser.
  • the system includes: a white list generating unit 71, a website determining unit 72, a voice control starting unit 73, and a voice receiving unit. 74. Template entry lookup unit 75 and action execution unit 76.
  • the whitelist generating unit 71 is configured to add a URL that needs to control the browser action by using a voice to the whitelist, where the whitelist is a list of URLs, and the URL included in the URL list needs to be controlled by voice.
  • the website determining unit 72 is configured to determine whether the web address input by the user is in a preset white list, and the white list includes all web addresses that need to use voice to control the browser action;
  • a voice control starting unit 73 if yes, initiating a voice control function
  • a voice receiving unit 74 configured to receive an input voice command
  • a template entry searching unit 75 configured to find, in a preset webpage template, a template entry whose value is a template entry of the voice command, where the webpage template includes a plurality of template entries, where the template entry includes an element field, a command field and an action field, wherein the value of the element field is an ID attribute of the element;
  • the action execution unit 76 is configured to find an element corresponding to the value of the element field in the template entry in the current webpage, and cause the element to perform an operation corresponding to the value of the operation field.
  • each unit included is only divided according to functional logic, but is not limited to the above division, as long as the corresponding function can be implemented; in addition, the specific name of each functional unit It is also for convenience of distinguishing from each other and is not intended to limit the scope of protection of the present invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

提供了一种语音控制浏览器动作的方法、系统，该方法包括：接收输入的语音命令；在预设的网页模板中查找到命令字段的值为语音命令的模板条目，网页模板中包括多个模板条目，模板条目中包括元素字段、命令字段和操作字段；在当前网页中查找到与模板条目中的元素字段的值对应的元素，使该元素执行与操作字段的值对应的操作。该方法可以根据网页的内容进行相应的语音控制，更进一步提高了用户的语音体验效果。

Description

一种语音控制浏览器动作的方法、系统及浏览器 技术领域
本发明属于浏览器技术领域，尤其涉及一种语音控制浏览器动作的方法、系统及浏览器。
 背景技术
当前，语音技术在浏览器产品中开始普及。主要有两种模式：语音输入法和语音命令。在语音输入法模式下，具体产品形态如，语音搜索、语音输入文本等；在语音命令模式下，则由语音控制前进、后退等浏览器动作。
第二种模式，是用语音转换的文字来执行命令，即一种新的交互方式，而交互时执行的操作是由语音来控制的。也就是说是一种新的用户界面（User Interface ，UI）。
现有浏览器产品中对第二种模式的使用是有局限的：因为这种模式是与网页内容无关的通用控制，因此必须是通用的，即对每个网页都能进行的操作进行控制，例如控制翻页、前进、后退、打开网页等。也就是说，第二种模式针对的是浏览器本身的功能，而与网页的具体内容没有关系。
综上所述，现有技术的语音命令模式下，通过语音只能对浏览器进行与网页内容无关的通用控制，而不能针对网页的具体内容进行控制。
 技术问题
本发明实施例提供了一种语音控制浏览器动作的方法、装置及浏览器，旨在解决现有技术只能对浏览器进行与网页内容无关的通用控制，而不能针对网页的具体内容进行控制的问题。
 技术解决方案
一方面，提供一种语音控制浏览器动作的方法，其中所述方法包括：
判断当前网页是否在预设的白名单中，所述白名单包括语音控制浏览器动作的网页；
若当前网页在预设的白名单中，则接收语音命令；
在当前网页中匹配与所述语音指令相对应的元素字段；
获取所述元素字段对应的操作字段；
控制当前网页执行所述操作字段的操作。
另一方面，提供一种语音控制浏览器动作的方法，其中所述方法包括：
接收输入的语音命令；
获取语音命令的命令字段；
根据命令字段在预设的网页模板中查找模板条目，所述模板条目包括元素字段、命令字段和操作字段的一一对应关系；
在当前网页中查找到与所述模板条目中的元素字段的值对应的元素，使所述元素执行与所述操作字段的值对应的操作。
另一方面，提供一种语音控制浏览器动作的系统，其中所述系统包括：
语音接收单元，用于接收输入的语音命令；
模板条目查找单元，用于根据语音命令的命令字段在预设的网页模板中查找模板条目，所述模板条目包括元素字段、命令字段和操作字段的一一对应关系；
动作执行单元，用于在当前网页中查找到与所述模板条目中的元素字段的值对应的元素，使所述元素执行与所述操作字段的值对应的操作。
再一方面，提供一种浏览器，所述浏览器包括一语音控制浏览器动作的系统，所述系统包括：
语音接收单元，用于接收输入的语音命令；
模板条目查找单元，用于根据语音命令的命令字段在预设的网页模板中查找模板条目，所述模板条目包括元素字段、命令字段和操作字段的一一对应关系；
动作执行单元，用于在当前网页中查找到与所述模板条目中的元素字段的值对应的元素，使所述元素执行与所述操作字段的值对应的操作。
 有益效果
在本发明实施例中，浏览器接收到用户输入的语音控制命令后，在预设的网页模板中查找到命令字段的值为所述语音命令的模板条目，所述网页模板中包括多个模板条目，所述模板条目中包括元素字段、命令字段和操作字段；查找到与所述模板条目中的元素字段的值对应的元素，使所述元素执行与所述操作字段的值对应的操作。由于语音控制命令的使用场景，不是通用的浏览器操作，而是根据网页内容定制的操作控制命令，比如“转播”、“广播”等，因此是一种与网页内容相关的语音控制浏览器动作的方法，可以根据网页的内容进行相应的语音控制，更进一步提高了用户的语音体验效果。
 附图说明
图1是本发明实施例一提供的语音控制浏览器动作的方法的实现流程图；
图2是本发明实施例一提供的第一个交互点的网页示意图；
图3是本发明实施例一提供的第二个交互点的网页示意图；
图4是本发明实施例四提供的第三个交互点的网页示意图；
图5是本发明实施例二提供的语音控制浏览器动作的方法的实现流程图；
图6是本发明实施例三提供的语音控制浏览器动作的系统的结构框图；
图7是本发明实施例四提供的语音控制浏览器动作的系统的结构框图。
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
在本发明实施例中，针对网页的具体内容，尤其是web2.0时代，网页的结构比较单一，用户提交内容增多，但是入口单一，如t.qq.com，主要的操作就是“转播”、“发微博”、“发评论”等几个。因此本发明实施例针对一些典型的web产品，提供一些语音控制命令，浏览器接收到所述语音控制命令后，在预设的网页模板中查找到命令字段的值为所述语音命令的模板条目，所述网页模板中包括多个模板条目，所述模板条目中包括元素字段、命令字段和操作字段；查找到与所述模板条目中的元素字段的值对应的元素，使所述元素执行与所述操作字段的值对应的操作。
以下结合具体实施例对本发明的实现进行详细描述：
实施例一
图1示出了本发明实施例一提供的语音控制浏览器动作的方法的实现流程，在本实施例中，浏览器默认开启语音控制功能，可以接收用户输入的语音控制命令，并根据该命令来对网页中的相应元素来进行控制，详述如下：
在步骤S101中，接收输入的语音控制命令。
在本实施例中，用户在浏览器的网址输入栏中输入网址，浏览器为用户打开相应的网页。用户可以语音输入与该网页内容中的某一按钮的操作对应的命令，浏览器接收到该语音控制命令后，即可控制该按钮执行相应的操作。比如，在一个网页中，会为用户提供几个交互点。以t.qq.com为例，典型的交互点分别如图2、3和4所示，包括：a）发微博、b)转播、c)评论，或者评论且转播。这三个典型的交互点，用户可以输入自己的文字，也可以只转播或评论，而不输入文字。
具体的通过语音控制命令来实现交互的过程是：
假设用户不在图2、3和4所示的示意图中的编辑框中输入文字，或者已经输入好了文字，用户点击“广播”、“转播”或者“评论”就完成了一次操作。
我们重点来看这个点击操作。本发明是针对这种操作，让语音控制命令来控制与“广播”、“转播”或者“评论”对应的按钮。即用户说出“广播”、“转播”或“评论”时，即会触发这些操作，就像在这些按钮上点击鼠标一样。
这种语音控制模式和背景技术中提到的第二种模式不同的是，“广播”、“转播”和“评论”是网页的内容，因此，本发明是针对特定的网页的一种语音控制模式。
在步骤S102中，在预设的网页模板中查找到命令字段的值为所述语音命令的模板条目，所述网页模板中包括多个模板条目，所述模板条目中包括元素字段、命令字段和操作字段。
在本实施例中，网页内容中的相应元素对应的事件可以用语音控制命令来控制则需要通过一个网页模板来指定。
网页模板中包括多个模板条目，对于网页中的不同的元素，会对应不同的模板条目，所述模板条目中需要制定网页中哪个元素用什么来控制，即三个基本字段来指定：<元素， 命令， 操作>。如何来标识一个元素，在本实施例中，采用元素的ID属性，因为HTML中每个元素的ID是唯一的。
例如，如图5所示，在t.qq.com中的，图片中的“转播”按钮对应的元素ID=‘mybuttonid’，对应的点击事件为onclick=‘forwardweibo’，那么对应的模板条目就是：
<‘mybuttonid’，‘转播’，‘forwardweibo’>。
在步骤S103中，在当前网页中查找到与所述模板条目中的元素字段的值对应的元素，使所述元素执行与所述操作字段的值对应的操作。
在本实施例中，如对图5所示的网页，用户输入语音控制命令“转播”后，浏览器根据该命令查找到网页模板中的对应模板条目<‘mybuttonid’，‘转播’，‘forwardweibo’>，然后，在网页中查找到元素ID为‘mybuttonid’的按钮，使该按钮执行‘forwardweibo’操作。
本实施例，用户通过语音输入语音控制命令后，浏览器对该命令进行检测，当检测到该语音控制命令与网页内容中的相应元素所要执行的命令匹配时，则通过该语音控制命令控制所述元素执行相应的操作。由于输入的语音控制命令是针对网页内容的命令，所以是一种基于网页内容的语音控制模式。
实施例二
图5示出了本发明实施例二提供的语音控制浏览器动作的方法的实现流程，详述如下：
在步骤S501中，将需要用语音来控制浏览器动作的网址加入到白名单中，所述白名单是一个网址列表，所述网址列表中包括的网址是需要用语音来控制浏览器动作的网址。
在本实施例中，由于本发明针对的是网页的内容，该网页究竟有哪些操作可以用语音控制命令来控制并不知晓，因此需要进行运营，即网页制作方来申请合作。例如针对t.qq.com这个页面，如果希望语音控制，则需要申请将该页面的网址添加到白名单里，浏览器遇到白名单里的网址，就启动语音控制功能，相比实施例一可以不用对每个网页都开启语音控制功能，节省了计算机资源，有利于提高网页浏览速度。
在步骤S502中，判断用户输入的网址是否在预设的白名单中，所述白名单中包括所有需要用语音来控制浏览器动作的网址，如果是，则启动语音控制功能。
在本实施例中，用户输入网址，进入相应的页面后，浏览器判断所述网址是否在预设的白名单中，所述白名单中包括所有需要用语音来控制浏览器动作的网址，如果是，则启动语音控制功能。
在步骤S503中，接收输入的语音控制命令。
在步骤S504中，在预设的网页模板中查找到命令字段的值为所述语音命令的模板条目，所述网页模板中包括多个模板条目，所述模板条目中包括元素字段、命令字段和操作字段。
在步骤S505中，在当前网页中查找到与所述模板条目中的元素字段的值对应的元素，使所述元素执行与所述操作字段的值对应的操作。
在本实施例中，步骤S503至S505的执行和上述实施例一中的步骤S101-S103的执行过程类似，详情参见上述实施例一的描述。
本实施例，将需要进行语音控制的网页的网址添加到白名单中，当用户输入的网址是白名单中的网址时，才开启语音控制功能，通过输入的语音控制命令控制网页中的相应元素。相比实施例一，只针对白名单中的网页开启语音控制功能，节省了计算机资源，更有利于加快网页的浏览速度。
实施例三
图6示出了本发明实施例三提供的语音控制浏览器动作的系统的具体结构框图，为了便于说明，仅示出了与本发明实施例相关的部分。该语音控制浏览器动作的系统是浏览器中的软件单元、硬件单元或者软硬件结合的单元，所述系统包括：语音接收单元61、模板条目查找单元62和动作执行单元63。
其中，语音接收单元61，用于接收输入的语音命令；
模板条目查找单元62，用于在预设的网页模板中查找到命令字段的值为所述语音命令的模板条目，所述网页模板中包括多个模板条目，所述模板条目中包括元素字段、命令字段和操作字段；
动作执行单元63，用于在当前网页中查找到与所述模板条目中的元素字段的值对应的元素，使所述元素执行与所述操作字段的值对应的操作。
具体各个单元的执行情况，请参见实施例一中的描述，在此不再赘述。
实施例四
图7示出了本发明实施例四提供的语音控制浏览器动作的系统的具体结构框图，为了便于说明，仅示出了与本发明实施例相关的部分。该语音控制浏览器动作的系统是浏览器中的软件单元、硬件单元或者软硬件结合的单元，所述系统包括：白名单生成单元71、网址判断单元72、语音控制启动单元73、语音接收单元74、模板条目查找单元75和动作执行单元76。
其中，白名单生成单元71，用于将需要用语音来控制浏览器动作的网址加入到白名单中，所述白名单是一个网址列表，所述网址列表中包括的网址是需要用语音来控制浏览器动作的网址；
网址判断单元72，用于判断用户输入的网址是否在预设的白名单中，所述白名单中包括所有需要用语音来控制浏览器动作的网址；
语音控制启动单元73，用于如果是，则启动语音控制功能；
语音接收单元74，用于接收输入的语音命令；
模板条目查找单元75，用于在预设的网页模板中查找到命令字段的值为所述语音命令的模板条目，所述网页模板中包括多个模板条目，所述模板条目中包括元素字段、命令字段和操作字段，其中，所述元素字段的值为元素的ID属性；
动作执行单元76，用于在当前网页中查找到与所述模板条目中的元素字段的值对应的元素，使所述元素执行与所述操作字段的值对应的操作。
具体各个单元的执行情况，请参见实施例一和实施例二中的描述，在此不再赘述。
值得注意的是，上述系统实施例中，所包括的各个单元只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
另外，本领域普通技术人员可以理解实现上述各实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，相应的程序可以存储于一计算机可读取存储介质中，所述的存储介质，如ROM/RAM、磁盘或光盘等。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
 本发明的实施方式
工业实用性
序列表自由内容

Claims (16)

  1. 一种语音控制浏览器动作的方法，其中所述方法包括：
    判断当前网页是否在预设的白名单中，所述白名单包括语音控制浏览器动作的网页；
    若当前网页在预设的白名单中，则接收语音命令；
    在当前网页中匹配与所述语音指令相对应的元素字段；
    获取所述元素字段对应的操作字段；
    控制当前网页执行所述操作字段的操作。
  2. 根据权利要求1所述的语音控制浏览器动作的方法，其中在接收语音命令之前，所述方法还包括步骤：
    预先存储模板条目，其中所述模板条目中包括有元素字段和操作字段的一一对应关系；
    而获取所述元素字段对应的操作字段的步骤具体包括：
    在所述模板条目中匹配与所述元素字段对应的操作字段。
  3. 根据权利要求1所述的语音控制浏览器动作的方法，其中所述模板条目中还包括有命令字段，其中所述模板条目中的元素字段、命令字段和操作字段相互一一对应；
    而在当前网页中匹配与所述语音指令相对应的元素字段的步骤具体包括：
    匹配与所述语音指令对应的命令字段；
    而获取所述元素字段对应的操作字段的步骤具体包括：
    根据所述命令字段匹配相应的元素字段；
    根据所述元素字段匹配相应的操作字段。
  4. 如权利要求1所述的方法，其中在所述接收输入的语音命令之前，所述方法还包括以下步骤：
    预设白名单，其中所述白名单中包括有语音控制浏览器动作的网址。
  5. 一种语音控制浏览器动作的方法，其中所述方法包括：
    接收输入的语音命令；
    获取语音命令的命令字段；
    根据命令字段在预设的网页模板中查找模板条目，所述模板条目包括元素字段、命令字段和操作字段的一一对应关系；
    在当前网页中查找到与所述模板条目中的元素字段的值对应的元素，使所述元素执行与所述操作字段的值对应的操作。
  6. 如权利要求5所述的语音控制浏览器动作的方法，其中在所述接收输入的语音命令之前，所述方法还包括：
    判断输入的网址是否在预设的白名单中，所述白名单中包括语音来控制浏览器动作的网址；
    若输入的网址在预设的所述白名单中，则进行接收输入的语音命令的步骤。
  7. 如权利要求5所述的语音控制浏览器动作的方法，其中在所述接收输入的语音命令之前，所述方法还包括：
    预设一白名单，将语音控制浏览器动作的网址添加至所述白名单中。
  8. 如权利要求5所述的语音控制浏览器动作的方法，其中所述元素字段的值为元素的ID属性。
  9. 一种语音控制浏览器动作的系统，其中所述系统包括：
    语音接收单元，用于接收输入的语音命令；
    模板条目查找单元，用于根据语音命令的命令字段在预设的网页模板中查找模板条目，所述模板条目包括元素字段、命令字段和操作字段的一一对应关系；
    动作执行单元，用于在当前网页中查找到与所述模板条目中的元素字段的值对应的元素，使所述元素执行与所述操作字段的值对应的操作。
  10. 如权利要求9所述的语音控制浏览器动作的系统，其中所述系统还包括：
    网址判断单元，用于判断输入的网址是否在预设的白名单中，所述白名单中包括所有需要用语音来控制浏览器动作的网址；
    语音控制启动单元，用于在所述网址判断单元判定输入的网址在预设的白名单时，控制所述语音接收单元接收输入的语音命令，以启动语音控制功能。
  11. 如权利要求9所述的语音控制浏览器动作的系统，其中所述系统还包括：
    白名单生成单元，用于将语音控制浏览器动作的网址加入到白名单中。
  12. 如权利要求5所述的系统，其中所述元素字段的值为元素的ID属性。
  13. 一种浏览器，其中所述浏览器包括一语音控制浏览器动作的系统，其中所述系统包括：
    语音接收单元，用于接收输入的语音命令；
    模板条目查找单元，用于根据语音命令的命令字段在预设的网页模板中查找模板条目，所述模板条目包括元素字段、命令字段和操作字段的一一对应关系；
    动作执行单元，用于在当前网页中查找到与所述模板条目中的元素字段的值对应的元素，使所述元素执行与所述操作字段的值对应的操作。
  14. 如权利要求13所述的浏览器，其中所述系统还包括：
    网址判断单元，用于判断输入的网址是否在预设的白名单中，所述白名单中包括语音控制浏览器动作的网址；
    语音控制启动单元，用于在所述网址判断单元判定输入的网址在预设的白名单时，控制所述语音接收单元接收输入的语音命令，以启动语音控制功能。
  15. 如权利要求13所述的浏览器，其中所述系统还包括：
    白名单生成单元，用于将语音控制浏览器动作的网址加入到白名单。
  16. 如权利要求13所述的浏览器，其中所述元素字段的值为元素的ID属性。
PCT/CN2012/086047 2012-04-19 2012-12-06 一种语音控制浏览器动作的方法、系统及浏览器 WO2013155847A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/098,134 US20140096004A1 (en) 2012-04-19 2013-12-05 Browser, and voice control method and system for browser operation

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201210118223.9 2012-04-19
CN201210118223.9A CN103377212B (zh) 2012-04-19 2012-04-19 一种语音控制浏览器动作的方法、系统及浏览器

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/098,134 Continuation US20140096004A1 (en) 2012-04-19 2013-12-05 Browser, and voice control method and system for browser operation

Publications (1)

Publication Number Publication Date
WO2013155847A1 true WO2013155847A1 (zh) 2013-10-24

Family

ID=49382868

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2012/086047 WO2013155847A1 (zh) 2012-04-19 2012-12-06 一种语音控制浏览器动作的方法、系统及浏览器

Country Status (3)

Country Link
US (1) US20140096004A1 (zh)
CN (1) CN103377212B (zh)
WO (1) WO2013155847A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9858039B2 (en) * 2014-01-28 2018-01-02 Oracle International Corporation Voice recognition of commands extracted from user interface screen devices
US9582498B2 (en) * 2014-09-12 2017-02-28 Microsoft Technology Licensing, Llc Actions on digital document elements from voice
CN106980614B (zh) * 2016-01-15 2019-09-24 中国科学院声学研究所 一种基于JavaScript扩展的Web页面语音操控实现方法
CN107025046A (zh) * 2016-01-29 2017-08-08 阿里巴巴集团控股有限公司 终端应用语音操作方法及系统
US10574517B2 (en) * 2017-04-24 2020-02-25 International Business Machines Corporation Adding voice commands to invoke web services
US10789957B1 (en) * 2018-02-02 2020-09-29 Spring Communications Company L.P. Home assistant wireless communication service subscriber self-service
EP3564812B1 (en) * 2018-04-30 2022-10-26 Mphasis Limited Method and system for automated creation of graphical user interfaces
CN109166582A (zh) * 2018-10-16 2019-01-08 深圳供电局有限公司 一种语音识别的自动控制系统及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1564123A (zh) * 2004-03-26 2005-01-12 宏碁股份有限公司 网页语音接口的操作方法
CN1650605A (zh) * 2002-06-14 2005-08-03 国际商业机器公司 具有集成的tcap和isup接口的语音浏览器
CN1666199A (zh) * 2002-07-02 2005-09-07 艾利森电话股份有限公司 一种与访问互联网内容有关的装置及方法
CN101951379A (zh) * 2010-09-27 2011-01-19 苏州昂信科技有限公司 绿色浏览器及其使用的网址远程过滤机制

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6901431B1 (en) * 1999-09-03 2005-05-31 Cisco Technology, Inc. Application server providing personalized voice enabled web application services using extensible markup language documents
CA2436940C (en) * 2000-12-01 2010-07-06 The Trustees Of Columbia University In The City Of New York A method and system for voice activating web pages
KR100490406B1 (ko) * 2002-07-11 2005-05-17 삼성전자주식회사 음성 명령어 처리 장치 및 방법
US7409344B2 (en) * 2005-03-08 2008-08-05 Sap Aktiengesellschaft XML based architecture for controlling user interfaces with contextual voice commands
KR101359715B1 (ko) * 2007-08-24 2014-02-10 삼성전자주식회사 모바일 음성 웹 제공 방법 및 장치
CN101257538B (zh) * 2008-03-25 2010-09-29 华为技术有限公司 一种在浏览器中处理请求的方法、装置
US20100100383A1 (en) * 2008-10-17 2010-04-22 Aibelive Co., Ltd. System and method for searching webpage with voice control
CN101916266A (zh) * 2010-07-30 2010-12-15 优视科技有限公司 基于移动终端的声控网页浏览方法和装置
TWI446748B (zh) * 2010-12-10 2014-07-21 D Link Corp A method of providing a network map through a gateway device to assist a user in managing a peripheral network device
KR20120080069A (ko) * 2011-01-06 2012-07-16 삼성전자주식회사 디스플레이 장치 및 그 음성 제어 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1650605A (zh) * 2002-06-14 2005-08-03 国际商业机器公司 具有集成的tcap和isup接口的语音浏览器
CN1666199A (zh) * 2002-07-02 2005-09-07 艾利森电话股份有限公司 一种与访问互联网内容有关的装置及方法
CN1564123A (zh) * 2004-03-26 2005-01-12 宏碁股份有限公司 网页语音接口的操作方法
CN101951379A (zh) * 2010-09-27 2011-01-19 苏州昂信科技有限公司 绿色浏览器及其使用的网址远程过滤机制

Also Published As

Publication number Publication date
CN103377212A (zh) 2013-10-30
CN103377212B (zh) 2016-01-20
US20140096004A1 (en) 2014-04-03

Similar Documents

Publication Publication Date Title
WO2013155847A1 (zh) 一种语音控制浏览器动作的方法、系统及浏览器
WO2013131430A1 (zh) 一种搜索结果显示方法、装置、系统及计算机存储介质
WO2019075973A1 (zh) 应用程序的测试方法及装置
WO2019165691A1 (zh) 自动生成测试案例的方法、装置、设备及可读存储介质
WO2019174375A1 (zh) 接口测试方法、装置、设备及计算机可读存储介质
WO2015131803A1 (en) Application recommending method and system
WO2016101698A1 (zh) 基于dlna技术实现屏幕推送的方法及系统
WO2018107610A1 (zh) 业务数据处理方法、系统、设备及计算机可读存储介质
WO2019128174A1 (zh) 音频播放方法、智能电视及计算机可读存储介质
WO2016165556A1 (zh) 一种视频流的数据处理方法、装置和系统
WO2015144089A1 (en) Application recommending method and apparatus
WO2015109865A1 (zh) 空调运行模式自定义控制方法及系统
WO2013143331A1 (zh) 一种基于移动终端浏览器的用户信息分享方法及装置
WO2016000560A1 (en) File transmission method, file transmission apparatus, and file transmission system
WO2017041538A1 (zh) 终端用户界面的受控显示方法及装置
WO2014026526A1 (zh) 自然人信息设置方法及电子设备
WO2018028128A1 (zh) 一种上行数据的信息反馈方法及相关设备
WO2019169814A1 (zh) 自动生成中文注释的方法、装置、设备及存储介质
WO2013107212A1 (zh) 一种文件下载方法、装置及系统
WO2015046649A1 (ko) 영상표시장치 및 영상표시장치 동작방법
WO2019051902A1 (zh) 终端控制方法、空调器及计算机可读存储介质
WO2017036208A1 (zh) 显示界面中的信息提取方法及系统
WO2018023926A1 (zh) 电视与移动终端的互动方法及系统
WO2014187158A1 (zh) 终端数据云分享的控制方法、服务器及终端
WO2014182066A1 (en) Content providing method and device

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12874863

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205N DATED 09/04/2015)

122 Ep: pct application non-entry in european phase

Ref document number: 12874863

Country of ref document: EP

Kind code of ref document: A1