WO2019233190A1 - 基于显示终端的文本转语音方法、显示终端及存储介质 - Google Patents

基于显示终端的文本转语音方法、显示终端及存储介质 Download PDF

Info

Publication number
WO2019233190A1
WO2019233190A1 PCT/CN2019/082711 CN2019082711W WO2019233190A1 WO 2019233190 A1 WO2019233190 A1 WO 2019233190A1 CN 2019082711 W CN2019082711 W CN 2019082711W WO 2019233190 A1 WO2019233190 A1 WO 2019233190A1
Authority
WO
WIPO (PCT)
Prior art keywords
text
information
application view
processing program
display terminal
Prior art date
Application number
PCT/CN2019/082711
Other languages
English (en)
French (fr)
Inventor
吴晓红
李辉
Original Assignee
深圳Tcl数字技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳Tcl数字技术有限公司 filed Critical 深圳Tcl数字技术有限公司
Publication of WO2019233190A1 publication Critical patent/WO2019233190A1/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44222—Analytics of user selections, e.g. selection of programs or purchase activity

Definitions

  • the preset processing program obtains the text information in the application view
  • the text information is converted into voice information.
  • FIG. 1 is a schematic structural diagram of a television in a hardware operating environment according to a solution of an embodiment of the present application
  • This application provides a solution to enable a display terminal to quickly convert text information in an application view into voice information according to a preset processing program.
  • the terminal may include a processor 1001, such as a CPU, a network interface 1004, a user interface 1003, a memory 1005, and a communication bus 1002.
  • the communication bus 1002 is configured to implement connection and communication between these components.
  • the user interface 1003 may include a display, an input unit such as a keyboard, and the optional user interface 1003 may further include a standard wired interface and a wireless interface.
  • the network interface 1004 may optionally include a standard wired interface and a wireless interface (such as a WI-FI interface).
  • the memory 1005 may be a high-speed RAM memory or a non-volatile memory. memory), such as disk storage.
  • the memory 1005 may optionally be a storage device independent of the foregoing processor 1001.
  • the memory 1005 as a computer storage medium may include an operating system, a network communication module, a user interface module, and a text-to-speech program based on a display terminal.
  • the network interface 1004 is mainly configured to connect to the background server and perform data communication with the background server;
  • the user interface 1003 is mainly configured to connect to the client (user) and perform data communication with the client;
  • the processor 1001 can be set to call a text-to-speech program based on a display terminal stored in the memory 1005 and perform the following operations:
  • the processor 1001 may call a text-to-speech program based on a display terminal stored in the memory 1005, and further perform the following operations:
  • the first preset processing program controls the key operation focus
  • an application view corresponding to the key operation focus is determined, and when an application view corresponding to the key operation focus is detected, type information of the corresponding application view is obtained. Quickly obtain the type information of the application view based on the monitored application view.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Abstract

本申请公开了一种基于显示终端的文本转语音方法，所述基于智能电视文本转语音的方法包括以下步骤：在检测到应用界面的按键操作焦点时，获取所述按键操作信息对应的应用视图的类型信息；根据所述应用视图的类型信息，触发对应的预设处理程序；在所述预设处理程序获取到所述应用视图中的文本信息时，将所述文本信息转换为语音信息。本申请还公开了一种显示终端及计算机可读存储介质。

Description

基于显示终端的文本转语音方法、显示终端及存储介质
相关申请
本申请要求2018年06月04日申请的，申请号为201810567851.2，名称为“基于显示终端的文本转语音方法、显示终端及存储介质”的中国专利申请的优先权，在此将其全文引入作为参考。
技术领域
本申请涉及智能设备领域，尤其涉及一种基于显示终端的文本转语音方法、显示终端及计算机可读存储介质。
背景技术
随着国家的发展，社会老龄化的需要，智能电视是生活中必不可少的电器，但对于视力不好的用户不便操控智能电视。其中，多数智能电视都是搭载的安卓系统（Android），在满足视力不好的用户能熟练的操控智能电视下，可通用安卓系统（Android）中的无障碍服务（AccessibilityService）类来控制文本转语音的功能，以使视力不好的用户通过听觉来获取到当前的操作状态。但当前在智能电视上控制文本转语音的功能还有缺陷，不能根据当前的应用视图信息选择合适的处理程序快速将应用视图中的文本信息转换为播报的语音信息，例如，当智能电视的界面应用视图为多重叠的复杂视图或简单的视图时，当前显示终端中的无障碍功能服务（AccessibilityService）类不能根据多重叠的复杂视图或简单的视图选择对应的处理程序，快速的将多重叠的复杂视图或简单的视图中的文本信息转换为播报的语音信息。
发明内容
本申请的主要目的在于提供一种基于智能电视文本转语音的方法，旨在解决显示终端不能快速将应用视图中的文本信息转换为语音信息的技术问题。
此外，为实现上述目的，本申请还提供一种基于显示终端的文本转语音方法，所述基于智能电视文本转语音的方法包括以下步骤：
在检测到应用界面的按键操作焦点时，获取所述按键操作焦点对应的应用视图的类型信息；
根据所述应用视图的类型信息，触发对应的预设处理程序；
在所述预设处理程序获取到所述应用视图中的文本信息时，将所述文本信息转换为语音信息。
可选地，所述显示终端包括显示界面，所述显示界面上设置有虚拟按键，其中，所述虚拟按键设置为触发所述按键操作。
可选地，所述显示终端在接收到控制终端发送的按键指令时，获取所述按键指令对应的按键操作焦点。
可选地，所述预设处理程序为无障碍功能服务类的控制文本转语音的处理程序。
可选地，所述类型信息包括所述应用视图对应的所述文本信息的数据量或者所述文本信息的文本类型。
可选地，所述在检测到应用界面的按键操作焦点时，获取所述按键操作信息对应的应用视图的类型信息的步骤包括：
在检测到应用界面的按键操作焦点时，确定所述按键操作焦点对应的应用视图；
在检测所述按键操作焦点对应的应用视图，获取到所述应用视图的类型信息。
可选地，所述根据所述应用视图的类型信息，触发对应的预设处理程序的步骤包括：
当所述应用视图的类型信息满足多重叠应用视图信息时，触发对应的第一预设处理程序；
当所述应用视图的类型信息满足简单应用视图信息时，触发对应的第二预设处理程序。
可选地，在所述第一预设处理程序被触发时，关闭其它预设设处理程序。
可选地，所述多重叠应用视图为多个应用视图重叠在一起的应用视图。
可选地，所述当所述应用视图的类型信息满足多重叠的应用视图时，触发所述第一预设处理程序的步骤之后，包括：
在触发所述第一预设处理程序时，所述第一预设处理程序控制所述按键操作焦点；
根据控制所述按键操作焦点，获取所述按键操作焦点对应的当前应用视图的文本信息以及所述应用视图重叠的文本信息。
可选地，所述当所述应用视图的类型信息满足简单的应用视图时，触发第二预设处理程序的步骤之后，包括：
当触发所述第二预设处理程序时，获取所述按键操作焦点对应的所述简单应用视图的文本信息。
可选地，所述第一预设处理程序或所述第二预设处理程序获取到所述文本信息时，将所述文本信息转换为语音信息。
可选地，所述在所述第一预设处理程序或所述第二预设处理程序获取到所述文本信息时，将所述文本信息转换为语音信息的步骤之后，包括：
当所述语音信息正在播报时，再次获取到按键操作信息；
中断当前正在播报的所述语音信息，执行获取所述按键操作对应的应用视图信息的步骤。
可选地，通过TTS技术播报所述语音信息。
本申请还提供一种显示终端，其中，所述显示终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于显示终端的文本转语音程序，所述基于显示终端的文本转语音程序被所述处理器执行时实现如上发明所述的基于显示终端的文本转语音方法的步骤。
可选地，所述显示终端还包括扬声器，设置为输出语音信息。
本申请还提供一种计算机可读存储介质，其中，所述计算机可读存储介质上存储有基于显示终端的文本转语音程序，所述基于显示终端的文本转语音方法被处理器执行时实现如上发明所述的基于显示终端的文本转语音方法的步骤。
本申请实施例提出的一种基于显示终端的文本转语音方法、显示终端及计算机可读存储介质，通过在检测到应用界面的按键操作焦点时，获取所述按键操作信焦点对应的应用视图的类型信息；根据所述应用视图的类型信息，触发对应的预设处理程序；在所述预设处理程序获取到所述应用视图中的文本信息时，将所述文本信息转换为语音信息，实现了显示终端根据预设处理程序，快速的将应用视图中的文本信息转换为语音信息。
附图说明
图1是本申请实施例方案涉及的硬件运行环境的电视机结构示意图；
图2为本申请基于显示终端的文本转语音方法第一实施例的流程示意图；
图3为本申请基于显示终端的文本转语音方法第二实施例的流程示意图；
图4为本申请基于显示终端的文本转语音方法第三实施例的流程示意图；
图5为本申请基于显示终端的文本转语音方法第四实施例的流程示意图；
图6为本申请基于显示终端的文本转语音方法第五实施例的流程示意图；
图7为本申请基于显示终端的文本转语音方法第六实施例的流程示意图；
图8为本申请基于显示终端的文本转语音方法第七实施例的流程示意图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例的主要解决方案是：在检测到应用界面的按键操作焦点时，获取所述按键操作信息对应的应用视图信息；根据所述应用视图信息，触发对应的预设处理程序；在所述预设处理程序获取到所述应用视图中的文本信息时，将所述文本信息转换为语音信息。
由于目前的显示终端不能快速将应用视图中的文本信息转换为语音信息。
本申请提供一种解决方案，使显示终端根据预设处理程序，快速的将应用视图中的文本信息转换为语音信息。
如图1所示，图1是本申请实施例方案涉及的硬件运行环境的电视机结构示意图。
本申请实施例终端为电视机
如图1所示，该终端可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002设置为实现这些组件之间的连接通信。用户接口1003可以包括显示屏（Display）、输入单元比如键盘（Keyboard），可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口（如WI-FI接口）。存储器1005可以是高速RAM存储器，也可以是稳定的存储器（non-volatile memory），例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
可选地，终端还可以包括摄像头、RF（Radio Frequency，射频）电路，传感器、音频电路、WiFi模块等等。其中，传感器比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示屏的亮度，接近传感器可在移动终端移动到耳边时，关闭显示屏和/或背光。作为运动传感器的一种，重力加速度传感器可检测各个方向上（一般为三轴）加速度的大小，静止时可检测出重力的大小及方向，可设置为识别移动终端姿态的应用（比如横竖屏切换、相关游戏、磁力计姿态校准）、振动识别相关功能（比如计步器、敲击）等；当然，移动终端还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
本领域技术人员可以理解，图1中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及基于显示终端的文本转语音程序。
在图1所示的终端中，网络接口1004主要设置为连接后台服务器，与后台服务器进行数据通信；用户接口1003主要设置为连接客户端（用户端），与客户端进行数据通信；而处理器1001可以设置为调用存储器1005中存储的基于显示终端的文本转语音程序，并执行以下操作：
在检测到应用界面的按键操作焦点时，获取所述按键操作信息对应的应用视图信息；
根据所述应用视图信息，触发对应的预设处理程序；
在所述预设处理程序获取到所述应用视图中的文本信息时，将所述文本信息转换为语音信息。
进一步地，处理器1001可以调用存储器1005中存储的基于显示终端的文本转语音程序，还执行以下操作：
在检测到应用界面的按键操作焦点时，确定所述按键操作焦点对应的应用视图；
在检测所述按键操作焦点对应的应用视图，获取到所述应用视图的类型信息。
进一步地，处理器1001可以调用存储器1005中存储的基于显示终端的文本转语音程序，还执行以下操作：
当所述应用视图的类型信息满足多重叠应用视图信息时，触发对应的第一预设处理程序；
当所述应用视图的类型信息满足简单应用视图信息时，触发对应的第二预设处理程序。
进一步地，处理器1001可以调用存储器1005中存储的基于显示终端的文本转语音程序，还执行以下操作：
在触发所述第一预设处理程序时，所述第一预设处理程序控制所述按键操作焦点；
根据控制所述按键操作焦点，获取所述按键操作焦点对应的当前应用视图的文本信息以及所述应用视图重叠的文本信息。
进一步地，处理器1001可以调用存储器1005中存储的基于显示终端的文本转语音程序，还执行以下操作：
当触发所述第二预设处理程序时，获取所述按键操作焦点对应的所述简单应用视图的文本信息。
进一步地，处理器1001可以调用存储器1005中存储的基于显示终端的文本转语音程序，还执行以下操作：
在所述第一预设处理程序或所述第二预设处理程序获取到所述文本信息时，将所述文本信息转换为语音信息。
进一步地，处理器1001可以调用存储器1005中存储的基于显示终端的文本转语音程序，还执行以下操作：
当所述语音信息正在播报时，再次获取到按键操作信息；
中断当前正在播报的所述语音信息，执行获取所述按键操作对应的应用视图信息的步骤。
参照图2，本申请为基于显示终端的文本转语音方法第一实施例的流程示意图，所述基于显示终端的文本转语音方法包括：
步骤S10，在检测到应用界面的按键操作焦点时，获取所述按键操作焦点对应的应用视图的类型信息；
在电视机界面上检测到用户输入的按键操作信息时，获取到按键操作的焦点信息。当电视机界面上有多个应用视图或单个应用视图时，获取按键操作焦点对应的应用视图的类型信息。例如，当接收到用户通过虚拟按键在电视机的界面，通过触屏的方式进行按键操作，或者，接收到用户通过工具上的按键对电视机的界面发送按键指令。电视机在接收到用户的按键操作的焦点时，用户可以在电视机的用户界面上通过各种按键，例如，音量键、频道键等各种菜单键在电视机的用户界面上操作，根据按键操作焦点停留的位置来获取该位置的应用视图的类型信息。
步骤S20，根据所述应用视图的类型信息，触发对应的预设处理程序；
电视机根据获取到的应用视图的类型信息，触发预设的处理程序。预设的处理程序为无障碍功能服务（AccessibilityService）类的控制文本转语音的处理程序，电视机根据应用视图的信息，配置不同的处理程序，例如，根据应用视图的文本信息，当应用视图的文本信息大于预设阈值时，触发电视机中的对应的预设处理程序；当应用视图的文本信息小于或等于预设阈值时，触发电视机中的对应的预设处理程序，或者根据应用视图的类型，当应用视图是不规则的应用视图，应用视图里的文本信息为艺术字体或图像时，触发电视机中的对应的预设处理程序，当应用视图是标准的应用视图时，应用视图里的文本信息为常规的文字等，触发电视机中的对应的预设处理程序。
步骤S30，在所述预设处理程序获取到所述应用视图中的文本信息时，将所述文本信息转换为语音信息。
根据应用视图的信息触发对应的处理程序，对应的处理程序通过检测或搜索的方式获取应用视图中的文本信息，将文本信息转换为能播报的语音信息。应用视图的信息不同，处理程序获取应用视图中文本信息的方式也不同，例如，当应用视图的文本信息小于或等于预设阈值时，对应的预设处理程序搜索应用视图中的文本信息，当搜索到应用视图中的文本信息时，将搜索到的文本信息转换为语音信息；当应用视图的文本信息大于预设阈值时，对应的预设处理程序检测应用视图中的文本信息，当检测到应用视图中的文本信息时，将检测到的文本信息转换为语音信息。
在本实施例中，电视机在接收到按键操作信息时，获取按键操作信息对应的应用视图信息，根据应用视图信息触发对应的预设处理程序获取到应用视图中的文本信息，将获取到的文本信息转换为语音信息。根据应用视图的类型信息配置对应的处理程序，快速的将应用视图中的文本信息转换为语音信息，减少用户等待的时间。
进一步的，参照图3，图3为本申请基于显示终端的文本转语音方法第二实施例的流程示意图，基于上述图2所示的实施例，所述步骤S10包括：
步骤S11，在检测到应用界面的按键操作焦点时，确定所述按键操作焦点对应的应用视图；
步骤S12，在检测所述按键操作焦点对应的应用视图，获取到所述应用视图的类型信息。
在界面上检测到用户输入的按键操作焦点时，获取到按键操作的焦点的位置。当电视机界面上有多个应用视图或单个应用视图，确定按键操作焦点对应的应用视图。检测到的按键操作焦点可以是物理按键操作也可以是虚拟按键操作，例如，用户一般是通过遥控器来对电视机发出指令或用户也可以通过电视机上的虚拟按键来对电视机发送指令。用户通过遥控器上或电视机上的音量键和频道键等菜单键移动按键操作的焦点时，电视机获取到按键操作焦点对应的应用视图窗口。当电视机获取到按键操作焦点对应的应用视图窗口时，无障碍功能服务（AccessibilityService）开关入口监控按键操作焦点对应的应用视图窗口，检测到应用视图窗口的信息。无障碍功能服务系统有第一预设处理程序（CustomerTalkback）和第二预设处理程序（GoogleTalkback），但电视机在检测按键操作焦点对应的应用视图窗口时，屏蔽第一预设处理程序（CustomerTalkback）和第二预设处理程序（GoogleTalkback），无障碍功能服务（AccessibilityService）开关入口监控按键操作焦点对应的应用视图窗口。当检测到按键焦点对应的应用视图窗口时，获取到应用视图窗口的类型信息。
在本实施例中，在检测到按键操作焦点时，确定到按键操作焦点对应的应用视图，在检测按键操作焦点对应的应用视图，获取到对应的应用视图的类型信息。根据监控应用视图，快速的获取应用视图的类型信息。
参照图4，图4为本申请基于显示终端的文本转语音方法第三实施例的流程示意图，基于上述图2所示的实施例，所述步骤S20包括：
步骤S21，当所述应用视图的类型信息满足多重叠应用视图信息时，触发对应的第一预设处理程序；
步骤S22，当所述应用视图的类型信息满足简单应用视图信息时，触发对应的第二预设处理程序。
电视机在获取按键操作焦点对应的应用视图的类型信息时，根据应用视图的类型信息，判断应用视图是多重叠的复杂视图类型还是简单视图类型。当应用视图的类型满足多重叠的复杂应用视图类型信息时，触发第一预设处理程序；当应用视图的类型信息满足简单视图的类型信息时，触发第二预设处理程序。多重叠的复杂应用视图是由多个应用视图重叠在一起的，例如，应用视图包括上、中、下三层应用视图等。在电视机在获取到按键操作焦点对应的应用视图窗口时，第一预设处理程序（CustomerTalkback）和第二预设处理程序（GoogleTalkback）是处于屏蔽状态的，无障碍功能服务（AccessibilityService）为开关入口监控按键操作焦点对应的应用视图。但检测到应用视图的类型时，开启屏蔽的第一预设处理程序和第二预设处理程序。根据预存的配置规则，不同的应用视图的类型开启对应的预设处理程序，关闭其他的预设处理程序。例如，当应用视图的类型为多重叠的复杂视图类型时，开启第一预设处理程序，关闭第二预设处理程序，当应用视图的类型为简单视图时，开启第二预设处理程序，关闭第一预设处理程序。
在本实施例中，在获取到应用视图的类型信息时，根据应用视图的类型信息，在满足多重叠的复杂视图类型信息时，触发第一预设处理程序；在满足简单视图的类型信息时，触发第二预设处理程序。将不同的应用视图的类型信息配置不同的预设处理程序，增加多种处理的方式。
参照图5，图5为本申请基于显示终端的文本转语音方法第四实施例的流程示意图，基于上述图4所示的实施例，所述步骤S21之后，包括：
步骤S40，在触发所述第一预设处理程序时，所述第一预设处理程序控制所述按键操作焦点；
步骤S50，根据控制所述按键操作焦点，获取所述按键操作焦点对应的当前应用视图的文本信息以及所述应用视图重叠的文本信息。
当应用视图为多重叠的复杂应用视图触发第一预设处理程序时，第一预设处理程序控制按键操作焦点。应用视图为多重叠的复杂应用视图，那么该应用视图对应有多层重叠的应用视图。无障碍功能服务（AccessibilityService）为开关入口监控按键操作焦点对应的应用视图，但按键操作焦点对应的应用视图只是多层重叠的应用视图中的某一个应用视图。第一预设处理程序控制按键操作焦点，将按键操作焦点对应的应用视图调整为对应多层重叠的应用视图。例如，多重叠的复杂应用视图有三个应用视图，按键操作焦点只能对应其中的一个，或者是对应最上面的应用视图、或者是对应中间的应用视图等。当对应最上面的应用视图时，第一预设处理程序控制按键操作焦点，将该按键操作焦点对应的视图为上、中、下三个应用视图，当对应中间的应用视图时，将该按键中、下操作焦点对应的视图为两个应用视图。在第一预设处理程序控制按键操作焦点时，向多重叠复杂应用视图发送获取文本信息的指令，电视机系统在检测到第一预设处理程序发送的获取指令时，将多重叠复杂应用视图中的文本信息发送给第二预设处理程序。
在本实施例中，当应用视图窗口为多重叠的复杂视图触发第一预设处理程序时，第一预设处理程序控制按键操作焦点，获取多重叠复杂视图中的文本信息。根据预设处理程序控制按键操作弥补自动自交焦点的不足，快速获取多重叠复杂应用视图中的文本信息，减少处理时间。
参照图6，图6为本申请基于显示终端的文本转语音方法第五实施例的流程示意图，基于上述图4所示的实施例，所述步骤S22之后，包括：
步骤S60，当触发所述第二预设处理程序时，获取所述按键操作焦点对应的所述简单应用视图的文本信息。
当应用视图为简单视图触发第二预设处理程序时，获取按键操作焦点对应的简单应用视图的文本信息。例如，当应用视图为简单视图时，开启第二预设处理程序，关闭第一预设处理程序。电视机的系统将简单应用视图中的文本信息发送给第二预设处理程序，第二预设处理程序接收简单应用视图中的文本信息。
在本实施例中，当应用视图窗口为简单视图类型触发第二预设处理程序时，获取按键操作焦点对应的简单应用视图的文本信息。根据预设的处理程序，快速获取对应的应用视图中的文本信息，减少处理时间。
参照图7，图7为本申请基于显示终端的文本转语音方法第六实施例的流程示意图，基于上述图2所示的实施例，所述步骤S30包括：
步骤S31，在所述第一预设处理程序或所述第二预设处理程序获取到所述文本信息时，将所述文本信息转换为语音信息。
当第一预设处理程序获取到多重叠复杂应用视图中的文本信息或第二预设处理程序获取到简单应用视图中的文本信息时，无障碍功能服务（AccessibilityService）将第一预设处理程序或第二预设处理程序获取到的文本信息转换为播报的语音信息。例如，当第一预设处理程序获取到多重叠复杂应用视图中的文本信息或第二预设处理程序获取到简单应用视图中的文本信息时，电视机中的无障碍功能服务类将获取到文本信息根据用户预设的语音，转换为语音的音频文件。根据用户的设置，可以转换为多国语音的音频文件。
在本实施例中，当第一预设处理程序获取到多重叠复杂应用视图中的文本信息或第二预设处理程序获取到简单应用视图中的文本信息，将第一预设处理程序或第二预设处理程序获取到的文本信息转换为播报的语音信息，实现了视力不好的用户通过听觉来获取到当前的操作状态。
参照图8，图8为本申请基于显示终端的文本转语音方法第七实施例的流程示意图，基于上述图2所示的实施例，所述步骤S30包括：
步骤S70，当所述语音信息正在播报时，再次接收到按键操作信息；
步骤S80，中断当前正在播报的所述语音信息，执行检测所述按键操作对应的应用视图信息的步骤。
当电视机正在通过TTS（文本转语音）技术播报第一预设处理程序或第二预设处理程序获取到的文本信息转换的语音信息时，在电视机的应用视图上接收到按键操作信息，应用视图发生了变化，需要给无障碍功能服务（AccessibilityService）发送更改事件，并携带正在朗读的文本给无障碍功能服务（AccessibilityService）。无障碍功能服务（AccessibilityService）会将正在播放的语音信息标记为可中断模式，防止语音累积。例如，电视机正在播放当前按键操作焦点对应的语音信息，但还没有播放完，用户移动了按键操作焦点，预设处理程序获取到移动后的按键操作焦点对应的应用视图，电视机将给TTS发送更改事件，TTS将正在播放的语音信息标记为可中断模式，防止语音累积，预设处理程序监控移动后的按键操作焦点对应的应用视图。
在本实施例中，电视机将正在播报语音信息时，再次获取到按键操作信息，中断当前正在播报的语音信息，执行获取所述按键操作对应的应用视图信息的步骤。将正在播放的语音信息标记为可中断模式，防止语音累积。
此外，本申请实施例还提出一种显示终端，所述显示终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于显示终端的文本转语音程序，所述基于显示终端的文本转语音程序被所述处理器执行时实现如上实施例所述的基于显示终端的文本转语音方法的步骤。
此外，本申请实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有基于显示终端的文本转语音程序，所述基于显示终端的文本转语音方法被处理器执行时实现如上实施例所述的基于显示终端的文本转语音方法的步骤。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对主要改进的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
以上仅为本申请的可选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (17)

  1. 一种基于显示终端的文本转语音方法，其中，所述基于智能电视文本转语音的方法包括以下步骤：
    在检测到应用界面的按键操作焦点时，获取所述按键操作焦点对应的应用视图的类型信息；
    根据所述应用视图的类型信息，触发对应的预设处理程序；以及
    在所述预设处理程序获取到所述应用视图中的文本信息时，将所述文本信息转换为语音信息。
  2. 如权利要求1所述的基于显示终端的文本转语音方法，其中，所述显示终端包括显示界面，所述显示界面上设置有虚拟按键，其中，所述虚拟按键设置为触发所述按键操作。
  3. 如权利要求1所述的基于显示终端的文本转语音方法，其中，所述显示终端在接收到控制终端发送的按键指令时，获取所述按键指令对应的按键操作焦点。
  4. 如权利要求1所述的基于显示终端的文本转语音方法，其中，所述预设处理程序为无障碍功能服务类的控制文本转语音的处理程序。
  5. 如权利要求1所述的基于显示终端的文本转语音方法，其中，所述类型信息包括所述应用视图对应的所述文本信息的数据量或者所述文本信息的文本类型。
  6. 如权利要求1所述的基于显示终端的文本转语音方法，其中，所述在检测到应用界面的按键操作焦点时，获取所述按键操作信息对应的应用视图的类型信息的步骤包括：
    在检测到应用界面的按键操作焦点时，确定所述按键操作焦点对应的应用视图；以及
    在检测所述按键操作焦点对应的应用视图，获取到所述应用视图的类型信息。
  7. 如权利要求1所述的基于显示终端的文本转语音方法，其中，所述根据所述应用视图的类型信息，触发对应的预设处理程序的步骤包括：
    当所述应用视图的类型信息满足多重叠应用视图信息时，触发对应的第一预设处理程序；以及
    当所述应用视图的类型信息满足简单应用视图信息时，触发对应的第二预设处理程序。
  8. 如权利要求7所述的基于显示终端的文本转语音方法，其中，在所述第一预设处理程序被触发时，关闭其它预设设处理程序。
  9. 如权利要求7所述的基于显示终端的文本转语音方法，其中，所述多重叠应用视图为多个应用视图重叠在一起的应用视图。
  10. 如权利要求7所述的基于显示终端的文本转语音方法，其中，所述当所述应用视图的类型信息满足多重叠的应用视图时，触发所述第一预设处理程序的步骤之后，包括：
    在触发所述第一预设处理程序时，所述第一预设处理程序控制所述按键操作焦点；以及
    根据控制所述按键操作焦点，获取所述按键操作焦点对应的当前应用视图的文本信息以及所述应用视图重叠的文本信息。
  11. 如权利要求7所述的基于显示终端的文本转语音方法，其中，所述当所述应用视图的类型信息满足简单的应用视图时，触发第二预设处理程序的步骤之后，包括：
    当触发所述第二预设处理程序时，获取所述按键操作焦点对应的所述简单应用视图的文本信息。
  12. 如权利要求10所述的基于显示终端的文本转语音方法，其中，
    在所述第一预设处理程序或所述第二预设处理程序获取到所述文本信息时，将所述文本信息转换为语音信息。
  13. 如权利要求12所述的基于显示终端的文本转语音方法，其中，所述在所述第一预设处理程序或所述第二预设处理程序获取到所述文本信息时，将所述文本信息转换为语音信息的步骤之后，包括：
    当所述语音信息正在播报时，再次获取到按键操作信息；以及
    中断当前正在播报的所述语音信息，执行获取所述按键操作对应的应用视图信息的步骤。
  14. 如权利要求13所述的基于显示终端的文本转语音方法，其中，通过TTS技术播报所述语音信息。
  15. 一种显示终端，其中，所述显示终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于显示终端的文本转语音程序，所述基于显示终端的文本转语音程序被所述处理器执行时实现以下步骤：。
    在检测到应用界面的按键操作焦点时，获取所述按键操作焦点对应的应用视图的类型信息；
    根据所述应用视图的类型信息，触发对应的预设处理程序；以及
    在所述预设处理程序获取到所述应用视图中的文本信息时，将所述文本信息转换为语音信息。
  16. 如权利要求15所述显示终端，其中，所述显示终端还包括扬声器，设置为输出语音信息。
  17. 一种计算机可读存储介质，其中，所述计算机可读存储介质上存储有基于显示终端的文本转语音程序，所述基于显示终端的文本转语音方法被处理器执行时实现以下步骤：
    在检测到应用界面的按键操作焦点时，获取所述按键操作焦点对应的应用视图的类型信息；
    根据所述应用视图的类型信息，触发对应的预设处理程序；以及
    在所述预设处理程序获取到所述应用视图中的文本信息时，将所述文本信息转换为语音信息。
PCT/CN2019/082711 2018-06-04 2019-04-15 基于显示终端的文本转语音方法、显示终端及存储介质 WO2019233190A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201810567851.2 2018-06-04
CN201810567851.2A CN108777808B (zh) 2018-06-04 2018-06-04 基于显示终端的文本转语音方法、显示终端及存储介质

Publications (1)

Publication Number Publication Date
WO2019233190A1 true WO2019233190A1 (zh) 2019-12-12

Family

ID=64024688

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/082711 WO2019233190A1 (zh) 2018-06-04 2019-04-15 基于显示终端的文本转语音方法、显示终端及存储介质

Country Status (2)

Country Link
CN (1) CN108777808B (zh)
WO (1) WO2019233190A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108777808B (zh) * 2018-06-04 2021-01-12 深圳Tcl数字技术有限公司 基于显示终端的文本转语音方法、显示终端及存储介质
CN109710338A (zh) * 2018-12-24 2019-05-03 努比亚技术有限公司 一种移动终端的搜索方法、移动终端及存储介质
CN110545361A (zh) * 2019-08-28 2019-12-06 江苏秉信科技有限公司 一种基于ip电话的电网信息实时可靠交互实现方法
WO2021142999A1 (zh) * 2020-01-17 2021-07-22 青岛海信传媒网络技术有限公司 基于内容的语音播报方法及显示设备
CN112312176A (zh) * 2020-10-10 2021-02-02 视联动力信息技术股份有限公司 一种语音播放方法、装置、终端设备和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105227967A (zh) * 2015-10-08 2016-01-06 微鲸科技有限公司 支持智能翻译的电视机
CN105512182A (zh) * 2015-11-25 2016-04-20 深圳Tcl数字技术有限公司 语音控制方法及智能电视
US20170061962A1 (en) * 2015-08-24 2017-03-02 Mstar Semiconductor, Inc. Smart playback method for tv programs and associated control device
CN107155121A (zh) * 2017-04-26 2017-09-12 海信集团有限公司 语音控制文本的显示方法及装置
CN107613352A (zh) * 2017-09-28 2018-01-19 深圳Tcl数字技术有限公司 用于智能电视的语音控制方法、智能电视和存储介质
CN108777808A (zh) * 2018-06-04 2018-11-09 深圳Tcl数字技术有限公司 基于显示终端的文本转语音方法、显示终端及存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101314262B1 (ko) * 2010-11-11 2013-10-14 (주) 에스엔아이솔라 시각 장애인에 의한 객체 조작이 가능한 터치스크린 장치 및 그 장치에서의 객체 조작 방법
KR20130004713A (ko) * 2011-07-04 2013-01-14 삼성전자주식회사 이동통신 단말기의 인터페이스 장치 및 방법
CN102520792A (zh) * 2011-11-30 2012-06-27 江苏奇异点网络有限公司 用于网络浏览器的语音式交互方法
US9363441B2 (en) * 2011-12-06 2016-06-07 Musco Corporation Apparatus, system and method for tracking subject with still or video camera
CN103246400A (zh) * 2013-05-09 2013-08-14 江苏诚迈科技有限公司 在智能触屏手机输入操作时快速选择字/词的装置及方法
CN105404617B (zh) * 2014-09-15 2018-12-14 华为技术有限公司 一种远程桌面的控制方法、受控端及控制系统
US20170094360A1 (en) * 2015-09-30 2017-03-30 Apple Inc. User interfaces for navigating and playing channel-based content
CN107885416A (zh) * 2017-10-30 2018-04-06 努比亚技术有限公司 一种文本复制方法、终端及计算机可读存储介质
CN107908332A (zh) * 2017-11-23 2018-04-13 东软集团股份有限公司 一种应用内文本复制方法、复制装置、存储介质和电子设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170061962A1 (en) * 2015-08-24 2017-03-02 Mstar Semiconductor, Inc. Smart playback method for tv programs and associated control device
CN105227967A (zh) * 2015-10-08 2016-01-06 微鲸科技有限公司 支持智能翻译的电视机
CN105512182A (zh) * 2015-11-25 2016-04-20 深圳Tcl数字技术有限公司 语音控制方法及智能电视
CN107155121A (zh) * 2017-04-26 2017-09-12 海信集团有限公司 语音控制文本的显示方法及装置
CN107613352A (zh) * 2017-09-28 2018-01-19 深圳Tcl数字技术有限公司 用于智能电视的语音控制方法、智能电视和存储介质
CN108777808A (zh) * 2018-06-04 2018-11-09 深圳Tcl数字技术有限公司 基于显示终端的文本转语音方法、显示终端及存储介质

Also Published As

Publication number Publication date
CN108777808B (zh) 2021-01-12
CN108777808A (zh) 2018-11-09

Similar Documents

Publication Publication Date Title
WO2019233190A1 (zh) 基于显示终端的文本转语音方法、显示终端及存储介质
WO2018205413A1 (zh) 音频音量的调整方法、终端及计算机可读存储介质
WO2014069820A1 (en) Broadcast receiving apparatus, server and control methods thereof
WO2013047968A1 (en) User interface method and device
WO2017018683A1 (en) User terminal apparatus and controlling method thereof
WO2015005730A1 (en) Portable device, display apparatus, display system, and method for controlling power of display apparatus thereof
WO2014069844A1 (en) System and method of connecting devices via wi-fi network
WO2018066841A1 (en) Display apparatus, electronic apparatus connectable to display apparatus, and method for controlling the same
EP2813109A1 (en) Method and apparatus for interoperably performing services and system supporting the same
WO2018143711A1 (en) System and method of providing sensing data to electronic device
WO2016080747A1 (en) User terminal and method for controlling display apparatus
WO2021101327A1 (en) Display device and operating method thereof
WO2015064893A1 (en) Display apparatus and ui providing method thereof
WO2017135776A1 (en) Display apparatus, user terminal apparatus, system, and controlling method thereof
WO2016090775A1 (zh) 同步操作短信数据的方法及系统
WO2019041135A1 (zh) 闹钟提醒方法、装置及计算机可读存储介质
WO2019184436A1 (zh) 视频推送方法、装置及计算机可读存储介质
WO2019114587A1 (zh) 虚拟现实终端的信息处理方法、装置及可读存储介质
WO2020007099A1 (zh) 电视终端控制方法、设备及计算机可读存储介质
WO2021017332A1 (zh) 语音控制报错方法、电器及计算机可读存储介质
WO2017138708A1 (en) Electronic apparatus and sensor arrangement method thereof
WO2019112308A1 (en) Electronic device, user terminal apparatus, and control method thereof
WO2015072816A1 (ko) 디스플레이 장치 및 제어 방법
WO2018034535A1 (en) Display apparatus and content display method thereof
WO2016129965A1 (ko) 기지국 연동 노드를 통한 스트리밍 데이터 제공 방법, 이를 위한 기지국 연동 노드

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19815253

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 16/05/2021)

122 Ep: pct application non-entry in european phase

Ref document number: 19815253

Country of ref document: EP

Kind code of ref document: A1