WO2021077659A1 - 一种信息交互的实时翻译方法、介质及终端 - Google Patents

一种信息交互的实时翻译方法、介质及终端 Download PDF

Info

Publication number
WO2021077659A1
WO2021077659A1 PCT/CN2020/078880 CN2020078880W WO2021077659A1 WO 2021077659 A1 WO2021077659 A1 WO 2021077659A1 CN 2020078880 W CN2020078880 W CN 2020078880W WO 2021077659 A1 WO2021077659 A1 WO 2021077659A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
language
real
language type
time translation
Prior art date
Application number
PCT/CN2020/078880
Other languages
English (en)
French (fr)
Inventor
肖明
李凌志
陆伟峰
刘世超
陈勇
杨里
Original Assignee
深圳传音控股股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳传音控股股份有限公司 filed Critical 深圳传音控股股份有限公司
Publication of WO2021077659A1 publication Critical patent/WO2021077659A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems

Definitions

  • This application relates to the technical field of information interaction, and in particular to a real-time translation method, medium and terminal for information interaction.
  • the information people receive through mobile terminals is not limited to the same region or country, but it is impossible for mobile terminal users to recognize the languages of these regions or countries. This gives users Obstacles are caused by information acquisition or information interaction between users in multiple regions or countries.
  • a variety of translation tools based on mobile terminals are also launched on the market, and users can copy and paste the received information into the translation tool for translation.
  • this method requires the user to actively intercept the information for translation, which makes the steps of obtaining the information cumbersome and untimely, which affects the user's experience.
  • this application proposes a real-time translation method, medium and terminal for mobile terminal information interaction.
  • This application translates the information into the first according to preset rules after identifying the voice type of the information when receiving the information. Two languages, so that the user can obtain the content of the information instantly and conveniently the first time the user receives the information, which greatly improves the user experience.
  • one aspect of the present application is to provide a real-time translation method for information interaction, which is applied to a mobile terminal and includes the following steps: receiving first information; identifying the first information; Translate into a second language; display the first information in the second language.
  • the second language is allowed to be preset.
  • the method of translating the first information into the second language includes sending a translation request including the first information and the second language to a server, so that the server can make the server according to the The second language translates the first information into the second information, and receives the second information.
  • the method of translating the first information into the second language includes starting a translation program in the mobile terminal, and the translation program translates the first information into the second language. information.
  • Another aspect of the present application is to provide a real-time translation method for information interaction, which includes the following steps: receiving first information, identifying the language type of the first information, reading the system language type, and comparing the first information The language type of the information and the system language type. When the language type of the first information is different from the system language type, the first information is translated according to the system language type to obtain the second information, and the first information is displayed. Two information.
  • the step of reading the system language type includes obtaining the currently set country or region or system language information, and judging the system language type according to the country or region or system language information.
  • the step of reading the system language type includes obtaining the display language of the current text information, identifying the language type of the display language, and using the language type of the display language as the system language type.
  • the first information or the second information includes at least one of the following: voice information, picture information, video information, and/or text information.
  • the first information and the second information are voice information
  • the step of translating the first information according to the system language to obtain the second information includes: converting the first information into the second information A text message, translating the first text message into a second text message, and converting the second text message into a second message.
  • the step of translating the first information according to the system language to obtain the second information includes sending a translation request including the first information and the system language type to the server to Enabling the server to translate the first information into the second information, and receive the second information.
  • the step of translating the first information according to the system language to obtain the second information includes starting a translation program in a mobile terminal, and the translation program translates the first information into the Second information.
  • the above real-time translation method further includes capturing feedback information, identifying the language type of the feedback information, and comparing the language type of the feedback information with the language type of the first information, when the feedback information When the language type of is different from the language type of the first information, the feedback information is translated according to the language type of the first information, the third information is obtained, and the third information is sent out.
  • Another aspect of the present application is to provide a mobile terminal, which includes: a display, a processor, a memory, and a computer program stored on the memory and running on the processor, the computer program being When the processor is executed, the steps in the real-time translation method for information interaction as described above are realized.
  • Another aspect of the present application is a computer-readable storage medium, wherein a real-time translation program for mobile terminal information interaction is stored on the computer-readable storage medium, and when the real-time translation program is executed by a processor, the above The steps of the real-time translation method for information interaction.
  • the information can be translated at the first time when the information is received, so that the user can easily obtain the content of the information at the first time;
  • Fig. 1 is a schematic flowchart of a real-time translation method for information interaction according to a preferred embodiment of the present application
  • FIG. 2 is a schematic flowchart of a real-time translation method for information interaction according to a preferred embodiment of the present application
  • Fig. 3 is a schematic flowchart of a method for implementing translation for information interaction according to another preferred embodiment of the present application.
  • first, second, third, etc. may be used in this disclosure to describe various information, the information should not be limited to these terms. These terms are only used to distinguish the same type of information from each other.
  • first information may also be referred to as second information, and similarly, the second information may also be referred to as first information.
  • word “if” as used herein can be interpreted as "when” or “when” or "in response to determination”.
  • FIG. 1 is a schematic flowchart of a real-time translation method for information interaction according to a preferred embodiment of the present application. It can be seen from the figure that the real-time translation method proposed in this embodiment includes the following steps:
  • the first information here can be any information that points to any application loaded in the mobile terminal, for example, it can be real-time voice information received during a phone call, it can be a WeChat chat message, or it can be a reminder message for application update , It can be news such as today's headlines, or notification type such as weather forecast.
  • the identification of the first information here can be understood as converting the first information into a computer-readable language, so as to obtain the information content of the first information.
  • the method for translating the first information into the second language according to a preset rule includes, but is not limited to, sending a translation request containing the first information and the second language to the server; the server parses and performs the translation according to the translation request. Request to translate the first information, obtain second information in a second language, and feed the second information back to the mobile terminal.
  • the method for translating the first information into the second language further includes, but is not limited to, a third-party translation provided by the mobile terminal or loaded on the mobile terminal triggered by the event of receiving the first information.
  • a functional application program input the first information into the application program, and input the information in the second language as the target translation voice at the same time, then the application program can convert the first information into the second information in the second language, and Output.
  • the preset rule may be any one of the geographic location, system language, and user settings of the mobile terminal or the receiving end.
  • S004 Display the first information in the second language.
  • the first information includes voice information, picture information, audio information, video information and/or text information.
  • the text information converted into the second language type is used to replace the text information in the original picture information to form the second information that is still picture information, and display the image information;
  • the timbre feature in the first information is acquired, and the text information converted according to the audio information in the first information is translated into text information in the second language type, and then the timbre feature is used to translate
  • the text information of the second language type is synthesized into a voice information as the second information, and the audio information is played.
  • the first information is video information
  • the timbre characteristics in the first information are acquired, and the text information converted according to the audio in the first information is translated into text in the second language type
  • the timbre feature is used to synthesize the text information of the second language type into a voice information to replace the voice information in the original video information
  • the video information contains text information
  • the text information is translated into the second language type
  • the second language is allowed to be preset.
  • the method may be, in the setting mode of the terminal, selecting a language type from the language types provided by the system as the second language, or, in the setting mode of the terminal, inputting a language type as the second language.
  • FIG. 2 is a schematic flowchart of a real-time translation method for information interaction according to another preferred embodiment of the present application. It can be seen from the figure that the real-time translation method proposed in this embodiment includes the following steps:
  • the first information here can be any information that points to any application loaded in the mobile terminal, for example, it can be real-time voice information received during a phone call, it can be a WeChat chat message, or it can be a reminder message for application update , It can be news such as today's headlines, or notification type such as weather forecast.
  • the first information includes, but is not limited to, voice information, picture information, audio information, video information, and/or text information.
  • the method for identifying the language type of the first information may correspondingly be to apply the method of optical character recognition based on convolutional neural network to recognize the text information or the text information in the picture information, and then extract the characters from the obtained text information Features, based on the extracted character features to determine the language type of the text information; or the video information is parsed into the state of each frame, and the optical character recognition method based on convolutional neural network is used to identify each frame of picture information one by one , Then extract character features from the obtained text information, and determine the language type to which the text information belongs based on the extracted character features;
  • the method for recognizing the language type of the first information may correspondingly be: recognizing the audio information in the voice information, converting the audio information into text information, and then extracting character features from the obtained text information, according to the extracted character features Determine the language type to which the text information belongs; or extract the audio information from the video information, convert the audio information into text information, then extract the character features from the obtained text information, and determine the text information based on the extracted character features The type of language you belong to;
  • the audio features in the audio information or the audio information extracted from the video information it is also possible to directly read the audio features in the audio information or the audio information extracted from the video information, and directly determine the language type to which the voice information belongs based on the audio features.
  • the language type of the display or language used by the system of the mobile terminal should be read.
  • the method of reading the system language category includes, but is not limited to, obtaining the currently set country or region or system language information from the system information of the mobile terminal. At this time, if the obtained country or region or system language information is the set country or For regional information, the official language of the country or region is used as the current system language type. When the set system language information is obtained, the current system language type can be directly obtained based on the system language information.
  • the method of reading the system language type may also include, but is not limited to, directly reading the display language currently used by the mobile terminal in the desktop layout, various menus, or other applications.
  • the application is based on the convolutional neural network.
  • the optical character recognition method recognizes the text information in these display languages, and then extracts character features from the obtained text information, and judges the language type to which the text information belongs based on the extracted character features;
  • the language type of the acquired first information is compared with the system language type.
  • the comparison result is that the language type of the first information is different from the system language type
  • the first information is converted into the second information under the system language type.
  • the method for converting the first information into the second information in the system language category includes, but is not limited to, sending a translation request including the first information and the target language category to the server, wherein the target language category Is the acquired system language type; the server parses and translates the first information according to the translation request, obtains a second information whose language type is the system language type, and feeds the second information back to the mobile terminal.
  • the method for converting the first information into the second information in the system language category further includes, but is not limited to, triggered by the event that the language category of the first information is different from the system language category, the mobile terminal comes with Or a third-party application program with translation function loaded on the mobile terminal, input the first information into the application program, and input the system language type information as the target translation voice at the same time, then the application program can convert the first information into The second information under the system language category, and output.
  • the obtained second information is used to replace the first information, and the second information is directly displayed.
  • the text information converted into the system language type is used to replace the text information in the original picture information to form the second information that is still picture information, and display the second information. information;
  • the timbre feature in the first information is acquired, and after the text information converted according to the audio information in the first information is translated into text information of the system language type, the timbre feature is used to The text information of the system language type is synthesized into a voice information as the second information, and the second information is played.
  • the first information is video information
  • the video information contains voice information
  • the timbre characteristics in the first information are acquired, and the text information converted according to the audio in the first information is translated into text information of the system language type
  • use the timbre feature to synthesize the text information of the system language type into a voice information to replace the voice information in the original video information
  • the video information contains text information
  • translate the text information into text in the system language type Information and use the text information to replace the text information in the original video information. Play the video information obtained after replacing the text or audio information.
  • a translation operation can also be provided for the feedback information to be fed back by the mobile terminal, so that the mobile terminal can directly feed back the feedback information to the terminal receiving the feedback information.
  • Users can directly read the information, thereby improving the convenience of the terminal receiving the feedback information, so that the terminal that does not need to receive the feedback information also has the real-time translation method in this application, and can still enjoy the real-time translation method in this application.
  • the mobile terminal When it is recognized that the mobile terminal generates feedback information for the received first information, buffer the feedback information;
  • the language type of the feedback information should be identified first.
  • the feedback information includes, but is not limited to, voice information, picture information, audio information, video information, and/or text information.
  • the method when the feedback information is audio information or the feedback information includes audio information, the method further includes: acquiring the timbre in the feedback information The features are cached, and when the third information is acquired, the timbre features are used to send the third information outwards.
  • a specific embodiment based on this embodiment can be: user A uses M language through his terminal a to make a call to user B's terminal b using N language, and after user B connects the call, terminal b receives the terminal
  • the voice information sent by a when triggered by the event of receiving the voice information of terminal a, terminal b starts the recognition program, converts the voice information into text information, recognizes the language type of the text information as M language, and extracts the voice information at the same time Tone feature storage; terminal b will also obtain the system language type N language of terminal b, and compare M language and N language, and identify the different language types; terminal b receives the voice information that is not triggered by an event in the system default language Next, start the translation program to translate the text information converted from the voice information into text information of N voice. Terminal b plays the voice information of N language through the stored timbre characteristics, so that what user B hears is in N language. The voice message can instantly understand what user A wants to express.
  • terminal b converts the feedback voice information into text information, and obtains the timbre characteristics in the feedback voice information.
  • the language type of the obtained text information is compared with the language type of the voice information sent by the corresponding terminal a; when the language type of the text information is not the language type M language of the voice information sent by the terminal a, the terminal b is in the event Under the trigger, the translation program is started to translate the text information into the M language; then the text information in the M language is converted into the stored voice information with timbre characteristics and sent to the terminal a of the user A. Therefore, what the user A receives is the voice message in the M language, and can instantly understand what the user B wants to express.
  • this application can translate the information as soon as the information is received, so that the user can easily obtain the content of the information in the first time; further, it can also respond to the user's desire to reply to the received information.
  • the feedback information is translated, the feedback information is translated into the language type of the received information, and then sent out, which also brings great reading convenience to the receiver of the feedback information, and greatly improves the efficiency of information interaction.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Machine Translation (AREA)

Abstract

一种移动终端信息交互的实时翻译方法、介质及终端，通过在接收信息时，识别该信息的语音种类后，对该信息进行翻译成第二语言，从而，可以使用户在接收到信息的第一时间即时、便捷地获取该信息的内容，大大提高了用户的使用体验。

Description

一种信息交互的实时翻译方法、介质及终端
本申请要求于2019年10月21日提交中国专利局、申请号为CN201910999224.0、发明名称为“一种信息交互的实时翻译方法、介质及终端”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及信息交互的技术领域，尤其涉及一种信息交互的实时翻译方法、介质及终端。
背景技术
随着科技的发展，半导体工业的不断进步，通讯类工具，如手机等迭代更新的速度不断提高，特别是在移动终端概念的提出，使得通讯类工具进入飞速发展时代，除了高便捷、高清晰度的通信功能外，移动终端还成为了支付工具、交通指南工具、生活指南工具、工作学习工具等等，使得用户对移动终端的依赖性不断提高，越来越多的不同种类和用途的应用程序被开发出来并装载应用于移动终端中，给人们的生活带来极大的便利。
同时，随着科技、文化全球化的发展，人们通过移动终端接收的信息也不仅限于同一个地区或者国家，但是移动终端的使用者不可能均能识别这些地区或者国家的语言，这就给用户的信息获取或者多地区或者国家的用户之间的信息交互造成了障碍。目前，市场上也推出了多种基于移动终端的翻译工具，用户可以将接收到的信息复制粘贴到该翻译工具中，进行翻译。但是这种方式需要用户主动截取信息进行翻译，使得信息获取的步骤繁琐且不及时，影响用户的使用体验。
发明概述
技术问题
问题的解决方案
技术解决方案
为解决上述问题，本申请提出一种移动终端信息交互的实时翻译方法、介质及 终端，本申请通过在接收信息时，识别该信息的语音种类后，根据预设规则对该信息进行翻译成第二语言，从而，可以使用户在接收到信息的第一时间即时、便捷地获取该信息的内容，大大提高了用户的使用体验。
具体地，本申请的一方面在于，提供一种信息交互的实时翻译方法，其应用于一移动终端，且包括以下步骤：接收第一信息；识别所述第一信息；将所述第一信息翻译成第二语言；使用所述第二语言展示所述第一信息。
优选地，上述实施翻译方法中，允许预设所述第二语言。
优选地，上述实施翻译方法中，将所述第一信息翻译成第二语言的方法包括，将一包含该第一信息及第二语言的翻译请求发送至服务器，以使得所述服务器根据所述第二语言将所述第一信息翻译为所述第二信息，接收所述第二信息。
优选地，上述实施翻译方法中，将所述第一信息翻译成第二语言的方法包括，启动所述移动终端中的翻译程序，所述翻译程序将所述第一信息翻译为所述第二信息。
本申请的另一方面，还在于提供一种信息交互的实时翻译方法，其包括以下步骤，接收第一信息，识别所述第一信息的语言种类，读取系统语言种类，比较所述第一信息的语言种类及所述系统语言种类，当所述第一信息的语言种类与所述系统语言种类不同时，按照所述系统语言种类翻译所述第一信息获得第二信息，展示所述第二信息。
优选地，上述实时翻译方法中，读取系统语言种类的步骤包括，获取当前设定的国家或地区或系统语言信息，根据所述国家或地区或系统语言信息判断所述系统语言种类。
优选地，上述实时翻译方法中，读取系统语言种类的步骤包括，获取当前文字信息的显示语言，识别所述显示语言的语言种类，将所述显示语言的语言种类作为所述系统语言种类。
优选地，上述实时翻译方法中，所述第一信息或第二信息包括以下至少一种语音信息、图片信息、视频信息和/或文字信息。
优选地，上述实时翻译方法中，所述第一信息及第二信息为语音信息，按照所述系统语言翻译所述第一信息获得第二信息的步骤包括，将所述第一信息转换 为第一文字信息，将所述第一文字信息翻译为第二文字信息，将所述第二文字信息转换为第二信息。
优选地，上述实时翻译方法中，按照所述系统语言翻译所述第一信息获得第二信息的步骤包括，将一包含所述第一信息及所述系统语言种类的翻译请求发送至服务器，以使得所述服务器将所述第一信息翻译为所述第二信息，接收所述第二信息。
优选地，上述实时翻译方法中，按照所述系统语言翻译所述第一信息获得第二信息的步骤包括，启动移动终端中的翻译程序，所述翻译程序将所述第一信息翻译为所述第二信息。
优选地，上述实时翻译方法中，还包括，捕获反馈信息，识别所述反馈信息的语言种类，将所述反馈信息的语言种类与所述第一信息的语言种类进行比较，当所述反馈信息的语言种类与所述第一信息的语言种类不同时，按照所述第一信息的语言种类翻译所述反馈信息，获得第三信息，向外发送所述第三信息。
本申请的另一方面，还在于提供一种移动终端，其包括：显示器、处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述的信息交互的实时翻译方法中的步骤。
本申请的另一方面，还在于一种计算机可读存储介质，其中，所述计算机可读存储介质上存储有移动终端信息交互的实时翻译程序，所述实时翻译程序被处理器执行时实现如上所述的信息交互的实时翻译方法的步骤。
发明的有益效果
有益效果
与现有技术相比较，本申请的优势在于：
1)能够在接收到信息的第一时间对信息进行翻译，使得用户可以在第一时间便捷地获取信息的内容；
2)进一步地，还可以对用户欲答复其接收到的信息的反馈信息进行翻译，将反馈信息翻译成接收到的信息的语言种类，再发送出去，给该反馈信息的接收方也带去了极大的阅读便利，大大提高了信息交互的效率。
对附图的简要说明
附图说明
图1为符合本申请一优选实施例的信息交互的实时翻译方法的流程示意图；
图2为符合本申请一优选实施例的信息交互的实时翻译方法的流程示意图；
图3为符合本申请另一优选实施例的信息交互的实施翻译方法的流程示意图。
发明实施例
本发明的实施方式
下面结合附图及具体实施例，详细阐述本申请的优势。
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在......时”或“当......时”或“响应于确定”。
在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本申请的说明，其本身并没有特定的意义。因此，“模块”与“部件”可以混合地使用。
参阅图1，其为一符合本申请一优选实施例的信息交互的实时翻译方法的流程示意图。从图中可以看出，本实施例所提出的实时翻译方法包括以下步骤：
S001：接收第一信息；
这里的第一信息可以是指向移动终端中所装载的任意应用程序的任意信息，例如可以是电话通话中接收到的实时语音信息，可以是微信类的聊天消息，可以是应用程序更新的提示消息，可以是今日头条等的新闻消息，还可以是天气预报等的通知类消息。
S002：识别所述第一信息；
这里的识别第一信息可以理解为，将该第一信息转换为计算机可读的语言，从而获取该第一信息的信息内容。
S003：根据预设规则将所述第一信息翻译成第二语言；
优选地，根据预设规则该将第一信息翻译成第二语言的方法包括但不限于，可以是将一包含该第一信息及第二语言的翻译请求发送至服务器；服务器解析并根据该翻译请求对第一信息进行翻译，获得一语言种类为第二语言的第二信息，并将该第二信息反馈回移动终端。
优选地，该将第一信息翻译成第二语言的方法还包括但不限于，在收到第一信息这一事件的触发下，移动终端自带的或者装载于移动终端的第三方的具有翻译功能的应用程序，将第一信息输入至该应用程序中，同时输入作为目标翻译语音的第二语言的信息，那么该应用程序可以将第一信息转换为第二语言下的第二信息，并输出。
所述预设规则可以是移动终端或者是接收端的所处的地理位置、系统语言、用户设置中的任意一种。
S004：使用所述第二语言展示所述第一信息。
优选地，所述第一信息包括语音信息、图片信息、音频信息、视频信息和/或文字信息。
优选地，当第一信息是图片信息的，则，在原图片信息中，利用转换为第二语言类型的文字信息替换原图片信息中的文字信息形成仍是图片信息的第二信息，并显示该图片信息；
优选地，当第一信息是语音信息的，则获取第一信息中的音色特征，将第一信息中根据音频信息转换的文字信息翻译成第二语言类型的文字信息后，利用该 音色特征将该第二语言类型的文字信息合成为一语音信息作为第二信息，并播放该音频信息。
优选地，当第一信息是视频信息的，若该视频信息中包含语音信息，则获取第一信息中的音色特征，将第一信息中根据音频转换的文字信息翻译成第二语言类型的文字信息后，利用该音色特征将该第二语言类型的文字信息合成为一语音信息替换原视频信息中的语音信息；若该视频信息中包含文字信息的，将该文字信息翻译为第二语言类型下的文字信息，并利用该文字信息替换原视频信息中的文字信息。播放替换其中的文字或者音频信息后获得的视频信息。
基于上述实施例的，符合本申请的另一优选实施例中，允许预设所述第二语言。其方法可以是，在终端的设置模式下，从系统提供的语言类型中选择一语言种类中作为第二语言，或者，在终端的设置模式下，输入一语言种类作为第二语言。参阅图2，其为一符合本申请另一优选实施例的信息交互的实时翻译方法的流程示意图。从图中可以看出，本实施例所提出的实时翻译方法包括以下步骤：
S100：接收第一信息；
这里的第一信息可以是指向移动终端中所装载的任意应用程序的任意信息，例如可以是电话通话中接收到的实时语音信息，可以是微信类的聊天消息，可以是应用程序更新的提示消息，可以是今日头条等的新闻消息，还可以是天气预报等的通知类消息。
S200：识别所述第一信息的语言种类；
优选地，该第一信息包括但不限于是语音信息、图片信息、音频信息、视频信息和/或文字信息等。
那么优选地，识别第一信息的语言种类的方法对应地可以是，应用基于卷积神经网络的光学字符识别的方法识别文字信息或者图片信息中的文字信息，再从获取的文字信息中提取字符特征，根据提取的字符特征判断该文字信息所属的语言种类；或者是将视频信息解析为每一帧的状态，应用基于卷积神经网络的光学字符识别的方法逐一识别每一帧的图片信息中的，再从获取的文字信息中提取字符特征，根据提取的字符特征判断该文字信息所属的语言种类；
优选地，识别第一信息的语言种类的方法对应地可以是，识别语音信息中的音频信息，将该音频信息转换为文字信息，再从获取的文字信息中提取字符特征，根据提取的字符特征判断该文字信息所属的语言种类；或者是从视频信息中提取其中的音频信息，将该音频信息转换为文字信息，再从获取的文字信息中提取字符特征，根据提取的字符特征判断该文字信息所属的语言种类；
优选地，还可以是直接读取语音信息或者从视频信息中所提取的音频信息中的音频特征，根据该音频特征直接判断这些语音信息所属的语言种类。
S300：读取系统语言种类；
本实施例中，进一步地，还应当读取移动终端的系统所被设置的显示或者使用语言的语言种类。
那么优选地，读取系统语言种类的方法包括但不限于，从移动终端的系统信息中获取当前所设定的国家或者地区或者系统语言信息，此时，如果获取的是所设定的国家或者地区信息，则将该国家或者地区的官方语言作为当前的系统语言种类，当获取的是设定的系统语言信息时，则可直接根据该系统语言信息获知当前的系统语言种类。
优选地，读取系统语言种类的方法还可以包括但不限于，直接读取移动终端当前在如桌面布局中、各种菜单中或者其他应用中所应用的显示语言，应用基于卷积神经网络的光学字符识别的方法识别这些显示语言中的文字信息，再从获取的文字信息中提取字符特征，根据提取的字符特征判断该文字信息所属的语言种类；
S400：比较所述第一信息的语言种类及所述系统语言种类；
将所获取的第一信息的语言种类与系统语言种类进行比较。
S500：当所述第一信息的语言种类与所述系统语言种类不同时，按照所述系统语言种类翻译所述第一信息获得第二信息；
当比较结果为第一信息的语言种类与系统语言种类不同时，则将第一信息转换为系统语言种类下的第二信息。
优选地，该将第一信息转换为系统语言种类下的第二信息的方法包括但不限于，可以是将一包含该第一信息及目标语言种类的翻译请求发送至服务器，其中 的目标语言种类为所获取的系统语言种类；服务器解析并根据该翻译请求对第一信息进行翻译，获得一语言种类为系统语言种类的第二信息，并将该第二信息反馈回移动终端。
优选地，该将第一信息转换为系统语言种类下的第二信息的方法还包括但不限于，在第一信息的语言种类与系统语言种类不同这一事件的触发下，移动终端自带的或者装载于移动终端的第三方的具有翻译功能的应用程序，将第一信息输入至该应用程序中，同时输入作为目标翻译语音的系统语言种类信息，那么该应用程序可以将第一信息转换为系统语言种类下的第二信息，并输出。
S600：展示所述第二信息。
优选地，当第一信息是文字信息时，则在原消息中，利用获得的第二信息替换第一信息，直接以该第二信息显示。
优选地，当第一信息是图片信息时，则，在原图片信息中，利用转换为系统语言类型的文字信息替换原图片信息中的文字信息形成仍是图片信息的第二信息，并显示第二信息；
优选地，当第一信息是语音信息时，则获取第一信息中的音色特征，将第一信息中根据音频信息转换的文字信息翻译成系统语言类型的文字信息后，利用该音色特征将该系统语言类型的文字信息合成为一语音信息作为第二信息，并播放第二信息。
优选地，当第一信息是视频信息的，若该视频信息中包含语音信息，则获取第一信息中的音色特征，将第一信息中根据音频转换的文字信息翻译成系统语言类型的文字信息后，利用该音色特征将该系统语言类型的文字信息合成为一语音信息替换原视频信息中的语音信息；若该视频信息中包含文字信息的，将该文字信息翻译为系统语言类型下的文字信息，并利用该文字信息替换原视频信息中的文字信息。播放替换其中的文字或者音频信息后获得的视频信息。
参阅图3，基于上述实施例的，符合本申请的另一优选实施例中，还可以对移动终端待反馈出去的反馈信息提供翻译操作，使得移动终端可以直接向接收该反馈信息的终端反馈其用户可以直接阅读的信息，从而提高了接收反馈信息的终端的便利性，实现在无需接收反馈信息的终端同样具备本申请中的实时翻译 方法，仍可享受本申请的实时翻译方法所带来的便利性。具体包括以下步骤：
S110：捕获反馈信息；
当识别到移动终端针对所接收到的第一信息生成了一反馈信息，缓存该反馈信息；
S210：识别所述反馈信息的语言种类；
同样地，应当首先识别该反馈信息的语言种类。优选地，该反馈信息包括但不限于是语音信息、图片信息、音频信息、视频信息和/或文字信息等。
S310：将所述反馈信息的语言种类与所述第一信息的语言种类进行比较；
S410：当所述反馈信息的语言种类与所述第一信息的语言种类不同时，按照所述第一信息的语言种类翻译所述反馈信息，获得第三信息；
S510：向外发送所述第三信息。
进一步地，基于上述实施例的，符合本申请的另一优选实施例中，当所述反馈信息为音频信息或者所述反馈信息中包括音频信息时，还包括，获取所述反馈信息中的音色特征并缓存，当获取第三信息后，采用所述音色特征向外发送所述第三信息。
那么基于本实施例的一个具体的实施例可以是：用户A利用M语言通过其终端a向使用N语言的用户B的终端b拨打一电话，用户B接通该电话后，终端b接收到终端a发送的语音信息，终端b在接收到终端a的语音信息的事件的触发下，启动识别程序，将该语音信息转换文字信息，识别该文字信息的语言类型为M语言，同时提取该语音信息的音色特征存储；终端b还会获取终端b的系统语言类型N语言，并比对M语言及N语言，识别语言类型不同后；终端b在接收到的语音信息不是系统默认语言的事件的触发下，启动翻译程序，将由该语音信息转换得到的文字信息翻译为N语音的文字信息，终端b通过存储的音色特征播放该N语言的语音信息，从而，用户B接听到的则为N语言的语音信息，可以即时地了解到用户A欲表达的意思。
随后，当用户B通过终端b生成一向终端a发送的反馈语音信息时，终端b在该事件的触发下，将该反馈语音信息转换为文字信息，并获取该反馈语音信息中的音色特征，还获取该文字信息的语言类型与其所对应的终端a发出的语音信息的 语言类型进行比较；当该文字信息的语言类型不是终端a发出的语音信息的语言类型M语言时，终端b在该事件的触发下，启动翻译程序，将该文字信息翻译成M语言；随后将M语言的文字信息再次转换为存储的音色特征的语音信息发送至用户A的终端a。从而，用户A接听到的则为M语言的语音信息，可以即时地了解到用户B欲表达的意思。
工业实用性
综上所述，本申请能够在接收到信息的第一时间对信息进行翻译，使得用户可以在第一时间便捷地获取信息的内容；进一步地，还可以对用户欲答复其接收到的信息的反馈信息进行翻译，将反馈信息翻译成接收到的信息的语言种类，再发送出去，给该反馈信息的接收方也带去了极大的阅读便利，大大提高了信息交互的效率。
以上对本申请的具体实施例进行了详细描述，但其只是作为范例，本申请并不限制于以上描述的具体实施例。对于本领域技术人员而言，任何对本申请进行的等同修改和替代也都在本申请的范畴之中。因此，在不脱离本申请的精神和范围下所作的均等变换和修改，都应涵盖在本申请的范围内。

Claims (13)

  1. 一种信息交互的实时翻译方法，应用于一移动终端，其中，包括以下步骤，
    接收第一信息；
    识别所述第一信息；
    根据预设规则将所述第一信息翻译成第二语言；
    使用所述第二语言展示所述第一信息。
  2. 如权利要求1所述的实时翻译方法，其中，
    允许预设所述第二语言。
  3. 如权利要求1所述的实时翻译方法，其中，
    将所述第一信息翻译成第二语言的方法包括，
    将一包含该第一信息及第二语言的翻译请求发送至服务器，以使得所述服务器根据所述第二语言将所述第一信息翻译为所述第二信息，
    接收所述第二信息。
  4. 如权利要求1所述的实时翻译的方法，其中，
    将所述第一信息翻译成第二语言的方法包括，
    启动所述移动终端中的翻译程序，
    所述翻译程序将所述第一信息翻译为所述第二信息。
  5. 一种信息交互的实时翻译方法，其中，包括以下步骤，
    接收第一信息，
    识别所述第一信息的语言种类，
    读取系统语言种类，
    比较所述第一信息的语言种类及所述系统语言种类，
    当所述第一信息的语言种类与所述系统语言种类不同时，按照所述系统语言种类翻译所述第一信息获得第二信息，
    展示所述第二信息。
  6. 如权利要求5所述的实时翻译方法，其中，
    读取系统语言种类的步骤包括，
    获取当前设定的国家或地区或系统语言信息，
    根据所述国家或地区或系统语言信息判断所述系统语言种类。
  7. 如权利要求6所述的实时翻译方法，其中，
    读取系统语言种类的步骤包括，
    获取当前文字信息的显示语言，
    识别所述显示语言的语言种类，
    将所述显示语言的语言种类作为所述系统语言种类。
  8. 如权利要求6所述的实时翻译方法，其中，
    所述第一信息或第二信息包括以下至少一种：语音信息、图片信息、音频信息、视频信息、文字信息。
  9. 如权利要求6所述的实时翻译方法，其中，
    按照所述系统语言翻译所述第一信息获得第二信息的步骤包括，将一包含所述第一信息及所述系统语言种类的翻译请求发送至服务器，以使得所述服务器将所述第一信息翻译为所述第二信息；接收所述第二信息。
  10. 如权利要求6所述的实时翻译方法，其中，
    按照所述系统语言翻译所述第一信息获得第二信息的步骤包括，启动移动终端中的翻译程序，
    所述翻译程序将所述第一信息翻译为所述第二信息。
  11. 如权利要求6所述的实时翻译方法，其中，还包括，
    捕获反馈信息，
    识别所述反馈信息的语言种类，
    将所述反馈信息的语言种类与所述第一信息的语言种类进行比较，
    当所述反馈信息的语言种类与所述第一信息的语言种类不同时，按照所述第一信息的语言种类翻译所述反馈信息，获得第三信息，
    向外发送所述第三信息。
  12. 一种移动终端，其中，包括：显示器、处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1-11中任一项所述的信息交互的实时翻译方法中的步骤。
  13. 一种计算机可读存储介质，其中，所述计算机可读存储介质上存储有移动终端信息交互的实时翻译程序，所述实时翻译程序被处理器执行时实现如权利要求1-11中任一项所述的信息交互的实时翻译方法的步骤。
PCT/CN2020/078880 2019-10-21 2020-03-11 一种信息交互的实时翻译方法、介质及终端 WO2021077659A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910999224.0A CN110765787A (zh) 2019-10-21 2019-10-21 一种信息交互的实时翻译方法、介质及终端
CN201910999224.0 2019-10-21

Publications (1)

Publication Number Publication Date
WO2021077659A1 true WO2021077659A1 (zh) 2021-04-29

Family

ID=69332750

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/078880 WO2021077659A1 (zh) 2019-10-21 2020-03-11 一种信息交互的实时翻译方法、介质及终端

Country Status (2)

Country Link
CN (1) CN110765787A (zh)
WO (1) WO2021077659A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110765787A (zh) * 2019-10-21 2020-02-07 深圳传音控股股份有限公司 一种信息交互的实时翻译方法、介质及终端
CN111680647A (zh) * 2020-06-12 2020-09-18 中华人民共和国杭州海关 一种用于危化品检验的护目镜及其检验方法
CN114239613B (zh) * 2022-02-23 2022-08-02 阿里巴巴达摩院(杭州)科技有限公司 实时语音翻译方法、装置、设备及存储介质
CN117195916A (zh) * 2023-09-25 2023-12-08 杭州龙席网络科技股份有限公司 一种基于线上通讯交互的翻译系统及方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120221319A1 (en) * 2011-02-28 2012-08-30 Andrew Trese Systems, Methods and Media for Translating Informational Content
CN105912734A (zh) * 2016-06-22 2016-08-31 北京金山安全软件有限公司 一种用户反馈自动回复方法及装置
CN107590137A (zh) * 2017-08-07 2018-01-16 北京小米移动软件有限公司 翻译方法、装置及计算机可读存储介质
CN109240775A (zh) * 2018-04-28 2019-01-18 上海触乐信息科技有限公司 一种聊天界面信息翻译方法、装置及终端设备
CN109582976A (zh) * 2018-10-15 2019-04-05 华为技术有限公司 一种基于语音通话的翻译方法及电子设备
CN109814962A (zh) * 2018-12-28 2019-05-28 深圳市元征科技股份有限公司 一种软件界面的翻译方法及装置、设备
CN110765787A (zh) * 2019-10-21 2020-02-07 深圳传音控股股份有限公司 一种信息交互的实时翻译方法、介质及终端

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104219459A (zh) * 2014-09-30 2014-12-17 上海摩软通讯技术有限公司 视频语言翻译方法、系统及智能显示设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120221319A1 (en) * 2011-02-28 2012-08-30 Andrew Trese Systems, Methods and Media for Translating Informational Content
CN105912734A (zh) * 2016-06-22 2016-08-31 北京金山安全软件有限公司 一种用户反馈自动回复方法及装置
CN107590137A (zh) * 2017-08-07 2018-01-16 北京小米移动软件有限公司 翻译方法、装置及计算机可读存储介质
CN109240775A (zh) * 2018-04-28 2019-01-18 上海触乐信息科技有限公司 一种聊天界面信息翻译方法、装置及终端设备
CN109582976A (zh) * 2018-10-15 2019-04-05 华为技术有限公司 一种基于语音通话的翻译方法及电子设备
CN109814962A (zh) * 2018-12-28 2019-05-28 深圳市元征科技股份有限公司 一种软件界面的翻译方法及装置、设备
CN110765787A (zh) * 2019-10-21 2020-02-07 深圳传音控股股份有限公司 一种信息交互的实时翻译方法、介质及终端

Also Published As

Publication number Publication date
CN110765787A (zh) 2020-02-07

Similar Documents

Publication Publication Date Title
WO2021077659A1 (zh) 一种信息交互的实时翻译方法、介质及终端
JP2023158002A5 (ja) システム、方法及びプログラム
US8954335B2 (en) Speech translation system, control device, and control method
US7739118B2 (en) Information transmission system and information transmission method
JP3402100B2 (ja) 音声制御ホスト装置
US8285257B2 (en) Emotion recognition message system, mobile communication terminal therefor and message storage server therefor
WO2016165590A1 (zh) 语音翻译方法及装置
JP5042194B2 (ja) 話者テンプレートを更新する装置及び方法
US20030023424A1 (en) Multimedia dictionary
US20180239812A1 (en) Method and apparatus for processing question-and-answer information, storage medium and device
JP2006190296A (ja) マルチメディア通信システムにおけるコンテキスト抽出及びこれを用いた情報提供装置及び方法
CN111325039B (zh) 基于实时通话的语言翻译方法、系统、程序和手持终端
CN107818787B (zh) 一种语音信息的处理方法、终端及计算机可读存储介质
US9972303B1 (en) Media files in voice-based social media
US20100268525A1 (en) Real time translation system and method for mobile phone contents
KR20090097292A (ko) 사용자 영상을 이용한 음성인식 시스템 및 방법
CN111654658B (zh) 音视频通话的处理方法、系统、编解码器及存储装置
US9110888B2 (en) Service server apparatus, service providing method, and service providing program for providing a service other than a telephone call during the telephone call on a telephone
CN111783481A (zh) 耳机控制方法、翻译方法、耳机和云端服务器
JPH10107833A (ja) マルチメディア電子メールシステム
CN108810187B (zh) 一种通过区块链对接语音服务的网络系统
KR101351264B1 (ko) 음성인식 기반의 메시징 통역서비스 제공 시스템 및 그 방법
US9277051B2 (en) Service server apparatus, service providing method, and service providing program
KR102058190B1 (ko) 캐릭터 서비스 시스템에서의 캐릭터 서비스를 제공하기 위한 장치
KR101027406B1 (ko) 감정 인식 메시지 시스템과, 이 시스템의 모바일 통신 단말및 메시지 기억 서버

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20879812

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20879812

Country of ref document: EP

Kind code of ref document: A1