WO2015000307A1 - 显示媒体信息方法、装置、客户端,图形控件显示方法和装置 - Google Patents

显示媒体信息方法、装置、客户端,图形控件显示方法和装置 Download PDF

Info

Publication number
WO2015000307A1
WO2015000307A1 PCT/CN2014/073475 CN2014073475W WO2015000307A1 WO 2015000307 A1 WO2015000307 A1 WO 2015000307A1 CN 2014073475 W CN2014073475 W CN 2014073475W WO 2015000307 A1 WO2015000307 A1 WO 2015000307A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
text
media information
media
display
Prior art date
Application number
PCT/CN2014/073475
Other languages
English (en)
French (fr)
Inventor
陈曦
Original Assignee
华为技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 华为技术有限公司 filed Critical 华为技术有限公司
Priority to US15/537,338 priority Critical patent/US10637806B2/en
Publication of WO2015000307A1 publication Critical patent/WO2015000307A1/zh
Priority to US16/854,628 priority patent/US10880244B2/en
Priority to US17/112,614 priority patent/US11700217B2/en

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04Real-time or near real-time messaging, e.g. instant messaging [IM]
    • H04L51/046Interoperability with other network applications or services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/205Parsing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/279Recognition of textual entities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/07User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
    • H04L51/10Multimedia information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40Support for services or applications
    • H04L65/403Arrangements for multi-party communication, e.g. for conferences
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/56Provisioning of proxy services
    • H04L67/561Adding application-functional data or data for application control, e.g. adding metadata
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/56Provisioning of proxy services
    • H04L67/563Data redirection of data network streams
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • G10L13/08Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/28Constructional details of speech recognition systems
    • G10L15/30Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state

Definitions

  • the present invention relates to the field of mobile internet, and more particularly to a method, apparatus, client, graphical control display method and apparatus for displaying media information. Background technique
  • the object of the present invention is to provide a method, a device, a client, a graphic control display method and a device for displaying media information, so as to reduce the storage space and process of occupying the terminal and reduce the consumption of CPU resources in the process of media information communication. Improve the efficiency of accessing media information content.
  • the first aspect provides a method for displaying media information, including: receiving a media information request sent by an originating client, where the media information request carries media information and destination client information, and parsing the received media information to obtain a media.
  • the text information corresponding to the information is combined according to the media information related information and the text information related information to obtain composite information, and the composite information is sent to the destination client according to the destination client information, so that the destination client is Obtaining the media information and the text information according to the composite information, and displaying the media information and the text information.
  • the media information related information includes a medium
  • the text information related information includes a text information or a text information identifier.
  • the text information includes at least one of the following: text content corresponding to the media information, text content Corresponding keywords.
  • the media information related information is Media information
  • the text information related information is text information
  • the media information related information and the text information related information are combined to obtain composite information; specifically comprising: synthesizing the media information and the text information into a composite format information
  • the sending the composite information to the destination client is specifically: sending the composite format information to the destination client; the destination client obtaining the media information and the text information according to the composite information, specifically for the purpose
  • the client parses the composite format information to obtain the media information and the text information.
  • the method further includes: The text information creates a data association table, and establishes an association relationship between the text information identifier and the text information.
  • the media information related information is media information
  • the text information related information is a text information identifier
  • And combining the media information related information and the text information related information to obtain the composite information specifically: querying the data association table according to the text information, obtaining the text information identifier corresponding to the text information, according to the media information and the text information
  • the identifier is combined to obtain the composite information.
  • the obtaining, by the destination client, the media information and the text information according to the composite information specifically includes: the destination client obtaining media information according to the composite information, and parsing the composite information
  • the text information in the identifier identifies the corresponding text information.
  • the method further includes: creating data according to the media information, the text content, and the keyword
  • the association table respectively establishes association relationships between the media information identifier and the media information, the text content identifier and the text content, and the keyword identifier and the keyword.
  • the media information related information is a media information identifier
  • the text information related information is a text information identifier
  • the combining according to the media information related information and the text information related information, and obtaining the composite information is specifically Querying the data association table according to the media information and the text information, obtaining the media information identifier corresponding to the media information, the text content identifier corresponding to the text content, and the keyword identifier corresponding to the keyword, according to the media information
  • the identifier and the text content identifier and the keyword identifier are combined to obtain the composite information.
  • the obtaining, by the destination client, the media information and the text information according to the composite information specifically includes: the destination client parsing the composite information
  • the media information identifier obtains the corresponding media information; the destination client parses the text content identifier in the composite information to obtain the corresponding text content; and the destination client parses the keyword identifier in the composite information
  • the corresponding keyword is obtained.
  • the composite format information includes an audio file header, an audio stream, an audio extension field, and the audio file header
  • the reserved field identifies the offset of the information of the audio extension field in the audio file of the entire media information, and the information of the audio extension field includes the text information corresponding to the media information.
  • the text information is sent to an originating client, where the originating client displays the media information And the text information.
  • a second aspect a method for displaying media information, comprising: receiving composite information sent by a server, where the composite information is obtained by the server according to the parsed received media information, and according to the media information related information, the text The information related information is combined to obtain; the composite information is parsed to obtain the media information and the text information; and the media information and the text information are displayed.
  • the text information includes at least one of the following: a text content corresponding to the media information, and a keyword corresponding to the text content.
  • the media information related information is media information
  • the text information related information is a text information identifier
  • the obtaining the media information and the text information is specifically: parsing the text information identifier in the composite information to obtain the corresponding text information.
  • the media information related information is a media information identifier
  • the text information related information is a text information identifier
  • the parsing the composite information to obtain the media information and the text information is: parsing the composite
  • the media information in the information identifies the corresponding media information
  • the text content identifier in the composite information is parsed to obtain the corresponding text content
  • the keyword identifier in the composite information is parsed to obtain the corresponding keyword.
  • the composite information is composite format information, where the composite format information includes an audio file header, an audio code stream, and an audio extension field; and a reserved field identifier of the audio file header The offset of the information of the audio extension field in the audio file of the entire media information; the information of the audio extension field includes the text information corresponding to the media information.
  • the displaying the media information and the text information is specifically: displaying the media information according to a switching instruction, or displaying the media information and the text information .
  • a third aspect is a method for displaying a graphical control, the method being applied to a computer system, the computer system comprising a display screen and an application, wherein the method comprises: calling the application, the display screen Displaying the application interface;
  • a graphic control corresponding to the plurality of control functions
  • the graphic control comprises at least: a contact graphic control, a media information graphic control, and a text graphic
  • the control graphic control is configured to display contact information
  • the media information graphic control is used to play corresponding media information
  • the text graphic control is used to display text information corresponding to the media information.
  • the text graphic control further includes a text content graphic control and/or a keyword graphic control, where the text content graphic control is configured to display the text content corresponding to the media information.
  • the keyword graphic control is configured to display a keyword corresponding to the text content corresponding to the media information.
  • the method includes: receiving a handover instruction, where the application interface is configured according to the handover instruction
  • the media information graphic control is displayed, and the media information graphic control and the text graphic control are displayed in the application interface.
  • the method includes: displaying, in the application interface, a switching function graphic control, where the switching function graphic control is configured to receive the switching instruction.
  • an apparatus for displaying media information comprising: an interaction unit, an identification unit, and a synthesizing unit: the interaction unit receives a media information request sent by an originating client, where the media information request carries a media The information and the destination client information are further sent to the destination client according to the destination client information carried in the media information request; the identifying unit is configured to parse the received media information carried in the media information request to obtain the media. The text information corresponding to the information; the synthesizing unit combines the media information related information and the text information related information to obtain composite information.
  • the composite information is specifically a composite format information
  • the synthesizing unit further synthesizes the media information and the text information into a composite format information
  • the device further includes a processing unit and a storage unit: the processing unit, creating a data association table, and establishing an association relationship between the text information identifier and the text information;
  • the interaction unit further receives a query text information identification request sent by the client;
  • the storage unit stores a data association table that associates the text information with the text information;
  • the interaction unit further sends the client and the destination The client sends a text message.
  • the device further includes a processing unit and a storage unit: the processing unit further creates a data association table, and establishes a media information identifier, the media information, and a text content identifier. The interaction between the text content and the keyword identifier and the keyword; the interaction unit further receives a query media information identifier, a text content identifier, and a keyword identifier request sent by the client; the storage unit, the storage media information And a data association table that identifies an association relationship between the media information, the text content identifier, the text content, and the keyword identifier and the keyword; the interaction unit further sends media information to the originating client and the destination client. , text content and keywords.
  • a client for displaying media information comprising: an interaction unit, a parsing unit, and a display unit: the interaction unit receives composite information sent by a server, where the composite information is received by the server according to the parsing The media information is obtained by the text information, and is obtained according to the media information related to the text information; the parsing unit parses the composite information to obtain the media information and the text information; and the display unit displays the Media information and the text information.
  • the interaction unit is further sent to the server Sending a query request, requesting the server to query the text information corresponding to the text information identifier; the interaction unit further receiving the text information sent by the server.
  • the interaction unit further sends a query request to the server, and the requesting server queries the media information corresponding to the media information identifier, the text content corresponding to the text content identifier, and the keyword identifier. Keyword information; the interaction unit further receives media information, text content, and keywords sent by the server.
  • a device for displaying a graphic control comprising a display screen, wherein the device further comprises a control unit, a control function unit, and a display unit: the control unit is configured to invoke an application, and the instruction is displayed.
  • the unit displays the application interface on the display screen;
  • the control function unit is configured to invoke a plurality of control functions in the application, and the instruction display unit displays the plurality of control functions in the application interface
  • the graphic control at least includes: a contact graphic control, a media information graphic control, and a text graphic control; wherein the contact graphic control is used to display contact information, and the media information graphic control is used for playing Corresponding media information, the text graphic control is configured to display text information corresponding to the media information;
  • the display unit is configured to display the application interface on the display screen, and display the image in the application interface a graphic control corresponding to the plurality of control functions, the graphic
  • the controls include at least: a contact graphic control, a media information graphic control, and a text graphic control.
  • the device further includes a control switching unit, where the control switching unit is configured to instruct the display unit to display a media information graphic control in the application interface, Switching between displaying the media information graphic control and the text graphic control in the application interface; the display unit is further configured to display the media information graphic control in the application interface according to the instruction of the control switching unit, or A media information graphic control and a text graphic control are displayed in the application interface.
  • the control switching unit is configured to instruct the display unit to display a media information graphic control in the application interface, Switching between displaying the media information graphic control and the text graphic control in the application interface; the display unit is further configured to display the media information graphic control in the application interface according to the instruction of the control switching unit, or A media information graphic control and a text graphic control are displayed in the application interface.
  • the display unit is further configured to display, in the application interface, a switching function graphic control corresponding to the control switching unit, where the switching function graphic control is configured to receive And switching the instruction, and instructing the display unit to display the media information graphic control in the application interface according to the switching instruction, or displaying the media information graphic control and the text graphic control in the application interface.
  • a seventh aspect a method for displaying media information, comprising: receiving a media information request, wherein the media information request carries media information; parsing the received media information to obtain media information corresponding Text information; displaying the media information and the text information.
  • the method further includes: displaying the media information or displaying the media information and the text information according to the switching instruction.
  • an apparatus for displaying media information comprising: an interaction unit, an identification unit, and a display unit: the interaction unit is configured to receive a media information request, where the media information request carries media information; The text information corresponding to the media information is obtained by parsing the received media information; the display unit is configured to display the media information and the text information.
  • the interaction unit is further configured to receive a switching instruction, the instruction display unit displays the media information, or displays the media information and the text information.
  • the characteristics of the media information and the text information are displayed on the client, for example, the server combines the media information related information and the text information related information to obtain the composite information, and the client receives the composite information, and displays the media information and the text.
  • the information enables the text information corresponding to the media information to be quickly extracted, and the efficiency of obtaining the content of the media information is improved.
  • FIG. 1 is a schematic diagram of a prior art display media information interface
  • FIG. 2 is a schematic flowchart of a method for displaying media information according to an embodiment of the present invention
  • FIG. 3 is a schematic flowchart of a method for displaying voice information according to another embodiment of the present invention
  • FIG. 4 is a schematic structural diagram of composite format information according to an embodiment of the present invention
  • FIG. 5 is a diagram showing an example of composite format information according to another embodiment of the present invention.
  • FIG. 6A is a schematic diagram of a voice information display interface according to an embodiment of the present invention.
  • 6B is a schematic diagram of a voice information display interface according to an embodiment of the present invention.
  • FIG. 7 is a schematic flowchart of a method for displaying voice information according to another embodiment of the present invention
  • FIG. 8 is a schematic flowchart of a method for displaying voice information according to another embodiment of the present invention
  • FIG. 9 is a display medium according to another embodiment of the present invention
  • FIG. 10 is a schematic diagram of an apparatus 100 for displaying media information according to an embodiment of the present invention
  • FIG. 11 is a schematic diagram of an apparatus 100 for displaying media information according to another embodiment of the present invention
  • FIG. 12 is a schematic diagram of a client 120 for displaying media information according to another embodiment of the present invention
  • FIG. 13 is a schematic diagram of a method for displaying a graphic control according to an embodiment of the present invention
  • 14A is a schematic diagram of a device 140 for displaying a graphic control according to an embodiment of the present invention.
  • FIG. 14B is a schematic diagram of a device 140 for displaying a graphic control according to another embodiment of the present invention.
  • FIG. 15 is a schematic diagram of a media information interface display according to an embodiment of the present invention.
  • FIG. 16 is a schematic diagram of a device 160 for displaying media information according to another embodiment of the present invention
  • FIG. 17 is a schematic block diagram of an apparatus 170 for displaying media information according to another embodiment of the present invention
  • FIG. The device 180 is a schematic block diagram. detailed description
  • the embodiment of the invention provides a method for visually displaying media information, so that text information corresponding to the media information is quickly extracted, and the efficiency of acquiring the media information content is improved.
  • the method for displaying media information includes the following steps:
  • the server receives the media information request sent by the originating client, where the media information request carries the media information and the destination client information.
  • the media information request includes pre-recorded media information and destination client information.
  • the media information may be audio information, video information, or the like.
  • the originating client may pre-record a piece of media information sent to the destination client, and when sending to the destination client, send a media information request to the server, where the media information is requested.
  • the request carries media information and destination client information.
  • the destination client information may specifically be a client number, an address, a mobile phone number, a nickname, and the like.
  • the server parses the received media information to obtain text information corresponding to the media information.
  • the server parses the media information carried in the received media information request to obtain the text information corresponding to the media information, and the server parses the media information to obtain the text content corresponding to the media information according to the media information.
  • the server may further determine a keyword corresponding to the text content, such as a label, and other feature information corresponding to the media information, according to the text content corresponding to the identified media information.
  • Other characteristic information corresponding to the media information may be "anger”, “happy”, “frustrated”, “anxious”, “surprise”, etc., used to describe the mood of the user.
  • the expression of the user's mood can be recognized according to the words describing the mood of the user. This feature can be displayed on the client as an optional information display item.
  • Other feature information corresponding to the media information may be replaced or changed, which is not specifically limited in the embodiment of the present invention.
  • the text information corresponding to the media information such as the text content corresponding to the media information and the keyword corresponding to the text content, may be obtained.
  • the text information may include: text content, or a keyword, or a text content and a keyword;
  • the keyword may include: a label, or other feature information corresponding to the media information, or a label and a media information corresponding to the label Other characteristic information;
  • the label is a short summary of the text content tube;
  • the other characteristic information corresponding to the media information may specifically be:
  • the server analyzes the user's mood, such as "anger” through the media, speech rate, intonation, and semantics of the media information.
  • Features such as “happy”, “frustrated”, “anxious”, “surprise”, etc., can be displayed as an optional information display item on the client.
  • Other characteristic information corresponding to the media information is replaceable and changeable, which is not specifically limited in the embodiment of the present invention.
  • the text content corresponding to the media information "Tomorrow's holiday, I invite everyone to have a meal together"
  • the server combines media information related information and text information related information to obtain composite information.
  • the media information related information includes media information or media information identifier
  • the text information related information includes text information or text information identifier.
  • the combining the media information related information and the text information related information to obtain the composite information may be: when the media information related information is media information, the text When the information related information is text information, the media information and the text information are combined into a composite format information.
  • the combining the media information related information and the text information related information to obtain the composite information may be: creating a data association table according to the text information, and establishing a text information identifier.
  • the association relationship with the text information when the media information related information is the media information, and the text information related information is the text information identifier, the data association table is queried according to the text information, and the text corresponding to the text information is obtained.
  • the information identifier is combined according to the media information and the text information identifier to obtain composite information.
  • the combination of the media information related information and the text information related information to obtain the composite information may be: according to the media information, the text content, and the key a word creation data association table, respectively, establishing a relationship between the media information identifier and the media information, the text content identifier, the text content, and the keyword identifier and the keyword, and when the media information related information is a media information identifier,
  • the text information related information is a text information identifier
  • the data association table is obtained according to the media information and the text information, and the media information identifier corresponding to the media information, the text content identifier corresponding to the text content, and the key are obtained.
  • the keyword identifier corresponding to the word is combined according to the media information identifier, the text content identifier, and the keyword identifier to obtain composite information.
  • S204 Send the composite information to the destination client according to the destination client information, so that the destination client obtains the media information and the text information according to the composite information, and displays the media information and the Text information.
  • the server identifies the destination client according to the destination client information carried in the media information request, and sends the composite information to the destination client.
  • the server may further send text information corresponding to the media information to the originating client, so that the originating client displays the text information.
  • the text information may include: text content, or keywords, or text content and keywords.
  • the client may be installed on a mobile phone, a personal computer (PC, Personal Computer), a tablet PAD, or the like, or a mobile terminal.
  • a mobile phone a personal computer (PC, Personal Computer), a tablet PAD, or the like, or a mobile terminal.
  • PC Personal Computer
  • PAD tablet PAD
  • the guest The terminal can dynamically process the information interface display items according to the interface display condition or the related content of the media information or the user's needs, through menu setting or switching, to display more related information.
  • the interface information display item includes, but is not limited to, media information, text content corresponding to the media information, a label corresponding to the text content, other feature information corresponding to the media information, a user expression corresponding to the text content, a media information sending time, a media information receiving time, and a media.
  • the switching function control may be displayed, and the switching function control may be used to switch the text information corresponding to the display media information, the media information, and the media information, according to the user operation, in the interface. Displaying media information or displaying text information corresponding to media information and media information.
  • the server receives the media information, parses the media information to obtain corresponding text information, obtains composite information from the media information and the text information, and sends the composite information to the destination client. And finally, the destination client simultaneously displays the media information and the text information on the display interface, and the communication record can be visually displayed to the user. To avoid the user having to repeatedly click on the media link of all media information in order to view the communication record.
  • the destination client simultaneously displays the media information and the text information, and the user can browse the text information to quickly and intuitively browse the media information content, which can be reduced by using this method. It occupies the storage space and processes of the terminal, reduces the consumption of CPU resources, and improves the efficiency of obtaining media information content. The user experience brought to the user is good and practical.
  • the media information includes audio information, video information, and the like.
  • audio information will be described as an example.
  • FIG. 3 is a schematic flowchart of a method for displaying voice information according to another embodiment of the present invention.
  • the method for displaying voice information includes the following steps:
  • the originating client sends a voice information request to the server.
  • the voice information request includes pre-recorded voice information and destination client information.
  • the originating client can pre-record a piece of voice information sent to the destination client, and when it needs to send to the destination client, send a voice information request to the server, where the voice information request carries the voice information and the destination client information.
  • the destination client information may be a client number, an address, a mobile phone number, a nickname, and the like. 5302.
  • the server parses the voice information request, and synthesizes the composite format information.
  • the server parses the voice information carried in the received voice information request to obtain text information corresponding to the voice information, and the server analyzes the voice information, specifically, the voice content corresponding to the voice information according to the voice information.
  • the server may further determine a keyword corresponding to the text content, such as a label, and other feature information corresponding to the voice information, according to the text content corresponding to the recognized voice information.
  • Other characteristic information corresponding to the voice information may be "anger”, “happy”, “frustrated”, “anxious”, “surprise”, etc., used to describe the mood of the user.
  • the expression of the user's mood can be recognized according to the words describing the mood of the user. This feature can be displayed on the client as an optional information display item.
  • Other feature information corresponding to the media information may be replaced or changed, which is not specifically limited in the embodiment of the present invention.
  • the text information corresponding to the voice information such as the text content corresponding to the voice information and the keyword corresponding to the text content, may be obtained.
  • the server may also synthesize the voice information and the text information into composite format information.
  • the text information may include: text content, or a keyword, or a text content and a keyword;
  • the keyword may include: a label, or other feature information corresponding to the voice information, or a label and a voice information corresponding to the label Other characteristic information;
  • the label is a short summary of the text content tube;
  • the other characteristic information corresponding to the voice information may specifically be:
  • the server analyzes the user's mood, such as "anger” through the voice, speech rate, intonation, and semantics of the voice information.
  • Features such as "happy”, “frustrated”, “anxious”, etc., can be displayed as an optional information display item on the client.
  • Other feature information corresponding to the voice information is replaceable and changeable, which is not specifically limited in the embodiment of the present invention.
  • the text content corresponding to the voice message "Tomorrow, I invite everyone to have a meal together"
  • the server sends the text information to the originating client.
  • S304 The server sends the composite format information to the destination client.
  • the server identifies the destination client according to the destination client information carried in the voice information request, and sends the composite format information to the destination client.
  • the originating client displays the voice information and the text information.
  • the originating client receives text information corresponding to the voice information sent by the server, and displays the voice information and the text information.
  • the textual information may include textual content, or keywords, or textual content and keywords.
  • the keyword may include a label, or other feature information corresponding to the voice information, or other feature information corresponding to the label and the voice information.
  • the destination client displays the obtained voice information and the text information.
  • the destination client receives the composite format information sent by the server, parses the composite format information, obtains the voice information and the text information, and displays the obtained voice information and the text information.
  • the destination client parses the received composite format information to obtain the text information corresponding to the voice information and the voice information.
  • the text information corresponding to the voice information may include: text content, or a keyword, or text content and keywords.
  • the originating client and the destination client may be installed on a mobile phone, a personal PC, a PAD, or the like, or a mobile terminal.
  • the client when the originating client or the destination client displays information, the client may dynamically display the information interface display according to the interface display situation or the media information related content or the user requirement through menu setting or switching. Item to show more relevant information.
  • the interface information display item includes, but is not limited to, media information, text content corresponding to the media information, a label corresponding to the text content, other feature information corresponding to the media information, a user expression corresponding to the text content, a media information sending time, a media information receiving time, and a media.
  • the switching function control may be displayed, and the switching function control may be used to switch the text information corresponding to the display media information, the media information, and the media information, according to the user operation, in the interface. Displaying media information or displaying text information corresponding to media information and media information.
  • the server combines the text information corresponding to the voice information and the voice information into the composite format information, and the manner in which the server synthesizes the composite format information and the client parses the composite format information may be in various manners. Take two ways as an example:
  • the composite format information synthesized by the server includes 401 an audio file header with a reserved field, a 402 audio stream, and a 403 audio extension field.
  • FIG. 4 is a schematic structural diagram of composite format information according to an embodiment of the present invention.
  • the audio file header with the reserved field is used to identify the offset of the audio extension field in the composite format information.
  • the audio stream is voice information, and the audio extension field may include text information corresponding to voice information.
  • the text information corresponding to the voice information may include text content, or a keyword, or text content and keywords.
  • the keyword may include a label, or other feature information corresponding to the voice information, or other feature information corresponding to the label and the voice information.
  • the server assigns a value to the Reserved reserved field in the audio file header of the composite format information according to the offset of the audio extension field in the composite format information.
  • the length of the Reserved reserved field in the audio file header of the composite format information can be set according to the characteristics of the audio stream and the characteristics of the text information in the audio extension field.
  • the client receives the composite format information, scans the audio file header of the composite format information, reads the Reserved reserved field information in the audio file header, and obtains the offset of the audio extension field in the composite format information; the client obtains the audio extension field in the composite The offset in the format information, reading the information of the audio extension field.
  • the audio extension field may include text information or the like corresponding to the voice information.
  • FIG. 5 is a diagram showing an example of composite format information according to another embodiment of the present invention.
  • the composite format information synthesized by the server is packaged and compressed into a compressed file by the description file and the voice information.
  • the description file may include a file name of the voice information, text information corresponding to the voice information, and the like.
  • the text information corresponding to the voice information may include text content, or keywords, or text content and keywords.
  • the keyword may include a label, or other feature information corresponding to the voice information, or other feature information corresponding to the label and the voice information.
  • the compressed file is specifically: The server compresses the .xml format description file and the .wav format voice information into a compressed file in .zip format.
  • the client After receiving the compressed file in .zip format sent by the server, the client parses the composite format information.
  • the method for parsing the composite format is specifically: after the client decompresses the compressed file, reads the content of the description file of "description.xml": reads the file name of the sound node to obtain the voice information, and reads the text node to obtain the text content corresponding to the voice information.
  • the tag node is read to obtain a keyword corresponding to the text content, and the other node is read to obtain other feature information corresponding to the voice information.
  • the text information corresponding to the voice information and the voice information is simultaneously displayed on the destination client, and the text information corresponding to the voice information may include the text content, or the keyword, or the text content. And keywords.
  • the keyword may include a label, or other feature information corresponding to the voice information, or other feature information corresponding to the label and the voice information.
  • FIG. 6A is a schematic diagram of a terminal displaying a voice information interface according to an embodiment of the present invention. In the terminal display interface, the received voice information and the text information corresponding to the voice information are simultaneously displayed.
  • the displaying the text information may include at least one of the following: text content corresponding to the voice information, a label corresponding to the text content, a voice information sending time, a voice information receiving time, a voice information length, a voice information sender information, and a voice information receiver information.
  • the other feature information corresponding to the voice information is displayed on the terminal.
  • the information displayed to the user includes: voice information, text content corresponding to the voice information, a label corresponding to the text content, and other features corresponding to the voice information.
  • voice information the text content corresponding to 601 voice information: "Tomorrow's holiday, I invite everyone to eat together”
  • 602 text content corresponding to the label "Please eat”
  • 603 voice information corresponding to other characteristics information “Happy”.
  • a schematic diagram of a terminal displaying a voice information interface may set a switching function control 6B1 in the display interface, and may display media information or display media information according to a user operation.
  • the displaying the text information may include at least one of the following: text content corresponding to the voice information, a label corresponding to the text content, a voice information sending time, a voice information receiving time, a voice information length, a voice information sender information, and a voice information receiver information.
  • the other feature information corresponding to the voice information is displayed on the terminal.
  • the switching function control 6B1 is set in the display interface, and the information displayed to the user includes: voice information, text content corresponding to the voice information, a label corresponding to the text content, and other corresponding to the voice information. feature.
  • the text content corresponding to 601 voice information “Tomorrow's holiday, I invite everyone to eat together”
  • 602 text content corresponding to the label “Please eat”
  • Click the switch function control to display the text information corresponding to the media information, media information and media information on the interface.
  • the server receives the voice information, parses the voice information to obtain corresponding text information, obtains the composite format information by using the voice information and the text information, and sends the composite format information to the destination client. And finally, the destination client simultaneously displays the voice information and the text information on the display interface, and the communication record can be visually displayed to the user. Avoid users having to click on all voice messages in order to view the communication records. Voice link.
  • the method for displaying voice information in the embodiment of the present invention enables the destination client to simultaneously display the voice information and the text information, and the user can browse the text information to quickly and intuitively browse the voice information content, which can be reduced by using this method. It occupies the storage space and processes of the terminal, reduces the consumption of CPU resources, and improves the efficiency of acquiring voice information content. The user experience brought to the user is good, and the practicality is high.
  • FIG. 7 is a schematic flowchart of a method for displaying voice information according to another embodiment of the present invention.
  • the method for displaying voice information includes the following steps:
  • the originating client sends a voice information request to the server.
  • the voice information request includes pre-recorded voice information and destination client information.
  • the originating client can pre-record a piece of voice information sent to the destination client, and when it needs to send to the destination client, send a voice information request to the server, where the voice information request carries the voice information and the destination client information.
  • the destination client information may be a client number, an address, a mobile phone number, a nickname, and the like.
  • S702 The server parses the voice information request to create a data association table.
  • the server parses the voice information carried in the received voice information request to obtain text information corresponding to the voice information, and the server analyzes the voice information, specifically, the voice content corresponding to the voice information according to the voice information.
  • the server may further determine a keyword corresponding to the text content, such as a tag or other feature information corresponding to the voice information, according to the text content corresponding to the recognized voice information.
  • a keyword corresponding to the voice information may be "anger”, “happy”, “frustrated”, “anxious”, etc., used to describe the mood of the user.
  • the expression of the user's mood can be recognized according to the words describing the mood of the user. This feature can be displayed as an optional information display item on the client.
  • Other feature information corresponding to the media information is replaceable and changeable, which is not specifically limited in the embodiment of the present invention.
  • the text information corresponding to the voice information such as the text content corresponding to the voice information and the keyword corresponding to the text content, may be obtained.
  • the server can also create a data association table to establish an association relationship between the text information identifier (ID) and the text information.
  • ID text information identifier
  • the text table ID and the text information association table can be found according to the text information ID number 00000001, and the corresponding text information can be obtained, including the text content corresponding to the voice information is "Tomorrow. For the holidays, I invite everyone to have dinner together. The label corresponding to the text content is "Please eat".
  • the voice information corresponds to the feature information, "Open” Heart; can find the corresponding text information according to the text information ID number 00000002 to find the association table of the text information ID and the text information, including the text content corresponding to the voice information is "OK, where to eat?", the label corresponding to the text content is "Where to eat?", the feature information corresponding to the voice message "surprise,,; can find the corresponding text information according to the text information ID number 00000003 to find the text table ID and text information association table, including the text content corresponding to the voice information is "Well, you are sure!" , the label corresponding to the text content is "casual", when the feature information corresponding to the voice information is "happy,"; the text information ID number 00000004 can be found according to the association table of the text information ID and the text information, and the corresponding text information can be obtained, including the voice.
  • the text content corresponding to the message is "Is there a listener? Ask for a meal!!!", the label corresponding to the text content is
  • the text information may include: text content, or a keyword, or a text content and a keyword;
  • the keyword may include: a label, or other feature information corresponding to the voice information, or a label and a voice information corresponding to the label Other characteristic information;
  • the label is a short summary of the text content tube;
  • the other characteristic information corresponding to the voice information may specifically be:
  • the server analyzes the user's mood, such as "anger” through the voice, speech rate, intonation, and semantics of the voice information.
  • Features such as “happy”, “frustrated”, “anxious”, etc., can be displayed as an optional information display item on the client.
  • Other feature information corresponding to the voice information is replaceable and changeable, which is not specifically limited in the embodiment of the present invention.
  • the text content corresponding to the voice message “Tomorrow, I invite everyone to have dinner together”
  • the server sends the text information to the originating client.
  • the server sends the voice information and the text information ID to the destination client.
  • the server identifies the destination client according to the destination client information carried in the voice information request, and sends the voice information and the text information ID to the destination client.
  • the originating client displays the voice information and the text information.
  • the originating client receives text information corresponding to the voice information sent by the server, and displays the voice information and the text information.
  • the destination client sends a request for searching for text information corresponding to the text information ID to the server.
  • the destination client receives the voice information and the text information ID sent by the server, and sends a request for searching for text information corresponding to the text information ID to the server.
  • the server searches for text information corresponding to the text information ID.
  • Table 1 is a data association table corresponding to the text information ID and the text information. As shown in Table 1, the server searches for the text information corresponding to the text information ID. The server specifically searches for the data association locally according to the received text information ID. The table searches for an association relationship between the text information ID and the text information corresponding to the voice information, and extracts text information corresponding to the voice information.
  • the server sends a text message to the destination client.
  • the server sends the text information corresponding to the extracted voice information to the destination client.
  • the destination client displays the obtained voice information and the text information.
  • the destination client receives the extracted text information sent by the server, and displays the obtained voice information and text information.
  • the text information may include: text content, or keywords, or text content and keywords.
  • the originating client and the destination client may be installed on a mobile phone, a personal PC, a PAD, or the like, or a mobile terminal.
  • the client when the originating client or the destination client displays information, the client may dynamically display the information interface display according to the interface display situation or the media information related content or the user requirement through menu setting or switching. Item to show more relevant information.
  • the interface information display item includes, but is not limited to, media information, text content corresponding to the media information, a label corresponding to the text content, other feature information corresponding to the media information, and a user expression corresponding to the text content.
  • the switching function control may be displayed, and the switching function control may be used to switch the text information corresponding to the display media information, the media information, and the media information, according to the user operation, in the interface. Displaying media information or displaying text information corresponding to media information and media information.
  • the server receives the voice information, parses the voice information to obtain corresponding text information, establishes an association relationship between the text information ID and the text information, and sends the voice information and the text information ID to the destination.
  • the client, and finally the destination client simultaneously displays the voice information and the text information on the display interface, and can directly display the communication record to the user. To avoid the user having to repeatedly click on the voice link of all voice messages in order to view the communication record.
  • the originating client quickly displays the text information
  • the destination client quickly displays the voice information
  • asynchronously displays the text information so that the destination client simultaneously displays the voice information and
  • the user can browse the text information corresponding to the voice information
  • the user can browse the text information to quickly and intuitively browse the voice information content, thereby reducing the storage space and process occupied by the terminal, and reducing the CPU resources. Consumption, improve the efficiency of acquiring voice information content.
  • the user experience brought to the user is good and practical.
  • FIG. 8 is a schematic flowchart of a method for displaying voice information according to another embodiment of the present invention.
  • the method for displaying voice information includes the following steps:
  • the originating client sends a voice information request to the server.
  • the voice information request includes pre-recorded voice information and destination client information.
  • the originating client can pre-record a piece of voice information sent to the destination client, and when it needs to send to the destination client, send a voice information request to the server, where the voice information request carries the voice information and the destination client information.
  • the destination client information may be a client number, an address, a mobile phone number, a nickname, and the like.
  • the server parses the voice information request, and creates a data association table.
  • the server parses the voice information carried in the received voice information request to obtain text information corresponding to the voice information, and the server parses the voice information, specifically, performing voice recognition according to the voice information to obtain text content corresponding to the voice information.
  • the server may further determine keywords corresponding to the text content, such as tags and other feature information corresponding to the voice information, according to the text content corresponding to the recognized voice information.
  • Other characteristic information corresponding to the voice information may be "anger", “happy”, “frustrated”, “anxious”, “surprise”, etc., used to describe the mood of the user.
  • the expression of the user's mood can be recognized according to the words describing the mood of the user. This feature can be displayed on the client as an optional information display item.
  • Other characteristic information corresponding to the media information is replaceable and changeable, which is not specifically limited in the embodiment of the present invention.
  • the text information corresponding to the voice information such as the text content corresponding to the voice information and the keyword corresponding to the text content, may be obtained.
  • the server can also create a data association table to establish associations between voice information ID and voice information, text content ID and text content, keyword ID, and keywords.
  • the invention does not limit the form of the association table.
  • the association table can be created in the form of the following table.
  • the association table of the voice information ID and the voice information can be seen in Table 2, and the association table of the text content ID and the text content is shown in the table. 3, See Table 4 for the association table of keyword ID and keyword.
  • the association table of voice information ID and voice information, text content ID and text content, keyword ID and keyword can be maintained in one table or independently.
  • the text information may include: text content, or a keyword, or a text content and a keyword;
  • the keyword may include: a label, or other feature information corresponding to the voice information, or a label and a voice information corresponding to the label Other characteristic information;
  • the label is a short summary of the text content tube;
  • the other characteristic information corresponding to the voice information may specifically be:
  • the server analyzes the user's mood, such as "anger” through the voice, speech rate, intonation, and semantics of the voice information. "Happy”, “frustrated”, “anxious” and other characteristics. This feature can be displayed on the client as an optional information display item.
  • Other feature information corresponding to the voice information is replaceable and changeable, which is not specifically limited in the embodiment of the present invention.
  • the text content corresponding to the voice message "Tomorrow, I invite everyone to have a meal together"
  • the server sends the voice information ID, the text content ID, to the destination client, The keyword ID.
  • the server identifies the destination client according to the destination client information carried in the voice information request, and sends the voice information ID, the text information ID, and the keyword ID to the destination client.
  • S804 The server sends the voice information ID, the text content ID, and the keyword ID to an originating client.
  • the server may not send the voice information ID to the originating client, and only send the text content ID. , the keyword ID.
  • the server when the server processes the information, the server operates in a batch packing process, and the server may simultaneously send the voice information ID, the text content ID, and the keyword ID to the originating client.
  • the destination client sends a request for finding a voice information ID, a text content ID, and a keyword ID to the server.
  • the destination client receives the voice information ID, the text content ID, and the keyword ID sent by the server, and sends a search voice information ID, the text content ID, and the keyword ID request to the server.
  • the originating client sends a request for finding a voice message ID, a text content ID, and a keyword ID to the server.
  • the server consumes a large amount of resources, and the originating client may not send the search voice information ID request to the server because the voice information already exists, and only sends the text content ID, Keyword ID request.
  • the server searches for voice information corresponding to the voice information ID, text content corresponding to the text content ID, and a keyword corresponding to the keyword ID.
  • Table 2 is a data association table corresponding to the voice information ID and the voice information
  • Table 3 is a data association table corresponding to the text content ID and the text content
  • Table 4 is a data association table corresponding to the keyword ID and the keyword, as Table 2, Table 3.
  • the server finds the voice information corresponding to the voice information ID, the text content corresponding to the text content ID, and the keyword corresponding to the keyword ID, specifically: the server according to the received voice information ID, text content
  • the ID and the keyword ID are used to search the data association table locally, and find the association between the voice information ID and the voice information, the text content ID and the text content, the keyword ID and the keyword, and extract the text content corresponding to the voice information and the voice information. , the keyword corresponding to the text content. 5808.
  • the server sends voice information, text content, and keywords to the destination client.
  • the server sends the extracted voice information and the text content corresponding to the voice information and the keyword corresponding to the text content to the destination client.
  • the server sends voice information, text content, and keywords to the originating client respectively.
  • the server sends the extracted voice information and the text content corresponding to the voice information and the keyword corresponding to the text content to the originating client.
  • the destination client displays the obtained voice information, the text content, and the keyword.
  • the destination client receives the extracted text information sent by the server, and displays the obtained voice information, text content, and keywords.
  • the destination client may display at least one of the text content and the keyword.
  • the originating client displays the obtained voice information, the text content, and the keyword.
  • the originating client receives the extracted text information sent by the server, and displays the obtained voice information, text content, and keywords.
  • the originating client can display at least one of the text content and the keyword.
  • the server performs step S803 and step S804 without a sequence.
  • the step S803 may be performed first, or step S804 may be performed first, or step S803 and step S804 may be simultaneously performed.
  • the destination client performs step S805 and the originating client performs step S806.
  • the destination client may perform step S805 first, or the originating client may first perform step S806, or two. The steps are executed simultaneously.
  • the server performs step S808 and step S809 without a sequence.
  • the server may perform step S808 first, or may perform step S809 first, or may perform simultaneously.
  • the originating client and the destination client may be installed on a mobile phone, a personal PC, a PAD, or the like, or a mobile terminal.
  • the client when the originating client or the destination client displays information, the client may dynamically display the information interface display according to the interface display situation or the media information related content or the user requirement through menu setting or switching. Item to show more relevant information.
  • the interface information display items include, but are not limited to, media information, text content corresponding to the media information, and text The corresponding tag, the other feature information corresponding to the media information, the user expression corresponding to the text content, the media information sending time, the media information receiving time, the media information length, the media information sender number or address, the media information recipient number or address, Other feature information corresponding to the media information.
  • the switching function control may be displayed, and the switching function control may be used to switch the text information corresponding to the display media information, the media information, and the media information, according to the user operation, in the interface.
  • the server receives the voice information, parses the voice information to obtain corresponding text information, and establishes an association relationship between the voice information ID and the voice information, the text content ID and the text content, the keyword ID, and the keyword.
  • the voice information ID, the text content ID, and the keyword ID are sent to the destination client, and finally the destination client simultaneously displays the voice information and the text information on the display interface, and the communication record can be visually displayed to the user. To avoid the user having to repeatedly click on the voice link of all voice messages in order to view the communication record.
  • the function module carrying the client terminal is simplified, and the association relationship between the voice information ID, the text content ID, the keyword ID and the voice information, the text content, and the keyword is established.
  • the client sends a query request to the server according to each ID, and the voice information and the text information are displayed asynchronously, which facilitates distributed deployment and load balancing of the server.
  • the originating client quickly displays the text information
  • the destination client quickly displays the voice information
  • the text information is displayed asynchronously, so that the destination client simultaneously displays the voice information and the text information, and the user can browse the voice information.
  • the user can browse the text information to quickly and intuitively browse the voice information content. In this way, the storage space and process of occupying the terminal can be reduced, the consumption of CPU resources can be reduced, and the efficiency of acquiring the voice information content can be improved.
  • the user experience brought to the user is good, and the practicality is high.
  • FIG. 9 is a schematic flowchart of a method for displaying media information according to another embodiment of the present invention. As shown in FIG. 9, the method for displaying media information includes the following steps:
  • S901 Receive a media information request, where the media information request carries media information.
  • the media information may be audio information, video information, or the like.
  • the receiving media information request may be performed by a server or may be performed by a client.
  • Parse the received media information to obtain text information corresponding to the media information The parsing the received media information to obtain text information corresponding to the media information, specifically, performing media identification according to the media information to obtain text content corresponding to the media information.
  • the keyword corresponding to the text content may also be determined according to the text content corresponding to the identified media information.
  • Other characteristic information corresponding to the media information may be "anger”, “happy”, “frustrated”, “anxious”, “surprise”, etc., used to describe the mood of the user.
  • the expression of the user's mood can be identified based on the words describing the mood of the user. This feature can be displayed on the client as an optional information display item.
  • Other characteristic information corresponding to the media information is replaceable and changeable, which is not specifically limited in the embodiment of the present invention.
  • the text information corresponding to the media information such as the text content corresponding to the media information and the keyword corresponding to the text content, may be obtained.
  • the text information may include: text content, or a keyword, or a text content and a keyword;
  • the keyword may include: a label, or other feature information corresponding to the media information, or a label and a media information corresponding to the label Other characteristic information;
  • the label is a short summary of the text content tube;
  • the other characteristic information corresponding to the media information may specifically be:
  • the server analyzes the user's mood, such as "anger” through the media, speech rate, intonation, and semantics of the media information.
  • Features such as “happy”, “frustrated”, “anxious”, “surprise”, etc., can be displayed as an optional information display item on the client.
  • Other characteristic information corresponding to the media information is replaceable and changeable, which is not specifically limited in the embodiment of the present invention.
  • the text content corresponding to the media information "Tomorrow's holiday, I invite everyone to have a meal together"
  • the parsing of the received media information to obtain the text information corresponding to the media information may be performed by the server or may be performed by the client.
  • the client can dynamically process the information interface display item according to the interface display condition or the related content of the media information or the user's needs, through menu setting or switching, to display more related information.
  • the interface information display item includes, but is not limited to, media information, text content corresponding to the media information, a label corresponding to the text content, other feature information corresponding to the media information, a user expression corresponding to the text content, a media information sending time, a media information receiving time, and a media.
  • the media information or the display media information and the text information may be displayed according to the switching instruction.
  • the switching function control may be displayed on the interface, and the switching function control may be used to switch the text information corresponding to the media information, the media information and the media information, and display the media information or the display media information and the media information according to the user operation.
  • Text information may be displayed.
  • the server receives the media information, parses the media information to obtain corresponding text information, obtains composite information from the media information and the text information, and sends the composite information to the destination client.
  • the destination client simultaneously displays the media information and the text information on the display interface, and the communication record can be visually displayed to the user.
  • the destination client simultaneously displays the media information and the text information, and the user can browse the text information to quickly and intuitively browse the media information content, which can be reduced by using this method. It occupies the storage space and processes of the terminal, reduces the consumption of CPU resources, and improves the efficiency of obtaining media information content.
  • the user experience brought to the user is good and practical.
  • FIG. 10 is a schematic diagram of an apparatus 100 for displaying media information according to an embodiment of the present invention.
  • the apparatus 100 includes: an interaction unit 1001, an identification unit 1002, and a synthesizing unit 1003.
  • the interaction unit 1001 receives the media information request sent by the originating client, where the media information request carries the media information and the destination client information, and is further configured to send the destination client information carried in the media information request to the destination client.
  • Composite information
  • the identifying unit 1002 parses the received media information carried in the media information request to obtain text information corresponding to the media information.
  • the synthesizing unit 1003 combines the media information related information and the text information related information to obtain composite information.
  • the identifying unit 1002 parses the media information carried in the received media information request to obtain text information corresponding to the media information, and the identifying unit 1002 parses the media information, specifically, performing media according to the media information. Identify the text content corresponding to the media information.
  • the identification unit 1002 can also be based on the text content corresponding to the identified media information. Determine the keyword corresponding to the text content.
  • the synthesizing unit 1003 may further synthesize the composite format information according to the media information and the text information.
  • the interaction unit 1001 sends the composite information to the destination client according to the destination client information carried in the media information request. Specifically, the interaction unit 1001 sends the composite client information to the destination client according to the destination client information carried in the media information request.
  • the display media information device causes the destination client and the originating client to display the media information and the text information, thereby realizing the display process of the media information, and the specific details are not described again.
  • the server receives the media information, parses the media information to obtain corresponding text information, obtains composite information from the media information and the text information, and sends the composite information to the destination client. And finally, the destination client simultaneously displays the media information and the text information on the display interface, and the communication record can be visually displayed to the user. To avoid the user having to repeatedly click on the media link of all media information in order to view the communication record.
  • the destination client simultaneously displays the media information and the text information, and the user can browse the text information to quickly and intuitively browse the media information content, which can be reduced by using this method. It occupies the storage space and processes of the terminal, reduces the consumption of CPU resources, and improves the efficiency of obtaining media information content. The user experience brought to the user is good and practical.
  • FIG. 11 is a schematic diagram of an apparatus 100 for displaying media information according to another embodiment of the present invention. As shown in FIG. 11, the apparatus 100 may further include a processing unit 1104 and a storage unit 1105.
  • the processing unit 1104 can create a data association table and establish an association relationship between the text information identifier and the text information.
  • the interaction unit 1001 can also receive a query text information identification request sent by the client.
  • the storage unit 1105 may store a data association table in which the text information identifies an association relationship with the text information.
  • the interaction unit 1001 can also send text information to the originating client and the destination client.
  • the identifying unit 1002 parses the media information carried in the received media information request to obtain text information corresponding to the media information.
  • the processing unit 1104 parses the text corresponding to the media information according to the identifying unit 1002.
  • Information creation data association table, establishment And the interaction unit 1001 sends, to the destination client, the composite information obtained by the combining unit 1003 according to the combination of the media information and the text information identifier; the interaction unit 1001 receives the client.
  • the processing unit 1104 may create a data association table, and establish an association relationship between the media information identifier and the media information, the text content identifier, the text content, and the keyword identifier and the keyword. .
  • the interaction unit 1001 may further receive a query media information identifier, a text content identifier, and a keyword identifier request sent by the client.
  • the storage unit 1105 may further store a data association table of the media information identifier and the media information, the text content identifier and the text content, and the association between the keyword identifier and the keyword.
  • the interaction unit 1001 may also send media information, text content, and keywords to the originating client and the destination client.
  • the identifying unit 1002 parses the media information carried in the received media information request to obtain text information corresponding to the media information.
  • the processing unit 1104 parses the media information according to the identification unit 1002.
  • the text information creates a data association table, and establishes a relationship between the media information identifier and the media information, the text content identifier and the text content, and the keyword identifier and the keyword; the interaction unit 1001 sends the synthesizing unit 1003 to the destination client according to the media.
  • the interaction unit 1001 receives the client sending the query media information identifier, the text content identifier, and the keyword identifier request, and searches for the storage unit 1105. a data association table, the media information corresponding to the media information identifier, the text content corresponding to the text content identifier, and the keyword corresponding to the keyword identifier; the interaction unit 1001 sends the slave storage to the destination client Unit 1105 finds The media information, text, keywords.
  • the display media information device causes the destination client and the originating client to display the media information and the text information, and implements the display process of the media information, which is not exhaustive.
  • the server receives the media information, parses the media information to obtain corresponding text information, obtains composite information from the media information and the text information, and sends the composite information to the destination client.
  • the destination client simultaneously displays the media information and the text information on the display interface, and the communication record can be visually displayed to the user. To avoid the user having to repeatedly click on the media link of all media information in order to view the communication record.
  • the destination client By displaying the media information in the embodiment of the present invention, the destination client simultaneously displays the media information and the text information, and the user can browse the text information to quickly and intuitively browse the media information content, which can be reduced by using this method. It occupies the storage space and processes of the terminal, reduces the consumption of CPU resources, and improves the efficiency of obtaining media information content. The user experience brought to the user is good, and the practicality is high.
  • FIG. 12 is a schematic diagram of a client 120 for displaying media information according to another embodiment of the present invention.
  • the client 120 includes: an interaction unit 1201, a parsing unit 1202, and a display unit 1203.
  • the interaction unit 1201 receives the composite information sent by the server, and the composite information is obtained by the server according to the received media information, and is obtained according to the media information and the text information.
  • the parsing unit 1202 parses the composite information to obtain the media information and the text information.
  • the display unit 1203 displays the media information and the text information.
  • the interaction unit 1201 may further send a query request to the server, requesting the server to query the data association table to obtain the text information corresponding to the text information identifier, or the media information identifier. Corresponding to the media information, the text content corresponding to the text content identifier, and the keyword corresponding to the keyword identifier.
  • the interaction unit 1201 may further receive text information sent by the server, or media information, text content, and keywords.
  • the parsing unit 1202 parses the composite format information to obtain the media information and the text information
  • the display unit 1203 parses the obtained media information according to the parsing unit 1202 and the Text information, displaying the media information and the text information.
  • the parsing unit 1202 parses the obtained text information identifier, and the instruction interaction unit 1201 sends a query request to the server, requesting the server to query the data association table to obtain the text information identifier corresponding to The textual information,
  • the display unit 1203 displays media information and text information received by the interaction unit 1201.
  • the parsing unit 1202 parses the obtained media information identifier, the text content identifier, and the keyword identifier, and the instruction interaction unit 1201 sends a query request to the server, requesting the server.
  • the query data association table obtains the media information corresponding to the media information identifier, the text content corresponding to the text content identifier, and the keyword corresponding to the keyword identifier, and the display unit 1203 displays the received by the interaction unit 1201.
  • Media information, text content, and keywords are examples of the received by the interaction unit 1201.
  • the interaction unit 1201 may further receive a switching instruction, and display the media information or display media information and text information according to the switching instruction.
  • the display media information client causes the destination client and the originating client to display the media information and the text information, and implements the display process of the media information, which is not exhaustive.
  • the server receives the media information, parses the media information to obtain corresponding text information, obtains composite information from the media information and the text information, and sends the composite information to the destination client. And finally, the destination client simultaneously displays the media information and the text information on the display interface, and the communication record can be visually displayed to the user. To avoid the user having to repeatedly click on the media link of all media information in order to view the communication record.
  • the destination client simultaneously displays the media information and the text information, and the user can browse the text information to quickly and intuitively browse the media information content, which can be reduced by using this method. It occupies the storage space and processes of the terminal, reduces the consumption of CPU resources, and improves the efficiency of obtaining media information content. The user experience brought to the user is good and practical.
  • FIG. 13 is a schematic diagram of a method for displaying a graphic control according to an embodiment of the present invention.
  • the method for displaying a graphic control is applied to a computer system, where the computer system includes a display screen and an application program, and the method for displaying the graphic control is as follows:
  • calling a plurality of control functions in the application displaying, in the application interface, a graphic control corresponding to the multiple control functions, where the graphic control includes at least: a contact graphic control, a media information graphic control, and a text graphic control; wherein the contact graphic control is used to display contact information, and the media information graphic control is used to play corresponding media information.
  • the text graphic control is configured to display text information corresponding to the media information.
  • the text graphic control further includes a text content graphic control and/or a keyword graphic control, wherein the text content graphic control is configured to display text content corresponding to the media information, the keyword The graphic control is configured to display a keyword corresponding to the text content corresponding to the media information.
  • the keyword may include: a label, or other feature information corresponding to the media information, or other feature information corresponding to the label and the media information; the label is a short summary of the text content tube; other characteristics corresponding to the media information
  • the information can be specifically:
  • the server analyzes the user's mood through the voice, speech rate, intonation and semantics of the media information, such as "anger” and "happy".
  • this feature can be displayed on the client as an optional information display item.
  • Other characteristic information corresponding to the media information is replaceable and changeable, and the embodiment of the present invention does not specifically limit this.
  • the text content corresponding to the media information "Tomorrow's holiday, I invite everyone to have a meal together"
  • the application interface when a plurality of control functions in the application are invoked, when the graphic control corresponding to the plurality of control functions is displayed in the application interface, the application interface may be A switching function graphic control is displayed, and the switching function graphic control is configured to receive the switching instruction. And displaying, according to the switching instruction, a media information graphic control in the application interface, and switching between displaying the media information graphic control and the text graphic control in the application interface.
  • FIG. 14A is a schematic diagram of a device 140 for displaying a graphic control according to an embodiment of the present invention.
  • the device includes a display screen, and the device further includes a control unit 1401, a control function unit 1402, and a display unit 1403.
  • the control unit 1401 calls an application, and the instruction display unit displays the application interface on the display screen.
  • the control function unit 1402 the plurality of control functions in the application are invoked, and the instruction display unit displays the graphic control corresponding to the plurality of control functions in the application interface, where the graphic control includes at least: a contact graphic control , media information graphic control, text graphic control, and switching function graphic control;
  • the contact graphic control is used to display contact information
  • the media information graphic control is used to play corresponding media information
  • the text graphic control is used to display text information corresponding to the media information
  • the switching function The graphic control is used to switch the display of the media information graphic control, the media information graphic control, and the text graphic control in the application interface.
  • the contact information is sent by the contact information corresponding to the media information.
  • the display unit 1403 displays the application interface on the display screen, and displays a graphic control corresponding to the plurality of control functions in the application interface, where the graphic control includes at least: a contact graphic control, a media Info graphic controls, text graphic controls, and toggle function graphic controls.
  • FIG. 14B is a schematic diagram of a device 140 for displaying a graphic control according to another embodiment of the present invention. As shown in FIG. 14, the device 140 further includes: a control switching unit 1404.
  • the control switching unit 1404 is configured to instruct the display unit 1403 to display a media information graphic control in the application interface, and switch between displaying the media information graphic control and the text graphic control in the application interface.
  • the display unit 1403 is further configured to display a media information graphic control in the application interface according to an instruction of the control switching unit 1404, or display a media information graphic control and a text graphic control in the application interface.
  • the display unit 1403 is further configured to display, in the application interface, a switching function graphic control corresponding to the control switching unit, where the switching function graphic control is configured to receive a switching instruction, and indicate, according to the switching instruction, that the display unit is
  • the media information graphic control is displayed in the application interface, or the media information graphic control and the text graphic control are displayed in the application interface.
  • FIG. 15 is a schematic diagram of a media information interface display according to an embodiment of the present invention. As shown in FIG. 15 , an interface 150 of an application displayed on a display screen is displayed. The application interface 150 displays a contact graphic control 14021 and a media information graphic.
  • the control 14022, the text graphic control 14023, and the switching function graphic control 14024, the contact graphic control 14021 is configured to display contact information
  • the media information graphic control 14022 is configured to play corresponding media information
  • the switching function graphic control 14024 is configured to switch the display of the media information graphic control, the media information graphic control, and the text graphic control in the application interface.
  • a plurality of contact graphic controls, media information graphic controls, text graphic controls, and switching function graphic controls may be displayed.
  • the application interface in the embodiment of the present invention can be applied to media information communication software such as WeChat and Mi Chat.
  • the interface display effect applied in WeChat can refer to the display interface of FIG. 6A and FIG. 6B.
  • the application program is invoked, and the contact information, the text content and/or the keyword are displayed on the display screen, and the communication record can be visually displayed to the user.
  • the method for displaying the graphic control in the embodiment of the present invention enables the destination client to simultaneously display the media information and the text information, and the user can browse the text information to quickly and intuitively browse the media information content, which can be reduced by using this method. It occupies the storage space and processes of the terminal, reduces the consumption of CPU resources, and improves the efficiency of obtaining media information content.
  • the user experience brought to the user is good, and the practicality is high.
  • FIG. 16 is a schematic diagram of an apparatus 160 for displaying media information according to another embodiment of the present invention.
  • the apparatus 160 includes an interaction unit 1601, an identification unit 1602, and a display unit 1603.
  • the interaction unit 1601 is configured to receive The media information request, where the media information request carries the media information.
  • the identifying unit 1602 is configured to parse the received media information to obtain text information corresponding to the media information.
  • the display unit 1603 is configured to display the media information and the text information.
  • the identifying unit 1602 parses the received media information to obtain text information corresponding to the media information, and the identifying unit 1602 parses the media information, specifically, performing media identification according to the media information to obtain media information corresponding to Text content.
  • Identification unit 1602 may further determine a keyword corresponding to the text content according to the text content corresponding to the identified media information.
  • the identification unit 1602 receives the media information according to the interaction unit 1601, parses the received media information to obtain text information corresponding to the media information, and finally displays the media information and the text information on the display unit 1603.
  • the interaction unit 1601 is further configured to receive a switching instruction, and according to the switching instruction, the instruction display unit 1603 displays the media information, or the media information and the text information.
  • the display media information device causes the destination client and the originating client to display the media information and the text information, thereby realizing the display process of the media information, and the specific details are not described again.
  • the server receives the media information, parses the media information to obtain corresponding text information, obtains composite information from the media information and the text information, and sends the composite information to the destination client. And finally, the destination client simultaneously displays the media information and the text information on the display interface, and the communication record can be visually displayed to the user. To avoid the user having to repeatedly click on the media link of all media information in order to view the communication record.
  • the destination client simultaneously displays the media information and the text information, and the user can browse the text information to quickly and intuitively browse the media information content, which can be reduced by using this method. It occupies the storage space and processes of the terminal, reduces the consumption of CPU resources, and improves the efficiency of obtaining media information content. The user experience brought to the user is good and practical.
  • FIG. 17 is a schematic block diagram of an apparatus 170 for displaying media information according to another embodiment of the present invention.
  • the apparatus 170 includes a processor 1701, a user interface 1702, a memory 1703, an application 1704, and a bus 1705.
  • the processor 1701 is operative to execute the program of the embodiment of the present invention stored in the memory 1703 and to communicate bidirectionally with other devices via the bus.
  • the memory 1703 may be one or more of a floppy disk including a computer, a USB flash drive, a removable hard disk, a Read-Only Memory (ROM), a Random Access Memory (RAM), a magnetic disk, or an optical disk. And storing an application database that can execute the program of the embodiment of the present invention or the embodiment of the present invention, receiving input of other components through the bus 1705 or storing the stored information by other components, for example, querying the instruction of the text information identifier, querying Media information identification, text content identification, keyword identification.
  • Application 1704 includes various system programs for implementing various application services.
  • the user interface 1702 is open to the user for terminal connection and data exchange.
  • the processor 1701 and the memory 1703 may also be integrated into a physical module to which an embodiment of the present invention is applied, on which the program implementing the embodiment of the present invention is stored and executed.
  • bus 1705 which may include, in addition to the data bus, a power bus, a control bus, a status signal bus, and the like. However, for clarity of description, various buses are labeled as bus 1705 in the figure.
  • each unit of the device 170 performs the following respectively.
  • the processor 1701 parses the received media information in the received media information request to obtain text information corresponding to the media information, and specifically, the processor 1701 performs media identification according to the media information to obtain text content corresponding to the media information, and the processor 1701 The text content corresponding to the identified media information determines the keyword corresponding to the text content.
  • the memory 1703 stores the media information request received by the user interface 1702.
  • the user interface 1702 is further configured to receive the media information request sent by the originating client, where the media information request carries the media information and the destination client information, and sends the destination client information carried in the media information request to the destination client.
  • Composite information is further configured to receive the media information request sent by the originating client, where the media information request carries the media information and the destination client information, and sends the destination client information carried in the media information request to the destination client.
  • the user interface 1702 is further configured to receive a query text information identifier request sent by the client.
  • the user interface 1702 is further configured to send text information to the originating client and the destination client.
  • the user interface 1702 is further configured to receive a query media information identifier, a text content identifier, and a keyword identifier request sent by the client.
  • the user interface 1702 is further configured to send media information, text content, and keywords to the originating client and the destination client.
  • the query text information identifier request, the media information identifier request, the text content identifier request, and the keyword identifier request sent by the user interface 1702 or the composite information sent by the processor 1701.
  • the memory 1703 stores the processor 1701 to parse the media information to obtain text information corresponding to the media information.
  • the memory 1703 may further store the processor 1701 according to the media information or media.
  • the body information identifier, the text information or the text information identifier is combined to obtain the composite information.
  • the memory 1703 may further store a data association table in which the text information identifies an association relationship with the text information.
  • the memory 1703 may further store a data association table that identifies, by the media information, the association relationship between the text content corresponding to the media information, the text content identifier, and the keyword identifier.
  • the memory 1703 may further store the text information found by the processor 1701.
  • the memory 1703 may further store the media information, text content, and keywords found by the processor 1701.
  • the processor 1701 combines the media information or the media information identifier, the text information or the text information identifier to obtain composite information.
  • the processor 1701 synthesizes the composite format information according to the media information and the text information.
  • the processor 1701 may further create a data association table, and establish an association relationship between the text information identifier and the text information.
  • the processor 1701 may further search the data association table stored in the storage unit 1703 to find the text information corresponding to the text information identifier.
  • the processor 1701 may further create a data association table, and establish a relationship between the media information identifier and the media information, the text content identifier and the text content, and the keyword identifier and the keyword.
  • the processor 1701 may further search the data association table stored in the storage unit 1703, and find the media information corresponding to the media information identifier, where the text content corresponding to the text content identifier corresponds to the keyword identifier.
  • the keyword may be searched by the processor 1701, and find the media information corresponding to the media information identifier, where the text content corresponding to the text content identifier corresponds to the keyword identifier. The keyword.
  • the display media information device causes the destination client and the originating client to display the media information and the text information, thereby realizing the display process of the media information, and the specific details are not described again.
  • the server receives the media information, parses the media information to obtain corresponding text information, obtains composite information from the media information and the text information, and sends the composite information to the destination client. And finally, the destination client simultaneously displays the media information and the text information on the display interface, and the communication record can be visually displayed for use. Household. To avoid the user having to repeatedly click on the media link of all media information in order to view the communication record.
  • the destination client simultaneously displays the media information and the text information, and the user can browse the text information to quickly and intuitively browse the media information content, which can be reduced by using this method. It occupies the storage space and processes of the terminal, reduces the consumption of CPU resources, and improves the efficiency of obtaining media information content. The user experience brought to the user is good, and the practicality is high.
  • FIG. 18 is a schematic block diagram of an apparatus 180 for displaying media information according to another embodiment of the present invention.
  • the apparatus 180 includes a processor 1801, a server interface 1802, a memory 1803, a display 1804, an input device 1806, and a bus 1805.
  • the processor 1801 is operative to execute the program of the embodiment of the present invention stored in the memory 1803 and to communicate bidirectionally with other devices via the bus.
  • Server interface 1802 is used to connect to the server for data exchange.
  • the memory 1803 may be one or more of a floppy disk including a computer, a USB flash drive, a removable hard disk, a Read-Only Memory (ROM), a Random Access Memory (RAM), a magnetic disk, or an optical disk. And storing an application database that can execute the program of the embodiment of the present invention or the embodiment of the present invention, receiving input of other components through the bus 1805 or calling the stored information by other components, for example, querying the instruction of the text information identifier, and querying the media information. Identification, text content identification, keyword identification.
  • the display 1804 can be a suitable device such as a cathode ray tube (CRT, Cathode Ray Tube) display, a liquid crystal (LCD) display, or a touch screen, and receives instructions through the bus 1805 to render a graphic on the screen of the display.
  • CTR cathode ray tube
  • LCD liquid crystal
  • touch screen receives instructions through the bus 1805 to render a graphic on the screen of the display.
  • Input device 1806 can include any suitable means, such as a keyboard, mouse, track recognizer, voice recognition interface, etc., for receiving user input, and generating control inputs for transmission to the processor or other components via bus 1805.
  • the display of device 180 has a touch screen, the display is also an input device.
  • the processor 1801 and the memory 1803 can also be integrated into a physical module to which the embodiment of the present invention is applied, on which the program implementing the embodiment of the present invention is stored and executed.
  • bus 1805 which may include, in addition to the data bus, a power bus, a control bus, a status signal bus, and the like. However, for clarity of description, various buses are labeled as bus 1805 in the figure. In the embodiment of the present invention, each unit of the device 180 performs the following contents respectively.
  • Display 1804 receives instructions from processor 1801 to display a graphical user interface on the display of the display.
  • the processor 1801 is configured to: when the composite information is composite format information, parse the composite format information to obtain the media information and the text information, and the display 1802 displays the media information and the text information.
  • the processor 1801 is further configured to: when the composite information is a combination of the media information and the text information identifier, parse the obtained text information identifier, instruct the server interface 1802 to send a query request to the server, and request the server to query the data association table to obtain the location.
  • the text information identifies the corresponding text information, and the display 1802 displays the media information and the text information received from the server interface.
  • the processor 1801 is further configured to: when the composite information is a combination of the media information identifier, the text content identifier, and the keyword identifier, parse and obtain the media information identifier, the text content identifier, and the keyword identifier, and instruct the server interface 1802 to send a query to the server. And the requesting server queries the data association table to obtain the media information corresponding to the media information identifier, the text content corresponding to the text content identifier, and the keyword corresponding to the keyword identifier, and the display 1804 displays the receiving from the server interface. Media information, text content and keywords.
  • the display media information client causes the destination client and the originating client to display the media information and the text information, and implements the display process of the media information, which is not exhaustive.
  • the server receives the media information, parses the media information to obtain corresponding text information, obtains the composite information from the media information and the text information, and sends the composite information to the destination client. And finally, the destination client simultaneously displays the media information and the text information on the display interface, and the communication record can be visually displayed to the user. To avoid the user having to repeatedly click on the media link of all media information in order to view the communication record.
  • the destination client simultaneously displays the media information and the text information, and the user can browse the text information to quickly and intuitively browse the media information content, which can be reduced by using this method. It occupies the storage space and processes of the terminal, reduces the consumption of CPU resources, and improves the efficiency of obtaining media information content. The user experience brought to the user is good, and the practicality is high.
  • Method, device, client, graphic control display method and device for displaying media information in the invention can be applied to instant messaging software of media information such as WeChat and Micha, and the instant messaging software can be installed on a mobile phone, a personal PC, a PAD or the like or a mobile terminal.
  • the disclosed server and method may be implemented in other manners.
  • the server embodiment described above is only illustrative.
  • the division of the unit is only a logical function division.
  • there may be another division manner for example, multiple units or components may be combined or Can be integrated into another system, or some features can be ignored, or not executed.
  • the mutual coupling or direct coupling or communication connection shown or discussed may be an indirect coupling or communication connection through some interface, device or unit, and may be electrical, mechanical or otherwise.
  • the components displayed as units may or may not be physical units, i.e., may be located in one place, or may be distributed over multiple network units. Some or all of the units may be selected according to actual needs to achieve the objectives of the embodiments of the present invention.
  • each functional unit in each embodiment of the present invention may be integrated into one processing unit, or each unit may exist physically separately, or two or more units may be integrated into one unit.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Library & Information Science (AREA)
  • Information Transfer Between Computers (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明实施例公开了一种显示媒体信息的方法和装置,以实现显示媒体信息。所述显示媒体信息的方法包括:接收始发客户端发送的媒体信息请求,所述媒体信息请求中携带媒体信息和目的客户端信息;解析接收到的媒体信息得到媒体信息对应的文本信息;根据媒体信息相关信息、文本信息相关信息进行组合,获得复合信息;根据目的客户端信息向目的客户端发送所述复合信息,使得目的客户端根据所述复合信息获得所述媒体信息和所述文本信息,并显示所述媒体信息和所述文本信息。通过上述技术方案,实现在媒体信息通讯过程中,快速提取媒体信息对应的文本信息,减少了占用终端的存储空间和进程,降低CPU资源的消耗,提高获取媒体信息内容的效率。

Description

显示媒体信息方法、 装置、 客户端, 图形控件显示方法和装置 本申请要求于 2013年 07月 02日提交中国专利局、 申请号为 201310274892.X, 发明名称为 "显示媒体信息方法、 装置、 客户端, 图形 控件显示方法和装置" 的中国专利申请的优先权, 其全部内容通过引用结 合在本申请中。 技术领域
本发明涉及移动互联网领域, 并且更具体地, 涉及显示媒体信息的方 法、 装置、 客户端, 图形控件显示方法和装置。 背景技术
随着移动互联网技术普及和应用, 微信、 米聊等媒体信息通讯软件受 到广大的用户群体的欢迎。 目前, 使用这些社交通讯软件进行媒体信息通 讯过程中, 由于媒体信息只能显示媒体链接, 导致用户浏览即时通讯记录 非常困难。 在群聊了多条媒体信息后, 现有技术显示媒体信息界面示意图 如图 1所示。经过一段时间后, 浏览当时的媒体信息内容时,根本无法确定。 如果想浏览当时的媒体信息内容, 不得不重复点击所有媒体信息的媒体链 接。 利用这种方式来浏览媒体信息内容, 需要占用终端大量的存储空间和 进程, 耗费大量中央处理器(CPU, Central Processing Unit)资源, 影响其他 进程的并行速度, 导致获取媒体信息内容的效率低。 发明内容
有鉴于此, 本发明的目的是提供显示媒体信息方法、 装置、 客户端, 图形控件显示方法和装置, 以实现在媒体信息通讯过程中, 减少占用终端 的存储空间和进程,降低 CPU资源的消耗,提高获取媒体信息内容的效率。
第一方面, 提供了一种显示媒体信息的方法, 包括: 接收始发客户端 发送的媒体信息请求, 所述媒体信息请求中携带媒体信息和目的客户端信 息, 解析接收到的媒体信息得到媒体信息对应的文本信息, 根据所述媒体 信息相关信息、 所述文本信息相关信息进行组合, 获得复合信息, 根据所 述目的客户端信息向目的客户端发送所述复合信息, 使得所述目的客户端 根据所述复合信息获得所述媒体信息和所述文本信息, 并显示所述媒体信 息和所述文本信息。
在第一方面的第一种可能的实现方式中,所述媒体信息相关信息包括媒 体信息或媒体信息标识、 所述文本信息相关信息包括文本信息或文本信息 标识。
结合第一方面或第一方面的第一种可能的实现方式, 在第一方面的第 二种可能的实现方式中, 所述文本信息包括以下至少一种: 媒体信息对应 的文本内容、 文本内容对应的关键字。
结合第一方面或第一方面的第一种可能的实现方式或第一方面的第二 种可能的实现方式, 在第一方面的第三种可能的实现方式中, 所述媒体信 息相关信息为媒体信息, 所述文本信息相关信息为文本信息; 所述媒体信 息相关信息、 所述文本信息相关信息进行组合, 获得复合信息; 具体包括: 将所述媒体信息和所述文本信息合成复合格式信息; 所述向目的客户端发 送所述复合信息具体为向目的客户端发送所述复合格式信息; 所述目的客 户端根据所述复合信息获得所述媒体信息和所述文本信息具体为所述目的 客户端解析所述复合格式信息获得所述媒体信息和所述文本信息。
结合第一方面或第一方面的第一种可能的实现方式或第一方面的第二 种可能的实现方式, 在第一方面的第四种可能的实现方式中, 所述方法还 包括: 根据所述文本信息创建数据关联表, 建立文本信息标识与所述文本 信息的关联关系。
结合第一方面的第四种可能的实现方式, 在第一方面的第五种可能的实 现方式中, 所述媒体信息相关信息为媒体信息, 所述文本信息相关信息为 文本信息标识; 所述根据所述媒体信息相关信息、 所述文本信息相关信息 进行组合, 获得复合信息具体为: 根据所述文本信息查询数据关联表, 获 得所述文本信息对应的文本信息标识, 根据媒体信息和文本信息标识进行 组合, 获得复合信息; 所述目的客户端根据所述复合信息获得所述媒体信 息和所述文本信息具体包括: 所述目的客户端根据所述复合信息获得媒体 信息, 解析所述复合信息中的文本信息标识得到对应的所述文本信息。
结合第一方面的第二种可能的实现方式, 在第一方面的第六种可能的实 现方式中, 所述方法还包括: 根据所述媒体信息、 所述文本内容和所述关 键字创建数据关联表, 分别建立媒体信息标识与所述媒体信息、 文本内容 标识与所述文本内容、 关键字标识与所述关键字的关联关系。
结合第一方面的第六种可能的实现方式, 在第一方面的第七种可能的实 现方式中, 所述媒体信息相关信息为媒体信息标识, 所述文本信息相关信 息为文本信息标识; 所述根据所述媒体信息相关信息、 所述文本信息相关 信息进行组合, 获得复合信息具体为: 根据所述媒体信息和所述文本信息 查询数据关联表, 获得所述媒体信息对应的媒体信息标识、 所述文本内容 对应的文本内容标识和所述关键字对应的关键字标识、 根据媒体信息标识 和文本内容标识和关键字标识进行组合, 获得复合信息; 所述目的客户端 根据所述复合信息获得所述媒体信息和所述文本信息具体包括: 所述目的 客户端解析所述复合信息中的媒体信息标识得到对应的所述媒体信息; 所 述目的客户端解析所述复合信息中的文本内容标识得到对应的所述文本内 容; 所述目的客户端解析所述复合信息中的关键字标识得到对应的所述关 键字。
结合第一方面的第三种可能的实现方式, 在第一方面的第八种可能的实 现方式中, 所述复合格式信息包括音频文件头、 音频码流、 音频扩展字段, 所述音频文件头的保留字段标识音频扩展字段的信息在整个媒体信息的音 频文件中的偏移量, 所述音频扩展字段的信息包括媒体信息对应的文本信 息。
结合第一方面和上述任一种可能的实现方式,在第一方面的第九种可能 的实现方式中, 向始发客户端发送所述文本信息, 所述始发客户端显示所 述媒体信息和所述文本信息。
第二方面, 一种显示媒体信息的方法, 包括: 接收服务器发送的复合信 息, 所述复合信息为服务器根据解析接收到的媒体信息得到文本信息, 并 根据所述媒体信息相关信息、 所述文本信息相关信息进行组合得到; 解析 所述复合信息获得所述媒体信息和所述文本信息; 显示所述媒体信息和所 述文本信息。
在第二方面的第一种可能的实现方式中, 所述文本信息包括以下至少一 种: 媒体信息对应的文本内容、 文本内容对应的关键字。
结合第二方面的实现方式, 在第二方面的第二种可能的实现方式中, 所 述媒体信息相关信息为媒体信息, 所述文本信息相关信息为文本信息标识; 所述解析所述复合信息获得所述媒体信息和所述文本信息具体为: 解析所 述复合信息中的文本信息标识得到对应的所述文本信息。
结合第二方面的第一种可能的实现方式, 在第二方面的第三种可能的实 现方式中, 所述媒体信息相关信息为媒体信息标识, 所述文本信息相关信 息为文本信息标识; 所述解析所述复合信息获得所述媒体信息和所述文本 信息具体为: 解析所述复合信息中的媒体信息标识得到对应的所述媒体信 息; 解析所述复合信息中的文本内容标识得到对应的所述文本内容; 解析 所述复合信息中的关键字标识得到对应的所述关键字。
在第二方面的第四种可能的实现方式中, 所述复合信息为复合格式信 息, 所述复合格式信息包括音频文件头、 音频码流、 音频扩展字段; 所述 音频文件头的保留字段标识音频扩展字段的信息在整个媒体信息的音频文 件中的偏移量; 所述音频扩展字段的信息包括媒体信息对应的文本信息。
在第二方面的第五种可能的实现方式中, 所述显示所述媒体信息和所述 文本信息具体为: 根据切换指令, 显示所述媒体信息, 或显示所述媒体信 息和所述文本信息。
第三方面, 一种图形控件显示的方法, 该方法应用在计算机系统中, 所 述计算机系统包括显示屏幕和应用程序, 其特征在于, 该方法包括: 调用所述应用程序, 在所述显示屏幕上显示所述应用程序界面;
调用所述应用程序中的多个控件功能, 在所述应用程序界面中显示所述多 个控件功能对应的图形控件, 所述图形控件至少包括: 联系人图形控件、 媒体信息图形控件和文本图形控件; 其中, 所述联系人图形控件用于显示 联系人信息, 所述媒体信息图形控件用于播放对应的媒体信息, 所述文本 图形控件用于显示所述媒体信息对应的文本信息。
在第三方面的第一种可能的实现方式中, 所述文本图形控件还包括文本 内容图形控件和 /或关键字图形控件, 所述文本内容图形控件用于显示所述 媒体信息对应的文本内容, 所述关键字图形控件用于显示所述媒体信息对 应的文本内容对应的关键字。
结合第三方面和第三方面的第一种可能的实现方式, 在第三方面的第二 种可能的实现方式中, 该方法包括: 接收切换指令, 根据所述切换指令在 所述应用程序界面中显示媒体信息图形控件, 与在所述应用程序界面中显 示媒体信息图形控件和文本图形控件之间进行切换。
在第三方面的第三种可能的实现方式中, 该方法包括: 在所述应用程序 界面中显示切换功能图形控件, 所述切换功能图形控件用于接收所述切换 指令。 第四方面, 一种显示媒体信息的装置, 其特征在于, 包括交互单元、 识别单元和合成单元: 所述交互单元, 接收始发客户端发送的媒体信息请 求, 所述媒体信息请求中携带媒体信息和目的客户端信息, 还根据所述媒 体信息请求中携带的目的客户端信息向目的客户端发送复合信息; 所述识 别单元, 解析接收到的所述媒体信息请求中携带的媒体信息得到媒体信息 对应的文本信息; 所述合成单元, 根据所述媒体信息相关信息、 所述文本 信息相关信息进行组合, 获得复合信息。
在第四方面的第一种可能的实现方式中, 所述复合信息具体为复合格 式信息, 所述合成单元还将所述媒体信息和所述文本信息合成复合格式信 息。
在第四方面的第二种可能的实现方式中, 所述装置还包括处理单元和 存储单元: 所述处理单元, 创建数据关联表, 建立文本信息标识与所述文 本信息的关联关系; 所述交互单元, 还接收客户端发送的查询文本信息标 识请求; 所述存储单元, 存储文本信息标识与所述文本信息的关联关系的 数据关联表; 所述交互单元, 还向始发客户端和目的客户端发送文本信息。
在第四方面的第三种可能的实现方式中, 所述装置还包括处理单元和存 储单元: 所述处理单元, 还创建数据关联表, 建立媒体信息标识与所述媒 体信息、 文本内容标识与所述文本内容、 关键字标识与所述关键字的关联 关系; 所述交互单元, 还接收客户端发送的查询媒体信息标识、 文本内容 标识、 关键字标识请求; 所述存储单元, 存储媒体信息标识与所述媒体信 息、 文本内容标识与所述文本内容、 关键字标识与所述关键字的关联关系 的数据关联表; 所述交互单元, 还向始发客户端和目的客户端发送媒体信 息、 文本内容和关键字。
第五方面, 一种显示媒体信息的客户端, 其特征在于, 包括交互单元、 解析单元和显示单元: 所述交互单元, 接收服务器发送的复合信息, 所述 复合信息为服务器根据解析接收到的媒体信息得到文本信息, 并根据所述 媒体信息相关和所述文本信息相关得到; 所述解析单元, 解析所述复合信 息获得所述媒体信息和所述文本信息; 所述显示单元, 显示所述媒体信息 和所述文本信息。
在第五方面的第一种可能的实现方式中, 所述交互单元, 还向服务器发 送查询请求, 请求服务器查询文本信息标识对应的文本信息; 所述交互单 元, 还接收服务器发送的文本信息。
在第五方面的第二种可能的实现方式中, 所述交互单元, 还向服务器发 送查询请求, 请求服务器查询媒体信息标识对应的媒体信息、 文本内容标 识对应的文本内容、 关键字标识对应的关键字信息; 所述交互单元, 还接 收服务器发送的媒体信息、 文本内容、 关键字。
第六方面, 一种图形控件显示的装置, 所述装置包括显示屏幕, 其特征 在于, 所述装置还包括控制单元、 控件功能单元、 显示单元: 所述控制单 元用于调用应用程序, 指令显示单元在所述显示屏幕上显示所述应用程序 界面; 所述控件功能单元用于调用所述应用程序中的多个控件功能, 指令 显示单元在所述应用程序界面中显示所述多个控件功能对应的图形控件, 所述图形控件至少包括: 联系人图形控件、 媒体信息图形控件和文本图形 控件; 其中, 所述联系人图形控件用于显示联系人信息, 所述媒体信息图 形控件用于播放对应的媒体信息, 所述文本图形控件用于显示所述媒体信 息对应的文本信息; 所述显示单元用于在所述显示屏幕上显示所述应用程 序界面, 并在所述应用程序界面中显示所述多个控件功能对应的图形控件, 所述图形控件至少包括: 联系人图形控件、 媒体信息图形控件和文本图形 控件。
在第六方面的第一种可能实现的方式中, 所述装置还包括控件切换单 元, 所述控件切换单元用于指令所述显示单元在所述应用程序界面中显示 媒体信息图形控件, 与在所述应用程序界面中显示媒体信息图形控件和文 本图形控件之间进行切换; 所述显示单元还用于根据所述控件切换单元的 指令, 在所述应用程序界面中显示媒体信息图形控件, 或者在所述应用程 序界面中显示媒体信息图形控件和文本图形控件。
在第六方面的第二种可能实现的方式中, 所述显示单元还用于在所述应 用程序界面中显示所述控件切换单元对应的切换功能图形控件, 所述切换 功能图形控件用于接收切换指令, 并根据所述切换指令指示显示单元在所 述应用程序界面中显示媒体信息图形控件, 或者在所述应用程序界面中显 示媒体信息图形控件和文本图形控件。
第七方面, 一种显示媒体信息的方法, 包括: 接收媒体信息请求, 所述 媒体信息请求中携带媒体信息; 解析接收到的媒体信息得到媒体信息对应 的文本信息; 显示所述媒体信息和所述文本信息。
在第七方面的第一种可能的实现方式中, 所述方法还包括: 根据切换指 令, 显示所述媒体信息或者显示媒体信息和文本信息。
第八方面, 一种显示媒体信息的装置, 包括交互单元、 识别单元和显示 单元: 所述交互单元, 用于接收媒体信息请求, 所述媒体信息请求中携带 媒体信息; 所述识别单元, 用于解析接收到的媒体信息得到媒体信息对应 的文本信息; 所述显示单元, 用于显示所述媒体信息和所述文本信息。
在第八方面的第一种可能的实现方式中, 所述交互单元, 还用于接收切 换指令, 指令显示单元显示媒体信息, 或显示媒体信息和文本信息。
通过上述技术方案, 在客户端显示媒体信息和文本信息的特征, 例如服 务器对媒体信息相关信息和文本信息相关信息进行组合, 获得复合信息, 客户端接收所述复合信息, 并显示媒体信息和文本信息, 使得快速提取媒 体信息对应的文本信息, 提高获取媒体信息内容的效率。 附图说明
为了更清楚地说明本发明实施例的技术方案, 下面将对本发明实施例 中所需要使用的附图作筒单地介绍, 显而易见地, 下面所描述的附图仅仅 是本发明的一些实施例, 对于本领域普通技术人员来讲, 在不付出创造性 劳动的前提下, 还可以根据这些附图获得其他的附图。
图 1为现有技术显示媒体信息界面示意图;
图 2为本发明实施例的显示媒体信息的方法流程示意图;
图 3为本发明又一实施例的语音信息显示的方法流程示意图; 图 4为本发明实施例复合格式信息的结构示意图;
图 5为本发明另一实施例复合格式信息示例图;
图 6A为本发明实施例语音信息显示界面示意图;
图 6B为本发明实施例语音信息显示界面示意图;
图 7为本发明另一种实施例的语音信息显示的方法流程示意图; 图 8为本发明另一种实施例的语音信息显示的方法流程示意图; 图 9为本发明另一实施例的显示媒体信息的方法流程示意图; 图 10为本发明实施例的显示媒体信息的装置 100示意图;
图 11为本发明另一个实施例的显示媒体信息的装置 100示意图; 图 12为本发明另一个实施例的显示媒体信息的客户端 120示意图; 图 13为本发明实施例的图形控件显示的方法示意图;
图 14 A为本发明实施例的图形控件显示的装置 140示意图;
图 14B为本发明另一实施例的图形控件显示的装置 140示意图
图 15为本发明实施例的一种媒体信息界面显示的示意图;
图 16为本发明另一个实施例的显示媒体信息的装置 160示意图; 图 17为本发明另一实施例的显示媒体信息的装置 170示意框图; 图 18为本发明另一实施例的显示媒体信息的装置 180示意框图。 具体实施方式
下面将结合本发明实施例中的附图, 对本发明实施例中的技术方案进 行清楚、 完整地描述, 显然, 所描述的实施例是本发明的一部分实施例, 而不是全部实施例。 基于本发明中的实施例, 本领域普通技术人员在没有 做出创造性劳动的前提下所获得的所有其他实施例, 都应属于本发明保护 的范围。
目前, 用户使用社交通讯软件进行媒体信息通讯过程中, 由于媒体信 息只能显示媒体链接, 所有用户使用该方法通讯时, 浏览通讯记录非常困 难、 用户体验^艮差, 用户浏览当时的媒体信息内容, 只能点击所有媒体信 息的媒体链接, 重新听每条媒体信息。 利用这种方式来浏览媒体信息内容, 需要占用终端大量的存储空间和进程, 耗费大量 CPU资源, 影响其他进程 的并行速度, 导致获取媒体信息内容的效率低。 本发明实施例提供了一种 方法可以直观显示媒体信息, 使得快速提取媒体信息对应的文本信息, 提 高获取媒体信息内容的效率。
图 2为本发明实施例的显示媒体信息的方法流程示意图, 显示媒体信 息的方法实施例包括步骤:
S201 , 服务器接收始发客户端发送的媒体信息请求, 所述媒体信息请 求中携带媒体信息和目的客户端信息。
所述媒体信息请求包括预先录制好的媒体信息和目的客户端信息。 所述媒体信息可以为音频信息、 视频信息等。
所述始发客户端可以预先录制好一段发送给目的客户端的媒体信息, 需要发送给目的客户端时, 向服务器发送媒体信息请求, 所述媒体信息请 求中携带媒体信息和目的客户端信息。
所述目的客户端信息具体可以为客户端号码、 地址、 手机号、 昵称等。
5202, 服务器解析接收到的媒体信息得到媒体信息对应的文本信息。 所述服务器解析接收的媒体信息请求中携带的媒体信息得到媒体信息 对应的文本信息, 所述服务器对媒体信息进行解析具体为根据媒体信息进 行媒体识别得到媒体信息对应的文本内容。
服务器还可以根据识别出的媒体信息对应的文本内容, 确定文本内容 对应的关键字, 例如标签, 媒体信息对应的其他特征信息。 所述媒体信息 对应的其他特征信息可以为 "愤怒" , "开心" , "沮丧" , "着急" , "惊喜" 等, 用于描述用户的心情。 根据语音信息对应的其他特征信息, 可以根据描述用户的心情的词语, 识别用户心情的表情。 此特征可以作为 一个可选信息显示项在客户端上显示。 媒体信息对应的其他特征信息是可 以替换, 更改的, 本发明实施例对此不作具体限定。
服务器对媒体信息完成解析后, 可以得到媒体信息对应的文本信息, 例如媒体信息对应的文本内容, 文本内容对应的关键字。
在本发明实施例中, 所述文本信息可以包括: 文本内容, 或者关键字, 或者文本内容和关键字; 关键字可以包括: 标签, 或者媒体信息对应的其 他特征信息, 或者标签和媒体信息对应的其他特征信息; 标签为对文本内 容筒短的概括; 媒体信息对应的其他特征信息具体可以为: 服务器通过媒 体信息的媒体、 语速、 语调、 语义分析出用户的心情, 如 "愤怒" , "开 心" , "沮丧" , "着急" , "惊喜" 等特征, 此特征可以作为一个可选 信息显示项在客户端上显示。 媒体信息对应的其他特征信息是可以替换, 更改的, 本发明实施例对此不作具体限定。
举例说明, 媒体信息对应的文本内容: "明天过节, 我请大家一起吃 饭吧"
文本内容对应的标签: "请吃饭"
媒体信息对应的其他特征信息: "开心"
5203 , 服务器根据媒体信息相关信息、 文本信息相关信息进行组合, 获得复合信息。
所述媒体信息相关信息包括媒体信息或媒体信息标识、所述文本信息相 关信息包括文本信息或文本信息标识。 在本发明另一实施例中, 所述根据所述媒体信息相关信息、 所述文本信 息相关信息进行组合, 获得复合信息, 具体可以为: 当所述媒体信息相关 信息为媒体信息, 所述文本信息相关信息为文本信息时, 将所述媒体信息 和所述文本信息合成复合格式信息。
在本发明另一实施例中, 所述根据所述媒体信息相关信息、 所述文本信 息相关信息进行组合, 获得复合信息, 具体可以为: 根据所述文本信息创 建数据关联表, 建立文本信息标识与所述文本信息的关联关系, 当所述媒 体信息相关信息为媒体信息, 所述文本信息相关信息为文本信息标识时, 根据所述文本信息查询数据关联表, 获得所述文本信息对应的文本信息标 识, 根据媒体信息和文本信息标识进行组合, 获得复合信息。
在本发明另一实施例中, 所述根据所述媒体信息相关信息、 所述文本信 息相关信息进行组合, 获得复合信息, 具体可以为: 根据所述媒体信息、 所述文本内容和所述关键字创建数据关联表, 分别建立媒体信息标识与所 述媒体信息、 文本内容标识与所述文本内容、 关键字标识与所述关键字的 关联关系, 当所述媒体信息相关信息为媒体信息标识, 所述文本信息相关 信息为文本信息标识, 根据所述媒体信息和所述文本信息查询数据关联表, 获得所述媒体信息对应的媒体信息标识、 所述文本内容对应的文本内容标 识和所述关键字对应的关键字标识, 根据媒体信息标识、 文本内容标识、 关键字标识进行组合, 获得复合信息。
S204,根据所述目的客户端信息向目的客户端发送所述复合信息,使得 所述目的客户端根据所述复合信息获得所述媒体信息和所述文本信息, 并 显示所述媒体信息和所述文本信息。
所述服务器根据所述媒体信息请求中携带的目的客户端信息识别目的 客户端, 并向目的客户端发送复合信息。
在本发明实施例中, 所述服务器还可以向始发客户端发送媒体信息对 应的文本信息, 使得始发客户端显示所述文本信息。
所述文本信息可以包括包括: 文本内容, 或者关键字, 或者文本内容 和关键字。
在本发明实施例中, 所述客户端可以安装在手机、 个人计算机 (PC , Personal Computer), 平板电脑 PAD等终端或者移动终端上。
在本发明另一实施例中, 始发客户端或目的客户端在显示信息时, 客 户端可以根据界面显示情况或者媒体信息相关内容或者用户需求, 通过菜 单设定或者切换, 动态处理信息界面显示项, 以显示更多的相关信息。 界 面信息显示项包括但不限于媒体信息、 媒体信息对应的文本内容、 文本内 容对应的标签、 媒体信息对应的其他特征信息、 文本内容对应的用户表情、 媒体信息发送时间、 媒体信息接收时间、 媒体信息长度、 媒体信息发送方 号码或地址、 媒体信息接收方号码或地址、 媒体信息对应的其他特征信息 等。 在所述界面上, 除显示信息显示项之外, 还可以显示切换功能控件, 所述切换功能控件可以用来切换显示媒体信息、 媒体信息和媒体信息对应 的文本信息, 根据用户操作, 在界面上显示媒体信息或显示媒体信息和媒 体信息对应的文本信息。
本发明显示媒体信息的方法实施例中, 服务器接收媒体信息, 解析媒 体信息得到对应的文本信息, 将所述媒体信息和所述文本信息获得复合信 息, 将所述复合信息发送给目的客户端, 并最终实现目的客户端同时在显 示界面显示所述媒体信息和所述文本信息, 可以将通讯记录直观展示给用 户。 避免用户为了浏览通讯记录, 不得不重复点击所有媒体信息的媒体链 接。 通过本发明实施例显示媒体信息的方法, 实现目的客户端同时显示所 述媒体信息和所述文本信息, 用户可以通过浏览所述文本信息, 快速直观 地浏览媒体信息内容, 利用这种方式可以减少占用终端的存储空间和进程, 降低 CPU资源的消耗, 提高获取媒体信息内容的效率。 给用户带来的用户 体验好, 而且实用性高。
本发明实施例中, 媒体信息包括音频信息、 视频信息等。 在下面的实 施例中, 以音频信息为例进行说明。
图 3 为本发明又一实施例的语音信息显示的方法流程示意图, 语音信 息显示的方法实施例包括步骤:
S301 , 始发客户端向服务器发送语音信息请求。
所述语音信息请求包括预先录制好的语音信息和目的客户端信息。 始发客户端可以预先录制好一段发送给目的客户端的语音信息, 需要 发送给目的客户端时, 向服务器发送语音信息请求, 所述语音信息请求中 携带语音信息和目的客户端信息。
所述目的客户端信息具体可以为客户端号码、 地址、 手机号, 昵称等。 5302, 服务器解析语音信息请求, 合成复合格式信息。
所述服务器解析接收的语音信息请求中携带的语音信息得到语音信息 对应的文本信息, 所述服务器对语音信息进行解析具体为根据语音信息进 行语音识别得到语音信息对应的文本内容。
服务器还可以根据识别出的语音信息对应的文本内容, 确定文本内容 对应的关键字, 例如标签, 语音信息对应的其他特征信息。 所述语音信息 对应的其他特征信息可以为 "愤怒" , "开心" , "沮丧" , "着急" , "惊喜" 等, 用于描述用户的心情。 根据语音信息对应的其他特征信息, 可以根据描述用户的心情的词语, 识别用户心情的表情。 此特征可以作为 一个可选信息显示项在客户端上显示。 媒体信息对应的其他特征信息是可 以替换, 更改的, 本发明实施例对此不作具体限定。
服务器对语音信息完成解析后, 可以得到语音信息对应的文本信息, 例如语音信息对应的文本内容, 文本内容对应的关键字。
服务器还可以将所述语音信息和所述文本信息合成复合格式信息。 在本发明实施例中, 所述文本信息可以包括: 文本内容, 或者关键字, 或者文本内容和关键字; 关键字可以包括: 标签, 或者语音信息对应的其 他特征信息, 或者标签和语音信息对应的其他特征信息; 标签为对文本内 容筒短的概括; 语音信息对应的其他特征信息具体可以为: 服务器通过语 音信息的语音、 语速、 语调、 语义分析出用户的心情, 如 "愤怒" , "开 心" , "沮丧" , "着急" 等特征, 此特征可以作为一个可选信息显示项 在客户端上显示。 语音信息对应的其他特征信息是可以替换, 更改的, 本 发明实施例对此不作具体限定。
举例说明, 语音信息对应的文本内容: "明天过节, 我请大家一起吃 饭吧"
文本内容对应的标签: "请吃饭"
语音信息对应的其他特征信息: "开心"
5303 , 服务器向始发客户端发送所述文本信息。
5304, 服务器向所述目的客户端发送所述复合格式信息。
所述服务器根据语音信息请求中携带的目的客户端信息识别目的客户 端, 并向目的客户端发送复合格式信息。
5305 , 始发客户端显示所述语音信息和文本信息。 所述始发客户端接收服务器发送的语音信息对应的文本信息, 显示所 述语音信息和文本信息。 所述文本信息可以包括文本内容, 或者关键字, 或者文本内容和关键字。 关键字可以包括标签, 或者语音信息对应的其他 特征信息, 或者标签和语音信息对应的其他特征信息。
S306, 目的客户端显示获得的所述语音信息和所述文本信息。
所述目的客户端接收服务器发送的复合格式信息, 解析复合格式信息 获得所述语音信息和所述文本信息, 并显示获得的语音信息和所述文本信 息。
所述目的客户端对接收的所述复合格式信息进行解析, 获得所述语音 信息和语音信息对应的所述文本信息。 语音信息对应的文本信息可以包括: 文本内容, 或者关键字, 或者文本内容和关键字。
在本发明实施例中, 所述始发客户端和目的客户端可以安装在手机、 个人 PC机、 PAD等终端或者移动终端上。
在本发明另一实施例中, 始发客户端或目的客户端在显示信息时, 客 户端可以根据界面显示情况或者媒体信息相关内容或者用户需求, 通过菜 单设定或者切换, 动态处理信息界面显示项, 以显示更多的相关信息。 界 面信息显示项包括但不限于媒体信息、 媒体信息对应的文本内容、 文本内 容对应的标签、 媒体信息对应的其他特征信息、 文本内容对应的用户表情、 媒体信息发送时间、 媒体信息接收时间、 媒体信息长度、 媒体信息发送方 号码或地址、 媒体信息接收方号码或地址、 媒体信息对应的其他特征信息 等。 在所述界面上, 除显示信息显示项之外, 还可以显示切换功能控件, 所述切换功能控件可以用来切换显示媒体信息、 媒体信息和媒体信息对应 的文本信息, 根据用户操作, 在界面上显示媒体信息或显示媒体信息和媒 体信息对应的文本信息。
在本发明另一实施例中, 所述服务器将语音信息、 语音信息对应的文 本信息合成复合格式信息, 所述服务器合成复合格式信息和客户端解析复 合格式信息的方式可以有多种方式, 下面以两种方式为例:
方式一: 服务器合成的复合格式信息包括 401 带有保留字段的音频文 件头、 402音频码流、 403音频扩展字段。
如图 4所示为本发明实施例复合格式信息的结构示意图。 所述带有保 留字段的音频文件头用来标识音频扩展字段在复合格式信息中的偏移量, 所述音频码流为语音信息, 所述音频扩展字段可以包括语音信息对应的文 本信息等。 语音信息对应的文本信息可以包括文本内容, 或者关键字, 或 者文本内容和关键字。 关键字可以包括标签, 或者语音信息对应的其他特 征信息, 或者标签和语音信息对应的其他特征信息。
服务器根据音频扩展字段在复合格式信息中的偏移量对复合格式信息 的音频文件头中 Reserved保留字段赋值。 复合格式信息的音频文件头中 Reserved保留字段的长度可以根据音频码流的特征和音频扩展字段里的文 本信息的特征等来设置。
客户端接收复合格式信息, 扫描复合格式信息的音频文件头, 读取音 频文件头中 Reserved保留字段信息, 获取音频扩展字段在复合格式信息中 的偏移量; 客户端根据获取音频扩展字段在复合格式信息中的偏移量, 读 取音频扩展字段的信息。 所述音频扩展字段可以包括语音信息对应的文本 信息等。
方式二: 图 5所示为本发明另一实施例复合格式信息示例图, 服务器 合成的复合格式信息由描述文件和语音信息一起打包压缩成一个压缩文 件。 所述描述文件可以包括语音信息的文件名、 语音信息对应的文本信息 等。 语音信息对应的文本信息可以包括文本内容, 或者关键字, 或者文本 内容和关键字。 关键字可以包括标签, 或者语音信息对应的其他特征信息, 或者标签和语音信息对应的其他特征信息。
压缩文件具体为: 服务器将. xml格式的描述文件、 .wav格式的语音信 息压缩成. zip格式的压缩文件。
客户端接收服务器发送的. zip格式的压缩文件后, 解析复合格式信息。 解析复合格式信息具体为:客户端将压缩文件解压后,读取"描述. xml" 的描述文件的内容:读取 sound节点获取语音信息的文件名,读取 text节点 获取语音信息对应的文本内容, 读取 tag节点获取文本内容对应的关键字, 读取 other节点获取语音信息对应的其他特征信息。
在本发明实施例中, 目的客户端解析复合格式信息后, 将语音信息、 语音信息对应文本信息同时在目的客户端显示, 语音信息对应的文本信息 可以包括文本内容, 或者关键字, 或者文本内容和关键字。 关键字可以包 括标签, 或者语音信息对应的其他特征信息, 或者标签和语音信息对应的 其他特征信息。 如图 6A所示为本发明实施例终端显示语音信息界面的示意图,在所述 终端显示界面中将接收到的语音信息和所述语音信息对应的文本信息同时 显示。 显示所述文本信息可以包括以下至少一种: 语音信息对应的文本内 容, 文本内容对应的标签, 语音信息发送时间, 语音信息接收时间, 语音 信息长度, 语音信息发送方信息, 语音信息接收方信息, 语音信息对应的 其他特征信息显示在终端上的效果。
如图 6A所示的显示界面, 显示给用户的信息包括了: 语音信息, 语音 信息对应的文本内容, 所述文本内容对应的标签、 以及语音信息对应的其 他特征。 其中, 601语音信息对应的文本内容: "明天过节, 我请大家一起 吃饭吧" , 602文本内容对应的标签: "请吃饭" , 603语音信息对应的 其他特征信息: "开心" 。
可选的,如图 6B所示为本发明另一实施例终端显示语音信息界面的示 意图可以在所述显示界面中设置切换功能控件 6B1 , 可以根据用户操作, 在界面显示媒体信息或显示媒体信息和媒体信息对应的文本信息。 显示所 述文本信息可以包括以下至少一种: 语音信息对应的文本内容, 文本内容 对应的标签, 语音信息发送时间, 语音信息接收时间, 语音信息长度, 语 音信息发送方信息, 语音信息接收方信息, 语音信息对应的其他特征信息 显示在终端上的效果。
如图 6B所示的显示界面, 显示界面中设置切换功能控件 6B1 , 显示给 用户的信息包括了: 语音信息, 语音信息对应的文本内容, 所述文本内容 对应的标签、 以及语音信息对应的其他特征。 其中, 601语音信息对应的文 本内容: "明天过节, 我请大家一起吃饭吧" , 602文本内容对应的标签: "请吃饭" , 603语音信息对应的其他特征信息: "开心" , 根据用户操 作, 点击切换功能控件, 可以将媒体信息、 媒体信息和媒体信息对应文本 信息显示在界面上。
本发明语音信息显示的方法实施例中, 服务器接收语音信息, 解析语 音信息得到对应的文本信息, 将所述语音信息和所述文本信息获得复合格 式信息, 将所述复合格式信息发送给目的客户端, 并最终实现目的客户端 同时在显示界面显示所述语音信息和所述文本信息, 可以将通讯记录直观 展示给用户。 避免用户为了浏览通讯记录, 不得不重复点击所有语音信息 的语音链接。 通过本发明实施例显示语音信息的方法, 实现目的客户端同 时显示所述语音信息和所述文本信息, 用户可以通过浏览所述文本信息, 快速直观地浏览语音信息内容, 利用这种方式可以减少占用终端的存储空 间和进程, 降低 CPU资源的消耗, 提高获取语音信息内容的效率。 给用户 带来的用户体验好, 而且实用性高。
图 7是本发明另一种实施例的语音信息显示的方法流程示意图, 语音 信息显示的方法实施例包括步骤:
5701 , 始发客户端向服务器发送语音信息请求。
所述语音信息请求包括预先录制好的语音信息和目的客户端信息。 始发客户端可以预先录制好一段发送给目的客户端的语音信息, 需要 发送给目的客户端时, 向服务器发送语音信息请求, 所述语音信息请求中 携带语音信息和目的客户端信息。
所述目的客户端信息具体可以为客户端号码、 地址、 手机号, 昵称等。
5702, 服务器解析所述语音信息请求, 创建数据关联表。
所述服务器解析接收的语音信息请求中携带的语音信息得到语音信息 对应的文本信息, 所述服务器对语音信息进行解析具体为根据语音信息进 行语音识别得到语音信息对应的文本内容。
服务器还可以根据识别出的语音信息对应的文本内容, 确定文本内容 对应的关键字, 例如标签、 语音信息对应的其他特征信息。 所述语音信息 对应的其他特征信息可以为 "愤怒" , "开心" , "沮丧" , "着急" 等, 用于描述用户的心情。 根据语音信息对应的其他特征信息, 可以根据描述 用户的心情的词语, 识别用户心情的表情。 此特征可以作为一个可选信息 显示项在客户端上显示。 媒体信息对应的其他特征信息是可以替换, 更改 的, 本发明实施例对此不作具体限定。
服务器对语音信息完成解析后, 可以得到语音信息对应的文本信息, 例如语音信息对应的文本内容, 文本内容对应的关键字。
服务器还可以创建数据关联表,建立文本信息标识 (ID)与文本信息的关 联关系。 如表 1的文本信息 ID与文本信息的关联表所示, 可以根据文本信 息 ID号 00000001查找文本信息 ID与文本信息的关联表可以得到对应的文 本信息, 包括语音信息对应的文本内容是 "明天过节, 我请大家一起吃饭 吧" , 文本内容对应的标签是 "请吃饭" , 语音信息对应的特征信息时 "开 心; 可以根据文本信息 ID号 00000002查找文本信息 ID与文本信息的关联 表可以得到对应的文本信息, 包括语音信息对应的文本内容是 "好呀, 去 哪里吃? " , 文本内容对应的标签是 "哪里吃? " , 语音信息对应的特征 信息时 "惊喜,, ; 可以根据文本信息 ID号 00000003查找文本信息 ID与 文本信息的关联表可以得到对应的文本信息, 包括语音信息对应的文本内 容是 "随便啊, 你定哈! " , 文本内容对应的标签是 "随便" , 语音信息 对应的特征信息时 "高兴,, ; 可以根据文本信息 ID号 00000004查找文本 信息 ID与文本信息的关联表可以得到对应的文本信息, 包括语音信息对应 的文本内容是 "是不是听者有人啊? 求蹭饭!!! " , 文本内容对应的标签 是 "蹭饭" , 语音信息对应的特征信息是 "空" 。
Figure imgf000019_0001
表 1
在本发明实施例中, 所述文本信息可以包括: 文本内容, 或者关键字, 或者文本内容和关键字; 关键字可以包括: 标签, 或者语音信息对应的其 他特征信息, 或者标签和语音信息对应的其他特征信息; 标签为对文本内 容筒短的概括; 语音信息对应的其他特征信息具体可以为: 服务器通过语 音信息的语音、 语速、 语调、 语义分析出用户的心情, 如 "愤怒" , "开 心" , "沮丧" , "着急" 等特征, 此特征可以作为一个可选信息显示项 在客户端上显示。 语音信息对应的其他特征信息是可以替换, 更改的, 本 发明实施例对此不作具体限定。
举例说明, 语音信息对应的文本内容: "明天过节, 我请大家一起吃 饭吧" 文本内容对应的标签: "请吃饭"
语音信息对应的其他特征信息: "开心"
5703 , 服务器向始发客户端发送所述文本信息。
5704, 服务器向目的客户端发送所述语音信息和所述文本信息 ID。 所述服务器根据语音信息请求中携带的目的客户端信息识别目的客户 端, 并向目的客户端发送语音信息和文本信息 ID。
5705 , 始发客户端显示所述语音信息和文本信息。
所述始发客户端接收服务器发送的语音信息对应的文本信息, 显示所 述语音信息和文本信息。
5706, 目的客户端向服务器发送查找与文本信息 ID对应的文本信息的 请求。
目的客户端接收服务器发送的所述语音信息和所述文本信息 ID , 向服 务器发送查找与文本信息 ID对应的文本信息的请求。
5707, 服务器查找与文本信息 ID对应的文本信息。
表 1为文本信息 ID与文本信息对应的数据关联表, 如表 1所示, 所述 服务器查找与文本信息 ID对应的文本信息具体为: 服务器根据接收的文本 信息 ID ,在服务器本地查找数据关联表,查找文本信息 ID与语音信息对应 的文本信息的关联关系, 提取语音信息对应的文本信息。
5708, 服务器向目的客户端发送文本信息。
所述服务器向目的客户端发送提取的语音信息对应的文本信息。
5709, 目的客户端显示获得的所述语音信息和所述文本信息。
所述目的客户端接收服务器发送的提取的所述文本信息, 显示获得的 语音信息和文本信息。 所述文本信息可以包括: 文本内容, 或者关键字, 或者文本内容和关键字。
在本发明实施例中, 所述始发客户端和目的客户端可以安装在手机、 个人 PC机、 PAD等终端或者移动终端上。
在本发明另一实施例中, 始发客户端或目的客户端在显示信息时, 客 户端可以根据界面显示情况或者媒体信息相关内容或者用户需求, 通过菜 单设定或者切换, 动态处理信息界面显示项, 以显示更多的相关信息。 界 面信息显示项包括但不限于媒体信息、 媒体信息对应的文本内容、 文本内 容对应的标签、 媒体信息对应的其他特征信息、 文本内容对应的用户表情、 媒体信息发送时间、 媒体信息接收时间、 媒体信息长度、 媒体信息发送方 号码或地址、 媒体信息接收方号码或地址、 媒体信息对应的其他特征信息 等。 在所述界面上, 除显示信息显示项之外, 还可以显示切换功能控件, 所述切换功能控件可以用来切换显示媒体信息、 媒体信息和媒体信息对应 的文本信息, 根据用户操作, 在界面上显示媒体信息或显示媒体信息和媒 体信息对应的文本信息。
本发明语音信息显示的方法实施例中, 服务器接收语音信息, 解析语 音信息得到对应的文本信息, 建立文本信息 ID和文本信息的关联关系, 将 所述语音信息和所述文本信息 ID发送给目的客户端, 并最终实现目的客户 端同时在显示界面显示所述语音信息和所述文本信息, 可以将通讯记录直 观展示给用户。 避免用户为了浏览通讯记录, 不得不重复点击所有语音信 息的语音链接。 通过本发明实施例显示语音信息的方式, 始发客户端迅速 显示所述文本信息, 目的客户端迅速显示所述语音信息, 异步显示所述文 本信息, 实现目的客户端同时显示所述语音信息和所述文本信息, 用户可 以通过浏览语音信息对应的文本信息, 用户可以通过浏览所述文本信息, 快速直观地浏览语音信息内容, 利用这种方式可以减少占用终端的存储空 间和进程, 降低 CPU资源的消耗, 提高获取语音信息内容的效率。 给用户 带来的用户体验好, 而且实用性高。
图 8为本发明另一实施例的语音信息显示的方法流程示意图, 语音信 息显示的方法实施例包括步骤:
5801 , 始发客户端向服务器发送语音信息请求。
所述语音信息请求包括预先录制好的语音信息和目的客户端信息。 始发客户端可以预先录制好一段发送给目的客户端的语音信息, 需要 发送给目的客户端时, 向服务器发送语音信息请求, 所述语音信息请求中 携带语音信息和目的客户端信息。
所述目的客户端信息具体可以为客户端号码、 地址、 手机号, 昵称等。
5802, 服务器解析所述语音信息请求, 创建数据关联表。
所述服务器解析接收的语音信息请求中携带的语音信息得到语音信息 对应的文本信息, 所述服务器对语音信息进行解析具体为根据语音信息进 行语音识别得到语音信息对应的文本内容。 服务器还可以根据识别出的语音信息对应的文本内容, 确定文本内容 对应的关键字, 例如标签、 语音信息对应的其他特征信息。 所述语音信息 对应的其他特征信息可以为 "愤怒", "开心", "沮丧" , "着急", "惊 喜" 等, 用于描述用户的心情。 根据语音信息对应的其他特征信息, 可以 根据描述用户的心情的词语, 识别用户心情的表情。 此特征可以作为一个 可选信息显示项在客户端上显示。 媒体信息对应的其他特征信息是可以替 换, 更改的, 本发明实施例对此不作具体限定。
服务器对语音信息完成解析后, 可以得到语音信息对应的文本信息, 例如语音信息对应的文本内容, 文本内容对应的关键字。
服务器还可以创建数据关联表, 分别建立语音信息 ID与语音信息、 文 本内容 ID与文本内容、 关键字 ID与关键字的关联关系。 本发明对关联表 的形式不做限制, 举例来说关联表可以以下面的表格的形式创建, 语音信 息 ID与语音信息的关联表可参见表 2,文本内容 ID与文本内容的关联表参 见表 3 , 关键字 ID与关键字的关联表参见表 4。 语音信息 ID与语音信息、 文本内容 ID与文本内容、 关键字 ID与关键字的关联表可以在一个表中维 护, 也可以分别独立维护。
Figure imgf000022_0001
表 2
文本内容 ID 文本内容
001 明天过节, 我请大家一起吃饭吧 002 好呀, 去哪里吃?
003 随便啊, 你定哈!
004 是不是听者有份啊? 求蹭饭!!!
表 3
Figure imgf000023_0001
表 4
在本发明实施例中, 所述文本信息可以包括: 文本内容, 或者关键字, 或者文本内容和关键字; 关键字可以包括: 标签, 或者语音信息对应的其 他特征信息, 或者标签和语音信息对应的其他特征信息; 标签为对文本内 容筒短的概括; 语音信息对应的其他特征信息具体可以为: 服务器通过语 音信息的语音、 语速、 语调、 语义分析出用户的心情, 如 "愤怒" , "开 心" , "沮丧" , "着急" 等特征。 此特征可以作为一个可选信息显示项 在客户端上显示。 语音信息对应的其他特征信息是可以替换, 更改的, 本 发明实施例对此不作具体限定。
举例说明, 语音信息对应的文本内容: "明天过节, 我请大家一起吃 饭吧"
文本内容对应的标签: "请吃饭"
语音信息对应的其他特征信息: "开心"
S803 , 服务器向目的客户端发送所述语音信息 ID、 所述文本内容 ID、 所述关键字 ID。
所述服务器根据语音信息请求中携带的目的客户端信息识别目的客户 端, 并向目的客户端发送语音信息 ID、 文本信息 ID、 关键字 ID。
5804, 服务器向始发客户端发送所述语音信息 ID、 所述文本内容 ID、 所述关键字 ID。
可选的, 所述始发客户端由于已经存在语音信息, 为了降低服务器的 负载能力, 避免耗费服务器大量的资源, 服务器可以向始发客户端不发送 语音信息 ID , 只发送所述文本内容 ID、 所述关键字 ID。
可选的, 所述服务器处理信息时, 采用批量打包处理的方式操作, 服 务器可以向始发客户端同时发送所述语音信息 ID、 所述文本内容 ID、 所述 关键字 ID。
5805 , 目的客户端向服务器发送查找语音信息 ID、 文本内容 ID、 关键 字 ID请求。
目的客户端接收服务器发送的所述语音信息 ID、 所述文本内容 ID、 所 述关键字 ID, 向服务器发送查找语音信息 ID、 所述文本内容 ID、 所述关 键字 ID请求。
5806, 始发客户端向服务器发送查找语音信息 ID、 文本内容 ID、 关键 字 ID请求。
可选的, 由于始发客户端向服务器发送查找请求会耗费服务器大量的 资源, 而始发客户端由于已经存在了语音信息, 可以向服务器不发送查找 语音信息 ID请求, 只发送文本内容 ID、 关键字 ID请求。
5807, 服务器查找与语音信息 ID对应的语音信息、 与文本内容 ID对 应的文本内容、 与关键字 ID对应的关键字。
表 2为语音信息 ID与语音信息对应的数据关联表、表 3为文本内容 ID 与文本内容对应的数据关联表、表 4为关键字 ID与关键字对应的数据关联 表, 如表 2、 表 3、 表 4所示, 所述服务器查找与语音信息 ID对应的语音 信息、 与文本内容 ID对应的文本内容、 与关键字 ID对应的关键字具体为: 服务器根据接收的语音信息 ID、 文本内容 ID、 关键字 ID, 在服务器本地 查找数据关联表, 分别查找语音信息 ID与语音信息、 文本内容 ID与文本 内容、 关键字 ID与关键字的关联关系, 提取语音信息、 语音信息对应的文 本内容、 文本内容对应的关键字。 5808 , 服务器分别向目的客户端发送语音信息、 文本内容、 关键字。 服务器向目的客户端发送提取的语音信息和语音信息对应的文本内容 和文本内容对应的关键字。
5809 , 服务器分别向始发客户端发送语音信息、 文本内容、 关键字。 服务器向始发客户端发送提取的语音信息和语音信息对应的文本内容 和文本内容对应的关键字。
5810 , 目的客户端显示获得的所述语音信息、 所述文本内容、 所述关 键字。
所述目的客户端接收服务器发送的提取的所述文本信息, 显示获得的 语音信息、 文本内容、 关键字。 其中, 目的客户端在显示文本内容、 关键 字时, 可以显示其中至少一项。
581 1 , 始发客户端显示获得的所述语音信息、 所述文本内容、 所述关 键字。
所述始发客户端接收服务器发送的提取的所述文本信息, 显示获得的 语音信息、 文本内容、 关键字。 其中, 始发客户端在显示文本内容、 关键 字时, 可以显示其中至少一项。
在本发明另一实施例中, 服务器执行步骤 S803和步骤 S804没有先后 顺序, 可以步骤 S803先执行, 也可以步骤 S804先执行, 也可以同时执行 步骤 S803和步骤 S804。
在本发明另一实施例中, 目的客户端执行步骤 S805和始发客户端执行 步骤 S806没有先后顺序,可以目的客户端先执行步骤 S805 ,也可以始发客 户端先执行步骤 S806, 也可以两个步骤同时执行。
在本发明另一实施例中, 服务器执行步骤 S808和步骤 S809没有先后 顺序, 服务器可以先执行步骤 S808 , 也可以先执行步骤 S809 , 也可以同时 执行。
在本发明实施例中, 所述始发客户端和目的客户端可以安装在手机、 个人 PC机、 PAD等终端或者移动终端上。
在本发明另一实施例中, 始发客户端或目的客户端在显示信息时, 客 户端可以根据界面显示情况或者媒体信息相关内容或者用户需求, 通过菜 单设定或者切换, 动态处理信息界面显示项, 以显示更多的相关信息。 界 面信息显示项包括但不限于媒体信息、 媒体信息对应的文本内容、 文本内 容对应的标签、 媒体信息对应的其他特征信息、 文本内容对应的用户表情、 媒体信息发送时间、 媒体信息接收时间、 媒体信息长度、 媒体信息发送方 号码或地址、 媒体信息接收方号码或地址、 媒体信息对应的其他特征信息 等。 在所述界面上, 除显示信息显示项之外, 还可以显示切换功能控件, 所述切换功能控件可以用来切换显示媒体信息、 媒体信息和媒体信息对应 的文本信息, 根据用户操作, 在界面上显示媒体信息, 或显示媒体信息和 媒体信息对应的文本信息。
本发明语音信息显示的方法实施例中, 服务器接收语音信息, 解析语 音信息得到对应的文本信息, 建立语音信息 ID和语音信息、 文本内容 ID 和文本内容、 关键词 ID和关键词的关联关系, 将所述语音信息 ID、 文本内 容 ID、关键词 ID发送给目的客户端, 并最终实现目的客户端同时在显示界 面显示所述语音信息和所述文本信息, 可以将通讯记录直观展示给用户。 避免用户为了浏览通讯记录, 不得不重复点击所有语音信息的语音链接。 通过本发明实施例显示语音信息的方式, 将承载客户端终端的功能模块筒 单化, 建立语音信息 ID , 文本内容 ID, 关键字 ID和语音信息, 文本内容, 关键字的关联关系。 客户端依据各个 ID向服务器发送查询请求, 异步显示 所述语音信息和所述文本信息, 方便服务器分布式部署及负载均衡。 始发 客户端迅速显示所述文本信息, 目的客户端迅速显示所述语音信息, 异步 显示所述文本信息, 实现目的客户端同时显示所述语音信息和所述文本信 息, 用户可以通过浏览语音信息对应的文本信息, 用户可以通过浏览所述 文本信息, 快速直观地浏览语音信息内容, 利用这种方式可以减少占用终 端的存储空间和进程, 降低 CPU资源的消耗, 提高获取语音信息内容的效 率。 给用户带来的用户体验好, 而且实用性高。
图 9 为本发明另一实施例的显示媒体信息的方法流程示意图, 如图 9 所示, 显示媒体信息的方法实施例包括步骤:
5901 , 接收媒体信息请求, 所述媒体信息请求中携带媒体信息。
所述媒体信息可以为音频信息、 视频信息等。
所述接收媒体信息请求, 所述媒体信息请求中携带媒体信息具体可以 由服务器执行, 也可以由客户端执行。
5902, 解析接收到的媒体信息得到媒体信息对应的文本信息。 所述解析接收的媒体信息得到媒体信息对应的文本信息, 具体为根据 媒体信息进行媒体识别得到媒体信息对应的文本内容。
还可以根据识别出的媒体信息对应的文本内容, 确定文本内容对应的 关键字, 例如标签, 媒体信息对应的其他特征信息。 所述媒体信息对应的 其他特征信息可以为 "愤怒" , "开心" , "沮丧" , "着急" , "惊喜" 等, 用于描述用户的心情。 根据语音信息对应的其他特征信息, 可以根据 描述用户的心情的词语, 识别用户心情的表情。 此特征可以作为一个可选 信息显示项在客户端上显示。 媒体信息对应的其他特征信息是可以替换, 更改的, 本发明实施例对此不作具体限定。
对媒体信息完成解析后, 可以得到媒体信息对应的文本信息, 例如媒 体信息对应的文本内容, 文本内容对应的关键字。
在本发明实施例中, 所述文本信息可以包括: 文本内容, 或者关键字, 或者文本内容和关键字; 关键字可以包括: 标签, 或者媒体信息对应的其 他特征信息, 或者标签和媒体信息对应的其他特征信息; 标签为对文本内 容筒短的概括; 媒体信息对应的其他特征信息具体可以为: 服务器通过媒 体信息的媒体、 语速、 语调、 语义分析出用户的心情, 如 "愤怒" , "开 心" , "沮丧" , "着急" , "惊喜" 等特征, 此特征可以作为一个可选 信息显示项在客户端上显示。 媒体信息对应的其他特征信息是可以替换, 更改的, 本发明实施例对此不作具体限定。
举例说明, 媒体信息对应的文本内容: "明天过节, 我请大家一起吃 饭吧"
文本内容对应的标签: "请吃饭"
媒体信息对应的其他特征信息: "开心"
所述解析接收到的媒体信息得到媒体信息对应的文本信息具体可以由 服务器执行, 也可以由客户端执行。
S903 , 显示所述媒体信息和所述文本信息。
在显示信息时, 客户端可以根据界面显示情况或者媒体信息相关内容或 者用户需求, 通过菜单设定或者切换, 动态处理信息界面显示项, 以显示 更多的相关信息。 界面信息显示项包括但不限于媒体信息、 媒体信息对应 的文本内容、 文本内容对应的标签、 媒体信息对应的其他特征信息、 文本 内容对应的用户表情、 媒体信息发送时间、 媒体信息接收时间、 媒体信息 长度、 媒体信息发送方号码或地址、 媒体信息接收方号码或地址、 媒体信 息对应的其他特征信息等。
可选的,在所述界面上, 除显示信息显示项之外,还可以根据切换指令, 显示所述媒体信息或者显示媒体信息和文本信息。 可以在界面上显示切换 功能控件, 所述切换功能控件可以用来切换媒体信息、 媒体信息和媒体信 息对应的文本信息, 根据用户操作, 在界面上显示媒体信息或显示媒体信 息和媒体信息对应的文本信息。 本发明显示媒体信息的方法实施例中, 服务器接收媒体信息, 解析媒 体信息得到对应的文本信息, 将所述媒体信息和所述文本信息获得复合信 息, 将所述复合信息发送给目的客户端, 并最终实现目的客户端同时在显 示界面显示所述媒体信息和所述文本信息, 可以将通讯记录直观展示给用 户。 避免用户为了浏览通讯记录, 不得不重复点击所有媒体信息的媒体链 接。 通过本发明实施例显示媒体信息的方法, 实现目的客户端同时显示所 述媒体信息和所述文本信息, 用户可以通过浏览所述文本信息, 快速直观 地浏览媒体信息内容, 利用这种方式可以减少占用终端的存储空间和进程, 降低 CPU资源的消耗, 提高获取媒体信息内容的效率。 给用户带来的用户 体验好, 而且实用性高。
图 10为本发明实施例的显示媒体信息的装置 100示意图, 如图 10所 示, 装置 100包括: 交互单元 1001、 识别单元 1002和合成单元 1003。
交互单元 1001接收始发客户端发送的媒体信息请求, 所述媒体信息请 求中携带媒体信息和目的客户端信息, 还用于根据所述媒体信息请求中携 带的目的客户端信息向目的客户端发送复合信息。
识别单元 1002解析接收到的所述媒体信息请求中携带的媒体信息得到 媒体信息对应的文本信息。
合成单元 1003根据所述媒体信息相关信息、 所述文本信息相关信息进 行组合, 获得复合信息。
在本发明实施例中, 所述识别单元 1002解析接收的所述媒体信息请求 中携带的媒体信息得到媒体信息对应的文本信息, 所述识别单元 1002对媒 体信息进行解析具体为根据媒体信息进行媒体识别得到媒体信息对应的文 本内容。所述识别单元 1002还可以根据识别出的媒体信息对应的文本内容, 确定文本内容对应的关键字。
在本发明另一实施例中, 所述合成单元 1003还可以根据所述媒体信息 和所述文本信息合成复合格式信息。 所述交互单元 1001根据所述媒体信息 请求中携带的目的客户端信息向目的客户端发送复合信息具体为交互单元 1001根据所述媒体信息请求中携带的目的客户端信息, 向目的客户端发送 合成单元 1003合成的复合格式信息。
显示媒体信息装置使得所述目的客户端和始发客户端显示所述媒体信 息和所述文本信息, 实现了媒体信息的显示过程, 出于筒洁, 具体细节不 再赘述。
本发明显示媒体信息的装置实施例中, 服务器接收媒体信息, 解析媒 体信息得到对应的文本信息, 将所述媒体信息和所述文本信息获得复合信 息, 将所述复合信息发送给目的客户端, 并最终实现目的客户端同时在显 示界面显示所述媒体信息和所述文本信息, 可以将通讯记录直观展示给用 户。 避免用户为了浏览通讯记录, 不得不重复点击所有媒体信息的媒体链 接。 通过本发明实施例显示媒体信息的方法, 实现目的客户端同时显示所 述媒体信息和所述文本信息, 用户可以通过浏览所述文本信息, 快速直观 地浏览媒体信息内容, 利用这种方式可以减少占用终端的存储空间和进程, 降低 CPU资源的消耗, 提高获取媒体信息内容的效率。 给用户带来的用户 体验好, 而且实用性高。
图 11为本发明另一个实施例的显示媒体信息的装置 100示意图, 如图 11所说, 装置 100还可以包括处理单元 1104和存储单元 1105。
处理单元 1104可以创建数据关联表, 建立文本信息标识与所述文本信 息的关联关系。
交互单元 1001还可以接收客户端发送的查询文本信息标识请求。
存储单元 1105可以存储文本信息标识与所述文本信息的关联关系的数 据关联表。
交互单元 1001还可以向始发客户端和目的客户端发送文本信息。
在本发明实施例中, 所述识别单元 1002解析接收到的所述媒体信息请 求中携带的媒体信息得到媒体信息对应的文本信息; 所述处理单元 1104根 据识别单元 1002解析得到媒体信息对应的文本信息创建数据关联表, 建立 文本信息标识与所述文本信息的关联关系; 所述交互单元 1001向目的客户 端发送所述合成单元 1003根据媒体信息和所述文本信息标识组合获得的复 合信息; 所述交互单元 1001接收客户端发送查询文本信息标识请求, 查找 存储在所述存储单元 1105的数据关联表, 查找与文本信息标识对应的所述 文本信息; 所述交互单元 1001向目的客户端发送从存储单元 1105查找到 的所述文本信息。
在本发明另一实施例中, 所述处理单元 1104可以创建数据关联表, 建 立媒体信息标识与所述媒体信息、 文本内容标识与所述文本内容、 关键字 标识与所述关键字的关联关系。
所述交互单元 1001 , 还可以接收客户端发送的查询媒体信息标识、 文 本内容标识、 关键字标识请求。
所述存储单元 1105 , 还可以存储媒体信息标识与所述媒体信息、 文本 内容标识与所述文本内容、 关键字标识与所述关键字的关联关系的数据关 联表。
所述交互单元 1001 ,还可以向始发客户端和目的客户端发送媒体信息、 文本内容和关键字。
在本发明另一实施例中, 所述识别单元 1002解析接收到的所述媒体信 息请求中携带的媒体信息得到媒体信息对应的文本信息; 所述处理单元 1104根据识别单元 1002解析得到媒体信息对应的文本信息创建数据关联 表, 建立媒体信息标识与媒体信息、 文本内容标识与文本内容、 关键字标 识与关键字的关联关系; 所述交互单元 1001向目的客户端发送所述合成单 元 1003根据媒体信息标识和所述文本内容标识和关键字标识组合获得的复 合信息, 所述交互单元 1001接收客户端发送查询媒体信息标识、 文本内容 标识、 关键字标识请求, 查找存储在所述存储单元 1105的数据关联表, 查 找与媒体信息标识对应的所述媒体信息, 与文本内容标识对应的所述文本 内容, 与关键字标识对应的所述关键字; 所述交互单元 1001向目的客户端 发送从存储单元 1105查找到的所述媒体信息、 文本内容、 关键字。
显示媒体信息装置使得所述目的客户端和始发客户端显示所述媒体信 息和所述文本信息, 实现了媒体信息的显示过程, 出于筒洁, 具体细节不 再赘述。 本发明显示媒体信息的装置实施例中, 服务器接收媒体信息, 解析媒 体信息得到对应的文本信息, 将所述媒体信息和所述文本信息获得复合信 息, 将所述复合信息发送给目的客户端, 并最终实现目的客户端同时在显 示界面显示所述媒体信息和所述文本信息, 可以将通讯记录直观展示给用 户。 避免用户为了浏览通讯记录, 不得不重复点击所有媒体信息的媒体链 接。 通过本发明实施例显示媒体信息的方法, 实现目的客户端同时显示所 述媒体信息和所述文本信息, 用户可以通过浏览所述文本信息, 快速直观 地浏览媒体信息内容, 利用这种方式可以减少占用终端的存储空间和进程, 降低 CPU资源的消耗, 提高获取媒体信息内容的效率。 给用户带来的用户 体验好, 而且实用性高。
图 12为本发明另一个实施例的显示媒体信息的客户端 120示意图, 如 图 12所示, 客户端 120包括: 交互单元 1201、 解析单元 1202和显示单元 1203。
交互单元 1201 , 接收服务器发送的复合信息, 所述复合信息为服务器 根据解析接收到的媒体信息得到文本信息, 并根据所述媒体信息和所述文 本信息得到。
解析单元 1202,解析所述复合信息获得所述媒体信息和所述文本信息。 显示单元 1203 , 显示所述媒体信息和所述文本信息。
在本发明另一实施例中, 所述交互单元 1201 , 还可以向服务器发送查 询请求, 请求服务器查询数据关联表获得所述所述文本信息标识对应的所 述文本信息, 或所述媒体信息标识对应的所述媒体信息、 文本内容标识对 应的所述文本内容、 关键字标识对应的所述关键字。 所述交互单元 1201 , 还可以接收服务器发送的文本信息, 或媒体信息、 文本内容、 关键字。
当复合信息为复合格式信息时, 所述解析单元 1202 , 解析复合格式信 息, 获得所述媒体信息和所述文本信息, 所示显示单元 1203根据解析单元 1202解析获得的所述媒体信息和所述文本信息, 显示所述媒体信息和所述 文本信息。
当复合信息为媒体信息和文本信息标识的组合, 所述解析单元 1202解 析获得的文本信息标识, 指令交互单元 1201向服务器发送查询请求, 请求 服务器查询数据关联表获得所述所述文本信息标识对应的所述文本信息, 所述显示单元 1203显示交互单元 1201接收的媒体信息和文本信息。
当复合信息为媒体信息标识、 文本内容标识和关键字标识的组合, 所 述解析单元 1202解析获得的媒体信息标识、 文本内容标识和关键字标识, 指令交互单元 1201向服务器发送查询请求, 请求服务器查询数据关联表获 得所述所述媒体信息标识对应的所述媒体信息、 文本内容标识对应的所述 文本内容、 关键字标识对应的所述关键字, 所述显示单元 1203显示交互单 元 1201接收的媒体信息、 文本内容和关键字。
可选的, 所述交互单元 1201还可以接收切换指令, 并根据切换指令显 示所述媒体信息或者显示媒体信息和文本信息。
显示媒体信息客户端使得所述目的客户端和始发客户端显示所述媒体 信息和所述文本信息, 实现了媒体信息的显示过程, 出于筒洁, 具体细节 不再赘述。
本发明显示媒体信息的装置实施例中, 服务器接收媒体信息, 解析媒 体信息得到对应的文本信息, 将所述媒体信息和所述文本信息获得复合信 息, 将所述复合信息发送给目的客户端, 并最终实现目的客户端同时在显 示界面显示所述媒体信息和所述文本信息, 可以将通讯记录直观展示给用 户。 避免用户为了浏览通讯记录, 不得不重复点击所有媒体信息的媒体链 接。 通过本发明实施例显示媒体信息的方法, 实现目的客户端同时显示所 述媒体信息和所述文本信息, 用户可以通过浏览所述文本信息, 快速直观 地浏览媒体信息内容, 利用这种方式可以减少占用终端的存储空间和进程, 降低 CPU资源的消耗, 提高获取媒体信息内容的效率。 给用户带来的用户 体验好, 而且实用性高。
图 13为本发明实施例的图形控件显示的方法示意图, 图形控件显示的 方法应用在计算机系统中, 所述计算机系统包括显示屏幕和应用程序, 图 形控件显示的方法实施例步骤:
51301 ,调用所述应用程序,在所述显示屏幕上显示所述应用程序界面。
51302 , 调用所述应用程序中的多个控件功能, 在所述应用程序界面中 显示所述多个控件功能对应的图形控件, 所述图形控件至少包括: 联系人 图形控件、 媒体信息图形控件和文本图形控件; 其中, 所述联系人图形控 件用于显示联系人信息, 所述媒体信息图形控件用于播放对应的媒体信息, 所述文本图形控件用于显示所述媒体信息对应的文本信息。
在本发明另一实施例中, 所述文本图形控件还包括文本内容图形控件 和 /或关键字图形控件, 所述文本内容图形控件用于显示所述媒体信息对应 的文本内容, 所述关键字图形控件用于显示所述媒体信息对应的文本内容 对应的关键字。
在本发明实施例中, 关键字可以包括: 标签, 或者媒体信息对应的其他 特征信息, 或者标签和媒体信息对应的其他特征信息; 标签为对文本内容 筒短的概括; 媒体信息对应的其他特征信息具体可以为: 服务器通过媒体 信息的语音、语速、语调、语义分析出用户的心情, 如 "愤怒" , "开心" ,
"沮丧" , "着急" 等特征, 此特征可以作为一个可选信息显示项在客户 端上显示。 媒体信息对应的其他特征信息是可以替换, 更改的, 本发明实 施例对此不作具体限定。
举例说明, 媒体信息对应的文本内容: "明天过节, 我请大家一起吃 饭吧"
文本内容对应的标签: "请吃饭"
媒体信息对应的其他特征信息: "开心"
在本发明另一实施例中, 在调用所述应用程序中的多个控件功能, 在所 述应用程序界面中显示所述多个控件功能对应的图形控件时, 可以在所述 应用程序界面中显示切换功能图形控件, 所述切换功能图形控件用于接收 所述切换指令。 根据所述切换指令在所述应用程序界面中显示媒体信息图 形控件, 与在所述应用程序界面中显示媒体信息图形控件和文本图形控件 之间进行切换。
本发明图形控件显示的方法实施例中, 在计算机系统中, 调用应用程 序, 在显示屏幕上显示联系人信息、 文本内容和 /或关键字, 可以将通讯记 录直观展示给用户。 避免用户为了浏览通讯记录, 不得不重复点击所有媒 体信息的媒体链接。 通过本发明实施例图形控件显示的方法, 实现目的客 户端同时显示所述媒体信息和所述文本信息, 用户可以通过浏览所述文本 信息, 快速直观地浏览媒体信息内容, 利用这种方式可以减少占用终端的 存储空间和进程, 降低 CPU资源的消耗, 提高获取媒体信息内容的效率。 给用户带来的用户体验好, 而且实用性高。 图 14A为本发明实施例的图形控件显示的装置 140示意图,所述装置包 括显示屏幕, 所述装置还包括控制单元 1401、 控件功能单元 1402、 显示单 元 1403。
控制单元 1401 , 调用应用程序, 指令显示单元在所述显示屏幕上显示 所述应用程序界面。
控件功能单元 1402, 调用所述应用程序中的多个控件功能, 指令显示 单元在所述应用程序界面中显示所述多个控件功能对应的图形控件, 所述 图形控件至少包括: 联系人图形控件、 媒体信息图形控件、 文本图形控件 和切换功能图形控件;
其中, 所述联系人图形控件用于显示联系人信息, 所述媒体信息图形控 件用于播放对应的媒体信息, 所述文本图形控件用于显示所述媒体信息对 应的文本信息, 所述切换功能图形控件用于切换媒体信息图形控件、 媒体 信息图形控件和文本图形控件在所述应用程序界面中的显示。
所述联系人信息为发送所述媒体信息对应的联系人信息。
显示单元 1403 , 在所述显示屏幕上显示所述应用程序界面, 并在所述应 用程序界面中显示所述多个控件功能对应的图形控件, 所述图形控件至少 包括: 联系人图形控件、 媒体信息图形控件、 文本图形控件和切换功能图 形控件。
图 14B为本发明另一实施例的图形控件显示的装置 140示意图, 如图 14所示, 所述装置 140还包括: 控件切换单元 1404。
所述控件切换单元 1404用于指令所述显示单元 1403在所述应用程序界 面中显示媒体信息图形控件, 与在所述应用程序界面中显示媒体信息图形 控件和文本图形控件之间进行切换。
所述显示单元 1403还用于根据所述控件切换单元 1404的指令, 在所述 应用程序界面中显示媒体信息图形控件, 或者在所述应用程序界面中显示 媒体信息图形控件和文本图形控件。
所述显示单元 1403还用于在所述应用程序界面中显示所述控件切换单 元对应的切换功能图形控件, 所述切换功能图形控件用于接收切换指令, 并根据所述切换指令指示显示单元在所述应用程序界面中显示媒体信息图 形控件, 或者在所述应用程序界面中显示媒体信息图形控件和文本图形控 件。 图 15为本发明实施例的一种媒体信息界面显示的示意图, 如图 15所 示,一显示屏幕中显示的应用程序的界面 150,应用程序界面 150中显示联 系人图形控件 14021、 媒体信息图形控件 14022、 文本图形控件 14023、 切 换功能图形控件 14024, 所述联系人图形控件 14021用于显示联系人信息, 所述媒体信息图形控件 14022 用于播放对应的媒体信息, 所述文本图形控 件 14023 用于显示所述媒体信息对应的文本信息, 所述切换功能图形控件 14024用于切换媒体信息图形控件、媒体信息图形控件和文本图形控件在所 述应用程序界面中的显示。 在本发明实施例中的应用程序界面中可以显示 多个联系人图形控件、 媒体信息图形控件、 文本图形控件、 切换功能图形 控件。 本发明实施例中的应用程序界面可以应用在微信、 米聊等媒体信息 通讯软件中。 例如, 应用在微信中的界面显示效果可参考图 6A和图 6B的 显示界面。
本发明图形控件显示的装置实施例中, 在计算机系统中, 调用应用程 序, 在显示屏幕上显示联系人信息、 文本内容和 /或关键字, 可以将通讯记 录直观展示给用户。 避免用户为了浏览通讯记录, 不得不重复点击所有媒 体信息的媒体链接。 通过本发明实施例图形控件显示的方法, 实现目的客 户端同时显示所述媒体信息和所述文本信息, 用户可以通过浏览所述文本 信息, 快速直观地浏览媒体信息内容, 利用这种方式可以减少占用终端的 存储空间和进程, 降低 CPU资源的消耗, 提高获取媒体信息内容的效率。 给用户带来的用户体验好, 而且实用性高。
图 16为本发明另一实施例的显示媒体信息的装置 160示意图,如图 16 所示, 所述装置 160包括交互单元 1601、 识别单元 1602和显示单元 1603: 所述交互单元 1601 , 用于接收媒体信息请求, 所述媒体信息请求中携带 媒体信息。
所述识别单元 1602 ,用于解析接收到的媒体信息得到媒体信息对应的文 本信息。
所述显示单元 1603 , 用于显示所述媒体信息和所述文本信息。
在本发明实施例中, 所述识别单元 1602解析接收的所述媒体信息得到 媒体信息对应的文本信息, 所述识别单元 1602对媒体信息进行解析具体为 根据媒体信息进行媒体识别得到媒体信息对应的文本内容。 所述识别单元 1602还可以根据识别出的媒体信息对应的文本内容, 确定文本内容对应的 关键字。
所述识别单元 1602根据交互单元 1601接收媒体信息, 解析接收到的媒 体信息得到媒体信息对应的文本信息, 并最终在显示单元 1603 , 显示所述 媒体信息和所述文本信息。
所述交互单元 1601 , 还用于接收切换指令, 根据所述切换指令, 指令显 示单元 1603显示媒体信息, 或媒体信息和文本信息。
显示媒体信息装置使得所述目的客户端和始发客户端显示所述媒体信 息和所述文本信息, 实现了媒体信息的显示过程, 出于筒洁, 具体细节不 再赘述。
本发明显示媒体信息的装置实施例中, 服务器接收媒体信息, 解析媒 体信息得到对应的文本信息, 将所述媒体信息和所述文本信息获得复合信 息, 将所述复合信息发送给目的客户端, 并最终实现目的客户端同时在显 示界面显示所述媒体信息和所述文本信息, 可以将通讯记录直观展示给用 户。 避免用户为了浏览通讯记录, 不得不重复点击所有媒体信息的媒体链 接。 通过本发明实施例显示媒体信息的方法, 实现目的客户端同时显示所 述媒体信息和所述文本信息, 用户可以通过浏览所述文本信息, 快速直观 地浏览媒体信息内容, 利用这种方式可以减少占用终端的存储空间和进程, 降低 CPU资源的消耗, 提高获取媒体信息内容的效率。 给用户带来的用户 体验好, 而且实用性高。
图 17为本发明另一实施例的显示媒体信息的装置 170示意框图。 如图 17所示, 该装置 170包括处理器 1701、 用户接口 1702、 存储器 1703、 应 用程序 1704以及总线 1705。
处理器 1701用于执行存储器 1703存储的本发明实施例的程序, 并通 过总线与其他装置双向通信。
存储器 1703可以是包括计算机的软盘、 U盘、 移动硬盘、 只读存储器 ( ROM, Read-Only Memory ) 、 随机存取存储器 (RAM, Random Access Memory ) 、 磁碟或者光盘等的一种或多种, 用于存储可以执行本发明实施 例的程序或本发明实施例的应用数据库, 通过总线 1705接收其他组件的输 入或被其他组件调用所存储的信息, 例如查询文本信息标识的指令, 查询 媒体信息标识、 文本内容标识、 关键字标识。
应用程序 1704包括各种系统程序, 用于实现各种应用业务。
用户接口 1702向用户开放, 用于终端连接, 进行数据交换。
处理器 1701与存储器 1703也可以整合成应用本发明实施例的物理模 块, 在该物理模块上存储和运行实现本发明实施例的程序。
服务器 170的各个组件通过总线 1705耦合在一起, 其中, 总线 1705 除包括数据总线之外, 还可以包括电源总线、 控制总线和状态信号总线等。 但是为了清楚说明起见, 在图中将各种总线都标为总线 1705。
在本发明实施例中, 装置 170的各单元分别执行以下内容。
处理器 1701解析接收到的所述媒体信息请求中携带的媒体信息得到媒 体信息对应的文本信息, 具体为处理器 1701根据媒体信息进行媒体识别得 到媒体信息对应的文本内容, 处理器 1701才艮据识别出的媒体信息对应的文 本内容, 确定文本内容对应的关键字。
存储器 1703存储用户接口 1702接收的媒体信息请求。
用户接口 1702还用于接收始发客户端发送的媒体信息请求, 所述媒体 信息请求中携带媒体信息和目的客户端信息, 根据所述媒体信息请求中携 带的目的客户端信息向目的客户端发送复合信息。
可选的, 所述用户接口 1702还用于接收客户端发送的查询文本信息标 识请求。
可选的, 所述用户接口 1702还用于向始发客户端和目的客户端发送文 本信息。
可选的, 所述用户接口 1702还用于接收客户端发送的查询媒体信息标 识、 文本内容标识、 关键字标识请求。
可选的, 所述用户接口 1702还用于向始发客户端和目的客户端发送媒 体信息、 文本内容和关键字。
可选的, 所述用户接口 1702发送的查询文本信息标识请求, 媒体信息 标识请求、 文本内容标识请求和关键字标识请求或所述处理器 1701发送的 复合信息。
存储器 1703存储处理器 1701解析媒体信息得到媒体信息对应的文本 信息。
可选的, 存储器 1703还可以存储处理器 1701根据所述媒体信息或媒 体信息标识、 所述文本信息或文本信息标识进行组合, 获得的复合信息。 可选的, 存储器 1703还可以存储文本信息标识与所述文本信息的关联 关系的数据关联表。
可选的, 存储器 1703还可以存储媒体信息标识与所述媒体信息、 文本 内容标识对应的所述文本内容、 关键字标识对应的所述关键字的关联关系 的数据关联表。
可选的, 存储器 1703还可以存储处理器 1701查找到的所述文本信息。 可选的, 存储器 1703还可以存储处理器 1701查找到的所述媒体信息、 文本内容、 关键字。
处理器 1701根据所述媒体信息或媒体信息标识、 所述文本信息或文本 信息标识进行组合, 获得复合信息。
可选的, 处理器 1701根据所述媒体信息和所述文本信息合成复合格式 信息。
可选的, 处理器 1701还可以创建数据关联表, 建立文本信息标识与所 述文本信息的关联关系。
可选的, 处理器 1701还可以查找存储在所述存储单元 1703的数据关 联表, 查找与文本信息标识对应的所述文本信息。
可选的, 处理器 1701还可以创建数据关联表, 建立媒体信息标识与所 述媒体信息、 文本内容标识与所述文本内容、 关键字标识与所述关键字的 关联关系。
可选的, 处理器 1701还可以查找存储在所述存储单元 1703的数据关 联表, 查找与媒体信息标识对应的所述媒体信息, 与文本内容标识对应的 所述文本内容, 与关键字标识对应的所述关键字。
显示媒体信息装置使得所述目的客户端和始发客户端显示所述媒体信 息和所述文本信息, 实现了媒体信息的显示过程, 出于筒洁, 具体细节不 再赘述。
本发明显示媒体信息的装置实施例中, 服务器接收媒体信息, 解析媒 体信息得到对应的文本信息, 将所述媒体信息和所述文本信息获得复合信 息, 将所述复合信息发送给目的客户端, 并最终实现目的客户端同时在显 示界面显示所述媒体信息和所述文本信息, 可以将通讯记录直观展示给用 户。 避免用户为了浏览通讯记录, 不得不重复点击所有媒体信息的媒体链 接。 通过本发明实施例显示媒体信息的方法, 实现目的客户端同时显示所 述媒体信息和所述文本信息, 用户可以通过浏览所述文本信息, 快速直观 地浏览媒体信息内容, 利用这种方式可以减少占用终端的存储空间和进程, 降低 CPU资源的消耗, 提高获取媒体信息内容的效率。 给用户带来的用户 体验好, 而且实用性高。
图 18为本发明另一实施例的显示媒体信息的装置 180示意框图, 如图 18所示, 该装置 180包括处理器 1801、 服务器接口 1802、 存储器 1803、 显示器 1804、 输入装置 1806以及总线 1805。
处理器 1801用于执行存储器 1803存储的本发明实施例的程序, 并通 过总线与其他装置双向通信。
服务器接口 1802用于与服务器连接, 进行数据交换。
存储器 1803可以是包括计算机的软盘、 U盘、 移动硬盘、 只读存储器 ( ROM, Read-Only Memory ) 、 随机存取存储器 (RAM, Random Access Memory ) 、 磁碟或者光盘等的一种或多种, 用于存储可以执行本发明实施 例的程序或本发明实施例的应用数据库, 通过总线 1805接收其他组件的输 入或被其他组件调用所存储的信息, 例如查询文本信息标识的指令, 查询 媒体信息标识、 文本内容标识、 关键字标识。
显示器 1804可以是阴极射线管 (CRT, Cathode Ray Tube)显示器、 液晶 ( LCD, Liquid Crystal Display )显示器或触摸式屏幕 ( Touch Screen )等合 适的装置, 通过总线 1805接收指令使得显示器的屏幕上呈现图形化的用户 界面。
输入装置 1806可以包括键盘、 鼠标、 轨迹识别器、 语音识别接口等任 何合适的装置, 用于接收用户的输入, 生成控制输入通过总线 1805发送给 处理器或其他组件。 特殊地, 当装置 180 的显示器具有触摸式屏幕时, 该 显示器同时也是输入装置。
处理器 1801与存储器 1803也可以整合成应用本发明实施例的物理模 块, 在该物理模块上存储和运行实现本发明实施例的程序。
装置 180的各个组件通过总线 1805耦合在一起, 其中, 总线 1805除 包括数据总线之外, 还可以包括电源总线、 控制总线和状态信号总线等。 但是为了清楚说明起见, 在图中将各种总线都标为总线 1805。 在本发明实施例中, 装置 180的各单元分别执行以下内容。
显示器 1804接收处理器 1801 的指令, 使显示器的屏幕上显示图形化 得用户界面。
处理器 1801 , 用于当复合信息为复合格式信息时, 解析所述复合格式 信息获得所述媒体信息和所述文本信息, 显示器 1802显示所述媒体信息和 所述文本信息。
可选的, 处理器 1801还用于当复合信息为媒体信息和文本信息标识的 组合, 解析获得的文本信息标识, 指令服务器接口 1802向服务器发送查询 请求, 请求服务器查询数据关联表获得所述所述文本信息标识对应的所述 文本信息, 显示器 1802显示从服务器接口接收的媒体信息和文本信息。
可选的, 处理器 1801还用于当复合信息为媒体信息标识、 文本内容标 识和关键字标识的组合, 解析获得媒体信息标识、 文本内容标识和关键字 标识, 指令服务器接口 1802向服务器发送查询请求, 请求服务器查询数据 关联表获得所述所述媒体信息标识对应的所述媒体信息、 文本内容标识对 应的所述文本内容、 关键字标识对应的所述关键字, 显示器 1804显示从服 务器接口接收的媒体信息、 文本内容和关键字。
显示媒体信息客户端使得所述目的客户端和始发客户端显示所述媒体 信息和所述文本信息, 实现了媒体信息的显示过程, 出于筒洁, 具体细节 不再赘述。
本发明显示媒体信息的客户端实施例中, 服务器接收媒体信息, 解析 媒体信息得到对应的文本信息, 将所述媒体信息和所述文本信息获得复合 信息, 将所述复合信息发送给目的客户端, 并最终实现目的客户端同时在 显示界面显示所述媒体信息和所述文本信息, 可以将通讯记录直观展示给 用户。 避免用户为了浏览通讯记录, 不得不重复点击所有媒体信息的媒体 链接。 通过本发明实施例显示媒体信息的方法, 实现目的客户端同时显示 所述媒体信息和所述文本信息, 用户可以通过浏览所述文本信息, 快速直 观地浏览媒体信息内容, 利用这种方式可以减少占用终端的存储空间和进 程, 降低 CPU资源的消耗, 提高获取媒体信息内容的效率。 给用户带来的 用户体验好, 而且实用性高。
在本发明显示媒体信息方法、 装置、 客户端, 图形控件显示方法和装 置实施例中, 可以应用在微信、 米聊等媒体信息即时通讯软件中, 所述即 时通讯软件可以安装在手机、 个人 PC机、 PAD等终端或者移动终端上。
本领域普通技术人员可以意识到, 结合本文中所公开的实施例描述的 各示例的单元、 算法及方法步骤, 能够以计算机软件和电子硬件的结合来 实现。 这些功能究竟以硬件还是软件方式来执行, 取决于技术方案的特定 应用和设计约束条件。 专业技术人员可以对每个特定的应用来使用不同方 法来实现所描述的功能, 但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到, 为描述的方便和筒洁, 上述 描述的服务器和单元的具体工作过程, 可以参考前述方法实施例中的对应 过程, 在此不再赘述。
在本申请所提供的几个实施例中, 所揭露的服务器和方法, 可以通过 其它的方式实现。 例如, 以上所描述的服务器实施例仅仅是示意性的, 例 如, 所述单元的划分, 仅仅为一种逻辑功能划分, 实际实现时可以有另外 的划分方式, 例如多个单元或组件可以结合或者可以集成到另一个系统, 或一些特征可以忽略, 或不执行。 另一点, 所显示或讨论的相互之间的耦 合或直接耦合或通信连接可以是通过一些接口, 装置或单元的间接耦合或 通信连接, 可以是电性, 机械或其它的形式。 作为单元显示的部件可以是或者也可以不是物理单元, 即可以位于一个地 方, 或者也可以分布到多个网络单元上。 可以根据实际的需要选择其中的 部分或者全部单元来实现本发明实施例方案的目的。
另外, 在本发明各个实施例中的各功能单元可以集成在一个处理单元 中, 也可以是各个单元单独物理存在, 也可以两个或两个以上单元集成在 一个单元中。
本领域普通技术人员可以理解: 实现上述方法实施例的全部或部分步 骤可以通过程序指令相关的硬件来完成, 前述的程序可以存储于一计算机 可读取存储介质中, 该程序在执行时, 执行包括上述方法实施例的步骤; 而前述的存储介质包括: ROM、 RAM, 磁碟或者光盘等各种可以存储程序 代码的介质。
以上所述, 仅为本发明的具体实施方式, 但本发明的保护范围并不局 限于此, 任何熟悉本技术领域的技术人员在本发明揭露的技术范围内, 可 轻易想到变化或替换, 都应涵盖在本发明的保护范围之内。 因此, 本发明 的保护范围应以所述权利要求的保护范围为准。

Claims

权利要求
1、 一种显示媒体信息的方法, 其特征在于, 包括:
接收始发客户端发送的媒体信息请求, 所述媒体信息请求中携带媒体信 息和目的客户端信息;
解析接收到的媒体信息得到媒体信息对应的文本信息;
根据媒体信息相关信息、 文本信息相关信息进行组合, 获得复合信息; 根据所述目的客户端信息向目的客户端发送所述复合信息,使得所述目 的客户端根据所述复合信息获得所述媒体信息和所述文本信息, 并显示所 述媒体信息和所述文本信息。
2、 根据权利要求 1所述的方法, 其特征在于, 所述媒体信息相关信息 包括媒体信息或媒体信息标识、 所述文本信息相关信息包括文本信息或文 本信息标识。
3、 根据权利要求 1或 2所述的方法, 其特征在于, 所述文本信息包括 以下至少一种: 媒体信息对应的文本内容、 文本内容对应的关键字。
4、根据权利要求 1-3中任一所述的方法, 其特征在于, 所述媒体信息相 关信息为媒体信息, 所述文本信息相关信息为文本信息;
所述根据所述媒体信息相关信息、 所述文本信息相关信息进行组合, 获 得复合信息, 具体包括:
将所述媒体信息和所述文本信息合成复合格式信息;
所述向目的客户端发送所述复合信息具体为向目的客户端发送所述复 合格式信息;
所述目的客户端根据所述复合信息获得所述媒体信息和所述文本信息 具体为所述目的客户端解析所述复合格式信息获得所述媒体信息和所述文 本信息。
5、根据权利要求 1-3中任一所述的方法,其特征在于,所述方法还包括: 根据所述文本信息创建数据关联表, 建立文本信息标识与所述文本信息 的关联关系。
6、 根据权利要求 5所述的方法, 其特征在于, 所述媒体信息相关信息 为媒体信息, 所述文本信息相关信息为文本信息标识;
所述根据所述媒体信息相关信息、 所述文本信息相关信息进行组合, 获得复合信息具体为:
根据所述文本信息查询数据关联表, 获得所述文本信息对应的文本信 息标识, 根据媒体信息和文本信息标识进行组合, 获得复合信息;
所述目的客户端根据所述复合信息获得所述媒体信息和所述文本信息 具体包括:
所述目的客户端根据所述复合信息获得媒体信息, 解析所述复合信息 中的文本信息标识得到对应的所述文本信息。
7、 根据权利要求 3所述的方法, 其特征在于, 所述方法还包括: 根据所述媒体信息、 所述文本内容和所述关键字创建数据关联表, 分别 建立媒体信息标识与所述媒体信息、 文本内容标识与所述文本内容、 关键 字标识与所述关键字的关联关系。
8、 根据权利要求 7所述的方法, 其特征在于, 所述媒体信息相关信息 为媒体信息标识, 所述文本信息相关信息为文本信息标识;
所述根据所述媒体信息相关信息、 所述文本信息相关信息进行组合, 获 得复合信息具体为:
根据所述媒体信息和所述文本信息查询数据关联表, 获得所述媒体信息 对应的媒体信息标识、 所述文本内容对应的文本内容标识和所述关键字对 应的关键字标识, 根据媒体信息标识、 文本内容标识、 关键字标识进行组 合, 获得复合信息;
所述目的客户端根据所述复合信息获得所述媒体信息和所述文本信息 具体包括:
所述目的客户端解析所述复合信息中的媒体信息标识得到对应的所述 媒体信息;
所述目的客户端解析所述复合信息中的文本内容标识得到对应的所述 文本内容;
所述目的客户端解析所述复合信息中的关键字标识得到对应的所述关 键字。
9、 根据权利要求 4所述的方法, 其特征在于, 所述复合格式信息包括 音频文件头、 音频码流、 音频扩展字段;
所述音频文件头的保留字段标识音频扩展字段的信息在整个媒体信息 的音频文件中的偏移量; 所述音频扩展字段的信息包括媒体信息对应的文本信息。
10、 根据权利要求 1-9中任一所述的方法, 其特征在于, 还包括: 向始发客户端发送所述文本信息,所述始发客户端显示所述媒体信息和 所述文本信息。
11、 一种显示媒体信息的方法, 其特征在于, 包括:
接收服务器发送的复合信息, 所述复合信息为服务器根据解析接收到的 媒体信息得到文本信息, 并根据所述媒体信息相关信息、 所述文本信息相 关信息进行组合得到;
解析所述复合信息获得所述媒体信息和所述文本信息;
显示所述媒体信息和所述文本信息。
12、 根据权利要求 11 所述的方法, 其特征在于, 所述文本信息包括以 下至少一种: 媒体信息对应的文本内容、 文本内容对应的关键字。
13、 根据权利要求 11 所述的方法, 其特征在于, 所述媒体信息相关信 息为媒体信息, 所述文本信息相关信息为文本信息标识;
所述解析所述复合信息获得所述媒体信息和所述文本信息具体为: 解析 所述复合信息中的文本信息标识得到对应的所述文本信息。
14、 根据权利要求 12所述的方法, 其特征在于, 所述媒体信息相关信 息为媒体信息标识, 所述文本信息相关信息为文本信息标识;
所述解析所述复合信息获得所述媒体信息和所述文本信息具体为: 解析 所述复合信息中的媒体信息标识得到对应的所述媒体信息;
解析所述复合信息中的文本内容标识得到对应的所述文本内容; 解析所述复合信息中的关键字标识得到对应的所述关键字。
15、 根据权利要求 11 所述的方法, 其特征在于, 所述复合信息为复合 格式信息, 所述复合格式信息包括音频文件头、 音频码流、 音频扩展字段; 所述音频文件头的保留字段标识音频扩展字段的信息在整个媒体信息 的音频文件中的偏移量;
所述音频扩展字段的信息包括媒体信息对应的文本信息。
16、 根据权利要求 11 所述的方法, 其特征在于, 所述显示所述媒体信 息和所述文本信息具体为: 根据切换指令, 显示所述媒体信息, 或显示所 述媒体信息和所述文本信息。
17、 一种图形控件显示的方法, 该方法应用在计算机系统中, 所述计算 机系统包括显示屏幕和应用程序, 其特征在于, 该方法包括: 调用所述应用程序, 在所述显示屏幕上显示所述应用程序界面;
调用所述应用程序中的多个控件功能, 在所述应用程序界面中显示所述多 个控件功能对应的图形控件, 所述图形控件至少包括: 联系人图形控件、 媒体信息图形控件和文本图形控件;
其中, 所述联系人图形控件用于显示联系人信息, 所述媒体信息图形 控件用于播放对应的媒体信息, 所述文本图形控件用于显示所述媒体信息 对应的文本信息。
18、 根据权利要求 17所述的方法, 其特征在于, 所述文本图形控件还 包括文本内容图形控件和 /或关键字图形控件, 所述文本内容图形控件用于 显示所述媒体信息对应的文本内容, 所述关键字图形控件用于显示所述媒 体信息对应的文本内容对应的关键字。
19、 根据权利要求 17或 18所述的方法, 其特征在于, 该方法包括: 接 收切换指令, 根据所述切换指令在所述应用程序界面中显示媒体信息图形 控件, 与在所述应用程序界面中显示媒体信息图形控件和文本图形控件之 间进行切换。
20、 根据权利要求 19所述的方法, 其特征在于, 该方法包括: 在所述应 用程序界面中显示切换功能图形控件, 所述切换功能图形控件用于接收所 述切换指令。
21、 一种显示媒体信息的装置, 其特征在于, 包括交互单元、 识别单元 和合成单元:
所述交互单元, 用于接收始发客户端发送的媒体信息请求, 所述媒体 信息请求中携带媒体信息和目的客户端信息, 还用于根据所述媒体信息请 求中携带的目的客户端信息向目的客户端发送复合信息;
所述识别单元, 用于解析接收到的所述媒体信息请求中携带的媒体信 息得到媒体信息对应的文本信息;
所述合成单元, 用于根据所述媒体信息相关信息、 所述文本信息相关 信息进行组合, 获得复合信息。
22、 根据权利要求 21所述的装置, 其特征在于, 所述复合信息具体为复 合格式信息, 所述合成单元还用于将所述媒体信息和所述文本信息合成复 合格式信息。
23、 根据权利要求 21所述的装置, 其特征在于, 所述装置还包括处理单 元和存储单元:
所述处理单元, 用于创建数据关联表, 建立文本信息标识与所述文本信 息的关联关系;
所述交互单元, 还用于接收客户端发送的查询文本信息标识请求; 所述存储单元, 用于存储文本信息标识与所述文本信息的关联关系的数 据关联表;
所述交互单元, 还用于向始发客户端和目的客户端发送文本信息。
24、 根据权利要求 21所述的装置, 其特征在于, 所述装置还包括处理单 元和存储单元, 所述处理单元, 还用于创建数据关联表, 建立媒体信息标 识与所述媒体信息、 文本内容标识与所述文本内容、 关键字标识与所述关 键字的关联关系;
所述交互单元, 还用于接收客户端发送的查询媒体信息标识、 文本内 容标识、 关键字标识请求;
所述存储单元, 用于存储媒体信息标识与所述媒体信息、 文本内容标 识与所述文本内容、 关键字标识与所述关键字的关联关系的数据关联表; 所述交互单元, 还用于向始发客户端和目的客户端发送媒体信息、 文 本内容和关键字。
25、 一种显示媒体信息的客户端, 其特征在于, 包括交互单元、 解析单 元和显示单元:
所述交互单元, 用于接收服务器发送的复合信息, 所述复合信息为服务 器根据解析接收到的媒体信息得到文本信息, 并根据所述媒体信息相关信 息和所述文本信息相关信息得到;
所述解析单元, 用于解析所述复合信息获得所述媒体信息和所述文本信 息;
所述显示单元, 用于显示所述媒体信息和所述文本信息。
26、 根据权利要求 25 所述的客户端, 其特征在于, 所述交互单元, 还 用于向服务器发送查询请求, 请求服务器查询文本信息标识对应的文本信 息;
所述交互单元, 还用于接收服务器发送的文本信息。
27、 根据权利要求 25 所述的客户端, 其特征在于, 所述交互单元, 还 用于向服务器发送查询请求, 请求服务器查询媒体信息标识对应的媒体信 息、 文本内容标识对应的文本内容、 关键字标识对应的关键字信息; 所述交互单元, 还用于接收服务器发送的媒体信息、 文本内容、 关键字。
28、 一种图形控件显示的装置, 所述装置包括显示屏幕, 其特征在于, 所述装置还包括控制单元、 控件功能单元、 显示单元:
所述控制单元用于调用应用程序, 指令显示单元在所述显示屏幕上显示 所述应用程序界面;
所述控件功能单元用于调用所述应用程序中的多个控件功能, 指令显示 单元在所述应用程序界面中显示所述多个控件功能对应的图形控件, 所述 图形控件至少包括: 联系人图形控件、 媒体信息图形控件和文本图形控件; 其中, 所述联系人图形控件用于显示联系人信息, 所述媒体信息图形控 件用于播放对应的媒体信息, 所述文本图形控件用于显示所述媒体信息对 应的文本信息;
所述显示单元用于在所述显示屏幕上显示所述应用程序界面, 并在所述 应用程序界面中显示所述多个控件功能对应的图形控件, 所述图形控件至 少包括: 联系人图形控件、 媒体信息图形控件和文本图形控件。
29、 根据权利要求 28所述的图形控件显示的装置, 其特征在于, 所述 装置还包括控件切换单元, 所述控件切换单元用于指令所述显示单元在所 述应用程序界面中显示媒体信息图形控件, 与在所述应用程序界面中显示 媒体信息图形控件和文本图形控件之间进行切换;
所述显示单元还用于根据所述控件切换单元的指令, 在所述应用程序界 面中显示媒体信息图形控件, 或者在所述应用程序界面中显示媒体信息图 形控件和文本图形控件。
30、 根据权利要求 29所述的图形控件显示的装置, 其特征在于, 所述 显示单元还用于在所述应用程序界面中显示所述控件切换单元对应的切换 功能图形控件, 所述切换功能图形控件用于接收切换指令, 并根据所述切 换指令指示显示单元在所述应用程序界面中显示媒体信息图形控件, 或者 在所述应用程序界面中显示媒体信息图形控件和文本图形控件。
31、 一种显示媒体信息的方法, 其特征在于, 包括:
接收媒体信息请求, 所述媒体信息请求中携带媒体信息;
解析接收到的媒体信息得到媒体信息对应的文本信息; 显示所述媒体信息和所述文本信息。
32、 根据权利要求 31 所述的方法, 其特征在于, 所述方法还包括: 根 据切换指令, 显示所述媒体信息或者显示媒体信息和文本信息。
33、 一种显示媒体信息的装置, 其特征在于, 包括交互单元、 识别单元 和显示单元:
所述交互单元, 用于接收媒体信息请求, 所述媒体信息请求中携带媒体 信息;
所述识别单元, 用于解析接收到的媒体信息得到媒体信息对应的文本信 息;
所述显示单元, 用于显示所述媒体信息和所述文本信息;
34、 根据权利要求 33 所述的装置, 其特征在于, 所述交互单元, 还用 于接收切换指令, 指令显示单元显示媒体信息, 或显示媒体信息和文本信 息。
PCT/CN2014/073475 2013-07-02 2014-03-14 显示媒体信息方法、装置、客户端,图形控件显示方法和装置 WO2015000307A1 (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US15/537,338 US10637806B2 (en) 2013-07-02 2014-03-14 User interface for a chatting application displaying a visual representation of a voice message with feature information indicating a mood
US16/854,628 US10880244B2 (en) 2013-07-02 2020-04-21 Method, apparatus, and client for displaying media information, and method and apparatus for displaying graphical controls
US17/112,614 US11700217B2 (en) 2013-07-02 2020-12-04 Displaying media information and graphical controls for a chat application

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201310274892.XA CN103369477B (zh) 2013-07-02 2013-07-02 显示媒体信息方法、装置、客户端,图形控件显示方法和装置
CN201310274892.X 2013-07-02

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US15/537,338 A-371-Of-International US10637806B2 (en) 2013-07-02 2014-03-14 User interface for a chatting application displaying a visual representation of a voice message with feature information indicating a mood
US16/854,628 Continuation US10880244B2 (en) 2013-07-02 2020-04-21 Method, apparatus, and client for displaying media information, and method and apparatus for displaying graphical controls

Publications (1)

Publication Number Publication Date
WO2015000307A1 true WO2015000307A1 (zh) 2015-01-08

Family

ID=49369814

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2014/073475 WO2015000307A1 (zh) 2013-07-02 2014-03-14 显示媒体信息方法、装置、客户端,图形控件显示方法和装置

Country Status (3)

Country Link
US (3) US10637806B2 (zh)
CN (1) CN103369477B (zh)
WO (1) WO2015000307A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018184199A1 (en) 2017-04-07 2018-10-11 Microsoft Technology Licensing, Llc Voice forwarding in automated chatting
CN109189985A (zh) * 2018-08-17 2019-01-11 北京达佳互联信息技术有限公司 文本风格处理方法、装置、电子设备及存储介质

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103369477B (zh) * 2013-07-02 2016-12-07 华为技术有限公司 显示媒体信息方法、装置、客户端,图形控件显示方法和装置
CN103873687A (zh) * 2014-03-10 2014-06-18 联想(北京)有限公司 一种信息处理方法及电子设备
CN104637480B (zh) * 2015-01-27 2018-05-29 广东欧珀移动通信有限公司 一种控制语音识别方法、装置以及系统
CN105049318B (zh) * 2015-05-22 2019-01-08 腾讯科技(深圳)有限公司 消息发送方法和装置、消息处理方法和装置
CN106910512A (zh) * 2015-12-18 2017-06-30 株式会社理光 语音文件的分析方法、装置及系统
US11032092B2 (en) * 2018-06-20 2021-06-08 Mitel Networks Corporation System and method for recording and reviewing mixed-media communications
USD945438S1 (en) * 2019-08-27 2022-03-08 Twitter, Inc. Display screen with graphical user interface for conversations
CN111986648A (zh) * 2020-06-29 2020-11-24 联想(北京)有限公司 一种信息处理方法、装置及设备
CN111859900B (zh) * 2020-07-14 2023-09-08 维沃移动通信有限公司 消息显示方法、装置和电子设备
CN115334030B (zh) * 2022-08-08 2023-09-19 阿里健康科技(中国)有限公司 语音消息显示方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1704958A (zh) * 2004-06-01 2005-12-07 日本电气株式会社 信息传输系统和信息传输方法
CN102263705A (zh) * 2010-05-25 2011-11-30 腾讯科技(深圳)有限公司 显示即时通讯消息的方法及装置
CN102750365A (zh) * 2012-06-14 2012-10-24 华为软件技术有限公司 即时语音消息的检索方法和系统,以及用户设备和服务器
CN102870373A (zh) * 2010-05-03 2013-01-09 阿尔卡特朗讯公司 基于事件的社交网络应用
CN103327181A (zh) * 2013-06-08 2013-09-25 广东欧珀移动通信有限公司 可提高用户获知语音信息效率的语音聊天方法
CN103369477A (zh) * 2013-07-02 2013-10-23 华为技术有限公司 显示媒体信息方法、装置、客户端,图形控件显示方法和装置

Family Cites Families (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7222075B2 (en) * 1999-08-31 2007-05-22 Accenture Llp Detecting emotions using voice signal analysis
EP1109390A3 (en) 1999-12-08 2003-07-09 AT&T Corp. System and method for browsing and searching through voicemail using automatic speech recognition
US7159008B1 (en) * 2000-06-30 2007-01-02 Immersion Corporation Chat interface with haptic feedback functionality
US20080040227A1 (en) * 2000-11-03 2008-02-14 At&T Corp. System and method of marketing using a multi-media communication system
US8495503B2 (en) 2002-06-27 2013-07-23 International Business Machines Corporation Indicating the context of a communication
US7054888B2 (en) * 2002-10-16 2006-05-30 Microsoft Corporation Optimizing media player memory during rendering
US7908554B1 (en) * 2003-03-03 2011-03-15 Aol Inc. Modifying avatar behavior based on user action or mood
US20040176114A1 (en) * 2003-03-06 2004-09-09 Northcutt John W. Multimedia and text messaging with speech-to-text assistance
US7305438B2 (en) * 2003-12-09 2007-12-04 International Business Machines Corporation Method and system for voice on demand private message chat
KR100720133B1 (ko) * 2003-12-27 2007-05-18 삼성전자주식회사 휴대단말기의 문자 메시지 처리 방법
US7702792B2 (en) 2004-01-08 2010-04-20 Cisco Technology, Inc. Method and system for managing communication sessions between a text-based and a voice-based client
US20080214214A1 (en) * 2004-01-30 2008-09-04 Combots Product Gmbh & Co., Kg Method and System for Telecommunication with the Aid of Virtual Control Representatives
US7487441B2 (en) * 2004-03-11 2009-02-03 Yahoo!Inc. Method and system of enhanced messaging
KR100689355B1 (ko) * 2004-04-23 2007-03-02 삼성전자주식회사 휴대단말기의 상태 표시장치 및 방법
CN101075983A (zh) * 2006-12-15 2007-11-21 腾讯科技(深圳)有限公司 即时语音通信终端、服务器、系统和即时语音通信方法
US8271003B1 (en) * 2007-03-23 2012-09-18 Smith Micro Software, Inc Displaying visual representation of voice messages
US20080273675A1 (en) * 2007-05-03 2008-11-06 James Siminoff Systems And Methods For Displaying Voicemail Transcriptions
GB0712877D0 (en) * 2007-07-03 2007-08-08 Skype Ltd Multimedia mood messages
US9760865B2 (en) * 2007-08-16 2017-09-12 International Business Machines Corporation Multi-modal transcript unification in a collaborative environment
US20090055484A1 (en) * 2007-08-20 2009-02-26 Thanh Vuong System and method for representation of electronic mail users using avatars
US8239774B2 (en) * 2007-08-28 2012-08-07 International Business Machines Corporation Utilizing mood sensors in an electronic messaging environment
US9054912B2 (en) * 2008-02-08 2015-06-09 Voxer Ip Llc Communication application for conducting conversations including multiple media types in either a real-time mode or a time-shifted mode
US8311188B2 (en) 2008-04-08 2012-11-13 Cisco Technology, Inc. User interface with voice message summary
US8489992B2 (en) * 2008-04-08 2013-07-16 Cisco Technology, Inc. User interface with visual progression
WO2009130605A2 (en) * 2008-04-21 2009-10-29 Vaka Corporation Methods and systems for customizing and embedding widgets in instant messages
KR101494388B1 (ko) * 2008-10-08 2015-03-03 삼성전자주식회사 이동통신단말기에서 감정 표시 서비스를 제공하기 위한 장치 및 방법
EP2192721A1 (en) * 2008-11-28 2010-06-02 Thomson Licensing A method of operating a network subnet manager
CA2768214A1 (en) 2009-07-15 2011-01-20 Google Inc. Commands directed at displayed text
US8489696B2 (en) * 2009-09-29 2013-07-16 International Business Machines Corporation Instant messaging exchange incorporating user-generated multimedia content
US9424444B2 (en) * 2009-10-14 2016-08-23 At&T Mobility Ii Llc Systems, apparatus, methods and computer-readable storage media for facilitating integrated messaging, contacts and social media for a selected entity
US8705708B2 (en) * 2010-03-12 2014-04-22 Apple Inc. Indicators for voicemails
US8588825B2 (en) * 2010-05-25 2013-11-19 Sony Corporation Text enhancement
US8972257B2 (en) * 2010-06-02 2015-03-03 Yahoo! Inc. Systems and methods to present voice message information to a user of a computing device
US20120047447A1 (en) * 2010-08-23 2012-02-23 Saad Ul Haq Emotion based messaging system and statistical research tool
CN102404243A (zh) 2010-09-15 2012-04-04 于琨洪 一种基于浏览器的可浮动的网络即时新型聊天方法
CN101964717A (zh) 2010-10-18 2011-02-02 苏州阔地网络科技有限公司 一种基于即时通群组发起会议的方法
CN102469034A (zh) 2010-11-03 2012-05-23 于琨洪 一种基于浏览器的可悬浮的新型网络即时聊天方法
CN102045269A (zh) 2010-11-30 2011-05-04 于琨洪 一种基于浏览器的可悬浮的新型网络即时聊天方法
US20120182309A1 (en) * 2011-01-14 2012-07-19 Research In Motion Limited Device and method of conveying emotion in a messaging application
CN102347913B (zh) 2011-07-08 2015-04-08 个信互动(北京)网络科技有限公司 一种语音和文字内容混排消息的实现方法
US8824645B2 (en) * 2011-09-30 2014-09-02 Verizon Patent And Licensing Inc. Video messaging systems and methods
US8966404B2 (en) * 2011-11-11 2015-02-24 Apollo Education Group, Inc. Hierarchy-indicating graphical user interface for discussion threads
US20130125061A1 (en) * 2011-11-11 2013-05-16 Jongwoo LEE Efficient Navigation Of Hierarchical Data Displayed In A Graphical User Interface
US8693643B2 (en) * 2011-11-16 2014-04-08 At&T Mobility Ii Llc Integrating visual voicemail within a threaded communication environment
CN103295576A (zh) 2012-03-02 2013-09-11 腾讯科技(深圳)有限公司 一种即时通信的语音识别方法和终端
US9911222B2 (en) * 2012-07-06 2018-03-06 Tangome, Inc. Animation in threaded conversations
US10824297B2 (en) * 2012-11-26 2020-11-03 Google Llc System for and method of accessing and selecting emoticons, content, and mood messages during chat sessions
US9569424B2 (en) * 2013-02-21 2017-02-14 Nuance Communications, Inc. Emotion detection in voicemail
US20140324414A1 (en) 2013-04-28 2014-10-30 Tencent Technology (Shenzhen) Company Limited Method and apparatus for displaying emoticon

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1704958A (zh) * 2004-06-01 2005-12-07 日本电气株式会社 信息传输系统和信息传输方法
CN102870373A (zh) * 2010-05-03 2013-01-09 阿尔卡特朗讯公司 基于事件的社交网络应用
CN102263705A (zh) * 2010-05-25 2011-11-30 腾讯科技(深圳)有限公司 显示即时通讯消息的方法及装置
CN102750365A (zh) * 2012-06-14 2012-10-24 华为软件技术有限公司 即时语音消息的检索方法和系统,以及用户设备和服务器
CN103327181A (zh) * 2013-06-08 2013-09-25 广东欧珀移动通信有限公司 可提高用户获知语音信息效率的语音聊天方法
CN103369477A (zh) * 2013-07-02 2013-10-23 华为技术有限公司 显示媒体信息方法、装置、客户端,图形控件显示方法和装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018184199A1 (en) 2017-04-07 2018-10-11 Microsoft Technology Licensing, Llc Voice forwarding in automated chatting
EP3577860A4 (en) * 2017-04-07 2020-11-11 Microsoft Technology Licensing, LLC VOICE FORWARDING FOR AUTOMATED CHATING
US11233756B2 (en) 2017-04-07 2022-01-25 Microsoft Technology Licensing, Llc Voice forwarding in automated chatting
CN109189985A (zh) * 2018-08-17 2019-01-11 北京达佳互联信息技术有限公司 文本风格处理方法、装置、电子设备及存储介质
CN109189985B (zh) * 2018-08-17 2020-10-09 北京达佳互联信息技术有限公司 文本风格处理方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN103369477B (zh) 2016-12-07
US20170353408A1 (en) 2017-12-07
CN103369477A (zh) 2013-10-23
US20210092082A1 (en) 2021-03-25
US10880244B2 (en) 2020-12-29
US20200252356A1 (en) 2020-08-06
US11700217B2 (en) 2023-07-11
US10637806B2 (en) 2020-04-28

Similar Documents

Publication Publication Date Title
WO2015000307A1 (zh) 显示媒体信息方法、装置、客户端,图形控件显示方法和装置
US11232409B2 (en) Presenting entity profile information to a user of a computing device
US10291560B2 (en) Integrated real-time email-based virtual conversation
TWI492075B (zh) 在對話期間提供建議的方法,使用所述方法的電子裝置,以及電腦程式產品
US9742715B1 (en) Method and system for storing real-time communications in an email inbox
WO2020181906A1 (zh) 与智能电视交互的方法及装置
WO2016138767A1 (zh) 一种用于提供推荐信息的方法与设备
WO2020207085A1 (zh) 信息分享方法、装置、电子设备及存储介质
WO2014106433A1 (zh) 语音识别的方法、交互设备、服务器和系统
CN113094143B (zh) 跨应用消息发送方法、装置和电子设备、可读存储介质
WO2014000546A1 (zh) 提醒方法、终端、云服务器和系统
JP2021099861A (ja) メッセージングサービスのためのサーバ、システム、ユーザ端末、方法、及びプログラム
CN102404251A (zh) 具有备注功能的即时通信的实现方法、客户端及系统
CN107154894B (zh) 一种即时通讯信息的处理方法、装置、系统及存储介质
JP2008146639A (ja) クライアントにウェブ・サービスを提供するための方法、コンピュータ・プログラム及びシステム
WO2022161431A1 (zh) 显示方法、装置及电子设备
WO2018205577A1 (zh) 即时通信应用中的文件发送
JP2017072976A (ja) 情報処理システム、情報処理方法及びプログラム
JP2019175464A (ja) 情報処理装置、情報処理方法及びプログラム
CN103973542A (zh) 一种语音信息处理方法及装置
JP7467775B2 (ja) 情報処理方法、装置、端末及び記憶媒体
WO2021143317A1 (zh) 邀请链接信息处理方法、装置、电子设备及可读介质
WO2018145574A1 (zh) 一种信息处理方法及装置、终端、服务器、存储介质
CN109766315A (zh) 文件展示方法及终端、计算机存储介质、计算机设备
WO2022253132A1 (zh) 信息显示方法、装置和电子设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14820531

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14820531

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15537338

Country of ref document: US