WO2013166785A1 - 媒体业务提供方法和装置、媒体业务显示方法和装置 - Google Patents

媒体业务提供方法和装置、媒体业务显示方法和装置 Download PDF

Info

Publication number
WO2013166785A1
WO2013166785A1 PCT/CN2012/079213 CN2012079213W WO2013166785A1 WO 2013166785 A1 WO2013166785 A1 WO 2013166785A1 CN 2012079213 W CN2012079213 W CN 2012079213W WO 2013166785 A1 WO2013166785 A1 WO 2013166785A1
Authority
WO
WIPO (PCT)
Prior art keywords
terminal
audio
video data
coupling relationship
content
Prior art date
Application number
PCT/CN2012/079213
Other languages
English (en)
French (fr)
Inventor
梁国和
陈慧
Original Assignee
中兴通讯股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 中兴通讯股份有限公司 filed Critical 中兴通讯股份有限公司
Publication of WO2013166785A1 publication Critical patent/WO2013166785A1/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams

Definitions

  • the present invention relates to the field of communications, and in particular to a media service providing method and apparatus, and a media service displaying method and apparatus.
  • media content is generally audio and video content.
  • other non-audio video content such as: electronic whiteboard information during distance learning, PPT (PowerPoint) lectures for remote meetings, and text exchange information.
  • Treating non-audio video content as audio and video content will cause the following problems: On the one hand, the processed data will be greatly increased, and the transmission bandwidth is very demanding; on the other hand, the current audio and video content is subjected to lossy compression, Audio and video content also undergoes lossy compression during the encoding and decoding process, resulting in reduced display resolution of non-audio video content. Therefore, current media technologies are more suitable for film and television programs (ie, separate audio and video data), and are not well suited for application scenarios containing non-audio video content.
  • the mobile terminal can pass the second generation mobile communication system (The
  • CMMB China Mobile Multimedia Broadcasting
  • 3G Third Generation
  • LTE Long-Term Evolution
  • WIFI wireless fidelity
  • CMMB China Mobile Multimedia Broadcasting
  • a variety of wireless communication methods provide more technical options for media services.
  • the media service is generally provided based on a personal computer (PC) terminal.
  • PC personal computer
  • the application scenario of the mobile terminal is not fully considered, and the non-audio video content is treated as audio and video content, so that the terminal pairs the data.
  • the processing load is increased and a limited system bandwidth is wasted.
  • no effective solution has been proposed yet.
  • Embodiments of the present invention provide a media service providing method and apparatus, and a media service display method and apparatus, to at least solve the problem that the non-audio data in the media content adopts the same encoding and decoding mode as the audio and video data in the prior art.
  • the resulting terminal has increased processing load on data and wasted technical problems of limited system bandwidth.
  • a method for providing a media service including: determining, by a service server, a coupling relationship table corresponding to a terminal according to terminal information of the terminal and a media service feature of the media service provided by the terminal, and The coupling relationship table is synchronized to the terminal, wherein the media service includes audio and video data and non-audio video data, and the coupling relationship table includes a correspondence between a codec mode, a transmission mode, and a display mode of the audio and video data and the non-audio video data;
  • the server separately processes the audio and video data and the non-audio video data according to the coding manner in the coupling relationship table; the service server provides the separately processed audio and video data and the non-audio video data to the terminal according to the transmission mode in the coupling relationship table.
  • the service server synchronizes the coupling relationship table to the terminal, and the method includes: the service server directly synchronizes the coupling relationship table generated by the terminal to the current terminal; or the service server synchronizes the coupling relationship table to the terminal by using the terminal client, where the terminal The client stores a coupling relationship table corresponding to the terminal.
  • the service server determines the coupling relationship table corresponding to the terminal, and then processes the audio and video data and the non-audio video data according to the coupling relationship table respectively.
  • the method includes: the service server searches in the coupling relationship content library according to the coupling relationship table corresponding to the terminal client, and obtains the media content provided by the terminal, wherein the coupling relationship content library stores the coupling relationship table and corresponds to each coupling relationship table.
  • Media content, media content including non-audio video data is different from the encoding and decoding mode of the non-audio video data, wherein the codec mode for avoiding lossy compression is adopted for the non-audio video data.
  • the service server separately processes the audio and video data and the non-audio video data according to the coding manner in the coupling relationship table, including: the service server adds a timestamp to the operation record in the non-audio video data, and uses the timestamp to the non-audio video.
  • the data is synchronized with the audio and video data.
  • the service server provides the processed audio and video data and the non-audio video data to the terminal according to the transmission mode in the coupling relationship table, including: the service server uses the traditional audio and video data transmission manner to process the processed audio and video The data is provided to the terminal; the service server provides the processed non-audio video data to the terminal by means of file transmission.
  • the terminal information comprises at least one of the following: a video capability of the terminal, a transmission capability of the terminal, and a type of the terminal.
  • the method for obtaining the terminal information includes: when the service server signs the contract with the terminal, the terminal information corresponding to the terminal is saved; or, when the terminal applies for the media service to the service server, the terminal dynamically reports the terminal information of the terminal to the service server.
  • the transmission mode comprises: using a fixed network transmission and/or using a wireless network transmission.
  • the non-audio video data comprises at least one of the following: real-time electronic whiteboard information, real-time instant text exchange information, and fixed conference materials.
  • a method for displaying a media service including: receiving, by a terminal, a media content provided by a service server according to a coupling relationship table synchronized by a service server, where the media content includes audio and video content and non-audio video
  • the content, the coupling relationship table includes a correspondence between a codec mode, a transmission mode, and a display mode of the audio and video content and the non-audio video content
  • the coupling relationship table is used by the service server according to the terminal information of the terminal and the media of the media service provided for the terminal.
  • the service feature is determined; the terminal processes the media content according to the decoding manner of the coupling relationship table, and acquires audio and video data and non-audio video data; the terminal combines the audio and video data and the non-sound video data into a displayable manner according to the display manner of the coupling relationship table.
  • Media content and display.
  • the display manner comprises at least one of the following: fused to display audio and video content and non-audio video content, separately displaying audio and video content, and separately displaying the non-audio video content.
  • the terminal provides a user interface selection display mode.
  • the terminal displays the audio and video content and the non-audio video content
  • the method includes: the terminal acquiring a keyword corresponding to the non-audio video content from the non-audio video data; and searching, by the terminal, the content associated with the media content according to the keyword,
  • the downloaded content and audio and video content and non-audio video content are downloaded to the local; the terminal downloads the local audio and video content and the non-audio video content simultaneously.
  • the terminal combines the audio and video data and the non-audio video data into the displayable media content according to the display manner of the coupling relationship table, and performs display, including: when the terminal has a transmission delay in part of the received media content or When the transmission fails, the terminal displays the media content that was correctly received.
  • the obtaining manner of the coupling relationship table includes: the terminal dynamically acquiring a coupling relationship table corresponding to the terminal to the service server before receiving the media content; or, the service server fixes the coupling relationship table in the application, and the terminal is configured according to the terminal.
  • Terminal information selectively installs the application.
  • the terminal information comprises at least one of the following: a video capability of the terminal, a transmission capability of the terminal, and a type of the terminal.
  • the terminal when there is a timestamp in the operation record of the non-audio video data, the terminal combines the audio and video data and the non-audio video data into the displayable media content according to the display manner of the coupling relationship table, including: the terminal selects and operates according to the timestamp.
  • a media service providing apparatus which is disposed in a service server, and includes: a determining module, configured to determine, according to terminal information of the terminal and media service characteristics of the media service provided for the terminal, a coupling relationship table corresponding to the terminal, and synchronizing the coupling relationship table to the terminal, wherein the media service includes audio and video data and non-audio video data, and the coupling relationship table includes encoding and decoding modes and transmissions of the audio and video data and the non-audio video data.
  • the processing module is configured to separately process the audio and video data and the non-audio video data according to the coding manner in the coupling relationship table; and provide a module, which is set according to the transmission mode in the coupling relationship table, The separately processed audio and video data and non-audio video data are provided to the terminal.
  • a media service display device which is provided in a terminal, and includes: a receiving module, configured to receive media content provided by a service server according to a coupling relationship table synchronized by a service server, where the media The content includes audio and video content and non-audio video content, and the coupling relationship table includes a correspondence between a codec mode, a transmission mode, and a display mode of the audio and video content and the non-audio video content, and the coupling relationship table is determined by the service server according to the terminal information of the terminal.
  • the acquiring module is configured to process the media content according to the decoding manner of the coupling relationship table, and obtain audio and video data and non-audio video data; and the display module is set according to the coupling relationship table.
  • the display mode combines audio and video data and non-audio video data into media content that can be displayed and displays.
  • the service server generates a coupling relationship corresponding to the terminal according to the terminal information of the terminal and the media service selected by the terminal, and then the service server synchronizes the coupling relationship to the corresponding terminal, and according to the coupling relationship Determining different codec modes, the service server encodes the media content according to the corresponding coding mode, and the terminal decodes according to the corresponding decoding mode, thereby achieving the purpose of using different media content transmission modes according to terminal information of different terminals.
  • the invention solves the technical problem that the processing load of the terminal on the non-audio data in the media content is the same as that of the audio and video data, and the processing load of the terminal is increased, and the limited system bandwidth is wasted, and the terminal is reduced.
  • FIG. 1 is a preferred flowchart of a media service providing method according to an embodiment of the present invention
  • FIG. 2 is a block diagram showing a preferred structure of a media service providing apparatus according to an embodiment of the present invention
  • FIG. 4 is a block diagram of a preferred structure of a media service display device according to an embodiment of the present invention
  • FIG. 5 is a block diagram of a media content transmission method according to an embodiment of the present invention
  • FIG. 6 is another preferred flowchart of a media content transmission method according to an embodiment of the present invention
  • FIG. 7 is a block diagram showing a preferred structure of a media content transmission apparatus according to an embodiment of the present invention
  • FIG. 9 is a block diagram showing another preferred structure of a media content transmission apparatus according to an embodiment of the present invention
  • FIG. 10 is a block diagram showing another preferred structure of a medium content transmission apparatus according to an embodiment of the present invention
  • FIG. 11 is a preferred flowchart of a media content display method according to an embodiment of the present invention
  • FIG. 12 is a schematic diagram of a preferred architecture of a media content display system according to an embodiment of the present invention
  • FIG. 14 is a schematic diagram of another preferred architecture of a media content display system according to an embodiment of the present invention
  • FIG. 15 is a display of media content based on distance education according to an embodiment of the present invention.
  • a preferred method of the method BEST MODE FOR CARRYING OUT THE INVENTION BEST MODE FOR CARRYING OUT THE INVENTION
  • an embodiment of the present invention provides a media service providing method and apparatus, and a media service display method and apparatus.
  • an embodiment of the present invention provides a media service providing method, which is described from the service server side. As shown in FIG. 1 , the method includes: S102: The service server provides the terminal according to the terminal information of the terminal.
  • Media service characteristics of the media service determining a coupling relationship table corresponding to the terminal, and synchronizing the coupling relationship table to the terminal; wherein, the media service includes audio and video data and non-audio video data, and the coupling relationship table includes audio and video data and non- Correspondence between codec mode, transmission mode and display mode of audio and video data;
  • the service server processes the audio and video data and the non-audio video data according to the coding manner in the coupling relationship table.
  • the service server provides the separately processed audio and video data and the non-audio video data to the terminal according to the transmission manner in the coupling relationship table.
  • the service server may synchronize the coupling relationship table to the terminal in the following manner, including: the service server directly synchronizes the coupling relationship table generated by the terminal to the current terminal; or the service server connects the coupling relationship through the terminal client manner.
  • the table is synchronized to the terminal, where the terminal client stores a coupling relationship table corresponding to the terminal.
  • the service server when the service server synchronizes the coupling relationship table to the terminal by means of the terminal client, the service server determines the coupling relationship table corresponding to the terminal, and then performs the sound according to the coupling relationship table.
  • the method further includes: the service server searches in the coupling relationship content library according to the coupling relationship table corresponding to the terminal client, and obtains the media content provided by the terminal, where the coupling relationship content library There is stored a coupling relationship table and media content corresponding to each coupling relationship table, and the media content includes non-audio video data.
  • the encoding and decoding mode of the audio and video data is different from the encoding and decoding mode of the non-audio video data, wherein the non-audio video data is used. Avoid codec mode of lossy compression. It is necessary to realize the recovery of the media content after transmission and decoding of the audio and video data and the non-audio video data, and time stamping can be added to achieve time synchronization between the two.
  • the service server separately processes the audio and video data and the non-audio video data according to the coding manner in the coupling relationship table, including: the service server adds a timestamp to the operation record in the non-audio video data, and uses the timestamp to the non-audio video.
  • the data is synchronized with the audio and video data.
  • the service server provides separately processed audio and video data and non-audio video data to the terminal according to the transmission mode in the coupling relationship table, including: the service server processes the traditional audio and video data transmission method.
  • the subsequent audio and video data is provided to the terminal; the service server provides the processed non-audio video data to the terminal by means of file transmission.
  • the terminal information may include, but is not limited to, at least one of the following: a video capability of the terminal, a transmission capability of the terminal, and a type of the terminal.
  • a video capability of the terminal a transmission capability of the terminal
  • a type of the terminal a type of the terminal.
  • the service server saves terminal information of the terminal when signing with the terminal
  • the terminal When the terminal applies for the media service to the service server, the terminal dynamically reports its terminal information to the service server.
  • the foregoing transmission manner includes: transmitting by using a fixed network and/or using a wireless network.
  • the non-audio video data includes at least one of the following: real-time electronic whiteboard information, real-time instant text exchange information, and fixed conference materials.
  • a media service providing apparatus is further disposed in the service server. As shown in FIG. 2, the method includes: a determining module 202, configured to set the media service according to the terminal information of the terminal and the media service provided by the terminal.
  • the processing module 204 is connected to the determining module 202, and configured to separately process the audio and video data and the non-audio video data according to the coding manner in the coupling relationship table; providing a module 206, connecting The processing module 204 is configured to provide the separately processed audio and video data and non-sound video data to the terminal according to the transmission mode in the coupling relationship table.
  • Embodiment 2 The embodiment of the present invention further provides a media service display method, which is described from the terminal side. As shown in FIG. 3, the method includes:
  • the terminal receives the media content provided by the service server according to the coupling relationship table of the service server synchronization; wherein the media content includes audio and video content and non-audio video content, and the coupling relationship table includes encoding and decoding the audio and video content and the non-audio video content.
  • the coupling relationship table is determined by the service server according to the terminal information of the terminal and the media service feature of the media service provided for the terminal;
  • S304 The terminal processes the media content according to the decoding manner of the coupling relationship table, and acquires audio and video data and non-audio video data.
  • the terminal combines the audio and video data and the non-audio video data into the displayable media content according to the display manner of the coupling relationship table, and displays the content.
  • the display manners described above include, but are not limited to, at least one of the following: Fusion display of audio and video content and non-audio video content, display of audio and video content separately, and display of non-audio video content separately.
  • the terminal provides a user interface selection display mode.
  • the terminal displays the media content, if the related technology needs to perform the related search of the media content, the audio and video content of the media content needs to be encoded to obtain a certain search keyword, and the terminal will greatly increase the terminal pair.
  • Searching may be, in a preferred embodiment, the terminal displaying the audio and video content and the non-audio video content, including: the terminal acquiring a keyword corresponding to the non-audio video content from the non-audio video data; the terminal searching according to the keyword The content associated with the media content, and downloading the searched content and the audio and video content and the non-audio video content to the local; the terminal downloads the local audio and video content and the non-audio video content simultaneously.
  • the terminal In the case of data transmission, sometimes the transmission abnormality causes the media content to be displayed incorrectly.
  • the terminal combines the audio and video data and the non-audio video data into the displayable media content according to the display manner of the coupling relationship table. And displaying, including: when the terminal has a transmission delay or a transmission failure in part of the received media content, the terminal displays the media content that has been correctly received.
  • the coupling relationship table may be obtained in the following manner: Before receiving the media content, the terminal dynamically acquires a coupling relationship table corresponding to the terminal to the service server; or, the service server fixes the coupling relationship table in the application, and the terminal according to the terminal Terminal information selectively installs the application.
  • the terminal information includes, but is not limited to, at least one of the following: a video capability of the terminal, a transmission capability of the terminal, and a type of the terminal.
  • the terminal when there is a time stamp in the operation record of the non-audio video data, the terminal combines the audio and video data and the non-audio video data into the displayable media content according to the display manner of the coupling relationship table, including: The time stamp selects audio and video data synchronized with the operation record; the terminal combines the synchronized audio and video data and the non-audio video data in which the operation record is located into the displayable media content.
  • the embodiment further provides a media service display device, which is disposed in the terminal, as shown in FIG. 4, and includes: a receiving module 402, configured to receive a service server according to a coupling relationship table synchronized by the service server.
  • the media content includes audio and video content and non-audio video content
  • the coupling relationship table includes a correspondence between a codec mode, a transmission mode, and a display mode of the audio and video content and the non-audio video content, and a coupling relationship table
  • the service server determines, according to the terminal information of the terminal and the media service feature of the media service provided by the terminal, the obtaining module 404 is connected to the receiving module 402, and is configured to process the media content according to the decoding manner of the coupling relationship table to obtain audio and video data.
  • the display module 406 is connected to the obtaining module 404, and is configured to combine the audio and video data and the non-sound video data into the displayable media content according to the display manner of the coupling relationship table, and display the content.
  • the specific steps of the device for displaying the media service in FIG. 4 are the same as the descriptions of the method for displaying the media service, and details are not described herein again.
  • Embodiment 3 In this embodiment, the foregoing providing and displaying the media service is described from another aspect.
  • the media content transmission method includes:
  • the service server acquires terminal information of the terminal and/or a media service selected by the terminal;
  • S504 The service server determines a coupling relationship corresponding to the terminal according to the terminal information and/or the service information corresponding to the service, and synchronizes the coupling relationship to the terminal, where the coupling relationship includes: when encoding or decoding the media content, in the media content Corresponding relationship between audio and video content and non-audio video content;
  • S506 The service server encodes the media content according to the coupling relationship, and sends the encoded audio data and non-audio data to the terminal.
  • the service server generates a coupling relationship corresponding to the terminal according to the terminal information of the terminal and the media service selected by the terminal, and then the service server synchronizes the coupling relationship to the corresponding terminal, and according to the coupling relationship Determining different codec modes, the service server encodes the media content according to the corresponding coding mode, and the terminal decodes according to the corresponding decoding mode, thereby achieving the purpose of using different media content transmission modes according to terminal information of different terminals.
  • the technical problem that the processing load of the terminal on the data is increased and the limited system bandwidth is wasted by using the same codec mode as the audio and video data in the non-audio data in the media content is solved in the prior art, and the technical problem of wasting a limited system bandwidth is achieved.
  • the above coupling relationship further includes at least one of the following: a mapping relationship between the audio and video data and its corresponding transmission mode, and the non-audio video data and its corresponding transmission.
  • the mapping relationship of the mode the mapping relationship between the audio and video content and its corresponding display mode, and the mapping relationship between the non-audio video content and its corresponding display mode.
  • the above media content includes at least one audio data or video data and one non-audio video data.
  • the non-audio video data may be transmitted by using multiple transmission modes.
  • the above-mentioned coupling relationship may be defined, and the service server and the terminal correspond to the coupling relationship for audio and video data and non-sound.
  • the transmission of the video data in a preferred embodiment of the embodiment of the present invention, the method for transmitting the media content according to the coupling relationship described above, as shown in FIG. S602:
  • the service server determines a network transmission mode indicated by a transmission mode corresponding to the audio and video data and the non-audio video data, where the transmission mode includes: using a fixed network transmission and/or using a wireless network transmission;
  • the service server sends the audio and video data and the non-audio video data according to the determined network transmission manner.
  • S606 The terminal determines a transmission mode corresponding to the audio and video data and a transmission mode corresponding to the non-audio video data;
  • S608 the terminal receives the audio data and the non-audio video data according to the determined transmission manner;
  • S610 The terminal decodes the audio data and the non-audio video data according to the correspondence relationship to obtain audio and video content and non-audio video content;
  • the terminal determines the display mode according to the coupling relationship, and displays the audio and video content and the non-audio video content according to the display manner.
  • the above network transmission mode it may be a fixed network transmission or a wireless network transmission.
  • the wireless network transmission methods include: 2G/3G/LTE and other cellular networks, WIFI, CMMB and the like.
  • the non-audio video data may also be mixed and transmitted with the audio and video data after the content is encoded by the service server.
  • the non-audio video data is transmitted by using a plurality of different transmission methods, thereby improving the transmission efficiency of the media content.
  • the received media content may be selectively displayed according to different display capabilities of the terminal or different requirements for display of the media content.
  • the display manner includes at least one of the following: fused display of audio and video content and non-audio video content, separately displaying audio and video content, and displaying separately Non-audio video content.
  • the flexible selection of the media content display mode is realized, and the resource consumption of the terminal is reduced to some extent.
  • Searching may be, in a preferred embodiment, the terminal displaying the audio and video content and the non-audio video content, including: the terminal acquiring a keyword corresponding to the non-audio video content from the non-audio video data; the terminal searching according to the keyword The content associated with the media content, and the searched content is displayed simultaneously with the audio and video content and the non-audio video content.
  • the above search is mainly performed on the service server side.
  • the related search of the media content including the non-audio video data is performed, which solves the problem that the media content search in the prior art is difficult.
  • the terminal displays the media content
  • the quality of the dynamic playback may be affected by the network terminal or the transmission delay.
  • the terminal may be pre-stored when the above problem occurs.
  • the media content is displayed.
  • the terminal displays the decoded media content, including: when the terminal has a transmission delay or a transmission failure in a part of the received media content, the terminal displays that the terminal has been correctly received. At the same time, the terminal continues to receive and store the corresponding media content so that normal media content can be displayed the next time it is displayed.
  • the terminal when the media content is displayed, when the transmission delay occurs in the non-audio video content, and the audio and video data is normally transmitted, the terminal can dynamically switch to the mode in which only the audio and video data is displayed, when the non-audio video content is received. Normally, the display of non-audio video content is performed.
  • the service server obtains the terminal information of the terminal in various manners.
  • the embodiment of the present invention provides two exemplary manners: 1) the service server saves the terminal information of the terminal when signing with the terminal;
  • the terminal When the terminal applies for the media service to the service server, the terminal dynamically reports its terminal information to the service server.
  • the service server There are two ways for the service server to synchronize the generated coupling relationship to the terminal.
  • the embodiment of the present invention provides two exemplary methods: 1) The terminal dynamically obtains a coupling relationship corresponding to the terminal to the service server before receiving the media content. That is, the terminal dynamically acquires a corresponding coupling relationship from the service server before acquiring the media content from the service server.
  • the service server fixes the coupling relationship in the application, and the terminal selectively installs the application according to its terminal information.
  • the service server synchronizes the coupling relationship of the various terminals to the corresponding terminal through the client program mode, that is, the service server develops the terminal client for each terminal according to the coupling relationship,
  • the user downloads and uses the terminal, and only needs to download and install the corresponding terminal client (application) to obtain the corresponding coupled relationship.
  • the client program running on the terminal includes: a coupling relationship, content reception, content composition, and content display.
  • the terminal information includes, but is not limited to, at least one of the following: a terminal video capability, a terminal transmission capability, and a terminal type.
  • the foregoing media service includes, but is not limited to, at least one of the following: multi-party conference, remote control, and distance education;
  • the above-mentioned non-audio video content includes but is not limited to at least one of the following: Whiteboard information, real-time text communication information, and fixed meeting materials.
  • the non-audio video content can be one of the following formats: PPT, TXT document, Word, and the like.
  • the apparatus includes: an obtaining unit 702, configured to acquire terminal information of the terminal and/or media selected by the terminal.
  • a determining unit 704 configured to connect to the obtaining unit 702, configured to determine a coupling relationship corresponding to the terminal according to the terminal information and/or service information corresponding to the service, and synchronize the coupling relationship to the terminal, where
  • the coupling relationship includes: a correspondence between the audio and video content and the non-audio video content in the media content when the media content is encoded and decoded;
  • the sending unit 706 is connected to the determining unit 704, and is set to follow the The coupling relationship encodes the media content, and transmits the encoded audio data and non-audio data to the terminal.
  • the service server generates a coupling relationship corresponding to the terminal according to the terminal information of the terminal and the media service selected by the terminal, and then the service server synchronizes the coupling relationship to the corresponding terminal, and according to the coupling relationship Determining different codec modes, the service server encodes the media content according to the corresponding coding mode, and the terminal decodes according to the corresponding decoding mode, thereby achieving the purpose of using different media content transmission modes according to terminal information of different terminals.
  • the technical problem that the processing load of the terminal on the data is increased and the limited system bandwidth is wasted by using the same codec mode as the audio and video data in the non-audio data in the media content is solved in the prior art, and the technical problem of wasting a limited system bandwidth is achieved.
  • the above coupling relationship further includes at least one of the following: a mapping relationship between the audio and video data and its corresponding transmission mode, and the non-audio video data and its corresponding transmission.
  • the mapping relationship of the mode the mapping relationship between the audio and video content and its corresponding display mode, and the mapping relationship between the non-audio video content and its corresponding display mode.
  • the above media content includes at least one audio data or video data and one non-audio video data.
  • the non-audio video data may be transmitted by using multiple transmission modes.
  • the above-mentioned coupling relationship may be defined, and the service server and the terminal correspond to the coupling relationship for audio and video data and non-sound.
  • the transmission of the video data in a preferred embodiment of the embodiment of the present invention, the transmission device of the media content located in the service server, as shown in FIG. 8, the sending unit includes: a determining module 802, configured to Determining a network transmission mode indicated by a transmission mode corresponding to the audio and video data and the non-audio video data, where the transmission mode includes: using a fixed network transmission and/or using a wireless network transmission; the sending module 804 is connected to the determining module 802, and is configured to Audio and video data and non-audio video data are transmitted according to the determined network transmission mode.
  • the transmission device of the media content on the terminal side includes: a determining unit 902, configured to determine a transmission mode corresponding to the audio and video data and a transmission mode corresponding to the non-audio video data; and a receiving unit 904, Connected to the determining unit 902, configured to receive the audio data and the non-audio video data according to the determined transmission mode; the decoding unit 906 is connected to the receiving unit 904, and configured to decode the audio data and the non-sound video data according to the correspondence relationship to obtain the audio and video.
  • the content and non-audio video content; the display unit 908 is connected to the decoding unit 906, and is configured to determine the display mode according to the coupling relationship, and display the audio and video content and the non-audio video content according to the display mode.
  • the above network transmission mode it may be a fixed network transmission or a wireless network transmission.
  • the wireless network transmission methods include: 2G/3G/LTE and other cellular networks, WIFI, CMMB and the like.
  • the non-audio video data may also be mixed and transmitted with the audio and video data after the content is encoded by the service server.
  • the non-audio video data is transmitted by using a plurality of different transmission methods, thereby improving the transmission efficiency of the media content.
  • the received media content may be selectively displayed according to different display capabilities of the terminal or different requirements for display of the media content.
  • the display manner includes at least one of the following: fused display of audio and video content and non-audio video content, separately displaying audio and video content, and displaying separately Non-audio video content.
  • the terminal When the terminal displays the media content, if the related technology needs to perform the related search of the media content, the audio and video content of the media content needs to be encoded to obtain a certain search keyword, and the terminal will greatly increase the terminal pair.
  • the processing load of the data because the non-audio video data is mainly in the form of a document, and adopts a codec mode different from the audio and video data, in the related search, only the corresponding keyword is directly obtained from the document for the network. Searching may be, in a preferred embodiment, as shown in FIG.
  • the display unit 908 includes: an obtaining module 1002, configured to acquire a keyword corresponding to the non-audio video content from the non-audio video data; the display module 1004 And connecting to the obtaining module 1002, configured to search for content associated with the media content according to the keyword, and display the searched content simultaneously with the audio and video content and the non-audio video content.
  • the foregoing search is mainly related search performed on the service server side.
  • the network related search is performed on the media content including the non-audio video data, which solves the difficulty in searching the media content in the prior art. The problem.
  • the embodiment of the present invention provides two exemplary methods:
  • the service server saves terminal information of the terminal when signing with the terminal
  • the terminal When the terminal applies for the media service to the service server, the terminal dynamically updates the coupling information to the service server.
  • the method for synchronizing the generated coupling relationship to the terminal is different.
  • the exemplary embodiment of the present invention provides two exemplary methods:
  • the terminal Before receiving the media content, the terminal dynamically acquires a coupling relationship corresponding to the terminal to the service server, that is, the terminal dynamically acquires a corresponding coupling relationship from the service server before acquiring the media content from the service server; 2) the service server The coupling relationship is fixed in the application, and the terminal selectively installs the application according to its own terminal information.
  • the service server synchronizes the coupling relationship of the various terminals to the corresponding terminal through the client program mode, that is, the service server develops the terminal client for each terminal according to the coupling relationship, The user downloads and uses the terminal, and only needs to download and install the corresponding terminal client (application) to obtain the corresponding coupled relationship.
  • the client program running on the terminal includes: a coupling relationship, content reception, content composition, and content display.
  • the terminal information includes, but is not limited to, at least one of the following: a terminal video capability, a terminal transmission capability, and a terminal type.
  • the foregoing media service includes, but is not limited to, at least one of the following: multi-party conference, remote control, and distance education; the above-mentioned non-audio video content includes but is not limited to at least one of the following: Whiteboard information, real-time text communication information, and fixed meeting materials.
  • the non-audio video content can be one of the following formats: PPT (slideshow), TXT (notepad) document, Word, and the like. That is, the format here can refer to a format that is read by different application software.
  • the invention is further described in the preferred embodiments of the invention, but it is to be understood that this invention is not intended to limit the invention.
  • Embodiments of the present invention provide a method and system for providing media services according to a coupling relationship between non-audio video data and audio and video data.
  • the service server provides a media service, wherein the media service includes media content in a media service such as multi-party conference, remote control, and distance education, including: audio data, video data, and non-audio video data.
  • the media content described in this embodiment includes at least one audio or video data and one non-audio video data, and the data source of the media content may be one or more.
  • Different media services are included in different media services, as shown in Table 1: Table 1
  • non-audio video data includes: real-time electronic whiteboard information, real-time instant text exchange information, and fixed conference data, etc.
  • non-audio video data can be mixed and encoded with audio and video data, It can be encoded and transmitted independently.
  • the non-audio video data in this embodiment performs encoding and decoding of the media content by using a codec manner different from the audio and video data.
  • non-audio video data can be transmitted in a variety of transmission modes. That is, it can be a fixed network transmission or a wireless transmission capability, such as a cellular network including 2G/3G/LTE, WIFI, CMMB, and the like.
  • the terminal side must obtain the relative relationship between non-audio data, audio data, and video data, and then perform normal correspondence through mutual correspondence.
  • Codec and content display are a media content transmission method that the terminal and the service server need to follow when performing media content transmission, wherein the codec mode between audio, video, and non-audio video data is included. Correspondence between decoding mode, transmission mode, and display mode.
  • the coupling relationship is generally generated by the service server.
  • the service server mainly generates a coupling relationship according to the characteristics of the media service and the terminal information, selects the codec mode, the transmission mode, and the display mode that the various media contents are adapted to, and synchronizes the coupling relationship to the terminal. .
  • the coupling relationship can be transmitted to the terminal, or can be synchronized to the terminal through a preset manner of the terminal client.
  • the terminal includes: a mobile phone, a PC, a television, and a PAD (PDA);
  • the terminal information includes: a terminal type, a terminal video capability, a terminal transmission capability, and the like.
  • the terminal information of the terminal may be reported to the service server dynamically when the service is performed, or may be registered when the terminal and the service server perform the service contract.
  • Terminal video capabilities include: audio and video formats supported by the terminal, audio and video Frequency playback capability, etc.
  • the terminal transmission capability can be fixed network transmission or wireless transmission capability.
  • the wireless transmission capability includes: 2G/3G/LTE and other cellular networks, WIFI and CMMB.
  • the method for displaying the media content is as shown in FIG. 11, and the specific steps include:
  • S1102 The service server obtains media content data such as audio data, video data, and non-audio video data respectively.
  • S1104 The service server performs content decision control according to characteristics of the media service and terminal information of the terminal, to determine various types corresponding to the terminal. The encoding and decoding mode, the transmission mode, and the display mode of the media content, thereby forming a coupling relationship;
  • S1106 the media content encoding of the codec mode determined by the service server according to the coupling relationship, and transmitting the media content to the terminal by using the corresponding communication network in the coupling relationship according to the transmission manner determined by the coupling relationship;
  • S1108 The terminal receives the media content by using different transmission modes according to the previously obtained coupling relationship
  • S1110 The terminal decodes the received media content into audio data, video data, and non-audio video data.
  • S1112 The terminal combines video data, audio data, and non-audio data into media content suitable for terminal display;
  • the terminal presents the merged media content.
  • a user interface may be provided on the terminal side to select a display manner of the media content.
  • a combination of display modes of various media contents may be provided for different coupling relationships, including: partial media content combination display, display switching, and the like.
  • the terminal uses the foreground display to synchronize with the background storage. The front end of the terminal may not be displayed or switched to other media data for display, and the background of the terminal continues to be stored normally.
  • the terminal may obtain the coupling relationship as follows: The service service presets the coupling relationship to the terminal in the manner of the terminal client, and the service server develops the terminal client for each terminal according to the coupling relationship, for the user to download and use.
  • the terminal client functionally includes a coupling relationship, that is, a transmission mode, a codec mode, and a display mode that a specific terminal should use.
  • the terminal client can access the corresponding media content according to the coupling relationship after passing the security authentication.
  • the quality of the dynamic playback may be affected by the network terminal or the transmission delay.
  • the terminal may be pre-stored when the above problem occurs.
  • the media content is displayed.
  • the terminal displays the decoded media content, including: when the display quality of the media content is lower than the preset quality, or the device displaying the media content is faulty, the terminal displays the Set the media content.
  • the distance education is taken as an example to describe a media content display method based on a coupling relationship.
  • the distance education media data includes a lesson plan, a classroom video, audio, and an operation record (board book) performed by the teacher on the electronic whiteboard.
  • the non-audio video data includes operation records and lesson plans.
  • the coupling relationship is related to the media service feature.
  • the audio and video data is a real-time video recording in the classroom, and the traditional audio and video encoding and decoding method is adopted, for example, a streaming media format, and a transmission mode such as a fixed network, WIFI or CMMB is adopted in the transmission mode.
  • the non-audio video data may adopt different encoding and decoding methods to form non-audio video content with the audio and video data; the non-audio video content may adopt an independent transmission mode, or may adopt the same transmission mode as the audio and video data.
  • the operation record is the teacher's blackboard on the electronic whiteboard, which forms the operation record file, which is not encoded by audio and video.
  • the TXT file format is used to save system bandwidth.
  • the terminal information includes terminal types, terminal video capabilities, terminal transmission capabilities and other terminal capabilities; terminal types are classified into PC terminals, CMMB terminals/smart terminals, and low-end phones. Table 2
  • the teaching plan (operation record) and voice mixed coding are adopted; the 2G/3G voice frame is multiplexed for transmission, affecting a small amount of voice.
  • Non-audio video data is transmitted in the case of quality.
  • the teaching (operation record) display on the terminal the corresponding audio and video data content is played.
  • audio and video data is encoded by traditional media format and transmitted through CMMB or WIFI; and the lesson plans are downloaded through 2G/3G/LTE cellular network; operation records can be transmitted through 2G/3G/LTE cellular networks or Audio and video hybrid coding synchronous transmission.
  • the screen on the terminal is small, and the user actively switches the playing mode of the video and the lesson plan; the operation record is synchronized with the audio and video, and is displayed synchronously with the lesson plan.
  • the audio and video data is transmitted through a fixed network in a conventional media format; the operation record and the lesson plan can be mixed and transmitted with the audio and video content or can be transmitted independently.
  • the PC display is better, the speech video can be displayed in full screen, and the lesson plan can be displayed in a fixed position; the operation record is synchronized with the audio and video, and displayed synchronously with the lesson plan.
  • This embodiment provides a system for displaying media content. As shown in FIG.
  • the architecture of the system includes: a terminal, a communication network, a service server, and the like.
  • the service server comprises a content decision control module, a content control module, a communication transmission control module and the like.
  • the content decision control module is configured to perform content decision control according to the media service feature and the terminal information, determine a codec mode, a transmission mode, and a display mode of various data, thereby forming a coupling relationship, and transmitting the coupling relationship to the communication transmission control.
  • the module and the content control module are controlled accordingly.
  • the content control module is responsible for forming the media content according to the coupling relationship according to the coupling relationship, and encoding the original audio data, the video data, and the non-audio data according to the coupling relationship.
  • the communication transmission control module is configured to transmit the coupled media content in a corresponding transmission channel manner.
  • the communication transmission can be either a fixed network transmission or a wireless network transmission, wherein the wireless network transmission includes: 2G/3G/LTE and other cellular networks, WIFI, and CMMB.
  • the service server communicates with the terminal through the communication network.
  • the terminal comprises a coupling relationship module, a content receiving module, a content synthesizing module and a content display module.
  • the content receiving module receives the media content from different networks and decodes it into audio, video and non-audio video data.
  • the content synthesis module is configured to combine the video data, the audio data, and the non-audio data, and transmit the combined media content to the content display module to complete the content presentation.
  • the purpose of the content composition is to merge the received media content into media content suitable for display by the content display module.
  • the content display module can present media content through a player, a client, and the like.
  • the content display can be selectively performed on the terminal side by providing a user interface according to the terminal information for different coupling relationships.
  • the terminal can display and convert content according to specific scenarios, such as switching between audio and video data and teaching plan display in distance education.
  • the content caching and playing mechanism can be adopted when displaying the content display module, that is, the dynamic playing mode or the cache playing can be performed. Different media data are obtained through different transmission methods, so that a variety of alternative display modes can be used for displaying the media content.
  • the content receiving module includes: content storage and dynamic playback.
  • the content synthesizing module includes: content management and playback synthesis.
  • the dynamic play and play synthesis completes the presentation of the media content in the foreground, and the content storage and content management are responsible for storing various types of media data.
  • the media data in the content management in the content synthesis module may be called. If the display request media data is satisfied, the currently playing media data may be paused, and the media content may be switched for playing, and the background still receives the media content and the data storage of the media content.
  • the media data is normally received and stored, when the user performs replay or the next application, the media playback returns to the normal display state.
  • the display mode of audio, video, and lesson plans due to the problem of video data transmission, affects the display quality, and can automatically switch to the display mode acceptable to users of audio and lesson plans.
  • dynamic play or cache play can be realized, which solves the problem that the terminal mobility and the wireless coverage cause transmission failure or delay, and the above manner avoids the user caused by the wireless transmission failure.
  • the embodiment of the present invention further provides another media content display system.
  • a terminal client media providing mode is provided, where the terminal accesses the service server through the client, and the terminal client accesses the service after passing the security authentication.
  • the server accesses the corresponding media content according to the coupling relationship. As shown in FIG.
  • the system includes: a terminal, a communication network, and a service server.
  • the service server includes a content decision control module, a content control module, and a communication transmission control module.
  • the content decision control module is configured to perform content decision control according to media service characteristics and terminal information, determine a codec mode, a transmission mode, and a display mode of various data to form a coupling relationship, and transmit the generated coupling relationship to the communication transmission control module and
  • the content control module performs corresponding control.
  • the coupling relationship index needs to be determined.
  • the content control module stores a coupling relationship content library, and the business server establishes a coupling relationship content library according to the coupling relationship. Since the media content includes non-audio video content, the related media content can be queried and searched through the non-audio video content index, that is, in the related art, when the media content needs to be searched, the audio and video data needs to be decoded. Obtaining the content of the text, and performing a corresponding search.
  • the non-audio video data is mainly in the form of a document, and a codec mode different from the audio and video data is used, and the related search is performed. In time, it is only necessary to obtain the corresponding keywords directly from the document for network search, which solves the problem of traditional media content search.
  • the content control module After obtaining the media content required by the terminal, the content control module transmits the media content to the communication transmission control module according to the established coupling relationship, and details are not described herein.
  • the service server can develop a client for different terminals according to the coupling relationship for the terminal to download and use, and preset the coupling relationship to the client through the terminal client.
  • the terminal client functionally includes a coupling relationship, content reception, content composition, content display, and the like.
  • the communication transmission control module is configured to transmit the coupled media content in a corresponding transmission channel manner.
  • the communication transmission can be either a fixed network transmission or a wireless network transmission, for example, a cellular network such as 2G/3G/LTE or a transmission method such as CMMB by WIFI.
  • the distance education includes teaching plans, videos, audios, and operation records of teachers on the electronic whiteboard on the media content. (writing on the blackboard).
  • the video and audio data are transmitted in the same media format and transmitted through the same transmission mode.
  • the audio and video data synchronization is prior art and will not be described again. Since the CMMB is suitable for transmitting audio and video data in the broadcast mode, the embodiment uses the CMMB to transmit audio and video data, and the audio and video data is transmitted to the terminal by CMMB encoding to form the media content.
  • Non-audio video data is divided into two parts: 1) Teaching plan, downloaded to the terminal through the traditional 2G/3G/LTE channel. 2) Operation record, adding time stamp for audio and video synchronization, and simultaneously forming the new media content by the relationship between the operation action and the lesson plan, that is, the operation record is transmitted to the terminal through an appropriate transmission method.
  • the operation record is also transmitted through the CMMB, and the operation record is transmitted in the next time slot of the CMMB of the audio and video, so that the terminal can process the media content.
  • the terminal obtains the lesson plan through the 2G/3G/LTE network; obtains the audio and video data through the CMMB codec mode, and obtains the operation record according to the coupling relationship.
  • the operation record is synchronized according to the timestamp information, and the corresponding lesson plan is called for synchronous display. If the screen of the terminal is small, the user can actively switch the display mode of the video and the lesson plan.
  • the operation record is synchronized with the audio and video, and is displayed synchronously with the lesson plan.
  • the terminal controls to display the related content, for example, only the voice or lesson is displayed.
  • the terminal determines a codec mode to be used for audio data and non-audio data in the media content according to a predetermined coupling relationship, and determines the coding mode.
  • the decoding method decodes the media content, and the encoding and decoding mode of the non-audio video data may be different from the encoding and decoding mode of the audio and video data, thereby solving the problem that the non-audio data in the media content is the same as the audio and video data in the prior art.

Abstract

本发明公开了一种媒体业务提供方法和装置、媒体业务显示方法和装置，该方法包括：业务服务器根据终端的终端信息以及为终端提供的媒体业务的媒体业务特征，确定与终端对应的耦合关系表，并将耦合关系表同步至终端，其中，媒体业务包括音视频数据和非音视频数据，耦合关系表包括对音视频数据和非音视频数据的编解码方式、传输方式以及显示方式间的对应关系；业务服务器根据耦合关系表中的编码方式对音视频数据和非音视频数据分别进行处理；业务服务器根据耦合关系表中的传输方式，将分别处理后的音视频数据和非音视频数据提供给终端。通过本发明，避免了对非音视频数据的有损压缩，减少了终端的数据量，提高了系统的带宽利用率。

Description

媒体业务提供方法和装置、 媒体业务显示方法和装置 技术领域 本发明涉及通信领域， 具体而言， 涉及一种媒体业务提供方法和装置、 媒体业务 显示方法和装置。 背景技术 对于目前的媒体业务， 无论是直播还是点播， 媒体内容一般都是音视频内容。 但 是对于有些媒体业务而言， 除了传统的音视频内容外， 还包括其他的非音视频内容， 例如： 远程教学过程中的电子白板信息、 远程会议的 PPT (PowerPoint) 讲稿以及文 字交流信息等。 将非音视频内容当成音视频内容进行处理会产生以下的问题： 一方面处理的数据 会极大地增加，对传输带宽的要求很大； 另一方面目前音视频内容进行的是有损压缩， 非音视频内容在编解码过程中也会进行有损压缩， 从而导致非音视频内容的显示清晰 度会降低。 因此， 目前的媒体技术比较适合影视节目 （即， 单独的音视频数据）， 而不 能很好的适用于含有非音视频内容的应用场景。 移动终端作为一个多功能的接入设备， 它可以通过第二代移动通信系统 （The
Second Generation, 简称为 2G) /第三代移动通信系统 （The Third Generation, 简称为 3G) /长期演进 （Long-Term Evolution, 简称为 LTE) 蜂窝网接入， 也可以通过无线保 真 (Wireless Fidelity, 简称为 WIFI)接入无线局域网， 同时也可以通过卫星和地面网络 通信接入， 例如， 中国移动多媒体广播 （China Mobile Multimedia Broadcasting, 简称 为 CMMB) 手机电视。 多种无线通信方式为媒体业务提供了更多的技术选择。 目前， 媒体业务的提供方式一般是基于个人计算机（Personal Computer, 简称为 PC)终端的， 未能充分考虑移动终端的应用场景， 将非音视频内容当成音视频内容进行处理， 从而 使得终端对数据的处理负荷增加、 浪费了有限的系统带宽。 针对上述的问题， 目前尚未提出有效的解决方案。 发明内容 本发明实施例提供了一种媒体业务提供方法和装置、 媒体业务显示方法和装置， 以至少解决现有技术中对媒体内容中的非音频数据采用与音视频数据相同的编解码方 式而导致的终端对数据的处理负荷增加、 浪费了有限的系统带宽的技术问题。 根据本发明实施例的一个方面， 提供了一种媒体业务提供方法， 包括： 业务服务 器根据终端的终端信息以及为终端提供的媒体业务的媒体业务特征， 确定与终端对应 的耦合关系表， 并将耦合关系表同步至终端， 其中， 媒体业务包括音视频数据和非音 视频数据， 耦合关系表包括对音视频数据和非音视频数据的编解码方式、 传输方式以 及显示方式间的对应关系； 业务服务器根据耦合关系表中的编码方式对音视频数据和 非音视频数据分别进行处理； 业务服务器根据耦合关系表中的传输方式， 将分别处理 后的音视频数据和非音视频数据提供给终端。 优选地， 业务服务器将耦合关系表同步至终端， 包括： 业务服务器直接将为终端 生成的耦合关系表同步至当前终端； 或者业务服务器通过终端客户端的方式将耦合关 系表同步至终端， 其中， 终端客户端存储有终端对应的耦合关系表。 优选地， 业务服务器通过终端客户端的方式将耦合关系表同步至终端时， 业务服 务器确定与终端对应的耦合关系表之后， 根据耦合关系表对音视频数据和非音视频数 据分别进行处理之前， 还包括： 业务服务器根据终端客户端对应的耦合关系表， 在耦 合关系内容库中进行搜索， 获取为终端提供的媒体内容， 其中， 耦合关系内容库中存 储有耦合关系表以及与各耦合关系表对应的媒体内容， 媒体内容包括非音视频数据。 优选地， 音视频数据的编解码方式与非音视频数据的编解码方式不同， 其中， 对 非音视频数据采用避免有损压缩的编解码方式。 优选地， 业务服务器根据耦合关系表中的编码方式对音视频数据和非音视频数据 分别进行处理， 包括： 业务服务器在非音视频数据中操作记录中加入时间戳， 利用时 间戳对非音视频数据与音视频数据进行同步。 优选地， 业务服务器根据耦合关系表中的传输方式， 将分别处理后的音视频数据 和非音视频数据提供给终端， 包括： 业务服务器利用传统的音视频数据传输的方式将 处理后的音视频数据提供给终端； 业务服务器利用文件传输的方式将处理后的非音视 频数据提供给终端。 优选地， 终端信息包括以下至少之一： 终端的视频能力、 终端的传输能力和终端 的种类。 优选地， 终端信息的获取方式包括： 业务服务器在与终端进行签约时， 保存终端 对应的终端信息； 或者， 终端在向业务服务器申请媒体业务时， 向业务服务器动态上 报自身的终端信息。 优选地， 传输方式包括： 采用固定网络传输和 /或采用无线网络传输。 优选地， 非音视频数据包括下列至少之一： 实时的电子白板信息、 实时即时文字 交流信息以及固定会议资料。 根据本发明实施例的另一个方面， 提供了一种媒体业务显示方法， 包括： 终端根 据业务服务器同步的耦合关系表接收业务服务器提供的媒体内容， 其中， 媒体内容包 括音视频内容和非音视频内容， 耦合关系表包括对音视频内容和非音视频内容的编解 码方式、 传输方式以及显示方式间的对应关系， 耦合关系表由业务服务器根据终端的 终端信息以及为终端提供的媒体业务的媒体业务特征确定； 终端根据耦合关系表的解 码方式对媒体内容进行处理， 获取音视频数据和非音视频数据； 终端根据耦合关系表 的显示方式将音视频数据和非音视频数据合并为能够显示的媒体内容， 并进行显示。 优选地， 显示方式包括以下至少之一： 融合显示音视频内容和非音视频内容， 单 独显示音视频内容、 单独显示非音视频内容。 优选地， 显示方式为多种时， 终端提供用户接口选择显示方式。 优选地， 终端对音视频内容和非音视频内容进行显示， 包括： 终端从非音视频数 据中获取对应于该非音视频内容的关键字； 终端根据关键字搜索与媒体内容相关联的 内容， 并将搜索到的内容与音视频内容和非音视频内容下载到本地； 终端将下载到本 地的音视频内容和非音视频内容同时进行显示。 优选地， 终端根据耦合关系表的显示方式将音视频数据和非音视频数据合并为能 够显示的媒体内容， 并进行显示， 包括： 当终端在接收的媒体内容中的部分内容出现 传输延时或传输故障时， 终端显示已正确接收的媒体内容。 优选地， 耦合关系表的获取方式包括： 终端在接收媒体内容前， 向业务服务器动 态获取对应于该终端的耦合关系表； 或者， 业务服务器将耦合关系表固定在应用程序 中， 终端根据终端的终端信息选择性安装应用程序。 优选地， 终端信息包括以下至少之一： 终端的视频能力、 终端的传输能力和终端 的种类。 优选地， 非音视频数据的操作记录中存在时间戳时， 终端根据耦合关系表的显示 方式将音视频数据和非音视频数据合并为能够显示的媒体内容， 包括： 终端根据时间 戳选择与操作记录同步的音视频数据； 终端将同步的音视频数据和操作记录所在的非 音视频数据合并为能够显示的媒体内容。 根据本发明实施例的另一个方面， 提供了一种媒体业务提供装置， 设置在业务服 务器中， 包括： 确定模块， 设置为根据终端的终端信息以及为终端提供的媒体业务的 媒体业务特征， 确定与终端对应的耦合关系表， 并将耦合关系表同步至终端， 其中， 媒体业务包括音视频数据和非音视频数据， 耦合关系表包括对音视频数据和非音视频 数据的编解码方式、 传输方式以及显示方式间的对应关系； 处理模块， 设置为根据耦 合关系表中的编码方式对音视频数据和非音视频数据分别进行处理； 提供模块， 设置 为根据耦合关系表中的传输方式， 将分别处理后的音视频数据和非音视频数据提供给 终端。 根据本发明实施例的另一个方面，提供了一种媒体业务显示装置， 设置于终端中， 包括： 接收模块， 设置为根据业务服务器同步的耦合关系表接收业务服务器提供的媒 体内容， 其中， 媒体内容包括音视频内容和非音视频内容， 耦合关系表包括对音视频 内容和非音视频内容的编解码方式、 传输方式以及显示方式间的对应关系， 耦合关系 表由业务服务器根据终端的终端信息以及为终端提供的媒体业务的媒体业务特征确 定； 获取模块， 设置为根据耦合关系表的解码方式对媒体内容进行处理， 获取音视频 数据和非音视频数据； 显示模块， 设置为根据耦合关系表的显示方式将音视频数据和 非音视频数据合并为能够显示的媒体内容， 并进行显示。 在本发明实施例中， 业务服务器根据终端的终端信息和终端选择使用的媒体业务 生成对应于该终端的耦合关系，然后，业务服务器将该耦合关系同步到对应的终端中， 并根据该耦合关系确定不同的编解码方式， 业务服务器根据对应的编码方式对媒体内 容进行编码， 终端根据对应的解码方式进行解码， 从而达到了根据不同的终端的终端 信息采用不同的媒体内容的传输方式的目的， 解决了现有技术中对媒体内容中的非音 频数据采用与音视频数据相同的编解码方式而导致的终端对数据的处理负荷增加、 浪 费了有限的系统带宽的技术问题， 达到了减少终端的数据量的技术效果， 提高了系统 的带宽利用率， 避免对非音视频数据的有损压缩。 附图说明 此处所说明的附图用来提供对本发明的进一步理解， 构成本申请的一部分， 本发 明的示意性实施例及其说明用于解释本发明， 并不构成对本发明的不当限定。 在附图 中： 图 1是根据本发明实施例的媒体业务提供方法的一种优选流程图; 图 2是根据本发明实施例的媒体业务提供装置的一种优选结构框图; 图 3是根据本发明实施例的媒体业务显示方法的一种优选流程图; 图 4是根据本发明实施例的媒体业务显示装置的一种优选结构框图; 图 5是根据本发明实施例的媒体内容传输方法的一种优选流程图; 图 6是根据本发明实施例的媒体内容传输方法的另一种优选流程图; 图 7是根据本发明实施例的媒体内容传输装置的一种优选结构框图; 图 8是根据本发明实施例的媒体内容传输显示装置中的发送单元的一种优选结构 框图; 图 9是根据本发明实施例的媒体内容传输装置的另一种优选结构框图； 图 10 是根据本发明实施例的媒体内容显示装置中的显示单元的一种优选结构框
图 11是根据本发明实施例的媒体内容显示方法的又一种优选流程图； 图 12是根据本发明实施例的媒体内容显示系统的一种优选架构示意图； 图 13是根据本发明实施例的媒体内容显示系统的终端的一种优选架构示意图; 图 14是根据本发明实施例的媒体内容显示系统的另一种优选架构示意图； 图 15 是根据本发明实施例的基于远程教育的媒体内容显示方法的一种优选流禾 '王 具体实施方式 下文中将参考附图并结合实施例来详细说明本发明。 需要说明的是， 在不冲突的 情况下， 本申请中的实施例及实施例中的特征可以相互组合。 随着媒体业务的种类越来越多， 远程教育、 视频会议等既需要传输音视频数据又 需要传输非音视频数据的媒体业务也越来越多， 现有的技术中， 对上述的媒体业务中 媒体内容的传输主要是采用对音视频数据和非音视频数据采用相同的编解码方式和传 输方式。 然而， 对音视频数据和非音视频数据采用相同的处理方式， 不仅增加了终端的数 据处理量， 浪费的有限的系统带宽， 不能适应各类终端通过各种传输方式高效率传输 媒体内容， 而且也不利于提供适合终端的显示方式。 对此， 本发明实施例提供了一种 媒体业务提供方法和装置、 媒体业务显示方法和装置。 在进行媒体内容时， 会根据媒 体业务特征及终端能力的不同， 选择合适的编解码方式、 传输方式等进行媒体内容的 传输及显示。 主要是采用对音频数据内容和非音频数据内容采用不同的处理方式进行 媒体内容的传输和显示。 下文将结合几个具体的实施例对该媒体业务提供方法和装置、 媒体业务显示方法 和装置进行描述。 实施例 1 为了解决上述的问题， 本发明实施例提供了一种媒体业务提供方法， 从业务服务 器侧进行描述， 如图 1所示， 包括： S102: 业务服务器根据终端的终端信息以及为终端提供的媒体业务的媒体业务特 征， 确定与终端对应的耦合关系表， 并将耦合关系表同步至终端； 其中， 媒体业务包括音视频数据和非音视频数据， 耦合关系表包括对音视频数据 和非音视频数据的编解码方式、 传输方式以及显示方式间的对应关系；
S104: 业务服务器根据耦合关系表中的编码方式对音视频数据和非音视频数据分 别进行处理；
S106: 业务服务器根据耦合关系表中的传输方式， 将分别处理后的音视频数据和 非音视频数据提供给终端。 在一个优选实施方式中，业务服务器可以按照如下方式将耦合关系表同步至终端， 包括： 业务服务器直接将为终端生成的耦合关系表同步至当前终端； 或者业务服务器 通过终端客户端的方式将耦合关系表同步至终端， 其中， 终端客户端存储有终端对应 的耦合关系表。 考虑到对媒体内容的相关搜索， 在一个优选实施方式中， 业务服务器通过终端客 户端的方式将耦合关系表同步至终端时， 业务服务器确定与终端对应的耦合关系表之 后， 根据耦合关系表对音视频数据和非音视频数据分别进行处理之前， 还包括： 业务 服务器根据终端客户端对应的耦合关系表， 在耦合关系内容库中进行搜索， 获取为终 端提供的媒体内容， 其中， 耦合关系内容库中存储有耦合关系表以及与各耦合关系表 对应的媒体内容， 媒体内容包括非音视频数据。 通过上述方式了， 相关搜索。 可以对音视频数据和非音视频数据采用不同的编解码方式， 在一个优选实施方式 中， 音视频数据的编解码方式与非音视频数据的编解码方式不同， 其中， 对非音视频 数据采用避免有损压缩的编解码方式。 需要对音视频数据和非音视频数据实现传输和解码后的媒体内容的恢复， 可以加 入时间戳实现两者之间时间上的同步。 优选地， 业务服务器根据耦合关系表中的编码 方式对音视频数据和非音视频数据分别进行处理， 包括： 业务服务器在非音视频数据 中操作记录中加入时间戳， 利用时间戳对非音视频数据与音视频数据进行同步。 在一个优选实施方式中， 业务服务器根据耦合关系表中的传输方式， 将分别处理 后的音视频数据和非音视频数据提供给终端， 包括： 业务服务器利用传统的音视频数 据传输的方式将处理后的音视频数据提供给终端； 业务服务器利用文件传输的方式将 处理后的非音视频数据提供给终端。 在本实施例各个优选实施方式中， 终端信息可以包括但不限于以下至少之一： 终 端的视频能力、 终端的传输能力和终端的种类。 业务服务器获取终端的终端信息的方式有多种， 本发明实施例给出两种示例性的 方式：
1 ) 业务服务器在与终端进行签约时， 保存该终端的终端信息；
2)终端在向业务服务器申请媒体业务时， 向该业务服务器动态上报自身的终端信 息。 在本实施例各个优选实施方式中， 上述的传输方式包括： 采用固定网络传输和 / 或采用无线网络传输。 在本发明实施例各个优选实施方式中， 非音视频数据包括下列至少之一： 实时的 电子白板信息、 实时即时文字交流信息以及固定会议资料。 本实施例中， 还提供了一种媒体业务提供装置， 设置在业务服务器中， 如图 2所 示， 包括： 确定模块 202， 设置为根据终端的终端信息以及为终端提供的媒体业务的 媒体业务特征， 确定与终端对应的耦合关系表， 并将耦合关系表同步至终端， 其中， 媒体业务包括音视频数据和非音视频数据， 耦合关系表包括对音视频数据和非音视频 数据的编解码方式、 传输方式以及显示方式间的对应关系； 处理模块 204， 连接至确 定模块 202， 设置为根据耦合关系表中的编码方式对音视频数据和非音视频数据分别 进行处理；提供模块 206，连接至处理模块 204，设置为根据耦合关系表中的传输方式， 将分别处理后的音视频数据和非音视频数据提供给终端。 图 2所述的装置实现媒体业务提供方法的具体步骤同上述对媒体业务提供方法的 描述， 在此不再赘述。 实施例 2 本发明实施例还提供了一种媒体业务显示方法， 从终端侧进行描述， 如图 3所示， 包括：
S302: 终端根据业务服务器同步的耦合关系表接收业务服务器提供的媒体内容； 其中， 媒体内容包括音视频内容和非音视频内容， 耦合关系表包括对音视频内容 和非音视频内容的编解码方式、 传输方式以及显示方式间的对应关系， 耦合关系表由 业务服务器根据终端的终端信息以及为终端提供的媒体业务的媒体业务特征确定；
S304: 终端根据耦合关系表的解码方式对媒体内容进行处理， 获取音视频数据和 非音视频数据；
S306: 终端根据耦合关系表的显示方式将音视频数据和非音视频数据合并为能够 显示的媒体内容， 并进行显示。 对于上述的显示方式包括但不限于以下至少之一： 融合显示音视频内容和非音视 频内容， 单独显示音视频内容、 单独显示非音视频内容。 在一个优选实施方式中， 显示方式为多种时， 终端提供用户接口选择显示方式。 在终端对媒体内容进行显示的时候， 相关技术中如果想进行媒体内容的相关搜索 需要对媒体内容的音视频内容进行编码才可获取一定的搜索关键词， 对于终端而言， 将大大增加终端对数据的处理负荷， 因非音视频数据采用的主要是文档的形式， 且采 用了不同于音视频数据的编解码方式， 在进行相关搜索时， 只需要直接从文档中获取 对应的关键词进行网络搜索即可， 在一个优选实施方式中， 终端对音视频内容和非音 视频内容进行显示， 包括： 终端从非音视频数据中获取对应于该非音视频内容的关键 字； 终端根据关键字搜索与媒体内容相关联的内容， 并将搜索到的内容与音视频内容 和非音视频内容下载到本地； 终端将下载到本地的音视频内容和非音视频内容同时进 行显示。 在数据传输的时候， 有时会出现传输的异常导致媒体内容无法正确显示， 在一个 优选实施方式中， 终端根据耦合关系表的显示方式将音视频数据和非音视频数据合并 为能够显示的媒体内容， 并进行显示， 包括： 当终端在接收的媒体内容中的部分内容 出现传输延时或传输故障时， 终端显示已正确接收的媒体内容。 优选地， 耦合关系表可以按照以下方式获取： 终端在接收媒体内容前， 向业务服 务器动态获取对应于该终端的耦合关系表； 或者， 业务服务器将耦合关系表固定在应 用程序中， 终端根据终端的终端信息选择性安装应用程序。 在本发明各个优选实施方式中， 终端信息包括但不限于以下至少之一： 终端的视 频能力、 终端的传输能力和终端的种类。 在一个优选本实施方式中， 非音视频数据的操作记录中存在时间戳时， 终端根据 耦合关系表的显示方式将音视频数据和非音视频数据合并为能够显示的媒体内容， 包 括： 终端根据时间戳选择与操作记录同步的音视频数据； 终端将同步的音视频数据和 操作记录所在的非音视频数据合并为能够显示的媒体内容。 基于上述的媒体业务显示， 本实施例还提供了一种媒体业务显示装置， 设置于终 端中， 如图 4所示， 包括： 接收模块 402， 设置为根据业务服务器同步的耦合关系表 接收业务服务器提供的媒体内容， 其中， 媒体内容包括音视频内容和非音视频内容， 耦合关系表包括对音视频内容和非音视频内容的编解码方式、 传输方式以及显示方式 间的对应关系， 耦合关系表由业务服务器根据终端的终端信息以及为终端提供的媒体 业务的媒体业务特征确定； 获取模块 404， 连接至接收模块 402， 设置为根据耦合关系 表的解码方式对媒体内容进行处理， 获取音视频数据和非音视频数据； 显示模块 406， 连接至获取模块 404， 设置为根据耦合关系表的显示方式将音视频数据和非音视频数 据合并为能够显示的媒体内容， 并进行显示。 图 4所述的装置实现媒体业务显示方法的具体步骤同上述对媒体业务显示方法的 描述， 在此不再赘述。 实施例 3 在本实施例中从另外一个侧面对上述的媒体业务的提供和显示进行描述， 如图 5 所示， 该媒体内容传输方法包括：
S502: 业务服务器获取终端的终端信息和 /或终端选择使用的媒体业务；
S504:业务服务器根据终端信息和 /或业务对应的业务信息确定对应于该终端的耦 合关系并将耦合关系同步到终端， 其中， 耦合关系包括： 对媒体内容进行编码或解码 时， 媒体内容中的音视频内容和非音视频内容之间的对应关系； S506: 业务服务器按照耦合关系对媒体内容进行编码， 并将编码后得到的音频数 据和非音频数据发送给终端。 在本优选实施方式中， 业务服务器根据终端的终端信息和终端选择使用的媒体业 务生成对应于该终端的耦合关系， 然后， 业务服务器将该耦合关系同步到对应的终端 中， 并根据该耦合关系确定不同的编解码方式， 业务服务器根据对应的编码方式对媒 体内容进行编码， 终端根据对应的解码方式进行解码， 从而达到了根据不同的终端的 终端信息采用不同的媒体内容的传输方式的目的， 解决了现有技术中对媒体内容中的 非音频数据采用与音视频数据相同的编解码方式而导致的终端对数据的处理负荷增 力口、 浪费了有限的系统带宽的技术问题， 达到了减少终端的数据量的技术效果， 提高 了系统的带宽利用率， 避免对非音视频数据的有损压缩。 为了进一步提高对数据的处理能力， 有效减少资源的消耗， 上述的耦合关系还包 括下列至少之一： 音视频数据和其对应的传输方式的映射关系， 以及， 非音视频数据 和其对应的传输方式的映射关系； 音视频内容和其对应的显示方式的映射关系， 以及， 非音视频内容和其对应的显示方式的映射关系。 优选地， 上述的媒体内容至少包括一 个音频数据或视频数据和一个非音视频数据。 为了提高传输效率， 非音视频数据可采用多种传输方式进行传输， 对于这多种的 传输方式可以定义在上述的耦合关系中， 业务服务器和终端对应于该耦合关系进行音 视频数据和非音视频数据的传输， 在本发明实施例一个优选实施方式中， 根据上述的 耦合关系进行媒体内容的传输方法， 如图 6所示包括： S602: 业务服务器确定音视频数据和非音视频数据对应的传输方式所指示的网络 传输方式， 其中， 传输方式包括： 采用固定网络传输和 /或采用无线网络传输；
S604: 业务服务器根据确定的网络传输方式发送音视频数据和非音视频数据;
S606: 终端确定音视频数据对应的传输方式和非音视频数据对应的传输方式； S608: 终端根据确定的传输方式接收音频数据和非音视频数据；
S610: 终端根据对应关系对音频数据和非音视频数据进行解码得到音视频内容和 非音视频内容；
S612: 终端根据耦合关系确定显示方式， 按照显示方式对音视频内容和非音视频 内容进行显示。 对于上述的网络传输方式， 可以是固定网络传输， 也可以是无线网络传输， 无线 网络传输方式有： 2G/3G/LTE等蜂窝网、 WIFI、 CMMB等传输方式。 优选地， 非音视 频数据也可以在经过业务服务器进行的内容编码后， 与音视频据进行混合传输。 在上 述优选实施方式中， 采用多种不同的传输方式对非音视频数据进行传输， 提高了媒体 内容的传输效率。 在实际应用中， 可能会根据终端显示能力的不同或者对媒体内容显示的不同需求 选择性地显示接收到的媒体内容， 例如， 当仅需要显示板书不需要显示音视频数据， 或者需要全屏显示， 或者需要对音视频数据和非音视频数据同时进行显示时， 在一个 优选实施方式中， 显示方式包括以下至少之一： 融合显示音视频内容和非音视频内容， 单独显示音视频内容、 单独显示非音视频内容。 在上述优选实施方式中， 实现了媒体 内容显示方式的灵活选择， 一定程度上减少了终端的资源消耗。 在终端对媒体内容进行显示的时候， 相关技术中如果想进行媒体内容的相关搜索 需要对媒体内容的音视频内容进行编码才可获取一定的搜索关键词， 对于终端而言， 将大大增加终端对数据的处理负荷， 因非音视频数据采用的主要是文档的形式， 且采 用了不同于音视频数据的编解码方式， 在进行相关搜索时， 只需要直接从文档中获取 对应的关键词进行网络搜索即可， 在一个优选实施方式中， 终端对音视频内容和非音 视频内容进行显示， 包括： 终端从非音视频数据中获取对应于该非音视频内容的关键 字； 终端根据关键字搜索与媒体内容相关联的内容， 并将搜索到的内容与音视频内容 和非音视频内容同时进行显示。 优选地， 上述的搜索主要是在业务服务器侧进行的相 关搜索， 在上述优选实施方式中， 对包含非音视频数据的媒体内容进行网络的相关搜 索， 解决了现有技术中媒体内容搜索较为困难的问题。 终端对媒体内容进行显示的时候， 有时可能会出现网络终端或者是传输时延等导 致动态播放的质量受到影响， 为了保证在这些情况下用户体验， 在出现上述问题时， 可以切换到终端预存的媒体内容进行显示， 在本发明一个优选实施方式中， 终端显示 解码后得到的媒体内容， 包括： 当终端在接收的媒体内容中的部分内容出现传输延时 或传输故障时， 终端显示已正确接收的媒体内容， 与此同时， 终端继续接收并存储相 应的媒体内容， 以便下一次显示时进行正常的媒体内容的显示。 例如， 在显示媒体内 容时， 当非音视频内容出现了传输时延， 而音视频数据正常传输， 则终端可以动态地 切换到仅对音视频数据进行显示的模式， 当非音视频内容的接收正常时， 再进行非音 视频内容的显示。 通过上述方式， 解决了终端移动性及无线覆盖问题导致的传输失败 或传输时延带来的问题。 业务服务器获取终端的终端信息的方式有多种， 本发明实施例给出两种示例性的 方式： 1 ) 业务服务器在与终端进行签约时， 保存该终端的终端信息；
2)终端在向业务服务器申请媒体业务时， 向该业务服务器动态上报自身的终端信 息。 业务服务器将生成的耦合关系同步到终端方式有多种， 本发明实施例给出两种示 例性的方式： 1 )终端在接收媒体内容前， 向业务服务器动态获取对应于该终端的耦合关系，即， 终端在每次从业务服务器获取媒体内容前从该业务服务器动态获取对应的耦合关系；
2)业务服务器将耦合关系固定在应用程序中，终端根据自身的终端信息选择性安 装应用程序。 对于上述的方式 2)， 具体而言， 业务服务器通过客户端程序方式将各种终端对应 的耦合关系同步到对应的终端， 即， 业务服务器根据耦合关系开发针对各种终端的终 端客户端， 供用户下载使用， 终端只需要进行对应的终端客户端 （应用程序） 的下载 和安装便可获取对应的耦合的关系。 优选地， 运行于终端的客户端程序包括： 耦合关 系、 内容接收、 内容合成、 以及内容显示等部分。 在本发明实施例各个优选实施方式中， 终端信息包括但不限于以下至少之一： 终 端视频能力、 终端传输能力和终端种类。 在本发明实施例各个优选实施方式中，上述媒体业务包括但不限于以下至少之一: 多方会议、远程控制以及远程教育； 上述的非音视频内容包括但不限于以下至少之一： 实时的电子白板信息、 实时的文字交流信息以及固定会议资料。 该非音视频内容可以 是以下格式之一： PPT、 TXT文档、 Word等。 实施例 4 在本发明实施例中， 提供了一种媒体内容传输装置， 如图 7所示， 该装置包括： 获取单元 702， 设置为获取终端的终端信息和 /或所述终端选择使用的媒体业务； 确定 单元 704， 连接至获取单元 702， 设置为根据所述终端信息和 /或所述业务对应的业务 信息确定对应于该终端的耦合关系并将所述耦合关系同步到所述终端， 其中， 所述耦 合关系包括： 对媒体内容进行编解码时， 所述媒体内容中的音视频内容和非音视频内 容之间的对应关系； 发送单元 706， 连接至确定单元 704， 设置为按照所述耦合关系对 所述媒体内容进行编码， 并将编码后得到的音频数据和非音频数据发送给所述终端。 在本优选实施方式中， 业务服务器根据终端的终端信息和终端选择使用的媒体业 务生成对应于该终端的耦合关系， 然后， 业务服务器将该耦合关系同步到对应的终端 中， 并根据该耦合关系确定不同的编解码方式， 业务服务器根据对应的编码方式对媒 体内容进行编码， 终端根据对应的解码方式进行解码， 从而达到了根据不同的终端的 终端信息采用不同的媒体内容的传输方式的目的， 解决了现有技术中对媒体内容中的 非音频数据采用与音视频数据相同的编解码方式而导致的终端对数据的处理负荷增 力口、 浪费了有限的系统带宽的技术问题， 达到了减少终端的数据量的技术效果， 提高 了系统的带宽利用率， 避免对非音视频数据的有损压缩。 为了进一步提高对数据的处理能力， 有效减少资源的消耗， 上述的耦合关系还包 括下列至少之一： 音视频数据和其对应的传输方式的映射关系， 以及， 非音视频数据 和其对应的传输方式的映射关系； 音视频内容和其对应的显示方式的映射关系， 以及， 非音视频内容和其对应的显示方式的映射关系。 优选地， 上述的媒体内容至少包括一 个音频数据或视频数据和一个非音视频数据。 为了提高传输效率， 非音视频数据可采用多种传输方式进行传输， 对于这多种的 传输方式可以定义在上述的耦合关系中， 业务服务器和终端对应于该耦合关系进行音 视频数据和非音视频数据的传输， 在本发明实施例一个优选实施方式中， 位于业务服 务器中的媒体内容的传输装置， 如图 8所示， 发送单元包括： 确定模块 802， 设置为 确定音视频数据和非音视频数据对应的传输方式所指示的网络传输方式， 其中， 传输 方式包括： 采用固定网络传输和 /或采用无线网络传输； 发送模块 804， 连接至确定模 块 802， 设置为根据确定的网络传输方式发送音视频数据和非音视频数据。 相应的， 设在终端侧的媒体内容的传输装置， 如图 9所示， 包括： 确定单元 902， 设置为确定音视频数据对应的传输方式和非音视频数据对应的传输方式； 接收单元 904，连接至确定单元 902，设置为根据确定的传输方式接收音频数据和非音视频数据； 解码单元 906，连接至接收单元 904， 设置为根据对应关系对音频数据和非音视频数据 进行解码得到音视频内容和非音视频内容； 显示单元 908， 连接至解码单元 906， 设置 为根据耦合关系确定显示方式，按照显示方式对音视频内容和非音视频内容进行显示。 对于上述的网络传输方式， 可以是固定网络传输， 也可以是无线网络传输， 无线 网络传输方式有： 2G/3G/LTE等蜂窝网、 WIFI、 CMMB等传输方式。 优选地， 非音视 频数据也可以在经过业务服务器进行的内容编码后， 与音视频据进行混合传输。 在上 述优选实施方式中， 采用多种不同的传输方式对非音视频数据进行传输， 提高了媒体 内容的传输效率。 在实际应用中， 可能会根据终端显示能力的不同或者对媒体内容显示的不同需求 选择性地显示接收到的媒体内容， 例如， 当仅需要显示板书不需要显示音视频数据， 或者需要全屏显示， 或者需要对音视频数据和非音视频数据同时进行显示时， 在一个 优选实施方式中， 显示方式包括以下至少之一： 融合显示音视频内容和非音视频内容， 单独显示音视频内容、 单独显示非音视频内容。 在上述优选实施方式中， 实现了媒体 内容显示方式的灵活选择， 一定程度上减少了终端的资源消耗。 在终端对媒体内容进行显示的时候， 相关技术中如果想进行媒体内容的相关搜索 需要对媒体内容的音视频内容进行编码才可获取一定的搜索关键词， 对于终端而言， 将大大增加终端对数据的处理负荷， 因非音视频数据采用的主要是文档的形式， 且采 用了不同于音视频数据的编解码方式， 在进行相关搜索时， 只需要直接从文档中获取 对应的关键词进行网络搜索即可， 在一个优选实施方式中， 如图 10 所示， 显示单元 908， 包括： 获取模块 1002， 设置为从非音视频数据中获取对应于该非音视频内容的 关键字； 显示模块 1004， 连接至获取模块 1002， 设置为根据关键字搜索与媒体内容相 关联的内容， 并将搜索到的内容与音视频内容和非音视频内容同时进行显示。优选地， 上述的搜索主要是在业务服务器侧进行的相关搜索， 在上述优选实施方式中， 对包含 非音视频数据的媒体内容进行网络的相关搜索， 解决了现有技术中媒体内容搜索较为 困难的问题。 获取单元获取终端的终端信息的方式有多种， 本发明实施例给出两种示例性的方 式：
1 ) 业务服务器在与终端进行签约时， 保存该终端的终端信息；
2)终端在向业务服务器申请媒体业务时， 向该业务服务器动态上报自身的终端信 息 业务服务器将生成的耦合关系同步到终端方式有多种， 本发明实施例给出两种示 例性的方式：
1 )终端在接收媒体内容前， 向业务服务器动态获取对应于该终端的耦合关系，即， 终端在每次从业务服务器获取媒体内容前从该业务服务器动态获取对应的耦合关系； 2)业务服务器将耦合关系固定在应用程序中，终端根据自身的终端信息选择性安 装应用程序。 对于上述的方式 2)， 具体而言， 业务服务器通过客户端程序方式将各种终端对应 的耦合关系同步到对应的终端， 即， 业务服务器根据耦合关系开发针对各种终端的终 端客户端， 供用户下载使用， 终端只需要进行对应的终端客户端 （应用程序） 的下载 和安装便可获取对应的耦合的关系。 优选地， 运行于终端的客户端程序包括： 耦合关 系、 内容接收、 内容合成、 以及内容显示等部分。 在本发明实施例各个优选实施方式中， 终端信息包括但不限于以下至少之一： 终 端视频能力、 终端传输能力和终端种类。 在本发明实施例各个优选实施方式中，上述媒体业务包括但不限于以下至少之一: 多方会议、远程控制以及远程教育； 上述的非音视频内容包括但不限于以下至少之一： 实时的电子白板信息、 实时的文字交流信息以及固定会议资料。 该非音视频内容可以 是以下格式之一： PPT (幻灯片）、 TXT (记事本） 文档、 Word 等。 即这里的格式可 以指供不同应用软件读取的格式。 实施例 5 本发明提供了一种优选的实施例来进一步对本发明进行解释，但是值得注意的是， 该优选实施例只是为了更好的描述本发明， 并不构成对本发明不当的限定。 本发明实施例提供一种非音视频数据与音频、 视频数据根据耦合关系进行媒体业 务提供方法及系统。 业务服务器提供媒体业务， 其中， 该媒体业务包括多方会议、 远程控制以及远程 教育等媒体业务中的媒体内容包括： 音频数据、 视频数据和非音视频数据。 在本实施 例所描述的媒体内容中至少包括一个音频或视频数据和一个非音视频数据， 媒体内容 的数据来源可以是一个或多个。 对于不同的媒体业务包含不同的媒体业务特征， 具体 如表 1所示： 表 1
Figure imgf000018_0001
上述的非音视频数据包括： 实时的电子白板信息、 实时即时文字交流信息以及固 定的会议资料等， 在媒体内容传输的过程中， 非音视频数据可以与音视频数据进行混 合编码及传输， 也可以独立进行编码与传输。 为了减少传输带宽及避免有损压缩， 本 实施例中的非音视频数据采用不同于音视频数据的编解码方式进行媒体内容的编解 码。 为了提高传输效率， 非音视频数据可采用多种传输方式进行传输。 即， 可以是固 定网络传输， 也可以是无线传输能力， 如包括 2G/3G/LTE 等蜂窝网、 WIFI、 CMMB 等各种传输方式。 因非音频数据采用不同与音视频的编解码方式又可能共用终端的多种传输方式， 所以终端侧必须获得非音频数据、 音频数据、 视频数据间的相对关系， 才通过相互间 对应关系进行正常的编解码及内容显示。 为叙述方便， 本发明各个优选实施中， 耦合关系就是终端与业务服务器在进行媒 体内容传输时所需要遵循的媒体内容传送方式， 其中， 包括音频、 视频、 非音视频数 据间的编解码方式、 解码方式、 传输方式以及显示方式之间的对应关系。 耦合关系一般通过业务服务器产生， 业务服务器主要是根据媒体业务的特征以及 终端信息， 选择各种媒体内容所适应的编解码方式、 传输方式以及显示方式等生成耦 合关系， 并将耦合关系同步到终端。 该耦合关系可以传输到终端， 也可以通过终端客 户端预置的方式同步到终端。 在本发明各个优选实施方式中终端的包括： 手机、 PC、 电视机以及 PAD (掌上电 脑） 等； 终端信息包括： 终端种类、 终端视频能力、 终端传输能力等。 对于终端的终 端信息， 可以是在进行业务时终端动态向业务服务器上报， 也可以是终端和业务服务 器在进行业务签约时注册登记的。 终端视频能力包括： 终端支持的音视频格式、 音视 频播放能力等， 终端传输能力可以是固定网络传输， 也可以是无线传输能力， 无线传 输能力包括： 2G/3G/LTE等蜂窝网、 WIFI以及 CMMB等各种传输方式。 在本优选实施例中， 媒体内容的显示方法， 如图 11所示， 具体步骤包括：
S 1102:业务服务器分别获得音频数据、视频数据和非音视频数据等媒体内容数据； S1104: 业务服务器根据媒体业务的特征以及终端的终端信息进行内容决策控制， 以确定对应于该终端的各种媒体内容的编解码方式、 传输方式以及显示方式等， 从而 形成耦合关系；
S1106:业务服务器根据耦合关系确定的编解码方式媒体内容编码， 并根据耦合关 系确定的传输方式将媒体内容通过耦合关系中相应的通信网络将媒体内容传送到终 端；
S1108: 终端根据预先得到的耦合关系通过不同的传输方式接收媒体内容；
S1110: 终端将接收到的媒体内容解码成音频数据、 视频数据以及非音视频数据；
S1112:终端将视频数据、音频数据及非音频数据合并成适合终端显示的媒体内容；
S1114: 终端对合并后的媒体内容进行呈现。 在显示的过程中， 可在终端侧提供用户接口， 以选择媒体内容的显示方式。 根据 终端信息， 针对不同的耦合关系， 可以提供多种媒体内容的显示方式组合， 其中包括: 部分媒体内容组合显示、 显示切换等。 在实际的媒体内容显示的过程中， 有时会出现无线网络终端或者是显示的内容损 坏等情况， 针对上述问题， 在本实施例一个优选实施方式中， 当内容或部分媒体数据 传输出现延时或暂时中断时， 终端使用前台显示与后台存储的方式同步进行。 对于终 端的前端可先不显示或者切换到其他媒体数据进行显示， 而终端的后台仍继续进行正 常存储， 当正常接收媒体数据后， 当终端进行重播， 媒体内容的播放恢复正常显示状 态。 在上述优选实施方式中， 在媒体数据传递出现的问题时， 将显示切换到合适的媒 体内容上， 同时在媒体数据接收成功后恢复正常状态， 解决了终端移动性及无线覆盖 导致传输失败或延时而导致的用户体验下降问题。 在上述的步骤 S1108中， 终端可以按照如下方式得到耦合关系： 业务服务以终端 客户端的方式将耦合关系预置到终端， 业务服务器根据耦合关系开发针对各种终端的 终端客户端， 供用户下载使用， 终端客户端在功能上包括耦合关系， 即具体的终端所 应采用的传输方式、 编解码方式以及显示方式等。 优选地， 终端客户端可以在通过安 全认证后， 根据耦合关系访问相应的媒体内容。 终端对媒体内容进行显示的时候， 有时可能会出现网络终端或者是传输时延等导 致动态播放的质量受到影响， 为了保证在这些情况下用户体验， 在出现上述问题时， 可以切换到终端预存的媒体内容进行显示， 在本发明一个优选实施方式中， 终端显示 解码后得到的媒体内容， 包括： 当媒体内容的显示质量低于预设质量， 或者， 显示媒 体内容的器件故障时， 终端显示预先设置的媒体内容。 通过上述方式， 解决了终端移 动性及无线覆盖问题导致的传输失败或传输时延带来的问题。 实施例 6 本发明提供了一种优选的实施例来进一步对本发明进行解释，但是值得注意的是， 该优选实施例只是为了更好的描述本发明， 并不构成对本发明不当的限定。 在本实施例中以远程教育为例来说明基于耦合关系的媒体内容显示方法， 远程教 育媒体数据包括教案、 课堂视频、 音频、 以及教师在电子白板上进行的操作记录 （板 书）。 其中非音视频数据包括操作记录及教案。 在本实施例中， 耦合关系与媒体业务特征相关。 为叙述方便， 在本实施例音视频 数据为课堂的实时录像， 采用传统的音视频编解码方式， 例如， 流媒体格式， 在传输 方式上采用固定网络、 WIFI或 CMMB等传输方式。 非音视频数据可采用与音视频数 据采用不同的编解码方式形成非音视频内容；非音视频内容可以采用独立的传输方式， 也可以与音视频数据采用同一种传输方式。 操作记录是教师在电子白板上的板书， 形成操作记录文件， 不通过音视频方式编 码， 如采用 TXT文件格式， 从而达到节省系统带宽的目的， 可通过 2G/3G/LTE蜂窝 网或与音视频混合编码同步传输。 例如， 通过 CMMB 的相邻时隙传输音视频内容与 非音视频内容， 操作记录在传输音视频内容的下一个 CMMB时隙传输。 优选地， 教案可以采用 PPT格式的文件， 通过文件下载的方式传送到终端， 避免 了有损压缩。 如表 2所示： 终端信息包括终端种类和终端视频能力、终端传输能力等终端能力; 终端种类分为 PC机终端、 CMMB终端 /智能终端、 低端手机。 表 2
Figure imgf000021_0001
基于表 2所示的耦合关系， 对于低端机， 因其终端能力较弱， 采用教案 （操作记 录） 与语音混合编码的方式； 通过复用 2G/3G的语音帧进行传输， 在影响少量语音质 量的情况下传输非音视频数据。 终端上进行教案 （操作记录） 显示的同时， 进行对应 的音视频数据内容的播放。 对于支持 CMMB 终端 /智能终端， 音视频数据采用传统的媒体格式编码， 通过 CMMB或 WIFI进行传输； 而教案通过 2G/3G/LTE蜂窝网络下载； 操作记录可通过 2G/3G/LTE蜂窝网或与音视频混合编码同步传输。 终端上屏幕较小， 采用用户主动切 换视频和教案的播放方式； 操作记录与音视频同步， 与教案同步显示。 对于 PC机作为终端的情况， 音视频数据采用传统的媒体格式， 通过固定网络进 行传输； 操作记录及教案可与音视频内容混合传输也可以独立传输。 因 PC显示效果 较好， 可以全屏显示演讲视频， 在固定的位置显示教案； 操作记录与音视频同步， 与 教案同步显示。 本实施例提供了一种媒体内容显示的系统， 如图 12所示， 该系统的架构包括： 终 端、 通信网络以及业务服务器等。 业务服务器包括内容决策控制模块、 内容控制模块、 通信传输控制模块等部分组 成。 其中，内容决策控制模块设置为根据媒体业务特征及终端信息进行内容决策控制， 确定各种数据的编解码方式、 传输方式、 显示方式， 从而形成耦合关系， 并将该耦合 关系传递给通信传输控制模块与内容控制模块进行相应的控制。 内容控制模块负责将相应的媒体业务根据耦合关系形成媒体内容， 并根据耦合关 系对原始音频数据、 视频数据、 非音频数据进行编码等操作。 通信传输控制模块设置为将耦合后的媒体内容，按对应的传输信道方式进行传输。 通信传输既可以是固定网络传输， 也可以是无线网络传输， 其中无线网络传输包括： 2G/3G/LTE等蜂窝网、 WIFI以及 CMMB等各种传输方式。 业务服务器通过通讯网络与终端进行通信。 终端包括耦合关系模块、 内容接收模块、 内容合成模块及内容显示模块等部分组 成。 内容接收模块把不同网络来的媒体内容接收下来， 解码成音频、 视频和非音视频 数据。 内容合成模块设置为将视频数据、 音频数据、 及非音频数据进行合并， 并将合并 后的媒体内容传输给内容显示模块完成内容呈现。 其中， 内容合成的目的在于将接收 到的媒体内容合并成适合内容显示模块显示的媒体内容。 内容显示模块可以通过播放器、 客户端等方式呈现媒体内容。 优选地， 可以根据 终端信息，针对不同的耦合关系，通过提供用户接口在终端侧选择性地进行内容显示。 终端可根据具体场景进行内容显示及转换， 如远程教育中进行音视频数据与教案显示 之间的切换。 对与内容显示模块在显示的时候可以采用内容缓存及播放机制， 即， 可以采用动 态播放的方式， 也可以进行缓存播放。 不同媒体数据通过不同的传输方式获得， 因而 可以采用多种备选的显示方式进行媒体内容的显示。 对于上述的内容接收模块如图 13所示， 包括： 内容存储和动态播放两部分， 内容 合成模块包括： 内容管理和播放合成两部分。 当媒体内容传输正常时， 动态播放与播放合成完成前台的媒体内容呈现， 内容存 储和内容管理负责各类媒体数据的存储。 当传输时延等原因影响动态播放质量时， 可调用内容合成模块中的内容管理中的 媒体数据。 如满足显示要求媒体数据， 则可暂停当前播放媒体数据， 切换到该媒体内 容进行播放， 而后台仍进行媒体内容的接收及媒体内容的数据存储。 当正常接收媒体 数据并存储后， 用户进行重播或下一次应用时， 媒体播放就回复正常的显示状态。如， 在远程教育中音频、 视频、 教案的显示方式， 因视频数据传输问题， 影响显示质量， 可自动切换到音频、教案的用户可接受的显示方式。通过上述的内容缓存及播放机制， 即可以实现动态播放， 也可以进行缓存播放， 解决了终端移动性及无线覆盖导致传输 失败或延时的问题， 上述方式避免了因无线传输失败而导致的用户体验下降的问题。 本发明实施例还提供了另外一种媒体内容显示系统， 在本实施中提供了一种基于 终端客户端媒体提供方式， 终端通过客户端进行业务服务器的访问， 终端客户端通过 安全认证后访问业务服务器， 根据耦合关系访问相应的媒体内容。如图 14所示， 该系 统包括： 终端、 通信网络以及业务服务器。 其中， 业务服务器包括内容决策控制模块、 内容控制模块以及通信传输控制模块 等。 内容决策控制模块设置为根据媒体业务特征及终端信息进行内容决策控制， 确定 各种数据的编解码方式、 传输方式、 显示方式从而形成耦合关系， 并将生成的耦合关 系传递给通信传输控制模块与内容控制模块进行相应的控制。 优选地， 还需要确定耦 合关系索引， 当终端提交业务服务器的媒体内容申请后， 在进行安全认证管理后， 可 以提供基于该耦合关系资源的搜索及查询。 内容控制模块存储有耦合关系内容库， 业务服务器根据耦合关系建立耦合关系内 容库。 因媒体内容包括非音视频内容， 可以通过非音视频内容索引进行相关的媒体内 容的查询及搜索， 即， 在相关技术中， 当需要对媒体内容进行搜索时， 需要将音视频 数据进行解码以获取文字的内容， 再进行相应的搜索， 然而， 在本发明实施例中， 因 非音视频数据采用的主要是文档的形式， 且采用了不同于音视频数据的编解码方式， 在进行相关搜索时， 只需要直接从文档中获取对应的关键词进行网络搜索即可， 解决 了传统媒体内容搜索的难题。 内容控制模块在获得终端需要的媒体内容后， 根据既定的耦合关系传送给通信传 输控制模块进行媒体内容的传输， 在此不再赘述。 业务服务器可以根据耦合关系的不同开发针对不同终端的客户端， 供终端下载使 用， 通过终端客户端的方式将耦合关系预置到客户端中。 终端客户端在功能上包括耦 合关系、 内容接收、 内容合成、 内容显示等。 通信传输控制模块设置为将耦合后的媒体内容，按对应的传输信道方式进行传输。 通信传输既可以是固定网络传输， 也可以是无线网络传输， 例如： 2G/3G/LTE等蜂窝 网、 WIFI以 CMMB等传输方式。 本实施例以远程教育为例具体说明媒体内容的显示方法， 如图 15所示，本实施例 中， 远程教育在媒体内容上包括教案、 视频、 音频、 以及教师在电子白板上进行的操 作记录 （板书）。 为了叙述方便， 将视频与音频数据采用传统的媒体格式， 并通过同一传输方式进 行传输， 其中， 音视频数据同步为现有技术， 不再赘述。 因为 CMMB 为广播模式适 于传递音视频数据， 本实施例采用 CMMB传输音视频数据， 音视频数据通过 CMMB 编码形成媒体内容传送到终端。 非音视频数据分为两部分： 1 )教案， 通过传统的 2G/3G/LTE通道下载到终端。 2) 操作记录， 加入时间戳进行音视频同步， 同时将操作动作与教案的关系等内容形成新 的媒体内容， 即操作记录通过合适的传输方式传送到终端。 操作记录也通过 CMMB 进行传输， 操作记录在音视频的 CMMB 下一个时隙进行传输， 以便于终端进行媒体 内容的处理。 终端通过 2G/3G/LTE网络获得教案； 通过 CMMB编解码方式获得音视频数据， 并根据耦合关系获得操作记录。 终端播放相应的音视频数据文件时， 根据时间戳信息 进行操作记录的同步， 并调用相应的教案进行同步显示。 如果终端的屏幕较小， 可以采用用户主动切换视频和教案的显示方式。 操作记录 与音视频同步， 与教案同步显示。 当传输出现异常时， 终端控制进行相关内容的显示， 例如， 只显示语音或教案。 需要说明的是， 在上述实施方式中较多的以远程教育为例进行说明， 本发明不限 于此， 还可以是多方会议、 远程控制媒体业务。 同时本发明实施例采用不同的传输网 络传送对应的媒体内容， 但采用同一传输网络下不同逻辑信道来传输媒体业务的方式 也在本发明的保护之列。 从以上的描述中， 可以看出， 本发明实施例实现了如下技术效果： 终端根据预定 的耦合关系确定对媒体内容中的音频数据和非音频数据所需采用的编解码方式， 通过 确定的编解码方式对媒体内容进行解码， 非音视频数据的编解码方式可以不同于对音 视频数据的编解码方式， 从而解决现有技术中对媒体内容中的非音频数据采用与音视 频数据相同的编解码方式而导致的终端对数据的处理负荷增加、 浪费了有限的系统带 宽的技术问题， 达到了减少终端的数据量的技术效果， 提高了系统的带宽利用率， 避 免对非音视频数据的有损压缩。 显然， 本领域的技术人员应该明白， 上述的本发明的各模块或各步骤可以用通用 的计算装置来实现， 它们可以集中在单个的计算装置上， 或者分布在多个计算装置所 组成的网络上， 可选地， 它们可以用计算装置可执行的程序代码来实现， 从而， 可以 将它们存储在存储装置中由计算装置来执行， 并且在某些情况下， 可以以不同于此处 的顺序执行所示出或描述的步骤， 或者将它们分别制作成各个集成电路模块， 或者将 它们中的多个模块或步骤制作成单个集成电路模块来实现。 这样， 本发明不限制于任 何特定的硬件和软件结合。 以上所述仅为本发明的优选实施例而已， 并不用于限制本发明， 对于本领域的技 术人员来说， 本发明可以有各种更改和变化。 凡在本发明的精神和原则之内， 所作的 任何修改、 等同替换、 改进等， 均应包含在本发明的保护范围之内。

Claims

权 利 要 求 书
1. 一种媒体业务提供方法， 包括：
业务服务器根据终端的终端信息以及为所述终端提供的媒体业务的媒体业 务特征， 确定与所述终端对应的耦合关系表， 并将所述耦合关系表同步至所述 终端， 其中， 所述媒体业务包括音视频数据和非音视频数据， 所述耦合关系表 包括对所述音视频数据和所述非音视频数据的编解码方式、 传输方式以及显示 方式间的对应关系；
所述业务服务器根据所述耦合关系表中的编码方式对所述音视频数据和所 述非音视频数据分别进行处理；
所述业务服务器根据所述耦合关系表中的传输方式， 将分别处理后的音视 频数据和非音视频数据提供给所述终端。
2. 根据权利要求 1所述的方法， 其中， 所述业务服务器将所述耦合关系表同步至所述终 端， 包括：
所述业务服务器直接将为所述终端生成的耦合关系表同步至所述当前终 端； 或者
所述业务服务器通过终端客户端的方式将所述耦合关系表同步至所述终 端， 其中， 所述终端客户端存储有所述终端对应的耦合关系表。
3. t艮据权利要求 2所述的方法， 其中， 所述业务服务器通过终端客户端的方式将所述耦 合关系表同步至所述终端时，所述业务服务器确定与所述终端对应的耦合关系表之后， 根据所述耦合关系表对所述音视频数据和所述非音视频数据分别进行处理之前， 还包 括：
所述业务服务器根据所述终端客户端对应的耦合关系表， 在耦合关系内容 库中进行搜索， 获取为所述终端提供的媒体内容， 其中， 所述耦合关系内容库 中存储有耦合关系表以及与各耦合关系表对应的媒体内容， 所述媒体内容包括 所述非音视频数据。
4. t艮据权利要求 1所述的方法， 其中， 所述音视频数据的编解码方式与所述非音视频数 据的编解码方式不同， 其中， 对所述非音视频数据采用避免有损压縮的编解码方式。
5. 根据权利要求 4所述的方法， 其中， 所述业务服务器根据所述耦合关系表中的编码方 式对所述音视频数据和所述非音视频数据分别进行处理， 包括： 所述业务服务器在所 述非音视频数据中操作记录中加入时间戳， 利用所述时间戳对所述非音视频数据与所 述音视频数据进行同步。 丰艮据权利要求 1所述的方法， 其中， 所述业务服务器根据所述耦合关系表中的传输方 式， 将分别处理后的音视频数据和非音视频数据提供给所述终端， 包括：
所述业务服务器利用传统的音视频数据传输的方式将处理后的音视频数据 提供给所述终端；
所述业务服务器利用文件传输的方式将处理后的非音视频数据提供给所述 终端。 根据权利要求 1至 6任一项所述的方法， 其中， 所述终端信息包括以下至少之一： 所 述终端的视频能力、 所述终端的传输能力和所述终端的种类。 根据权利要求 7所述的方法， 其中， 所述终端信息的获取方式包括：
所述业务服务器在与所述终端进行签约时，保存所述终端对应的终端信息; 或者，
所述终端在向所述业务服务器申请媒体业务时， 向所述业务服务器动态上 报自身的终端信息。 根据权利要求 1所述的方法， 其中， 所述传输方式包括： 采用固定网络传输和 /或采用 无线网络传输。 根据权利要求 1至 6任一项所述的方法，其中，所述非音视频数据包括下列至少之一： 实时的电子白板信息、 实时即时文字交流信息以及固定会议资料。 一种媒体业务显示方法， 包括：
终端根据业务服务器同步的耦合关系表接收所述业务服务器提供的媒体内 容， 其中， 所述媒体内容包括音视频内容和非音视频内容， 所述耦合关系表包 括对所述音视频内容和所述非音视频内容的编解码方式、 传输方式以及显示方 式间的对应关系， 所述耦合关系表由所述业务服务器根据所述终端的终端信息 以及为所述终端提供的媒体业务的媒体业务特征确定；
所述终端根据所述耦合关系表的解码方式对所述媒体内容进行处理， 获取 音视频数据和非音视频数据；
所述终端根据所述耦合关系表的显示方式将所述音视频数据和所述非音视 频数据合并为能够显示的媒体内容， 并进行显示。
12. 根据权利要求 11所述的方法， 其中， 所述显示方式包括以下至少之一： 融合显示所述 音视频内容和所述非音视频内容， 单独显示所述音视频内容、 单独显示所述非音视频 内容。
13. t艮据权利要求 11 所述的方法， 其中， 所述显示方式为多种时， 所述终端提供用户接 口选择所述显示方式。
14. 根据权利要求 11所述的方法，其中，所述终端对所述音视频内容和所述非音视频内容 进行显示， 包括：
所述终端从所述非音视频数据中获取对应于该非音视频内容的关键字； 所述终端根据所述关键字搜索与所述媒体内容相关联的内容， 并将搜索到 的内容与所述音视频内容和所述非音视频内容下载到本地；
所述终端将下载到本地的所述音视频内容和所述非音视频内容同时进行显 示。
15. 根据权利要求 11所述的方法，其中，所述终端根据所述耦合关系表的显示方式将所述 音视频数据和所述非音视频数据合并为能够显示的媒体内容， 并进行显示， 包括： 当所述终端在接收的媒体内容中的部分内容出现传输延时或传输故障时， 所述终端显示已正确接收的所述媒体内容。
16. 根据权利要求 11至 15任一项所述的方法， 其中， 所述耦合关系表的获取方式包括： 所述终端在接收所述媒体内容前， 向所述业务服务器动态获取对应于该终 端的耦合关系表； 或者，
所述业务服务器将所述耦合关系表固定在应用程序中， 所述终端根据所述 终端的终端信息选择性安装所述应用程序。
17. 根据权利要求 11至 15任一项所述的方法， 其中， 所述终端信息包括以下至少之一： 所述终端的视频能力、 所述终端的传输能力和所述终端的种类。
18. 根据权利要求 11至 15任一项所述的方法， 其中， 所述非音视频数据的操作记录中存 在时间戳时， 所述终端根据所述耦合关系表的显示方式将所述音视频数据和所述非音 视频数据合并为能够显示的媒体内容， 包括：
所述终端根据所述时间戳选择与所述操作记录同步的音视频数据； 所述终端将所述同步的音视频数据和所述操作记录所在的非音视频数据合 并为能够显示的媒体内容。
19. 一种媒体业务提供装置， 设置在业务服务器中， 包括：
确定模块， 设置为根据终端的终端信息以及为所述终端提供的媒体业务的 媒体业务特征， 确定与所述终端对应的耦合关系表， 并将所述耦合关系表同步 至所述终端， 其中， 所述媒体业务包括音视频数据和非音视频数据， 所述耦合 关系表包括对所述音视频数据和所述非音视频数据的编解码方式、 传输方式以 及显示方式间的对应关系；
处理模块， 设置为根据所述耦合关系表中的编码方式对所述音视频数据和 所述非音视频数据分别进行处理；
提供模块， 设置为根据所述耦合关系表中的传输方式， 将分别处理后的音 视频数据和非音视频数据提供给所述终端。
20. 一种媒体业务显示装置， 设置于终端中， 包括：
接收模块， 设置为根据业务服务器同步的耦合关系表接收所述业务服务器 提供的媒体内容， 其中， 所述媒体内容包括音视频内容和非音视频内容， 所述 耦合关系表包括对所述音视频内容和所述非音视频内容的编解码方式、 传输方 式以及显示方式间的对应关系， 所述耦合关系表由所述业务服务器根据所述终 端的终端信息以及为所述终端提供的媒体业务的媒体业务特征确定；
获取模块， 设置为根据所述耦合关系表的解码方式对所述媒体内容进行处 理， 获取音视频数据和非音视频数据；
显示模块， 设置为根据所述耦合关系表的显示方式将所述音视频数据和所 述非音视频数据合并为能够显示的媒体内容， 并进行显示。
PCT/CN2012/079213 2012-05-08 2012-07-26 媒体业务提供方法和装置、媒体业务显示方法和装置 WO2013166785A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201210141789.3A CN102664900B (zh) 2012-05-08 2012-05-08 媒体业务提供方法和装置、媒体业务显示方法和装置
CN201210141789.3 2012-05-08

Publications (1)

Publication Number Publication Date
WO2013166785A1 true WO2013166785A1 (zh) 2013-11-14

Family

ID=46774310

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2012/079213 WO2013166785A1 (zh) 2012-05-08 2012-07-26 媒体业务提供方法和装置、媒体业务显示方法和装置

Country Status (2)

Country Link
CN (1) CN102664900B (zh)
WO (1) WO2013166785A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104158983A (zh) * 2013-05-15 2014-11-19 中兴通讯股份有限公司 一种业务处理方法及终端、管控设备
CN105306861B (zh) * 2015-10-15 2017-03-01 深圳市鹰硕技术有限公司 一种网络教学录播方法及系统
CN105959613A (zh) * 2016-05-27 2016-09-21 山西百得科技开发股份有限公司 数字会议设备和系统
CN108512874A (zh) * 2017-02-27 2018-09-07 上海谦问万答吧云计算科技有限公司 一种在线答疑数据的同步方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1992890A (zh) * 2005-10-11 2007-07-04 美国博通公司 提供媒体节目的装置及方法
WO2009045189A1 (en) * 2007-10-02 2009-04-09 Alcatel Lucent Method and system for facilitating track-based server-side streaming playlist functionality
CN102014301A (zh) * 2010-11-26 2011-04-13 优视科技有限公司 一种视频播放方法、系统及服务器

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090164378A1 (en) * 2007-12-21 2009-06-25 Steven Marcus Jason West Music Distribution
CN101621388A (zh) * 2008-07-02 2010-01-06 世纪搏众教育科技（北京）有限责任公司 一种视音频与非视音频混合数据的网络播送方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1992890A (zh) * 2005-10-11 2007-07-04 美国博通公司 提供媒体节目的装置及方法
WO2009045189A1 (en) * 2007-10-02 2009-04-09 Alcatel Lucent Method and system for facilitating track-based server-side streaming playlist functionality
CN102014301A (zh) * 2010-11-26 2011-04-13 优视科技有限公司 一种视频播放方法、系统及服务器

Also Published As

Publication number Publication date
CN102664900B (zh) 2015-10-21
CN102664900A (zh) 2012-09-12

Similar Documents

Publication Publication Date Title
US7792998B2 (en) System and method for providing real-time streaming service between terminals
CN102510541B (zh) 多屏互动的音视频内容切换方法及媒体播放器
US10599280B2 (en) Dual mode multimedia messaging
CN102752667B (zh) 一种多流流媒体直播互动系统及直播互动方法
KR100735233B1 (ko) 개인방송 서비스 제공 시스템
CN103096128B (zh) 一种实现视频互动的方法、服务器、终端及系统
JP4702397B2 (ja) コンテンツサーバ、情報処理装置、ネットワーク機器、コンテンツ配信方法、情報処理方法およびコンテンツ配信システム
CN101237340B (zh) 用于实现多媒体业务中组播频道的系统及方法
KR20170109036A (ko) 멀티미디어 파일 라이브 방송 방법, 시스템 및 서버
DK2180652T3 (en) Method and system for transmitting media information
CN103843301A (zh) 经译码多媒体数据的网络串流期间的表示之间的切换
US20160044368A1 (en) Method, apparatus and system for acquiring playback data stream of real-time video communication
KR20090003809A (ko) 복수개의 망을 이용한 방송 정보 재생 방법 및 장치
CN101883097A (zh) 服务器设备共享客户端设备屏幕的实现方法及装置
WO2005104579A1 (en) Interactive broadcast system
US20130204973A1 (en) Method for transmitting a scalable http stream for natural reproduction upon the occurrence of expression-switching during http streaming
CN101516057B (zh) 一种通过移动终端实现流媒体播放的方法
CN101098470A (zh) 一种基于p2p技术的流媒体节目播放/接收方法及装置
WO2015180446A1 (zh) 一种多设备联动服务中的连接通道维护系统及方法
WO2013166785A1 (zh) 媒体业务提供方法和装置、媒体业务显示方法和装置
JP5428734B2 (ja) ネットワーク機器、情報処理装置、ストリーム切替方法、情報処理方法、プログラムおよびコンテンツ配信システム
KR102090070B1 (ko) 스트리밍 서버, 클라이언트 단말 및 이를 이용한 av 라이브 스트리밍 시스템
WO2011003231A1 (zh) 一种可伸缩视频编码文件的传输方法、接收方法及装置
CN1972447A (zh) 基于流媒体技术的多画面播放器及其播放方法
CN101527153B (zh) 使异步的传递文本和音视频数据在移动终端同步显示的方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12876232

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12876232

Country of ref document: EP

Kind code of ref document: A1