WO2013163951A1 - 多人会话时数据呈现的方法、服务器、用户端及系统 - Google Patents

多人会话时数据呈现的方法、服务器、用户端及系统 Download PDF

Info

Publication number
WO2013163951A1
WO2013163951A1 PCT/CN2013/075015 CN2013075015W WO2013163951A1 WO 2013163951 A1 WO2013163951 A1 WO 2013163951A1 CN 2013075015 W CN2013075015 W CN 2013075015W WO 2013163951 A1 WO2013163951 A1 WO 2013163951A1
Authority
WO
WIPO (PCT)
Prior art keywords
session
user
user end
server
participating
Prior art date
Application number
PCT/CN2013/075015
Other languages
English (en)
French (fr)
Inventor
葛祥为
Original Assignee
腾讯科技（深圳）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 腾讯科技（深圳）有限公司 filed Critical 腾讯科技（深圳）有限公司
Priority to AP2014008091A priority Critical patent/AP2014008091A0/xx
Publication of WO2013163951A1 publication Critical patent/WO2013163951A1/zh
Priority to US14/531,609 priority patent/US9906574B2/en
Priority to ZA2014/08837A priority patent/ZA201408837B/en

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1818—Conference organisation arrangements, e.g. handling schedules, setting up parameters needed by nodes to attend a conference, booking network resources, notifying involved parties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/403—Arrangements for multi-party communication, e.g. for conferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/14—Session management
    • H04L67/141—Setup of application sessions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • H04M3/567—Multimedia conference systems

Definitions

  • the present invention relates to the field of multi-person video session technologies, and in particular, to a method, a server, a client and a system for data presentation in a multi-person session.
  • multi-person video session systems have been widely constructed and applied, enabling users in multiple places to transmit sounds and images to each other through the deployed user terminals and transmission lines.
  • To achieve instant and interactive communication improve the efficiency of meetings and reduce the cost of meetings.
  • each user participating in the session can present data sent by all other users participating in the session through the client by using multiple clients deployed or using multiple small windows of a large screen on the same client.
  • this approach will bring a lot of bandwidth pressure to the network, especially when the number of users participating in the session is too large, the bandwidth pressure of the network will be more obvious.
  • embodiments of the present invention provide a method, a server, a client, and a system for data presentation in a multi-person session.
  • the technical solution is as follows:
  • a method for data presentation in a multi-person session comprising:
  • the server establishes a session connection with multiple clients participating in the session;
  • the session control command includes a handover command, and correspondingly, the video data to be presented by the first user terminal is allocated to the first user terminal according to the session control command sent by the multiple clients of the participant session.
  • the method includes: determining, according to the switching command sent by the first user end, the second user end that is interested in the first user end, where the switching command includes information about a second user end currently focused by the first user end, where The second user end is one or more user terminals of the plurality of clients participating in the session except the first user terminal;
  • the session control command includes a session notification command, and correspondingly, the first user is allocated the audio data to be presented by the first user according to the session control command sent by the multiple users of the participating session.
  • the method includes: determining, according to the session notification command sent by the multiple users of the participating session, the user speaking in the multiple users of the participating session, where the session notification command includes whether the user participating in the session currently speaks Information
  • the selecting, by the user end of the speaking, the client that is not greater than the predetermined value includes:
  • Determining, by the first user end, the attention weight of the user end of the speaking including:
  • the attention weight is calculated according to the number of times the user end of the speaking is concerned by the first user, the permission level of the operator to which the speaking user belongs, and/or the identity level of the speaking user.
  • a server includes: a session connection establishing module, a receiving module, an allocating module, and a sending module; and the session connection establishing module, configured to establish a session connection with multiple users participating in the session;
  • the receiving module is configured to receive, by using the session connection, a session control command, audio data, and video data sent by multiple clients that participate in the session;
  • the allocating module is configured to allocate, according to the session control command sent by the multiple users that participate in the session, audio data and video data that are requested by the first user end, the first The client is any one of the plurality of clients participating in the session;
  • the sending module is configured to send audio data and video data allocated to the first user end to the first user end, so that the first user end presents the received audio data and video data.
  • the distribution module includes: a first determining unit, configured to: when the session control command includes a handover command, determine, according to the handover command sent by the first user end, the second user terminal that is interested in the first user terminal, the handover command
  • the second user end is information of the second user end that is currently concerned by the first user end, and the second user end is one or more user terminals of the plurality of user terminals participating in the session except the first user end;
  • a first allocation unit configured to allocate the received video data sent by the second client to the first user.
  • the distribution module includes:
  • a second determining unit configured to: when the session control command includes a session notification command, determine, according to the session notification command sent by the multiple users of the participating session, the client speaking in the multiple users of the participating session
  • the session notification command includes information about whether the client participating in the session currently speaks
  • a selecting unit configured to select, from the user terminals of the speaking, a client that is not greater than a predetermined value
  • a second allocation unit configured to allocate the received audio data sent by the selected user terminal to the first user, where the selecting unit includes:
  • Determining a subunit configured to determine, when the number of the users of the speaking is greater than the predetermined value, the attention weight of the user speaking by the first user end;
  • a selecting sub-unit configured to select, from the user terminals of the speaking, a user terminal that is greater than a predetermined value according to the attention weight of the speaking user being focused by the first user end.
  • the determining subunit is specifically configured to: according to the number of times the user end of the speaking user is concerned by the first user end, the permission level of the operator to which the speaking user belongs, or/and the identity level of the speaking user end The weight of interest is calculated.
  • a method for data presentation in a multi-person session comprising:
  • the first user end establishes a session connection with the server, and the first user end is any one of the plurality of user terminals participating in the session;
  • the session control command includes a handover command, where the handover command includes information about a second user end that is currently focused by the first user end, and the second user end is a plurality of user terminals of the participation session.
  • the handover command includes information about a second user end that is currently focused by the first user end, and the second user end is a plurality of user terminals of the participation session.
  • Receiving the video data allocated by the server according to the session control command includes: Receiving video data sent by the server to the second user end allocated by the first user end.
  • the session control command includes a session notification command;
  • Receiving the audio data allocated by the server according to the session control command including:
  • the user terminal selected by the server determines, according to the session notification command sent by the multiple users of the participating session, the client that is speaking in the multiple users of the participating session, from the speaking
  • the user end selects a user end that is not greater than a predetermined value; and the session notification command includes information about whether the user end participating in the session currently speaks.
  • a client, the client includes:
  • a session connection establishing module configured to establish a session connection with the server, where the user end is any one of the plurality of clients participating in the session;
  • a sending module configured to send, by using the session connection, a session control command, audio data, and video data to the server;
  • a receiving module configured to receive audio data and video data that are allocated by the server according to the session control command
  • a presentation module configured to present the received audio data and video data.
  • the session control command includes a handover command, where the handover command includes information about a second user end that is currently of interest to the user terminal, and the second user terminal is the user terminal of the participant session.
  • the handover command includes information about a second user end that is currently of interest to the user terminal, and the second user terminal is the user terminal of the participant session.
  • the receiving module is configured to receive video data sent by the second user end allocated by the server to the user terminal.
  • the session control command includes a session notification command
  • the receiving module is configured to receive, by the server, audio data sent by the user terminal selected by the server to the audio data of the user end;
  • the user terminal selected by the server determines, according to the session notification command sent by the multiple users of the participating session, the client that is speaking in the multiple users of the participating session, from the speaking
  • the user end selects a user end that is not greater than a predetermined value; and the session notification command includes information about whether the user end participating in the session currently speaks.
  • a system for data presentation in a multi-person session comprising a server and a plurality of clients participating in a multi-person session; wherein the server is any of the servers described above;
  • the plurality of clients participating in the session are any of the clients described above, and are configured to respectively connect to the
  • the server transmits session control commands, local audio data, and video data, and presents audio data and video data distributed by the server.
  • a computer readable storage medium storing one or more programs, the one or more programs being used by one or more processors to perform data presentation in a multi-person session,
  • the methods include:
  • the session control command includes a handover command, and the video data to be presented by the first user terminal is allocated to the first user terminal according to the session control command sent by the multiple users of the participant session, including :
  • the handover command includes information about a second user end that is currently focused by the first user end, where The second client is one or more clients of the plurality of clients participating in the session except the first client;
  • the session control command includes a session notification command
  • the first user terminal allocates audio data to be presented by the first user terminal according to the session control command sent by the multiple users of the participant session.
  • the method includes: determining, according to the session notification command sent by the multiple users that participate in the session, the user speaking in the multiple users of the participating session, where the session notification command includes information about whether the user participating in the session currently speaks ;
  • the selecting, by the user end of the speaking, the user end that is not greater than the predetermined value includes:
  • the determining, by the first user end, the attention weight of the user end of the speaking includes: The attention weight is calculated according to the number of times the user end of the speaking is concerned by the first user, the permission level of the operator to which the speaking user belongs, and/or the identity level of the speaking user.
  • a computer readable storage medium storing one or more programs, the one or more programs being used by one or more processors to perform data presentation in a multi-person session,
  • the methods include:
  • the session control command includes a handover command, where the handover command includes information about a second user end that is currently focused by the first user end, and the second user end is a plurality of user terminals of the participation session.
  • the handover command includes information about a second user end that is currently focused by the first user end, and the second user end is a plurality of user terminals of the participation session.
  • Receiving the video data allocated by the server according to the session control command includes:
  • the session control command includes a session notification command
  • Receiving the audio data allocated by the server according to the session control command including:
  • the user terminal selected by the server determines, according to the session notification command sent by the multiple users of the participating session, the client that is speaking in the multiple users of the participating session, from the speaking
  • the user end selects a user end that is not greater than a predetermined value; and the session notification command includes information about whether the user end participating in the session currently speaks.
  • the technical solution provided by the embodiment of the present invention provides the following: the audio data is allocated to any one of the multiple clients participating in the session by using the session control command sent by the multiple clients participating in the session.
  • the video data, the audio data and the video data allocated to the first user end are sent to the first user end for implementation of the technical solution, and the audio data and the video data allocated to the user end are controlled, which can reduce the dependence on the network bandwidth.
  • the network traffic is saved, and the performance of the client is reduced.
  • the prior art requires the user participating in the session to use multiple clients or a large-screen client to present the audio and video data of the session, and the embodiment of the present invention
  • the audio and video data allocated to the client is controlled to reduce the performance requirements on the client side, so that the multi-person session can cover more users (including a small screen user terminal such as a mobile phone or a large screen user terminal such as a computer). ).
  • the server is only responsible for the allocation and transfer of video and audio resources, reducing resource consumption and improving resource allocation. The ability to support a large number of session users at a low cost.
  • FIG. 1 is a schematic flowchart of a method for data presentation in a multi-person session according to Embodiment 1 of the present invention
  • FIG. 2 is a schematic flowchart of another method for data presentation in a multi-person session according to Embodiment 1 of the present invention
  • a schematic flowchart of a method for data presentation in a multi-person session is provided in Embodiment 2 of the present invention
  • FIG. 4 is a schematic diagram of establishing a session connection between a server and a client participating in a session according to Embodiment 2 of the present invention;
  • FIG. 5 is a schematic diagram of a data presentation of a first user terminal in a multi-person session according to a second embodiment of the present invention
  • FIG. 6 is a schematic structural diagram of a server according to Embodiment 3 of the present invention.
  • Figure ⁇ is a schematic structural diagram of a server provided in Embodiment 3 of the present invention.
  • FIG. 8 is a schematic structural diagram of a user end according to Embodiment 4 of the present invention.
  • FIG. 9 is a schematic diagram of a system for presenting data in a multi-person session according to Embodiment 5 of the present invention. detailed description
  • this embodiment provides a method for data presentation in a multi-person session, including:
  • Step 101 The server establishes a session connection with multiple clients participating in the session;
  • Step 102 Receive session control commands, audio data, and video data sent by multiple clients participating in the session by using a session connection.
  • Step 103 Allocate the audio data and the video data that the first user end requests to be presented to the first user terminal according to the session control command sent by the multiple users that participate in the session, where the first user end is a plurality of user terminals participating in the session. Any of the ⁇ ⁇ .
  • Step 104 Send the audio data and the video data allocated to the first user end to the first user end, so that the first user end presents the received audio data and video data.
  • the embodiment further provides a method for data presentation in a multi-person session, the method comprising:
  • the first client establishes a session connection with the server, and the first client is any one of the multiple clients participating in the session.
  • the technical solution provided by the embodiment of the present invention provides the following: the audio data is allocated to any one of the multiple clients participating in the session by using the session control command sent by the multiple clients participating in the session.
  • the video data, the audio data and the video data allocated to the first user end are sent to the first user end for implementation of the technical solution, and the audio data and the video data allocated to the user end are controlled, which can reduce the dependence on the network bandwidth.
  • the network traffic is saved, and the performance of the client is reduced.
  • the prior art requires the user participating in the session to use multiple clients or a large-screen client to present the audio and video data of the session, and the embodiment of the present invention
  • the audio and video data allocated to the client is controlled to reduce the performance requirements on the client side, so that the multi-person session can cover more users (including a small screen user terminal such as a mobile phone or a large screen user terminal such as a computer). ).
  • the server is only responsible for the allocation and transit of video and audio resources, reducing resource consumption, improving the concurrency of resource allocation, and enabling a large number of session users at low cost.
  • Embodiment 2 is only responsible for the allocation and transit of video and audio resources, reducing resource consumption, improving the concurrency of resource allocation, and enabling a large number of session users at low cost.
  • a method for data presentation in a multi-person session is provided according to an embodiment of the present invention, which is applicable to a scenario of a multi-person video session established by a wireless connection manner, and can participate in a session in a multi-person video session.
  • the user terminal can respectively present video data and audio data, such as presenting one channel of video data and multiple channels of audio data, and the video data described in the entire embodiment of the invention refers to a group of image data composed of consecutive image frames.
  • the multi-person video session is composed of a server and a plurality of user terminals participating in the session.
  • the user terminal may be a mobile communication device such as a mobile phone or a tablet computer, and the server may be a streaming media server, and the method includes:
  • Step 301 The server establishes a session connection with multiple clients participating in the session;
  • the server may establish a session connection with multiple users participating in the session by means of a wireless connection, a wired connection, or a wireless and wired hybrid connection, which is not specifically limited in this embodiment.
  • the process of establishing a session connection in the embodiment of the present invention may include:
  • the first client sends a call request to the server to call other clients participating in the session through the server.
  • the first user end is any one of the multiple users participating in the session, and the call request includes information about the user information of the participating participating session, such as the identifier of the user side participating in the session.
  • the server when receiving the call request sent by the first user, allocates a session room, and notifies the first user to enter the session room to wait; after that, the server calls the first user.
  • the user participating in the session forwards the call request, and after receiving the call response returned by the user end of the participating session called by the first user, notifying the user of the participating session that the first user is calling to enter the session
  • the room waits, and at this point, the server establishes a session connection with multiple clients participating in the session.
  • the server after receiving the call request sent by the first user, forwards the call request to the user participating in the session called by the first user, and receives the first request. After the call returned by the client participating in the session is responded to by the client, the session room is allocated, and the first client and the user participating in the session are notified to enter the session room to wait. At this point, the server and the participating session are more The client has established a session connection.
  • FIG. 4 is a schematic diagram of a session connection established between a server and a user participating in a session according to an embodiment of the present invention.
  • the server may establish a session connection with the user participating in the session at the application layer, including: session control. Connection (1), video data transmission connection (2), and audio data transmission connection (3).
  • the session connection established by the server may be multiplexed with the same TCP (Transmission Control Protocol) connection or UDP (User Datagram Protocol) connection, or may be separately used. Different TCP or UDP connections.
  • TCP Transmission Control Protocol
  • UDP User Datagram Protocol
  • the server When the server establishes a session connection with multiple clients participating in the session, the clients in the same session room can communicate with each other through a session connection established with the server.
  • Step 302 The server receives audio data and video data respectively uploaded by multiple clients participating in the session through the established session connection.
  • the server can select the audio data to be presented to each client participating in the session from the received audio data and video data.
  • the specific allocation process is described in steps 303 and 304.
  • Step 303 The server receives, by using the established session connection, a session control command sent by multiple clients participating in the session, where the session control command may include a session notification command, a handover command, and the like;
  • the session control connection may be sent to the server by using the established session control connection to notify the server of the session state of the client participating in the session.
  • the notification command contains information about whether the user participating in the session speaks; when the user participates in the session
  • the terminal may send a handover command to the server through the session control connection established above, and notify the server to participate in the information of the client concerned by the client participating in the session, where the handover command includes the handover user. Information on the side.
  • the server may determine, according to the handover command sent by each user end participating in the session, a client that is not concerned by other clients in the multiple clients participating in the session, as an optional implementation.
  • the server discards the received audio data and video data that are not uploaded by the client that is of interest to other clients.
  • the server sends the client to the client that is not of interest to other clients. After the uploading command is terminated, the client that is not concerned by other clients receives the termination upload command, and then terminates uploading the locally collected audio data and video data to save wireless bandwidth.
  • step 302 there is no constraint on the order of execution between step 302 and step 303.
  • Step 304 The server allocates the audio data and the video data that are requested by the first user to the first user, according to the session control command sent by the multiple users of the session, where the first user is the participant. Any of the clients;
  • the received video data sent by the second client is allocated to the first client.
  • the first user end by transmitting the video data of the second user end that is concerned by the first user end to the first user end, the first user end can switch and display the attention of the second user end by continuously switching the second user end concerned.
  • the user side to ensure the user's experience.
  • the first client is a small screen client
  • the first client can focus on only one client participating in the session at a time, so that the first client presents video data of a client participating in the session at a time, so that the small screen
  • the first user can present a larger video image, and by freely switching the user end of the participating session, the first user of the small screen can be freely switched to present the user of the participating session, and finally the user is guaranteed to use.
  • Experience when the first client is a small screen client, the first client can focus on only one client participating in the session at a time, so that the first client presents video data of a client participating in the session at a time, so that the small screen
  • the first user can present a larger video image, and by freely switching the user
  • the received speech is used.
  • the audio data sent by the client is allocated to the first user end;
  • the user terminal that is greater than the predetermined value is selected from the user terminals of the speaking, and the specific implementation is performed according to the weight of interest.
  • the client who is concerned with the high-weighted speech is preferentially selected.
  • the weight of the attention of the user end that is determined by the first user end includes: the number of times the user end of the speaking party is followed by the first user end, the permission level of the operator to which the speaking end belongs, and/or the speaking end of the speaking end.
  • the identity level calculation (such as weighting calculation, etc.) obtains the attention weight that the speaking user is concerned by the first user.
  • the first user end by selecting a user end that is not greater than a predetermined value from the user terminals that are speaking, and assigning the audio data sent by the selected user terminal to the first user end, the first user end can be presented to be presented.
  • the amount of audio data to reduce the bandwidth requirements of the network for multi-person sessions.
  • the embodiment of the present invention defines the number of audio data that the first user terminal can present, it does not reduce the user experience, for the following reasons:
  • a multi-person conversation if two or three people speak at the same time, the listener can Distinguish who is talking about what, but when too many people (such as a dozen people) speak at the same time, the listener basically can't tell who is talking.
  • the situation of too many people talking at the same time will soon disappear, and everyone will politely and quietly let a person or a few people talk. Therefore, in the embodiment of the present invention, limiting the audio data presented by the first user terminal to the audio data sent by other users of the predetermined value participating in the session does not degrade the user experience.
  • the attention of the first user is used to ensure that the first user can present the important attention of the first user.
  • the audio data of the client participating in the session can guarantee the user's experience to a certain extent.
  • the server when the server allocates audio data to the first user end, the server may include:
  • the server maintains a video attention list of the first user end according to the received switching command sent by the first user end, where the video attention list stores a correspondence between the second user end and the attention weight of the first user end.
  • the information about the second user end that the first user end is interested in is recorded and recorded according to the switching command sent by the first user end, where the information of the second user end that the first user end has paid attention to includes the second The number of times the user is concerned and the number of times the user is concerned by the first user. For example, the first user has paid attention to the user terminal 2, the client terminal 3, and the client terminal 4. The number of times the clients 2, 3, and 4 are followed is 3 times, respectively. And calculating the attention weight of the second user end of the first user end according to the record information of the second user end that is of interest to the first user end.
  • the second user end is directly The number of times the user pays attention as the attention weight of the second user; as another alternative In the current embodiment, the second user end receives the attention of the second user end according to the number of times the second user end is concerned by the first user end, the identity level of the second user end, and/or the operator level of the second user end (such as weighting calculation, etc.). Weights.
  • the identity level of the second user end and the level of the operator of the second user end can be found in the local storage file of the server. This is because the server requires the second client to register in the server when the server is connected to the second server, and informs the server of its identity and basic user information such as the operator.
  • the server can query the identity and identity according to the identity of the second client.
  • the level-to-level correspondence can obtain the identity level of the second user end, and can obtain the level of the operator of the second user terminal according to the correspondence between the operator and the operator level according to the operator to which the second user belongs, and then the server is local.
  • the storage file stores information such as the identity level of the second user end and the carrier class. Therefore, the server can obtain information such as the identity level of the second user end and the carrier class of the second user terminal from the local storage file.
  • the video attention list of the first client obtained by the server is as shown in Table 1.
  • Table 1 Video attention list for the first client
  • the current speaker list gives the information of the currently speaking client when the multi-person session is provided, as shown in Table 2.
  • the quantity of the audio data refers to audio data that the first user end can present for several channels.
  • the user end 1 can present one channel of audio data, that is, the user end can present one of the other participating sessions.
  • the current speaking list is searched for the current speaking client, as shown in Table 2, the current speaking client has a client 1, a client 2, and a client 4;
  • the audio data corresponding to the client terminal 1 does not need to be allocated the client terminal 1, and the client terminal 1 can present the audio data of one channel, so that the user terminal 2 and the client terminal 4 currently speaking are included. Selecting audio data corresponding to a client to be assigned to client 1;
  • Step 305 The server sends the audio data and the video data allocated to the first user end to the first user end, and the audio data transmission connection and the video data transmission connection established between the first user end and the video data transmission connection are allocated to the audio of the first user end. Data and video data are sent to the first user;
  • the server encodes the audio data and the video data assigned to the first user terminal.
  • the audio data allocated to the first user end may be encoded by using an AMR (Adaptive Multi-Rate) encoding, and then the encoded audio data is sent to the first user end to save transmission of the audio data. Bandwidth, improved transmission efficiency of audio data and transmission security.
  • the video data may be encrypted by using an encryption technique, and then the video data allocated to the first user is transmitted to the first user through a video data transmission connection.
  • Step 306 The first user end presents the received audio data and video data.
  • the first user terminal displays the received video data after decryption.
  • the first user end displays the received video data in the first display area, that is, the video data of the user end (second user end) that is of interest to the first user end, in the second
  • the display area displays an avatar icon of the user terminal participating in the session except for the user and the second user terminal, so that the first user terminal can switch to the user terminal of interest according to the avatar icon displayed in the second display area.
  • the first user terminal mixes the received audio data and plays it.
  • the first user terminal is pre-installed with a mixer, and the mixed audio device can mix the received multi-channel audio data and synthesize one audio signal for playing.
  • the specific mixing manner please refer to the prior art, where I won't go into details.
  • the technical solution provided by the embodiment of the present invention provides the following: the audio data is allocated to any one of the multiple clients participating in the session by using the session control command sent by the multiple clients participating in the session.
  • the video data, the audio data and the video data allocated to the first user end are sent to the first user end for implementation of the technical solution, and the audio data and the video data allocated to the user end are controlled, which can reduce the dependence on the network bandwidth.
  • the user terminal or the large screen user terminal presents the audio and video data at the time of the session, and the embodiment of the present invention reduces the performance requirement on the user end by controlling the audio and video data allocated to the user terminal, so that the multi-person session can be Covers more users (can include small screens such as mobile phones or large screen clients such as computers).
  • the server is only responsible for the allocation and transit of video and audio resources, reducing resource consumption, improving the concurrency of resource allocation, and enabling a large number of session users to be supported at low cost.
  • the embodiment of the present invention provides a server, which may be the same as the server described in the foregoing method embodiment, and includes: a session connection establishing module 601, a receiving module 602, an allocating module 603, and a sending module 604;
  • the establishing module 601 is configured to establish a session connection with multiple clients participating in the session;
  • the receiving module 602 is configured to receive, by using the session connection, a session control command, audio data, and video data sent by multiple clients that participate in the session;
  • the allocating module 603 is configured to allocate, according to the session control command sent by the multiple users that participate in the session, audio data and video data that are requested by the first user end, where the first user end is Any of a plurality of clients participating in the session;
  • the sending module 604 is configured to send the audio data and the video data allocated to the first user end to the first user, so that the first user end presents the received audio data and video data.
  • an embodiment of the present invention such as the distribution module 603 shown in Figure 6, includes:
  • the first determining unit 6031 is configured to: when the session control command includes a handover command, determine, according to the handover command sent by the first user terminal, the second user terminal that is interested in the first user terminal, where the handover command includes the first user terminal.
  • the information of the second user end that is currently concerned, the second user end is one or more user terminals other than the first user end among the plurality of user terminals participating in the session;
  • the first allocating unit 6032 is configured to allocate the received video data sent by the second user terminal to the first user end.
  • a second determining unit 6033 configured to: when the session control command includes a session notification command, determine, according to the session notification command sent by the multiple clients that participate in the session, the user speaking in the multiple users of the participating session End, the session notification command includes information about whether the user participating in the session currently speaks;
  • the selecting unit 6034 is configured to select, from the user terminals of the speaking, a client that is not greater than a predetermined value
  • the second allocating unit 6035 is configured to allocate the received audio data sent by the selected client to the first client.
  • the selecting unit 6034 includes: Determining a sub-unit, configured to determine, when the number of the user terminals that speak is greater than a predetermined value, the attention weight of the speaking user end being followed by the first user end;
  • selecting a subunit configured to select, from the speaking user end, a client that is greater than a predetermined value according to the attention weight of the speaking user end being concerned by the first user end.
  • the determining subunit is specifically configured to: according to the number of times the user end of the speaking end is concerned by the first user end, the permission level of the operator to which the speaking end belongs, or/and the identity level of the speaking user end The weight of interest is calculated.
  • the technical solution provided by the embodiment of the present invention provides the following: the audio data is allocated to any one of the multiple clients participating in the session by using the session control command sent by the multiple clients participating in the session.
  • the video data, the audio data and the video data allocated to the first user end are sent to the first user end for implementation of the technical solution, and the audio data and the video data allocated to the user end are controlled, which can reduce the dependence on the network bandwidth.
  • the network traffic is saved, and the performance of the client is reduced.
  • the prior art requires the user participating in the session to use multiple clients or a large-screen client to present the audio and video data of the session, and the embodiment of the present invention
  • the audio and video data allocated to the client is controlled to reduce the performance requirements on the client side, so that the multi-person session can cover more users (including a small screen user terminal such as a mobile phone or a large screen user terminal such as a computer). ).
  • the server is only responsible for the allocation and transit of video and audio resources, reducing resource consumption, improving the concurrency of resource allocation, and enabling a large number of session users at low cost.
  • Embodiment 4 is only responsible for the allocation and transit of video and audio resources, reducing resource consumption, improving the concurrency of resource allocation, and enabling a large number of session users at low cost.
  • an embodiment of the present invention provides a user terminal, which may be the same as the user terminal of the foregoing method embodiment, and includes: a session connection establishing module 801, a sending module 802, a receiving module 803, and a rendering module 804;
  • the session connection establishing module 801 is configured to establish a session connection with the server, where the client is any one of the multiple clients participating in the session;
  • the sending module 802 is configured to send the session control command, the audio data, and the video data to the server by using the session connection;
  • the receiving module 803 is configured to receive the audio data and the video data that are allocated by the server according to the session control command; Received audio data and video data.
  • the session control command includes a handover command, where the handover command includes information about the second user terminal currently concerned by the user terminal, and the second user terminal is other than the user terminal of the multiple client terminals participating in the session.
  • the handover command includes information about the second user terminal currently concerned by the user terminal, and the second user terminal is other than the user terminal of the multiple client terminals participating in the session.
  • the receiving module 803 is configured to receive video data sent by the second user end allocated by the server for the user end.
  • the session control command includes a session notification command
  • the receiving module 803 is configured to receive, by the server, the audio data sent by the user terminal selected by the server to the audio data of the user end;
  • the server selected by the server is a server that is sent by the server according to the session notification command sent by the multiple users participating in the session, and determines the user who speaks in the multiple clients participating in the session, and selects a user that is not greater than the predetermined value from the user terminals that speak.
  • the session notification command includes information about whether the client participating in the session currently speaks.
  • the technical solution provided by the embodiment provides the following advantages: the sending of the session control command to the server, the receiving of the technical solution for the presentation of the audio data and the video data allocated by the server, and the presenting of the audio data and the video data.
  • the control can reduce the dependence on the network bandwidth, save the network traffic, and reduce the performance requirements of the client.
  • the prior art requires the users participating in the session to use multiple clients or large-screen users to present the audio of the session.
  • the video data, and the embodiment of the present invention reduces the performance requirement on the user end by controlling the audio and video data allocated to the user end, so that the multi-person session can cover more users (including a small screen such as a mobile phone) User terminal of a large screen such as a client or a computer).
  • the server is only responsible for the allocation and transit of video and audio resources, reducing resource consumption, improving the concurrency of resource allocation, and enabling a large number of conference users at low cost.
  • an embodiment of the present invention further provides a system for data presentation in a multi-person session, where the system includes a server.
  • server 90 refers to any server described in Embodiment 3, and details are not described herein again.
  • the plurality of clients 902 participating in the session are configured to send session control commands, local audio data, and video data to the server 401 through the session connection, respectively, and present the audio data allocated by the server 401. And video data.
  • the technical solution provided by the embodiment of the present invention provides the following: the audio data is allocated to any one of the multiple clients participating in the session by using the session control command sent by the multiple clients participating in the session.
  • the video data, the audio data and the video data allocated to the first user end are sent to the first user end for implementation of the technical solution, and the audio data and the video data allocated to the user end are controlled, which can reduce the dependence on the network bandwidth.
  • the network traffic is saved, and the performance of the client is reduced.
  • the prior art requires the user participating in the session to use multiple clients or a large-screen client to present the audio and video data of the session, and the embodiment of the present invention
  • the audio and video data allocated to the client is controlled to reduce the performance requirements on the client side, so that the multi-person session can cover more users (including a small screen user terminal such as a mobile phone or a large screen user terminal such as a computer). ).
  • the server is only responsible for the allocation and transfer of video and audio resources, reducing resource consumption and improving resource allocation. The ability to support a large number of session users at a low cost.
  • the embodiment of the present invention provides a computer readable storage medium, which may be a computer readable storage medium included in the memory in the above embodiment, or may exist separately and not assembled into the server.
  • Computer readable storage medium stores one or more programs, the one or more programs being used by one or more processors to perform a method of data presentation in a multi-person session, the method comprising:
  • the audio data and the video data allocated to the first user terminal are sent to the first user end, so that the first user terminal presents the received audio data and video data.
  • the session control command includes a handover command, and is sent according to multiple clients participating in the session.
  • the session control command allocates video data to be presented by the first user terminal to the first user terminal, including:
  • the received video data sent by the second client is allocated to the first client.
  • the session control command includes a session notification command
  • the first user end is allocated according to the session control command sent by multiple clients participating in the session.
  • the audio data to be presented by the first client includes:
  • the user terminal that is not greater than the predetermined value is selected from the speaking user terminals, and the received audio data sent by the selected client terminal is allocated to the first user terminal.
  • selecting a client end that is not greater than a predetermined value from the speaking user includes:
  • the user terminal that is greater than the predetermined value is selected from the speaking user terminals according to the attention weight of the speaking user being focused by the first user.
  • determining, by the first user end, the attention weight of the user who is speaking includes:
  • the attention weight is calculated according to the number of times the user end of the speech is concerned by the first user, the authority level of the operator to which the user is speaking, or / and the identity level of the speaking user.
  • the implementation of the technical solution sent to the first user for presentation, the audio data and the video data allocated to the user terminal are controlled, which can reduce the dependence on the network bandwidth, save network traffic, and reduce the performance requirements on the user end, such as
  • the prior art requires a user participating in a session to use multiple clients or a large-screen client to present audio and video data during a session, and the embodiment of the present invention reduces the audio and video data allocated to the client by controlling the audio and video data.
  • the performance requirements of the client side enable the multi-person session to cover more users (which may include a small screen user terminal such as a mobile phone or a large screen user terminal such as a computer).
  • the server is only responsible for the allocation and transit of video and audio resources, reducing resource consumption, improving the concurrency of resource allocation, and enabling a large number of session users at low cost.
  • the embodiment of the present invention provides a computer readable storage medium, which may be a computer readable storage medium included in the memory in the above embodiment, or may exist separately and not assembled into the terminal.
  • Computer readable storage medium stores one or more programs, the one or more programs being used by one or more processors to perform data presentation in a multi-person session, the method comprising:
  • the receiving server receives the audio data and the video data according to the session control command, and presents the received audio data and video data.
  • the session control command includes a handover command, where the handover command includes the first user terminal.
  • the information of the second user end that is currently concerned, the second user end is one or more user terminals other than the first user end among the plurality of user terminals participating in the session;
  • the video data allocated by the receiving server according to the session control command includes:
  • the terminal's memory further includes instructions for performing the following operations:
  • the session control command includes a session notification command
  • the audio data allocated by the receiving server according to the session control command includes:
  • the receiving server allocates the audio data sent by the server selected by the server to the audio data of the first user terminal.
  • the server selected by the server is the server that determines the plurality of participating sessions according to the session notification command sent by the multiple clients participating in the session.
  • the user terminal speaking in the user terminal selects a user terminal that is not greater than a predetermined value from the speaking user terminal; the session notification command includes information about whether the user end participating in the session currently speaks.
  • the computer readable storage medium controls the presentation of the audio data and the video data by sending a session control command to the server, and receiving the technical solution for the server to present the audio data and the video data allocated by the server. It can reduce the dependence on the network bandwidth, save the network traffic, and reduce the performance requirements of the client.
  • the prior art requires the users participating in the session to use multiple clients or large-screen users to present the audio and video of the session. Data, but the embodiment of the present invention reduces the performance requirement on the user end by controlling the audio and video data allocated to the user end, so that the multi-person session can cover more users (including a small screen user terminal such as a mobile phone) Or the user side of a large screen such as a computer).
  • the server is only responsible for the allocation and transit of video and audio resources, which reduces resource consumption, improves the concurrency of resource allocation, and enables a large number of session users at low cost.
  • server and the user end provided by the foregoing embodiment present data
  • only the division of the foregoing functional modules is illustrated.
  • the function distribution may be completed by different functional modules according to requirements.
  • the internal structure of the server and the client is divided into different functional modules to complete all or part of the functions described above.
  • the server, the user terminal, the data presentation system of the multi-person video session, and the method embodiment of the data presentation of the multi-person video session are provided in the same concept, and the specific implementation process is described in the method embodiment. Narration.
  • a person skilled in the art may understand that all or part of the steps of implementing the above embodiments may be completed by hardware, or may be instructed by a program to execute related hardware, and the program may be stored in a computer readable storage medium.
  • the storage medium mentioned may be a read only memory, a magnetic disk or an optical disk or the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Telephonic Communication Services (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明公开了一种多人会话时数据呈现的方法、服务器、用户端及系统，属于多人视频会话技术领域。所述方法包括：与参与会话的多个用户端建立会话连接；通过所述会话连接接收所述参与会话的多个用户端发送的会话控制命令、音频数据和视频数据；根据所述参与会话的多个用户端发送的会话控制命令，为第一用户端分配音频数据和视频数据，所述第一用户端为所述参与会话的多个用户端中的任一个；将所述音频数据及视频数据发送给所述第一用户端，以便所述第一用户端呈现所述音频数据及视频数据。对分配给用户端的音频数据和视频数据进行了控制，可以减少对网络带宽的依赖，节省网络流量，并降低对用户端性能的要求，使得多人会话可以覆盖到更多的用户。

Description

多人会话时数据呈现的方法、 服务器、 用户端及系统 本申请要求于 2012年 05月 04日提交中国专利局、 申请号为 2012101372553、 发明名 称为 "多人会话时数据呈现的方法、 服务器及系统" 的中国专利申请的优先权， 其全部内 容通过引用结合在本申请中。 说
技术领域
本发明涉及多人视频会话技术领域， 特别涉及一种多人会话时数据呈现的方法、 服务 器、 用户端及系统。
书
背景技术
随着网络技术的迅速发展， 多人视频会话系统逐渐得到了广泛的建设和应用， 使得多 个地方的用户可以通过所部署的用户端及传输线路， 将声音及图像在彼此之间进行互传， 以实现即时且互动的沟通， 提高了开会的效率， 且降低开会成本。
现有技术中， 每个参与会话的用户可以通过所部署的多个用户端或者采用同一用户端 上的大屏幕的多个小窗口来呈现所有的其他参与会话的用户通过用户端发送的数据， 但是， 这种方式会给网络带来很大的带宽压力， 尤其在参与会话的用户的数量过大时， 网络的带 宽压力也将会更加的明显。 发明内容
为了解决现有技术的问题， 本发明实施例提供了一种多人会话时数据呈现的方法、 服 务器、 用户端及系统。 所述技术方案如下：
一种多人会话时数据呈现的方法， 所述方法包括：
服务器与参与会话的多个用户端建立会话连接；
通过所述会话连接接收所述参与会话的多个用户端发送的会话控制命令、 音频数据和 视频数据；
根据所述参与会话的多个用户端发送的会话控制命令， 为第一用户端分配所述第一用 户端请求呈现的音频数据和视频数据， 所述第一用户端为所述参与会话的多个用户端中的 任一个；
将分配给所述第一用户端的音频数据及视频数据发送给所述第一用户端， 以便所述第 一用户端呈现所接收到的音频数据及视频数据。
所述会话控制命令包括切换命令， 相应地， 所述根据所述参与会话的多个用户端发送 的会话控制命令， 为所述第一用户端分配所述第一用户端所要呈现的视频数据， 包括： 根据所述第一用户端所发送的切换命令， 确定所述第一用户端所关注的第二用户端， 所述切换命令包括第一用户端当前所关注的第二用户端的信息， 所述第二用户端为所述参 与会话的多个用户端中除所述第一用户端之外的一个或者多个用户端；
将所接收到的所述第二用户端发送的视频数据分配给所述第一用户端。
所述会话控制命令包括会话通知命令， 相应地， 所述根据所述参与会话的多个用户端 发送的会话控制命令， 为所述第一用户端分配所述第一用户端所要呈现的音频数据， 包括: 根据所述参与会话的多个用户端发送的会话通知命令， 确定所述参与会话的多个用户 端中发言的用户端， 所述会话通知命令包括参与会话的用户端当前是否发言的信息；
从所述发言的用户端中选择不大于预定值的用户端， 并将接收到的所选择的用户端发 送的音频数据分配给所述第一用户端。
所述从所述发言的用户端中选择不大于预定值的用户端包括：
当所述发言的用户端的数量大于所述预定值时， 确定所述发言的用户端被所述第一用 户端关注的关注权重；
根据所述发言的用户端被所述第一用户端关注的关注权重， 从所述发言的用户端中选 择大于预定值的用户端。
所述确定所述发言的用户端被所述第一用户端关注的关注权重， 包括：
根据所述发言的用户端被所述第一用户端关注的次数、 所述发言的用户端所属运营商 的权限等级或 /和所述发言的用户端的身份等级计算得到所述关注权重。
一种服务器， 所述服务器包括： 会话连接建立模块、 接收模块、 分配模块和发送模块; 所述会话连接建立模块， 用于与参与会话的多个用户端建立会话连接；
所述接收模块， 用于通过所述会话连接接收所述参与会话的多个用户端发送的会话控 制命令、 音频数据和视频数据；
所述分配模块， 用于根据所述参与会话的多个用户端发送的会话控制命令， 为所述第 一用户端分配所述第一用户端请求呈现的音频数据和视频数据， 所述第一用户端为所述参 与会话的多个用户端中的任一个；
所述发送模块， 用于将分配给所述第一用户端的音频数据及视频数据发送给所述第一 用户端， 以便所述第一用户端呈现所接收到的音频数据及视频数据。
所述分配模块包括： 第一确定单元， 用于当所述会话控制命令包括切换命令时， 根据所述第一用户端所发 送的切换命令， 确定所述第一用户端所关注的第二用户端， 所述切换命令包括第一用户端 当前所关注的第二用户端的信息， 所述第二用户端为所述参与会话的多个用户端中除所述 第一用户端之外的一个或者多个用户端；
第一分配单元， 用于将所接收到的所述第二用户端发送的视频数据分配给所述第一用 户端。
所述分配模块包括：
第二确定单元， 用于当所述会话控制命令包括会话通知命令时， 根据所述参与会话的 多个用户端发送的会话通知命令， 确定所述参与会话的多个用户端中发言的用户端， 所述 会话通知命令包括参与会话的用户端当前是否发言的信息；
选择单元， 用于从所述发言的用户端中选择不大于预定值的用户端；
第二分配单元， 用于将接收到的所选择的用户端发送的音频数据分配给所述第一用户 所述选择单元包括：
确定子单元， 用于当所述发言的用户端的数量大于所述预定值时， 确定所述发言的用 户端被所述第一用户端关注的关注权重；
选择子单元， 用于根据所述发言的用户端被所述第一用户端关注的关注权重， 从所述 发言的用户端中选择大于预定值的用户端。
所述确定子单元， 具体用于根据所述发言的用户端被所述第一用户端关注的次数、 所 述发言的用户端所属运营商的权限等级或 /和所述发言的用户端的身份等级计算得到所述关 注权重。
一种多人会话时数据呈现的方法， 所述方法包括：
第一用户端与服务器建立会话连接， 所述第一用户端为所述参与会话的多个用户端中 的任一个；
通过所述会话连接向所述服务器发送会话控制命令、 音频数据和视频数据； 接收所述服务器根据所述会话控制命令所分配的音频数据和视频数据， 并呈现所接收 到的音频数据及视频数据。
其中， 所述会话控制命令包括切换命令， 所述切换命令中包含有所述第一用户端当前 所关注的第二用户端的信息， 所述第二用户端为所述参与会话的多个用户端中除所述第一 用户端之外的一个或者多个用户端；
所述接收所述服务器根据所述会话控制命令所分配的视频数据， 包括： 接收所述服务器为所述第一用户端分配的所述第二用户端发送的视频数据。 所述会话控制命令包括会话通知命令；
所述接收所述服务器根据所述会话控制命令所分配的音频数据， 包括：
接收所述服务器将所述服务器选择的用户端发送的音频数据分配给所述第一用户端的 音频数据；
其中， 所述服务器选择的用户端为所述服务器根据所述参与会话的多个用户端发送的 会话通知命令， 确定所述参与会话的多个用户端中发言的用户端， 从所述发言的用户端中 选择不大于预定值的用户端； 所述会话通知命令包括参与会话的用户端当前是否发言的信 息。
一种用户端， 所述用户端包括：
会话连接建立模块， 用于与服务器建立会话连接， 所述用户端为所述参与会话的多个 用户端中的任一个；
发送模块， 用于通过所述会话连接向所述服务器发送会话控制命令、 音频数据和视频 数据；
接收模块， 用于接收所述服务器根据所述会话控制命令所分配的音频数据和视频数据; 呈现模块， 用于呈现所接收到的音频数据及视频数据。
所述会话控制命令包括切换命令， 所述切换命令中包含有所述用户端当前所关注的第 二用户端的信息， 所述第二用户端为所述参与会话的多个用户端中除所述用户端之外的一 个或者多个用户端；
所述接收模块， 用于接收所述服务器为所述用户端分配的所述第二用户端发送的视频 数据。
所述会话控制命令包括会话通知命令；
所述接收模块， 用于接收所述服务器将所述服务器选择的用户端发送的音频数据分配 给所述用户端的音频数据；
其中， 所述服务器选择的用户端为所述服务器根据所述参与会话的多个用户端发送的 会话通知命令， 确定所述参与会话的多个用户端中发言的用户端， 从所述发言的用户端中 选择不大于预定值的用户端； 所述会话通知命令包括参与会话的用户端当前是否发言的信 息。
一种多人会话时数据呈现的系统， 所述系统包括服务器和参与多人会话的多个用户端; 其中， 所述服务器为以上所述的任一服务器；
所述参与会话的多个用户端为以上所述的任一用户端， 用于分别通过会话连接向所述 服务器发送会话控制命令、 本地音频数据和视频数据， 并呈现所述服务器分配的音频数据 及视频数据。
一种计算机可读存储介质， 所述计算机可读存储介质存储有一个或者一个以上程序， 所述一个或者一个以上程序被一个或者一个以上的处理器用来执行多人会话时数据呈现的 方法， 所述方法包括：
与参与会话的多个用户端建立会话连接；
通过所述会话连接接收所述参与会话的多个用户端发送的会话控制命令、 音频数据和 视频数据；
根据所述参与会话的多个用户端发送的会话控制命令， 为第一用户端分配所述第一用 户端请求呈现的音频数据和视频数据， 所述第一用户端为所述参与会话的多个用户端中的 任一个；
将分配给所述第一用户端的音频数据及视频数据发送给所述第一用户端， 以便所述第 一用户端呈现所接收到的音频数据及视频数据。
其中， 所述会话控制命令包括切换命令， 所述根据所述参与会话的多个用户端发送的 会话控制命令， 为所述第一用户端分配所述第一用户端所要呈现的视频数据， 包括：
根据所述第一用户端所发送的切换命令， 确定所述第一用户端所关注的第二用户端， 所述切换命令包括第一用户端当前所关注的第二用户端的信息， 所述第二用户端为所述参 与会话的多个用户端中除所述第一用户端之外的一个或者多个用户端；
将所接收到的所述第二用户端发送的视频数据分配给所述第一用户端。
其中， 所述会话控制命令包括会话通知命令， 所述根据所述参与会话的多个用户端发 送的会话控制命令， 为所述第一用户端分配所述第一用户端所要呈现的音频数据， 包括： 根据所述参与会话的多个用户端发送的会话通知命令， 确定所述参与会话的多个用户 端中发言的用户端， 所述会话通知命令包括参与会话的用户端当前是否发言的信息；
从所述发言的用户端中选择不大于预定值的用户端， 并将接收到的所选择的用户端发 送的音频数据分配给所述第一用户端。
其中， 所述从所述发言的用户端中选择不大于预定值的用户端包括：
当所述发言的用户端的数量大于所述预定值时， 确定所述发言的用户端被所述第一用 户端关注的关注权重；
根据所述发言的用户端被所述第一用户端关注的关注权重， 从所述发言的用户端中选 择大于预定值的用户端。
其中， 所述确定所述发言的用户端被所述第一用户端关注的关注权重， 包括： 根据所述发言的用户端被所述第一用户端关注的次数、 所述发言的用户端所属运营商 的权限等级或 /和所述发言的用户端的身份等级计算得到所述关注权重。
一种计算机可读存储介质， 所述计算机可读存储介质存储有一个或者一个以上程序， 所述一个或者一个以上程序被一个或者一个以上的处理器用来执行多人会话时数据呈现的 方法， 所述方法包括：
与服务器建立会话连接， 所述第一用户端为所述参与会话的多个用户端中的任一个； 通过所述会话连接向所述服务器发送会话控制命令、 音频数据和视频数据；
接收所述服务器根据所述会话控制命令所分配的音频数据和视频数据， 并呈现所接收 到的音频数据及视频数据。
其中， 所述会话控制命令包括切换命令， 所述切换命令中包含有所述第一用户端当前 所关注的第二用户端的信息， 所述第二用户端为所述参与会话的多个用户端中除所述第一 用户端之外的一个或者多个用户端；
所述接收所述服务器根据所述会话控制命令所分配的视频数据， 包括：
接收所述服务器为所述第一用户端分配的所述第二用户端发送的视频数据。
所述会话控制命令包括会话通知命令；
所述接收所述服务器根据所述会话控制命令所分配的音频数据， 包括：
接收所述服务器将所述服务器选择的用户端发送的音频数据分配给所述第一用户端的 音频数据；
其中， 所述服务器选择的用户端为所述服务器根据所述参与会话的多个用户端发送的 会话通知命令， 确定所述参与会话的多个用户端中发言的用户端， 从所述发言的用户端中 选择不大于预定值的用户端； 所述会话通知命令包括参与会话的用户端当前是否发言的信 息。
本发明实施例提供的技术方案带来的有益效果是： 通过根据参与会话的多个用户端发 送的会话控制命令， 为参与会话的多个用户端中的任一个第一用户端分配音频数据和视频 数据， 将分配给第一用户端的音频数据及视频数据发送给第一用户端进行呈现的技术方案 的实现， 对分配给用户端的音频数据和视频数据进行了控制， 可以减少对网络带宽的依赖， 节省网络流量， 并降低对用户端性能的要求， 如现有技术要求参与会话的用户使用多个用 户端或者大屏幕的用户端来呈现会话时的音频和视频数据， 而本发明实施例由于对分配给 用户端的音频和视频数据进行了控制而降低了对用户端的性能要求， 使得多人会话可以覆 盖到更多的用户 （可以包括手机等小屏幕的用户端或者计算机等大屏幕的用户端）。 另一方 面， 服务器仅负责视频和音频资源的分配及中转， 降低了资源消耗， 提高了资源分配的并 发性， 可以使得低成本支持大量的会话用户。 附图说明
为了更清楚地说明本发明实施例中的技术方案， 下面将对实施例描述中所需要使用的 附图作简单地介绍， 显而易见地， 下面描述中的附图仅仅是本发明的一些实施例， 对于本 领域普通技术人员来讲， 在不付出创造性劳动的前提下， 还可以根据这些附图获得其他的 附图。
图 1是本发明实施例一提供的一种多人会话时数据呈现的方法流程示意图； 图 2是本发明实施例一提供的另一种多人会话时数据呈现的方法流程示意图； 图 3是本发明实施例二提供的一种多人会话时数据呈现的方法流程示意图； 图 4是本发明实施例二提供的一种服务器与参与会话的用户端间建立会话连接的示意 图；
图 5是本发明实施例二提供的一种第一用户端在多人会话时数据呈现的实例图； 图 6是本发明实施例三提供的一种服务器结构示意图；
图 Ί是本发明实施例三提供的一种服务器结构示意图；
图 8是本发明实施例四提供的一种用户端结构示意图；
图 9是本发明实施例五提供的一种多人会话时数据呈现的系统示意图。 具体实施方式
为使本发明的目的、 技术方案和优点更加清楚， 下面将结合附图对本发明实施方式作 进一步地详细描述。
实施例一
参见图 1， 本实施例提供了一种多人会话时数据呈现的方法， 包括：
步骤 101 : 服务器与参与会话的多个用户端建立会话连接；
步骤 102: 通过会话连接接收参与会话的多个用户端发送的会话控制命令、音频数据和 视频数据；
步骤 103: 根据参与会话的多个用户端发送的会话控制命令， 为第一用户端分配第一用 户端请求呈现的音频数据和视频数据， 其中， 第一用户端为参与会话的多个用户端中的任 一^ ^ .
步骤 104: 将分配给第一用户端的音频数据及视频数据发送给第一用户端， 以便第一用 户端呈现所接收到的音频数据及视频数据。 参见图 2， 本实施例还提供了一种多人会话时数据呈现的方法， 方法包括：
201： 第一用户端与服务器建立会话连接， 第一用户端为参与会话的多个用户端中的任 一^ ^ .
202： 通过会话连接向服务器发送会话控制命令、 音频数据和视频数据；
203： 接收服务器根据会话控制命令所分配的音频数据和视频数据， 并呈现所接收到的 音频数据及视频数据。
本发明实施例提供的技术方案带来的有益效果是： 通过根据参与会话的多个用户端发 送的会话控制命令， 为参与会话的多个用户端中的任一个第一用户端分配音频数据和视频 数据， 将分配给第一用户端的音频数据及视频数据发送给第一用户端进行呈现的技术方案 的实现， 对分配给用户端的音频数据和视频数据进行了控制， 可以减少对网络带宽的依赖， 节省网络流量， 并降低对用户端性能的要求， 如现有技术要求参与会话的用户使用多个用 户端或者大屏幕的用户端来呈现会话时的音频和视频数据， 而本发明实施例由于对分配给 用户端的音频和视频数据进行了控制而降低了对用户端的性能要求， 使得多人会话可以覆 盖到更多的用户 （可以包括手机等小屏幕的用户端或者计算机等大屏幕的用户端）。 另一方 面， 服务器仅负责视频和音频资源的分配及中转， 降低了资源消耗， 提高了资源分配的并 发性， 可以使得低成本支持大量的会话用户。 实施例二
参见图 3， 为本发明实施例所提供的一种多人会话时数据呈现的方法， 适用于通过无线 连接方式所建立的多人视频会话的场景， 可以使得在多人视频会话时， 参与会话的用户端 可以分别呈现视频数据和音频数据， 如呈现一路视频数据和多路音频数据， 整个发明实施 例中所述的视频数据是指一组由连续的图像帧所构成的图像数据。 其中， 所述多人视频会 话由服务器及参与会话的多个用户端构成， 所述用户端可以是诸如手机或者平板电脑等移 动通信设备， 所述服务器可以是流媒体服务器， 方法包括：
步骤 301 : 服务器与参与会话的多个用户端建立会话连接；
具体地， 服务器可以通过无线连接的方式、 有线连接的方式或者无线与有线混合连接 的方式来与参与会话的多个用户端建立会话连接， 本实施例对此不作具体限定。 其中， 本 发明实施例所述的建立会话连接的过程可以包括：
第一用户端向服务器发送呼叫请求， 以通过服务器呼叫参与会话的其他用户端。 其中， 第一用户端为参与会话的多个用户端中的任一个， 呼叫请求包括所呼叫的参与会话的用户 端信息， 如所呼叫的参与会话的用户端的标识等信息。 作为一个可选实现的实施例， 服务器在接收到第一用户端所发送的呼叫请求时， 分配 会话房间， 并通知第一用户端进入会话房间进行等待； 之后， 向第一用户端所呼叫的参与 会话的用户端转发所述呼叫请求， 并在接收到第一用户端所呼叫的参与会话的用户端返回 的呼叫响应后， 通知第一用户端所呼叫的参与会话的用户端进入所述会话房间进行等待， 至此， 服务器与参与会话的多个用户端建立了会话连接。
作为另一个可选实现的实施例， 服务器在接收到第一用户端所发送的呼叫请求后， 向 第一用户端所呼叫的参与会话的用户端转发所述呼叫请求， 并在接收到第一用户端所呼叫 的参与会话的用户端返回的呼叫响应后， 分配会话房间， 并通知第一用户端及其呼叫的参 与会话的用户端进入所述会话房间等待， 至此， 服务器与参与会话的多个用户端建立了会 话连接。
图 4 为本发明实施例所提供的一种服务器与参与会话的用户端间所建立的会话连接的 示意图， 服务器可以通过上述方式在应用层与参与会话的用户端建立会话连接， 包括： 会 话控制连接 （1 )、 视频数据传输连接 （2) 及音频数据传输连接 （3) 等。
本发明实施例在具体实现时， 服务器所建立的上述会话连接可以复用相同的 TCP (Transmission Control Protocol ， 传输控制协议） 连接或者 UDP (User Datagram Protocol, 用户数据包协议） 连接， 也可以分别使用不同的 TCP或者 UDP连接。
当服务器与参与会话的多个用户端建立会话连接后， 同一会话房间内的用户端彼此之 间便可以通过与服务器间建立的会话连接进行会话。
步骤 302:服务器通过所建立的会话连接接收参与会话的多个用户端所分别上传的音频 数据及视频数据；
本发明实施例中， 参与会话的多个用户端进行会话时， 分别采集本地的音频数据及视 频数据， 并分别通过上述所建立的音频数据传输连接及视频数据传输连接将所采集到的音 频数据及视频数据上传到服务器；
这样， 服务器接收到参与会话的多个用户端各自上传的音频数据和视频数据后， 便可 以从接收到的音频数据和视频数据中， 选择分配给参与会话的各用户端所要呈现的音频数 据和视频数据， 具体的分配过程参见步骤 303和 304的描述。
步骤 303:服务器通过所建立的会话连接接收参与会话的多个用户端发送的会话控制命 令， 其中， 所述会话控制命令可以包括会话通知命令及切换命令等；
本发明实施例在具体实现时， 当参与会话的用户端开始或者停止会话时， 可以通过上 述所建立的会话控制连接向服务器发送会话通知命令， 通知服务器参与会话的用户端的会 话状态， 所述会话通知命令包含有参与会话的用户端是否发言的信息； 当参与会话的用户 端切换其关注的其他参与会话的用户端时， 可以通过上述所建立的会话控制连接向服务器 发送切换命令， 通知服务器参与会话的用户端所关注用户端的信息， 所述切换命令包含有 所切换用户端的信息。
本发明实施例在具体实现时， 服务器可以根据参与会话的各用户端所发送的切换命令， 确定参与会话的多个用户端中未被其他用户端所关注的用户端， 作为一可选实现的实施例， 服务器丢弃所接收到的未被其他用户端所关注的用户端上传的音频数据及视频数据， 作为 另一可选实现的实施例， 服务器向未被其他用户端所关注的用户端发送终止上传命令， 未 被其他用户端所关注的用户端接收到终止上传命令后， 终止上传其本地采集到的音频数据 及视频数据， 以节省无线带宽。
本发明实施例中， 步骤 302与步骤 303之间并无执行顺序上的约束。
步骤 304: 服务器根据参与会话的多个用户端发送的会话控制命令， 为第一用户端分配 第一用户端请求呈现的音频数据和视频数据， 其中， 所述第一用户端为参与会话的多个用 户端中的任一个；
本发明实施例中为第一用户端分配视频数据包括：
根据第一用户端发送的切换命令， 确定第一用户端所关注的第二用户端， 其中， 切换 命令包括第一用户端当前关注的第二用户端的信息， 第二用户端为参与会话的多个用户端 中除第一用户端之外的一个或者多个用户端；
将所接收的第二用户端发送的视频数据分配给第一用户端。
本发明实施例中， 通过将第一用户端所关注的第二用户端的视频数据发送给第一用户 端的实现， 第一用户端便可以通过不断切换其关注的第二用户端来切换显示其关注的用户 端， 以保证用户的使用体验。 例如， 当第一用户端为小屏幕用户端时， 第一用户端可以一 次仅关注一个参与会话的用户端， 这样， 第一用户端一次呈现一个参与会话的用户端的视 频数据， 使得小屏幕的第一用户端可以呈现较大的视频图像， 且通过自由切换其关注的参 与会话的用户端， 保证小屏幕的第一用户端可以自由切换呈现参会会话的用户端， 而最终 保证用户的使用体验。
本发明实施例中为第一用户端分配音频数据包括：
根据参与会话的多个用户端发送的会话通知命令， 确定参与会话的多个用户端中发言 的用户端， 其中， 所述会话通知命令包括参与会话的用户端当前是否发言的信息；
从发言的用户端中选择不大于预定值个的用户端， 并将接收到的所选择的用户端发送 的音频数据分配给第一用户端， 其中， 预定值可以根据网络的带宽来预先设定。
本发明实施例中， 当发言的用户端的数量不大于预定值时， 则将接收到的所发言的用 户端发送的音频数据分配给第一用户端；
当发言的用户端的数量大于预定值时， 确定发言的用户端被第一用户端关注的关注权 重；
根据所述发言的用户端被所述第一用户端关注的关注权重， 从所述发言的用户端中选 择大于预定值个的用户端， 本发明实施例在具体实现时， 根据关注权重从发言的用户端中 选择用户端时， 关注权重高的发言的用户端被优先选择。
其中， 确定发言的用户端被第一用户端关注的关注权重包括： 可以根据发言的用户端 被第一用户端关注的次数、 发言的用户端所属运营商的权限等级或 /和发言的用户端的身份 等级计算 （如加权计算等） 得到发言的用户端被第一用户端关注的关注权重。
本发明实施例中， 通过从发言的用户端中选择不大于预定值个的用户端， 且将所选择 的用户端发送的音频数据分配给第一用户端的实现， 限定第一用户端所可以呈现的音频数 据的数量， 以降低多人会话时对网络的带宽要求。
本发明实施例虽然限定了第一用户端所可以呈现的音频数据的数量， 但是并不会降低 用户的使用体验， 原因如下： 当多人会话时， 如果两三个人同时说话， 听者是可以分清谁 在说什么的， 但是当过多人 （比如十几个人） 同时说话时， 听者基本上就分不清谁在说什 么了。 而在友好的交谈中， 这种过多的人同时说话的情况会很快消失， 大家礼貌的安静下 来让一个人或者少数的几个人说话。 所以， 本发明实施例中， 将第一用户端所呈现的音频 数据限定在预定值个参与会话的其他的用户端所发送的音频数据是是不会降低用户体验 的。
本发明实施例中， 当参与会话的多个用户端中发言的用户端的数量大于预定值时， 采 用发言者被第一用户端关注的关注权重要保证第一用户端可以呈现其所关注的重要的参与 会话的用户端的音频数据， 在一定程度上可以保证用户的使用体验。
本发明实施例在具体实现时， 服务器为第一用户端分配音频数据可以包括：
1 )、 服务器根据接收到的第一用户端发送的切换命令维护一个第一用户端的视频关注 列表， 该视频关注列表存储有第一用户端所关注第二用户端与关注权重间对应关系。
具体实现时， 根据第一用户端所发送的切换命令， 统计并记录第一用户端所关注过的 第二用户端的信息， 其中， 第一用户端所关注过的第二用户端的信息包括第二用户端的标 识及被第一用户端关注的次数， 如第一用户端先后关注过用户端 2、 用户端 3和用户端 4， 用户端 2、 3和 4被关注的次数分别为 3次、 1次和 4次； 根据第一用户端所关注的第二用 户端的记录信息计算第一用户端所关注第二用户端的关注权重， 作为一个可选的实施例， 直接将第二用户端被第一用户端关注的次数作为第二用户端的关注权重； 作为另一可选实 现的实施例， 根据第二用户端被第一用户端所关注的次数、 第二用户端的身份等级或 /和第 二用户端所属运营商等级计算 （如加权计算等） 得到第二用户端的关注权重。
其中， 第二用户端的身份等级及第二用户端所属运营商的等级都可以在服务器的本地 存储文件中查找得到。 这是由于服务器在与第二服务器进行会话连接时， 要求第二用户端 在服务器内进行注册， 告知服务器其身份以及所属运营商等基本用户信息， 服务器可以根 据第二用户端的身份查询身份与身份等级间对应关系可以得到第二用户端的身份等级， 并 可以根据第二用户端所属运营商查找运营商与运营商等级间对应关系得到第二用户端所述 运营商的等级， 之后， 服务器在本地存储文件中存储第二用户端对应的身份等级及所述运 营商等级等信息， 故， 服务器可以从本地存储文件中获知第二用户端的身份等级及所属运 营商等级等信息。
例如， 服务器所获取的第一用户端的视频关注列表如表 1所示。
表 1 : 第一用户端的视频关注列表
Figure imgf000014_0001
2)、 根据参与会话的各用户端发送的会话通知命令维护一当前发言者列表， 该当前发 言者列表给出了多人会话时， 当前发言的用户端的信息， 具体可以如表 2所示。
表 2: 当前发言者列表
Figure imgf000014_0002
3)、 根据无线网络的带宽确定可以分配给第一用户端的音频数据的数量；
本发明实施例中， 所述的音频数据的数量指第一用户端可以呈现几路的音频数据， 例 如， 用户端 1可以呈现 1路的音频数据， 即用户端可以呈现其他参与会话的 1个用户端所 对应的音频数据； 4)、 根据所维护的第一用户端的视频关注列表及当前发言者列表确定分配给第一用户 端的音频数据；
具体地， 查找当前发言列表得到当前发言的用户端， 如表 2所示， 当前发言的用户端 有用户端 1、 用户端 2及用户端 4;
由于用户端 1为当前发言的用户端， 用户端 1对应的音频数据不用再分配用户端 1， 且 用户端 1可以呈现 1路的音频数据， 故从当前发言的用户端 2及用户端 4中选择一个用户 端对应的音频数据分配给用户端 1 ;
由表 1所示的用户端 1的视频关注列表可以知道，当前发言的用户端 2的关注权重为 3， 当前发言的用户端 4的关注权重为 4， 故将用户端 4发送的音频数据分配给用户端 1。
步骤 305: 服务器将分配给第一用户端的音频数据及视频数据发送给第一用户端， 具体 通过与第一用户端间建立的音频数据传输连接和视频数据传输连接将分配给第一用户端的 音频数据及视频数据发送给第一用户端；
具体地， 服务器将分配给第一用户端的音频数据及视频数据进行编码。 具体地， 可以 采用 AMR (Adaptive Multi-Rate, 自适应多速率）编码对分配给第一用户端的音频数据进行 编码， 之后， 将编码后的音频数据发送给第一用户端， 以节省传输音频数据的带宽、 提高 音频数据的传输效率及传输安全性。 可以采用加密技术对视频数据进行加密， 之后通过视 频数据传输连接将分配给第一用户端的视频数据发送给第一用户端。
步骤 306: 第一用户端呈现所接收到的音频数据及视频数据；
一方面，第一用户端对接收到的视频数据进行解密后显示。参见图 5，本发明实施例中， 第一用户端在第一显示区域显示接收到的视频数据， 也即第一用户端所关注的用户端 （第 二用户端） 的视频数据， 在第二显示区域显示除自身及第二用户端外的其他参与会话的用 户端的头像图标， 以便第一用户端可以根据第二显示区域所显示的头像图标选择切换其关 注的用户端。
另一方面， 第一用户端对接收到的音频数据进行混音后播放。 具体地， 第一用户端预 先安装有混音器， 该混混音器可以将接收到的多路音频数据混音后合成一路音频信号进行 播放， 具体的混音方式请参见现有技术， 此处就不再赘述。
本发明实施例提供的技术方案带来的有益效果是： 通过根据参与会话的多个用户端发 送的会话控制命令， 为参与会话的多个用户端中的任一个第一用户端分配音频数据和视频 数据， 将分配给第一用户端的音频数据及视频数据发送给第一用户端进行呈现的技术方案 的实现， 对分配给用户端的音频数据和视频数据进行了控制， 可以减少对网络带宽的依赖， 节省网络流量， 并降低对用户端性能的要求， 如现有技术要求参与会话的用户使用多个用 户端或者大屏幕的用户端来呈现会话时的音频和视频数据， 而本发明实施例由于对分配给 用户端的音频和视频数据进行了控制而降低了对用户端的性能要求， 使得多人会话可以覆 盖到更多的用户 （可以包括手机等小屏幕的用户端或者计算机等大屏幕的用户端）。 另一方 面， 服务器仅负责视频和音频资源的分配及中转， 降低了资源消耗， 提高了资源分配的并 发性， 可以使得低成本支持大量的会话用户。 实施例三
参见图 6， 本发明实施例提供了一种服务器， 该服务器具体可以上述方法实施例所述的 服务器相同， 包括： 会话连接建立模块 601、 接收模块 602、 分配模块 603和发送模块 604; 会话连接建立模块 601， 用于与参与会话的多个用户端建立会话连接；
接收模块 602，用于通过所述会话连接接收所述参与会话的多个用户端发送的会话控制 命令、 音频数据和视频数据；
分配模块 603， 用于根据所述参与会话的多个用户端发送的会话控制命令， 为第一用户 端分配第一用户端请求呈现的音频数据和视频数据， 所述第一用户端为所述参与会话的多 个用户端中的任一个；
发送模块 604， 用于将分配给所述第一用户端的音频数据及视频数据发送给第一用户 端， 以便第一用户端呈现所接收到的音频数据及视频数据。
参见图 7， 本发明实施例如图 6所示的分配模块 603包括：
第一确定单元 6031， 用于当所述会话控制命令包括切换命令时， 根据第一用户端所发 送的切换命令， 确定第一用户端所关注的第二用户端， 切换命令包括第一用户端当前所关 注的第二用户端的信息， 第二用户端为参与会话的多个用户端中除第一用户端之外的一个 或者多个用户端；
第一分配单元 6032， 用于将所接收到的所述第二用户端发送的视频数据分配给所述第 一用户端。
第二确定单元 6033， 用于当所述会话控制命令包括会话通知命令时， 根据所述参与会 话的多个用户端发送的会话通知命令， 确定所述参与会话的多个用户端中发言的用户端， 所述会话通知命令包括参与会话的用户端当前是否发言的信息；
选择单元 6034， 用于从所述发言的用户端中选择不大于预定值的用户端；
第二分配单元 6035， 用于将接收到的所选择的用户端发送的音频数据分配给所述第一 用户端。
具体地， 选择单元 6034包括： 确定子单元， 用于当发言的用户端的数量大于预定值时， 确定发言的用户端被第一用 户端关注的关注权重；
选择子单元， 用于根据发言的用户端被第一用户端关注的关注权重， 从发言的用户端 中选择大于预定值的用户端。
其中， 确定子单元， 具体用于根据所述发言的用户端被所述第一用户端关注的次数、 所述发言的用户端所属运营商的权限等级或 /和所述发言的用户端的身份等级计算得到所述 关注权重。
本发明实施例提供的技术方案带来的有益效果是： 通过根据参与会话的多个用户端发 送的会话控制命令， 为参与会话的多个用户端中的任一个第一用户端分配音频数据和视频 数据， 将分配给第一用户端的音频数据及视频数据发送给第一用户端进行呈现的技术方案 的实现， 对分配给用户端的音频数据和视频数据进行了控制， 可以减少对网络带宽的依赖， 节省网络流量， 并降低对用户端性能的要求， 如现有技术要求参与会话的用户使用多个用 户端或者大屏幕的用户端来呈现会话时的音频和视频数据， 而本发明实施例由于对分配给 用户端的音频和视频数据进行了控制而降低了对用户端的性能要求， 使得多人会话可以覆 盖到更多的用户 （可以包括手机等小屏幕的用户端或者计算机等大屏幕的用户端）。 另一方 面， 服务器仅负责视频和音频资源的分配及中转， 降低了资源消耗， 提高了资源分配的并 发性， 可以使得低成本支持大量的会话用户。 实施例四
参见图 8， 本发明实施例提供了一种用户端， 该用户端具体可与上述方法实施例的用户 端相同， 包括： 会话连接建立模块 801、 发送模块 802、 接收模块 803和呈现模块 804; 会话连接建立模块 801， 用于与服务器建立会话连接， 该用户端为参与会话的多个用户 端中的任一个；
发送模块 802， 用于通过会话连接向服务器发送会话控制命令、 音频数据和视频数据； 接收模块 803， 用于接收服务器根据会话控制命令所分配的音频数据和视频数据； 呈现模块 804， 用于呈现所接收到的音频数据及视频数据。
作为一个可选的实施例， 会话控制命令包括切换命令， 切换命令中包含有用户端当前 所关注的第二用户端的信息， 第二用户端为参与会话的多个用户端中除用户端之外的一个 或者多个用户端；
接收模块 803， 用于接收服务器为用户端分配的第二用户端发送的视频数据。
作为另一个可选的实施例， 会话控制命令包括会话通知命令； 接收模块 803，用于接收服务器将服务器选择的用户端发送的音频数据分配给用户端的 音频数据；
其中， 服务器选择的用户端为服务器根据参与会话的多个用户端发送的会话通知命令， 确定参与会话的多个用户端中发言的用户端， 从发言的用户端中选择不大于预定值的用户 端； 会话通知命令包括参与会话的用户端当前是否发言的信息。
本实施例提供的技术方案带来的有益效果是： 通过向服务器发送会话控制命令， 接收 服务器为其分配的音频数据和视频数据进行呈现的技术方案的实现， 对呈现的音频数据和 视频数据进行了控制， 可以减少对网络带宽的依赖， 节省网络流量， 并降低对用户端性能 的要求， 如现有技术要求参与会话的用户使用多个用户端或者大屏幕的用户端来呈现会话 时的音频和视频数据， 而本发明实施例由于对分配给用户端的音频和视频数据进行了控制 而降低了对用户端的性能要求， 使得多人会话可以覆盖到更多的用户 （可以包括手机等小 屏幕的用户端或者计算机等大屏幕的用户端）。 另一方面， 服务器仅负责视频和音频资源的 分配及中转， 降低了资源消耗， 提高了资源分配的并发性， 可以使得低成本支持大量的会 话用户。 实施例五
参见图 9， 本发明实施例还提供了一种多人会话时数据呈现的系统， 该系统包括服务器
901和参与多人会话的多个用户端 902;
其中， 服务器 901请参见实施例三所述的任一服务器， 此处就不再赘述。
参与会话的多个用户端 902如上述实施例四所述的任一用户端， 用于分别通过会话连 接向服务器 401发送会话控制命令、 本地音频数据和视频数据， 并呈现服务器 401分配的 音频数据及视频数据。
本发明实施例提供的技术方案带来的有益效果是： 通过根据参与会话的多个用户端发 送的会话控制命令， 为参与会话的多个用户端中的任一个第一用户端分配音频数据和视频 数据， 将分配给第一用户端的音频数据及视频数据发送给第一用户端进行呈现的技术方案 的实现， 对分配给用户端的音频数据和视频数据进行了控制， 可以减少对网络带宽的依赖， 节省网络流量， 并降低对用户端性能的要求， 如现有技术要求参与会话的用户使用多个用 户端或者大屏幕的用户端来呈现会话时的音频和视频数据， 而本发明实施例由于对分配给 用户端的音频和视频数据进行了控制而降低了对用户端的性能要求， 使得多人会话可以覆 盖到更多的用户 （可以包括手机等小屏幕的用户端或者计算机等大屏幕的用户端）。 另一方 面， 服务器仅负责视频和音频资源的分配及中转， 降低了资源消耗， 提高了资源分配的并 发性， 可以使得低成本支持大量的会话用户。 实施例六
本发明实施例提供了一种计算机可读存储介质， 该计算机可读存储介质可以是上述实 施例中的存储器中所包含的计算机可读存储介质； 也可以是单独存在， 未装配入服务器中 的计算机可读存储介质。 所述计算机可读存储介质存储有一个或者一个以上程序， 所述一 个或者一个以上程序被一个或者一个以上的处理器用来执行多人会话时数据呈现的方法， 所述方法包括：
与参与会话的多个用户端建立会话连接；
通过会话连接接收参与会话的多个用户端发送的会话控制命令、 音频数据和视频数据; 根据参与会话的多个用户端发送的会话控制命令， 为第一用户端分配第一用户端请求 呈现的音频数据和视频数据， 第一用户端为参与会话的多个用户端中的任一个；
将分配给第一用户端的音频数据及视频数据发送给第一用户端， 以便第一用户端呈现 所接收到的音频数据及视频数据。
假设上述为第一种可能的实施方式， 则在第一种可能的实施方式作为基础而提供的第 二种可能的实施方式中， 会话控制命令包括切换命令， 根据参与会话的多个用户端发送的 会话控制命令， 为第一用户端分配第一用户端所要呈现的视频数据， 包括：
根据第一用户端所发送的切换命令， 确定第一用户端所关注的第二用户端， 切换命令 包括第一用户端当前所关注的第二用户端的信息， 第二用户端为参与会话的多个用户端中 除第一用户端之外的一个或者多个用户端；
将所接收到的第二用户端发送的视频数据分配给第一用户端。
在第一种可能的实施方式作为基础而提供的第三种可能的实施方式中， 会话控制命令 包括会话通知命令， 根据参与会话的多个用户端发送的会话控制命令， 为第一用户端分配 第一用户端所要呈现的音频数据， 包括：
根据参与会话的多个用户端发送的会话通知命令， 确定参与会话的多个用户端中发言 的用户端， 会话通知命令包括参与会话的用户端当前是否发言的信息；
从发言的用户端中选择不大于预定值的用户端， 并将接收到的所选择的用户端发送的 音频数据分配给第一用户端。
在第三种可能的实施方式作为基础而提供的第四种可能的实施方式中， 从发言的用户 端中选择不大于预定值的用户端包括：
当发言的用户端的数量大于预定值时， 确定发言的用户端被第一用户端关注的关注权 重；
根据发言的用户端被第一用户端关注的关注权重， 从发言的用户端中选择大于预定值 的用户端。
在第四种可能的实施方式作为基础而提供的第五种可能的实施方式中， 确定发言的用 户端被第一用户端关注的关注权重， 包括：
根据发言的用户端被第一用户端关注的次数、 发言的用户端所属运营商的权限等级或 / 和发言的用户端的身份等级计算得到关注权重。
通过根据参与会话的多个用户端发送的会话控制命令， 为参与会话的多个用户端中的 任一个第一用户端分配音频数据和视频数据， 将分配给第一用户端的音频数据及视频数据 发送给第一用户端进行呈现的技术方案的实现， 对分配给用户端的音频数据和视频数据进 行了控制， 可以减少对网络带宽的依赖， 节省网络流量， 并降低对用户端性能的要求， 如 现有技术要求参与会话的用户使用多个用户端或者大屏幕的用户端来呈现会话时的音频和 视频数据， 而本发明实施例由于对分配给用户端的音频和视频数据进行了控制而降低了对 用户端的性能要求， 使得多人会话可以覆盖到更多的用户 （可以包括手机等小屏幕的用户 端或者计算机等大屏幕的用户端）。另一方面，服务器仅负责视频和音频资源的分配及中转， 降低了资源消耗， 提高了资源分配的并发性， 可以使得低成本支持大量的会话用户。 实施例七
本发明实施例提供了一种计算机可读存储介质， 该计算机可读存储介质可以是上述实 施例中的存储器中所包含的计算机可读存储介质； 也可以是单独存在， 未装配入终端中的 计算机可读存储介质。 所述计算机可读存储介质存储有一个或者一个以上程序， 所述一个 或者一个以上程序被一个或者一个以上的处理器用来执行多人会话时数据呈现的方法， 所 述方法包括：
与服务器建立会话连接， 第一用户端为参与会话的多个用户端中的任一个；
通过会话连接向服务器发送会话控制命令、 音频数据和视频数据；
接收服务器根据会话控制命令所分配的音频数据和视频数据， 并呈现所接收到的音频 数据及视频数据。
假设上述为第一种可能的实施方式， 则在第一种可能的实施方式作为基础而提供的第 二种可能的实施方式中， 会话控制命令包括切换命令， 切换命令中包含有第一用户端当前 所关注的第二用户端的信息， 第二用户端为参与会话的多个用户端中除第一用户端之外的 一个或者多个用户端； 接收服务器根据会话控制命令所分配的视频数据， 包括：
接收服务器为第一用户端分配的第二用户端发送的视频数据。
在第一种可能的实施方式作为基础而提供的第三种可能的实施方式中， 终端的存储器 中， 还包含用于执行以下操作的指令：
会话控制命令包括会话通知命令；
接收服务器根据会话控制命令所分配的音频数据， 包括：
接收服务器将服务器选择的用户端发送的音频数据分配给第一用户端的音频数据； 其中， 服务器选择的用户端为服务器根据参与会话的多个用户端发送的会话通知命令， 确定参与会话的多个用户端中发言的用户端， 从发言的用户端中选择不大于预定值的用户 端； 会话通知命令包括参与会话的用户端当前是否发言的信息。
本发明实施例提供的计算机可读存储介质， 通过向服务器发送会话控制命令， 接收服 务器为其分配的音频数据和视频数据进行呈现的技术方案的实现， 对呈现的音频数据和视 频数据进行了控制， 可以减少对网络带宽的依赖， 节省网络流量， 并降低对用户端性能的 要求， 如现有技术要求参与会话的用户使用多个用户端或者大屏幕的用户端来呈现会话时 的音频和视频数据， 而本发明实施例由于对分配给用户端的音频和视频数据进行了控制而 降低了对用户端的性能要求， 使得多人会话可以覆盖到更多的用户 （可以包括手机等小屏 幕的用户端或者计算机等大屏幕的用户端）。 另一方面， 服务器仅负责视频和音频资源的分 配及中转， 降低了资源消耗， 提高了资源分配的并发性， 可以使得低成本支持大量的会话 用户。
需要说明的是： 上述实施例提供的服务器与用户端在呈现数据时， 仅以上述各功能模 块的划分进行举例说明， 实际应用中， 可以根据需要而将上述功能分配由不同的功能模块 完成， 即将服务器与用户端的内部结构划分成不同的功能模块， 以完成以上描述的全部或 者部分功能。 另外， 上述实施例提供的服务器、 用户端、 多人视频会话时数据呈现的系统 与多人视频会话时数据呈现的方法实施例属于同一构思， 其具体实现过程详见方法实施例， 这里不再赘述。
上述本发明实施例序号仅仅为了描述， 不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完 成， 也可以通过程序来指令相关的硬件完成， 所述的程序可以存储于一种计算机可读存储 介质中， 上述提到的存储介质可以是只读存储器， 磁盘或光盘等。
以上所述仅为本发明的较佳实施例， 并不用以限制本发明， 凡在本发明的精神和原则 之内， 所作的任何修改、 等同替换、 改进等， 均应包含在本发明的保护范围之内。

Claims

权 利 要 求 书
1、 一种多人会话时数据呈现的方法， 其特征在于， 所述方法包括：
服务器与参与会话的多个用户端建立会话连接；
通过所述会话连接接收所述参与会话的多个用户端发送的会话控制命令、 音频数据和视 频数据；
根据所述参与会话的多个用户端发送的会话控制命令， 为第一用户端分配所述第一用户 端请求呈现的音频数据和视频数据， 所述第一用户端为所述参与会话的多个用户端中的任一 个.
将分配给所述第一用户端的音频数据及视频数据发送给所述第一用户端， 以便所述第一 用户端呈现所接收到的音频数据及视频数据。
2、 根据权利要求 1所述的方法， 其特征在于， 所述会话控制命令包括切换命令， 所述根 据所述参与会话的多个用户端发送的会话控制命令， 为所述第一用户端分配所述第一用户端 所要呈现的视频数据， 包括：
根据所述第一用户端所发送的切换命令， 确定所述第一用户端所关注的第二用户端， 所 述切换命令包括第一用户端当前所关注的第二用户端的信息， 所述第二用户端为所述参与会 话的多个用户端中除所述第一用户端之外的一个或者多个用户端；
将所接收到的所述第二用户端发送的视频数据分配给所述第一用户端。
3、 根据权利要求 1所述的方法， 其特征在于， 所述会话控制命令包括会话通知命令， 所 述根据所述参与会话的多个用户端发送的会话控制命令， 为所述第一用户端分配所述第一用 户端所要呈现的音频数据， 包括：
根据所述参与会话的多个用户端发送的会话通知命令， 确定所述参与会话的多个用户端 中发言的用户端， 所述会话通知命令包括参与会话的用户端当前是否发言的信息；
从所述发言的用户端中选择不大于预定值的用户端， 并将接收到的所选择的用户端发送 的音频数据分配给所述第一用户端。
4、根据权利要求 3所述的方法， 其特征在于， 所述从所述发言的用户端中选择不大于预 定值的用户端包括：
当所述发言的用户端的数量大于所述预定值时， 确定所述发言的用户端被所述第一用户 端关注的关注权重；
根据所述发言的用户端被所述第一用户端关注的关注权重， 从所述发言的用户端中选择 大于预定值的用户端。
5、根据权利要求 4所述的方法， 其特征在于， 所述确定所述发言的用户端被所述第一用 户端关注的关注权重， 包括：
根据所述发言的用户端被所述第一用户端关注的次数、 所述发言的用户端所属运营商的 权限等级或 /和所述发言的用户端的身份等级计算得到所述关注权重。
6、 一种服务器， 其特征在于， 所述服务器包括： 会话连接建立模块、 接收模块、 分配模 块和发送模块；
所述会话连接建立模块， 用于与参与会话的多个用户端建立会话连接；
所述接收模块， 用于通过所述会话连接接收所述参与会话的多个用户端发送的会话控制 命令、 音频数据和视频数据；
所述分配模块， 用于根据所述参与会话的多个用户端发送的会话控制命令， 为所述第一 用户端分配所述第一用户端请求呈现的音频数据和视频数据， 所述第一用户端为所述参与会 话的多个用户端中的任一个；
所述发送模块， 用于将分配给所述第一用户端的音频数据及视频数据发送给所述第一用 户端， 以便所述第一用户端呈现所接收到的音频数据及视频数据。
7、 根据权利要求 6所述的服务器， 其特征在于， 所述分配模块包括：
第一确定单元， 用于当所述会话控制命令包括切换命令时， 根据所述第一用户端所发送 的切换命令， 确定所述第一用户端所关注的第二用户端， 所述切换命令包括第一用户端当前 所关注的第二用户端的信息， 所述第二用户端为所述参与会话的多个用户端中除所述第一用 户端之外的一个或者多个用户端；
第一分配单元， 用于将所接收到的所述第二用户端发送的视频数据分配给所述第一用户
8、 根据权利要求 6所述的服务器， 其特征在于， 所述分配模块包括：
第二确定单元， 用于当所述会话控制命令包括会话通知命令时， 根据所述参与会话的多 个用户端发送的会话通知命令， 确定所述参与会话的多个用户端中发言的用户端， 所述会话 通知命令包括参与会话的用户端当前是否发言的信息；
选择单元， 用于从所述发言的用户端中选择不大于预定值的用户端；
第二分配单元，用于将接收到的所选择的用户端发送的音频数据分配给所述第一用户端。
9、 根据权利要求 8所述的服务器， 其特征在于， 所述选择单元包括：
确定子单元， 用于当所述发言的用户端的数量大于所述预定值时， 确定所述发言的用户 端被所述第一用户端关注的关注权重；
选择子单元， 用于根据所述发言的用户端被所述第一用户端关注的关注权重， 从所述发 言的用户端中选择大于预定值的用户端。
10、 根据权利要求 9所述的服务器， 其特征在于， 所述确定子单元， 具体用于根据所述 发言的用户端被所述第一用户端关注的次数、所述发言的用户端所属运营商的权限等级或 /和 所述发言的用户端的身份等级计算得到所述关注权重。
11、 一种多人会话时数据呈现的方法， 其特征在于， 所述方法包括：
第一用户端与服务器建立会话连接， 所述第一用户端为所述参与会话的多个用户端中的 任一个；
通过所述会话连接向所述服务器发送会话控制命令、 音频数据和视频数据；
接收所述服务器根据所述会话控制命令所分配的音频数据和视频数据， 并呈现所接收到 的音频数据及视频数据。
12、 根据权利要求 11所述的方法， 其特征在于， 所述会话控制命令包括切换命令， 所述 切换命令中包含有所述第一用户端当前所关注的第二用户端的信息， 所述第二用户端为所述 参与会话的多个用户端中除所述第一用户端之外的一个或者多个用户端；
所述接收所述服务器根据所述会话控制命令所分配的视频数据， 包括：
接收所述服务器为所述第一用户端分配的所述第二用户端发送的视频数据。
13、 根据权利要求 11所述的方法， 其特征在于， 所述会话控制命令包括会话通知命令； 所述接收所述服务器根据所述会话控制命令所分配的音频数据， 包括：
接收所述服务器将所述服务器选择的用户端发送的音频数据分配给所述第一用户端的音 频数据； 其中， 所述服务器选择的用户端为所述服务器根据所述参与会话的多个用户端发送的会 话通知命令， 确定所述参与会话的多个用户端中发言的用户端， 从所述发言的用户端中选择 不大于预定值的用户端； 所述会话通知命令包括参与会话的用户端当前是否发言的信息。
14、 一种用户端， 其特征在于， 所述用户端包括：
会话连接建立模块， 用于与服务器建立会话连接， 所述用户端为所述参与会话的多个用 户端中的任一个；
发送模块， 用于通过所述会话连接向所述服务器发送会话控制命令、 音频数据和视频数 据；
接收模块， 用于接收所述服务器根据所述会话控制命令所分配的音频数据和视频数据； 呈现模块， 用于呈现所接收到的音频数据及视频数据。
15、 根据权利要求 14所述的用户端， 其特征在于， 所述会话控制命令包括切换命令， 所 述切换命令中包含有所述用户端当前所关注的第二用户端的信息， 所述第二用户端为所述参 与会话的多个用户端中除所述用户端之外的一个或者多个用户端；
所述接收模块， 用于接收所述服务器为所述用户端分配的所述第二用户端发送的视频数 据。
16、根据权利要求 14所述的用户端，其特征在于，所述会话控制命令包括会话通知命令; 所述接收模块， 用于接收所述服务器将所述服务器选择的用户端发送的音频数据分配给 所述用户端的音频数据；
其中， 所述服务器选择的用户端为所述服务器根据所述参与会话的多个用户端发送的会 话通知命令， 确定所述参与会话的多个用户端中发言的用户端， 从所述发言的用户端中选择 不大于预定值的用户端； 所述会话通知命令包括参与会话的用户端当前是否发言的信息。
17、 一种多人会话时数据呈现的系统， 其特征在于， 所述系统包括服务器和参与多人会 话的多个用户端； 其中，
所述服务器为如权利要求 6至 10任一项所述的服务器；
所述参与会话的多个用户端中的任一用户端如所述权利要求 14至 16中任一项所述的用 户端， 用于分别通过会话连接向所述服务器发送会话控制命令、 本地音频数据和视频数据， 并呈现所述服务器分配的音频数据及视频数据。
18、 一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质存储有一个或者 一个以上程序， 所述一个或者一个以上程序被一个或者一个以上的处理器用来执行多人会话 时数据呈现的方法， 所述方法包括：
与参与会话的多个用户端建立会话连接；
通过所述会话连接接收所述参与会话的多个用户端发送的会话控制命令、 音频数据和视 频数据；
根据所述参与会话的多个用户端发送的会话控制命令， 为第一用户端分配所述第一用户 端请求呈现的音频数据和视频数据， 所述第一用户端为所述参与会话的多个用户端中的任一 个.
将分配给所述第一用户端的音频数据及视频数据发送给所述第一用户端， 以便所述第一 用户端呈现所接收到的音频数据及视频数据。
19、根据权利要求 18所述的计算机可读存储介质， 其特征在于， 所述会话控制命令包括 切换命令， 所述根据所述参与会话的多个用户端发送的会话控制命令， 为所述第一用户端分 配所述第一用户端所要呈现的视频数据， 包括：
根据所述第一用户端所发送的切换命令， 确定所述第一用户端所关注的第二用户端， 所 述切换命令包括第一用户端当前所关注的第二用户端的信息， 所述第二用户端为所述参与会 话的多个用户端中除所述第一用户端之外的一个或者多个用户端；
将所接收到的所述第二用户端发送的视频数据分配给所述第一用户端。
20、根据权利要求 18所述的计算机可读存储介质， 其特征在于， 所述会话控制命令包括 会话通知命令， 所述根据所述参与会话的多个用户端发送的会话控制命令， 为所述第一用户 端分配所述第一用户端所要呈现的音频数据， 包括：
根据所述参与会话的多个用户端发送的会话通知命令， 确定所述参与会话的多个用户端 中发言的用户端， 所述会话通知命令包括参与会话的用户端当前是否发言的信息；
从所述发言的用户端中选择不大于预定值的用户端， 并将接收到的所选择的用户端发送 的音频数据分配给所述第一用户端。
21、根据权利要求 20所述的计算机可读存储介质， 其特征在于， 所述从所述发言的用户 端中选择不大于预定值的用户端包括：
当所述发言的用户端的数量大于所述预定值时， 确定所述发言的用户端被所述第一用户 端关注的关注权重；
根据所述发言的用户端被所述第一用户端关注的关注权重， 从所述发言的用户端中选择 大于预定值的用户端。
22、根据权利要求 21所述的计算机可读存储介质， 其特征在于， 所述确定所述发言的用 户端被所述第一用户端关注的关注权重， 包括：
根据所述发言的用户端被所述第一用户端关注的次数、 所述发言的用户端所属运营商的 权限等级或 /和所述发言的用户端的身份等级计算得到所述关注权重。
23、 一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质存储有一个或者 一个以上程序， 所述一个或者一个以上程序被一个或者一个以上的处理器用来执行多人会话 时数据呈现的方法， 所述方法包括：
与服务器建立会话连接， 所述第一用户端为所述参与会话的多个用户端中的任一个； 通过所述会话连接向所述服务器发送会话控制命令、 音频数据和视频数据；
接收所述服务器根据所述会话控制命令所分配的音频数据和视频数据， 并呈现所接收到 的音频数据及视频数据。
24、根据权利要求 23所述的计算机可读存储介质， 其特征在于， 所述会话控制命令包括 切换命令， 所述切换命令中包含有所述第一用户端当前所关注的第二用户端的信息， 所述第 二用户端为所述参与会话的多个用户端中除所述第一用户端之外的一个或者多个用户端； 所述接收所述服务器根据所述会话控制命令所分配的视频数据， 包括：
接收所述服务器为所述第一用户端分配的所述第二用户端发送的视频数据。
25、根据权利要求 23所述的计算机可读存储介质， 其特征在于， 所述会话控制命令包括 会话通知命令；
所述接收所述服务器根据所述会话控制命令所分配的音频数据， 包括：
接收所述服务器将所述服务器选择的用户端发送的音频数据分配给所述第一用户端的音 频数据；
其中， 所述服务器选择的用户端为所述服务器根据所述参与会话的多个用户端发送的会 话通知命令， 确定所述参与会话的多个用户端中发言的用户端， 从所述发言的用户端中选择 不大于预定值的用户端； 所述会话通知命令包括参与会话的用户端当前是否发言的信息。
PCT/CN2013/075015 2012-05-04 2013-04-28 多人会话时数据呈现的方法、服务器、用户端及系统 WO2013163951A1 (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
AP2014008091A AP2014008091A0 (en) 2012-05-04 2013-04-28 Method, server, user terminal, and system for datapresentation in multi-person conversation
US14/531,609 US9906574B2 (en) 2012-05-04 2014-11-03 Method, server, client and system for data presentation in a multiplayer session
ZA2014/08837A ZA201408837B (en) 2012-05-04 2014-12-02 Method, server, user terminal, and system for data presentation in multi-person conversation

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201210137255.3A CN103384235B (zh) 2012-05-04 2012-05-04 多人会话时数据呈现的方法、服务器及系统
CN201210137255.3 2012-05-04

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/531,609 Continuation US9906574B2 (en) 2012-05-04 2014-11-03 Method, server, client and system for data presentation in a multiplayer session

Publications (1)

Publication Number Publication Date
WO2013163951A1 true WO2013163951A1 (zh) 2013-11-07

Family

ID=49491932

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2013/075015 WO2013163951A1 (zh) 2012-05-04 2013-04-28 多人会话时数据呈现的方法、服务器、用户端及系统

Country Status (5)

Country Link
US (1) US9906574B2 (zh)
CN (1) CN103384235B (zh)
AP (1) AP2014008091A0 (zh)
WO (1) WO2013163951A1 (zh)
ZA (1) ZA201408837B (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104156866A (zh) * 2014-08-30 2014-11-19 林志辉 一种基于二维码、nfc和移动客户端应用平台
CN105262602B (zh) * 2015-09-08 2019-02-01 北京北方博业科技发展有限公司 采用中心控制的多用户语音复合分组语音交互方法及系统
CN105376516A (zh) * 2015-10-19 2016-03-02 深圳市航安网络科技有限公司 一种移动视频会议系统及其实现方法
US10153002B2 (en) * 2016-04-15 2018-12-11 Intel Corporation Selection of an audio stream of a video for enhancement using images of the video
CN107479811A (zh) * 2016-06-08 2017-12-15 南京跃豚智能科技有限公司 在会话期间建立与管理会议、记录会议的方法以及移动终端
CN106060424A (zh) * 2016-06-14 2016-10-26 徐文波 视频配音方法和装置
CN106231237B (zh) * 2016-09-27 2019-03-15 北京小米移动软件有限公司 视频通话方法及装置
US10372298B2 (en) 2017-09-29 2019-08-06 Apple Inc. User interface for multi-user communication session
DK201870364A1 (en) 2018-05-07 2019-12-03 Apple Inc. MULTI-PARTICIPANT LIVE COMMUNICATION USER INTERFACE
CN110457095B (zh) * 2018-05-07 2022-12-27 苹果公司 多参与者实时通信用户界面
US11128792B2 (en) 2018-09-28 2021-09-21 Apple Inc. Capturing and displaying images with multiple focal planes
US11095702B2 (en) 2018-12-20 2021-08-17 Cisco Technology, Inc. Realtime communication architecture over hybrid ICN and realtime information centric transport protocol
CN109587176B (zh) * 2019-01-22 2021-08-10 网易（杭州）网络有限公司 多人语音通信控制方法及装置、存储介质及电子设备
CN110062193B (zh) * 2019-04-18 2021-04-06 视联动力信息技术股份有限公司 一种多人通话的处理方法及装置
CN110213527A (zh) * 2019-07-08 2019-09-06 海能达通信股份有限公司 一种视频会话控制方法及用户端及服务器
US10880315B1 (en) * 2020-02-28 2020-12-29 Cisco Technology, Inc. Active speaker naming and request in ICN-based real-time communication systems
CN111522604B (zh) * 2020-04-26 2021-03-26 腾讯科技（深圳）有限公司 一种应用数据处理方法、装置以及计算机可读存储介质
US11079913B1 (en) 2020-05-11 2021-08-03 Apple Inc. User interface for status indicators
CN112135155B (zh) * 2020-09-11 2022-07-19 上海七牛信息技术有限公司 音视频的连麦合流方法、装置、电子设备及存储介质
CN112652408A (zh) * 2020-12-14 2021-04-13 河南经方云科技有限公司 一种基于互联网的中医远程会诊辅助系统及方法
US11431891B2 (en) 2021-01-31 2022-08-30 Apple Inc. User interfaces for wide angle video conference
US11449188B1 (en) 2021-05-15 2022-09-20 Apple Inc. Shared-content session user interfaces
US11893214B2 (en) 2021-05-15 2024-02-06 Apple Inc. Real-time communication user interface
US11907605B2 (en) 2021-05-15 2024-02-20 Apple Inc. Shared-content session user interfaces
US11812135B2 (en) 2021-09-24 2023-11-07 Apple Inc. Wide angle video conference

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101141613A (zh) * 2007-10-10 2008-03-12 中国联合通信有限公司 一种视频会议切换控制系统及方法
CN101427557A (zh) * 2006-04-18 2009-05-06 思科技术公司 视频会议中的网络资源优化
CN102246458A (zh) * 2008-12-15 2011-11-16 微软公司 使用多个比特率流的视频会议订阅
CN102265613A (zh) * 2008-12-23 2011-11-30 坦德伯格电信公司 用于处理在多个视频会议终端之间的会议中的图像的方法、设备和计算机程序

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2831377B1 (fr) * 2001-10-22 2004-01-16 France Telecom Systeme de conference du type qui comprend un pont de conference audio et/ou video et/ou des donnees auquel une pluralite de terminaux peuvent se connecter pour participer a une conference
FR2910209A1 (fr) * 2006-12-19 2008-06-20 France Telecom Procede de diffusion d'un flux depuis une plate-forme de service,produit programme d'ordinateur et plate-forme de service correspondants.
CN101183961B (zh) * 2006-12-26 2010-09-08 腾讯科技（深圳）有限公司 一种实现多用户语音会话的方法及系统
US20080165708A1 (en) * 2007-01-08 2008-07-10 Avaya Technology Llc Multimedia conferencing method and signal
US7620413B2 (en) * 2007-03-22 2009-11-17 Unication Co., Ltd. Method for implementing push-to-talk over SIP and multicast RTP related system
US20120077536A1 (en) * 2009-04-13 2012-03-29 Qualcomm Incorporated Collaborative group communication method involving a context aware call jockey
US8761379B2 (en) * 2009-06-05 2014-06-24 Radish Systems, Llc System and method for establishing voice and data connection
US8611877B2 (en) * 2011-10-31 2013-12-17 Blackberry Limited Automatic management control of external resources
US9680658B2 (en) * 2011-12-07 2017-06-13 Qualcomm Incorporated Collaborative group communication method involving a context aware call jockey
US20130169742A1 (en) * 2011-12-28 2013-07-04 Google Inc. Video conferencing with unlimited dynamic active participants

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101427557A (zh) * 2006-04-18 2009-05-06 思科技术公司 视频会议中的网络资源优化
CN101141613A (zh) * 2007-10-10 2008-03-12 中国联合通信有限公司 一种视频会议切换控制系统及方法
CN102246458A (zh) * 2008-12-15 2011-11-16 微软公司 使用多个比特率流的视频会议订阅
CN102265613A (zh) * 2008-12-23 2011-11-30 坦德伯格电信公司 用于处理在多个视频会议终端之间的会议中的图像的方法、设备和计算机程序

Also Published As

Publication number Publication date
US20150058413A1 (en) 2015-02-26
CN103384235A (zh) 2013-11-06
US9906574B2 (en) 2018-02-27
CN103384235B (zh) 2017-09-29
AP2014008091A0 (en) 2014-11-30
ZA201408837B (en) 2015-12-23

Similar Documents

Publication Publication Date Title
WO2013163951A1 (zh) 多人会话时数据呈现的方法、服务器、用户端及系统
EP1744517B1 (en) Method and system for playing multimedia files
US9030523B2 (en) Flow-control based switched group video chat and real-time interactive broadcast
CN104253814B (zh) 一种流媒体处理方法、服务器及浏览器
US8885811B2 (en) Method and system for transferring a conference between a mobile communication device and a conferencing terminal
CN105763832B (zh) 一种视频互动、控制方法及装置
EP2448364B1 (en) Method for realizing radio videoconference, system and terminal thereof
EP2448173A1 (en) System and method for realizing wireless video conference
KR20080076803A (ko) 대역요구 시스템, 대역요구 장치, 클라이언트 기기,대역요구 방법, 콘텐츠 재생 방법 및 프로그램
JP2008511263A (ja) 無線システムにおけるオーディオおよびビデオデータ送信を最適化するシステムおよび方法
US20100091687A1 (en) Status of events
WO2013127163A1 (zh) 呼叫终端入会的方法和装置
WO2014187062A1 (zh) 一种会议信号播放方法和装置、视频会议终端、移动设备
JP2001160858A (ja) 通信システムおよび通信方法
CN110460603B (zh) 多媒体文件的传输方法、终端、服务器、系统及存储介质
US9013537B2 (en) Method, device, and network systems for controlling multiple auxiliary streams
US9264662B2 (en) Chat preauthorization
EP2271997A1 (en) Communication between scheduled and in progress event attendees
CN107666396B (zh) 一种多终端会议处理方法及装置
US7792901B2 (en) Reconfiguring a collaboration event
JP2007053487A (ja) 発言権管理システム、発言権管理方法、及びプログラム
WO2012155732A1 (zh) 移动终端以及基于移动终端实现远程会议的方法
US20110069143A1 (en) Communications Prior To A Scheduled Event
WO2013159479A1 (zh) 个人网管理方法和装置
EP2271998B1 (en) Event management system

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13785280

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC OF 020415

122 Ep: pct application non-entry in european phase

Ref document number: 13785280

Country of ref document: EP

Kind code of ref document: A1