WO2018233459A1 - 全景图像的展示方法、展示控制方法、计算设备及存储介质 - Google Patents

全景图像的展示方法、展示控制方法、计算设备及存储介质 Download PDF

Info

Publication number
WO2018233459A1
WO2018233459A1 PCT/CN2018/088923 CN2018088923W WO2018233459A1 WO 2018233459 A1 WO2018233459 A1 WO 2018233459A1 CN 2018088923 W CN2018088923 W CN 2018088923W WO 2018233459 A1 WO2018233459 A1 WO 2018233459A1
Authority
WO
WIPO (PCT)
Prior art keywords
additional content
user
content data
data
field
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2018/088923
Other languages
English (en)
French (fr)
Inventor
周扬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Publication of WO2018233459A1 publication Critical patent/WO2018233459A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes

Definitions

  • the VR application client can be installed in the user equipment.
  • Each VR application client can access the VR panoramic image data and display it to the user by accessing the VR application server in the VR platform.
  • the VR application client can obtain VR video data from the VR application server and play it, and the user can experience the immersive panoramic video by wearing a VR head display device (such as a helmet, glasses, etc.) connected to the VR application client.
  • a VR head display device such as a helmet, glasses, etc.
  • the application example provides a method for displaying a panoramic image, which is applied to an application client, the method comprising: receiving data of a panoramic image from an application server and displaying the panoramic image; and receiving at least one additional content data from the application server. And a field of view of the first user who publishes the additional content data for a period of time; wherein, for one piece of additional content data, the time period corresponding to the first user who published the additional content data includes publishing the share a point in time at which the content data is attached; for each piece of additional content data, determining whether to display the piece of additional content data based on the field of view orientation variation range of the piece of additional content data and the field of view orientation data of the second user, the second user For the user of the application client; displaying the determined additional content data that can be displayed.
  • An example of the present application provides a display control method for a panoramic image, which is applied to an application server, and the method includes: transmitting data of a panoramic image to a plurality of application clients, so that each application client separately displays the panoramic image; Determining the additional content data published by the first user uploaded by any one of the plurality of application clients and the visual field orientation data of the first user; determining, according to the visual field orientation data, the first user The field of view is in a range of variation, wherein the period of time includes a time point at which the first user publishes the additional content data; and each of the additional content data that has been received and the corresponding visual orientation of the first user are changed Sending the range to the plurality of application clients, so that any one of the plurality of application clients is directed to each of the additional content data received, according to the range of the field of view of the additional content data, and Determining whether to display the additional content data and displaying the determined displayable portions of the second user's field of view orientation data Additional content data of the second user for the
  • the application example provides a computing device, including: a processor and a memory; the memory stores computer readable instructions, wherein the processor is configured to: receive data of a panoramic image from an application server and display the panoramic image; Receiving the input additional content data in response to the operation of the first user posting the additional content; transmitting the additional content data and the first user's field of view orientation data to the application server, so that the application server is configured according to the The field of view orientation data determines a range of visibility of the first user's field of view for a period of time, wherein the period of time includes a point in time at which the first user posts the additional content data, such that the application server or the second application Determining, by the client, whether the second application client displays the additional content data when displaying the panoramic image according to the change range of the visual field orientation and the current visual field orientation data of the second user, where the second user is the The user of the second application client.
  • the application example provides a computing device, including: a processor and a memory; the memory stores computer readable instructions, wherein the processor is configured to: receive data of a panoramic image from an application server and display the panoramic image; Receiving at least one piece of additional content data from the application server and publishing a field of view of the first user for a period of time in a range of changes; wherein, for a piece of additional content data, the corresponding time period includes a time point at which the additional content data is published; for each additional content data, determining whether to display the additional content data according to the field of view orientation variation range of the additional content data and the second user's field of view orientation data
  • the second user is a user of the computing device; displaying the determined additional content data that can be displayed.
  • the application example provides a computing device, including: a processor and a memory; the memory stores computer readable instructions, and the processor can be configured to: send data of a panoramic image to a plurality of application clients, so that each The application client separately displays the panoramic image; receiving additional content data published by the first user uploaded by any one of the plurality of application clients and the visual field orientation data of the first user; The data determines a range of visibility of the first user's field of view for a period of time, wherein the period of time includes a point in time at which the first user posts the additional content data; each additional content data that has been received and Transmitting, by the respective application, the field of view of the first user to the plurality of application clients, so that any one of the plurality of application clients is for each piece of additional content data received, according to the Determining whether to display the additional content according to the change range of the field of view of the additional content data and the field of view data of the second user , And present the additional content data determined can show various parts of the second user for the client
  • the application example provides a computing device, including: a processor and a memory; the memory stores computer readable instructions, and the processor can be configured to: send data of a panoramic image to a plurality of application clients, so that each The application client separately displays the panoramic image; receiving additional content data published by the first user uploaded by any one of the plurality of application clients and the visual field orientation data of the first user; The data determines that the first user's field of view orientation varies over a period of time, wherein the period of time includes a point in time at which the first user posts the additional content data; and performs an operation for any one of the application clients: Any additional content data that has been received, determining whether the application client displays the additional content data according to the field of view orientation variation range of the additional content data and the visual field orientation data of the second user, the second user For the user of the application client, the determined number of additional content that the determined application client can display Sent to the client application, so as to show the respective parts of the additional content data can be displayed.
  • the display effect of the panoramic image and the additional content in the VR system can be improved.
  • FIG. 1 is a schematic diagram of a system architecture involved in the present application
  • FIG. 3 is a schematic diagram of a three-dimensional virtual space according to an example of the present application.
  • FIG. 5 is a flowchart of a method according to an example of the present application.
  • FIG. 8 is a structural diagram of an application client of an example of the present application.
  • FIG. 11 is a structural diagram of an application server according to an example of the present application.
  • Figure 12 is a block diagram of a device of some examples of the present application.
  • FIG. 1 shows a VR system 100 including: a terminal device 101, a VR device 102, and a server 103.
  • the VR client ie, VR APP
  • the VR device 102 can include a user-operable controller (Controller) and wearable equipment (eg, various VR head-display devices, VR body-sensing devices, etc.) ).
  • the VR client in the terminal device 101 described above can perform information interaction with the VR device 102 to provide an immersive VR image for the user and complete corresponding operational functions.
  • the VR server can perform corresponding processing in response to the service request from the VR client, for example, providing the VR client with a page for selecting the panoramic video, providing the VR client with the data of the selected VR video for playing, and publishing the VR. Additional content provided by the client (such as comment information) and so on.
  • the terminal device 101 refers to a terminal device having a data calculation processing function, including but not limited to a smartphone (a mobile phone with a communication module installed therein), a palmtop computer, a tablet computer, a smart TV (Smart TV), or the like.
  • Operating systems are installed on these terminal devices, including but not limited to: Android operating system, Symbian operating system, Windows mobile operating system, and Apple iPhone OS operating system.
  • the above-mentioned VR head display device includes a screen that can display a real-time picture, and can also include an eye tracking module.
  • the eye tracking module is capable of obtaining real-time motion trajectories of the human eye.
  • a tracking system and a computing processing unit may also be included in the VR device described above.
  • the tracking system can track the real-time position information and motion information of the user in the real three-dimensional space
  • the calculation processing unit can obtain the real-time position information and motion information of the user from the tracking system, and calculate the three-dimensionality of the user's head in the virtual three-dimensional space.
  • a VR media content (such as a panoramic picture or a panoramic video) is composed of multiple pictures or multiple sets of frame images taken at different orientations and angles in the actual scene, each picture or Each group of frame images can be mapped to a specific location in the virtual space.
  • the VR client provides the VR image to the user, the VR client determines that it is in the virtual space according to the currently acquired location information and motion information of the user in the actual scene. The location information and the motion information, thereby providing the user with a picture or frame image corresponding to a particular location in the virtual space. Therefore, for the same VR media content, the content of the VR image screen seen by each user may be different.
  • the VR client plays the VR video according to the default initial viewing angle.
  • This default initial viewing angle can be randomly assigned by the VR server, and different users may be different.
  • the playback angle of the VR video changes accordingly, so that the video picture he sees is inconsistent with the video picture seen by other users.
  • a VR client plays a VR media content, if there is a barrage information, it is necessary to display the barrage information in the VR image, and if different user-published different barrage information for the VR media content is simultaneously displayed.
  • some examples of the present application provide a method for displaying a panoramic image, which can be applied to a first application client, that is, a VR client that can publish additional content (such as a comment) for a VR panoramic image.
  • the first application client can reside, for example, in the terminal device 101.
  • the method includes the following process 200:
  • Step 201 The first application client receives data of the panoramic image from the application server (ie, the VR server) and displays the panoramic image.
  • the application server ie, the VR server
  • Step 202 The first application client receives the input additional content data in response to the operation of the first user to publish the additional content.
  • the handheld controller or the peripheral device such as the keyboard and the mouse of the terminal device running the first application client may be operated, thereby being able to issue an instruction to the first application client to post the additional content.
  • the first application client is caused to start receiving additional content data (such as: comment information) input by the first user.
  • additional content data such as: comment information
  • the user can issue the above-mentioned instruction for publishing the additional content by pressing a specific button on the controller or the handheld controller to perform a specific gesture operation, and inputting the comment information in the form of text through the virtual keyboard presented in the VR image or through The microphone on the VR wearable device inputs comment information in the form of voice.
  • the VR client (ie, the first application client) can receive the comment information in the form of text or voice, and can convert the comment information in the form of voice into the comment information in the form of text.
  • the VR client can send the comment information in the form of text to be published by the user to the VR server through the network, so that the VR server can provide such comment information to each VR client.
  • Step 203 The first application client sends the additional content data and the visual field orientation data of the first user to the application server, so that the application server determines, according to the visual field orientation data, within a certain period of time.
  • the field of view of the first user is oriented toward a range of variation.
  • the time period includes a time point at which the first user publishes the additional content data, so that the application server or the second application client determines according to the field of view orientation change range and the second user current field of view orientation data.
  • the application server may determine that the second application client is displaying the panoramic image when the visual field of the first user covers (or includes) the visual field orientation of the current visual field of the second user.
  • the additional content data is displayed.
  • the second user is a user of the second application client
  • the first user is a user of the first application client.
  • the field of view width based on the three-dimensional position coordinates (x, y, z) of the user's head in the virtual space and the angle of view parameters ( ⁇ , ⁇ , ⁇ ), based on some empirical data, such as the best line of sight (such as 2.5 meters), the field of view width
  • the FOV eg, a 90 degree angle
  • the parameters of the visual dwell plane include, for example, the length and width of the plane, and the three-dimensional position coordinates of each point on the plane in the virtual space.
  • the parameters characterizing the field of view toward the range of variation may include: position coordinates (x 0 , y 0 , z 0 ) of the starting point and angle of view parameters ( ⁇ 0 , ⁇ 0 , ⁇ 0 ), position coordinates of the end point (x 1 , y 1 , z 1 ) and the angle of view parameter ( ⁇ 1 , ⁇ 1 , ⁇ 1 ) may also include position coordinates (x i , y i , z i ) of the intermediate point and viewing angle parameters ( ⁇ i , ⁇ i , ⁇ i ).
  • the determined range of variation of the visual dwell plane can be characterized by a set of visual dwell planes.
  • the plane contained in the range is completely coincident (ie, in the same plane), but the second user's visual dwell plane meets a certain degree of coincidence with the plane of the first user's visual dwell plane, making them virtual.
  • the panoramic image pictures presented to the user in space are substantially the same. In this way, when part or all of the current visual gaze plane of the second user is covered by the variation range of the visual stagnation plane of the first user, the panoramic image picture (such as the panoramic video) seen by the first user when the additional content is published is illustrated.
  • the screen content or the screen content of the panoramic picture is substantially the same as the panoramic image picture currently viewed by the second user, and the additional content published by the first user (such as the barrage comment) is associated with the panoramic image picture currently seen by the second user.
  • the additional content published by the first user may be displayed on the panoramic image screen currently displayed by the second application client of the second user.
  • the position coordinates (ie, the viewpoint coordinates) of the user in the virtual space are considered, and in some VR systems (such as the mobile phone VR box), the viewpoint coordinates of the user are not considered.
  • the field of view orientation data of step 203 above may include: a viewing angle parameter ( ⁇ , ⁇ , ⁇ ) of the user's head.
  • the parameters of the visual staying plane of the user can be determined according to the default three-dimensional position coordinates (x, y, z) and the viewing angle parameters ( ⁇ , ⁇ , ⁇ ) in the virtual space preset by the system.
  • the parameters characterizing the field of view toward the range of variation may include: a viewing angle parameter of the starting point ( ⁇ 0 , ⁇ 0 , ⁇ 0 ), a viewing angle parameter of the end point ( ⁇ 1 , ⁇ 1 , ⁇ 1 ), and may also include a viewing angle parameter of the intermediate point. ( ⁇ i , ⁇ i , ⁇ i ).
  • the simplified viewing angle parameter may also be used in the above step 203, for example, the angle between the projection of the user's line of sight on the horizontal plane and the coordinate axis of the horizontal plane (such as the X-axis of FIG. 3).
  • the field of view orientation data of the above step 203 may include a viewing angle parameter ⁇ '.
  • the perspective parameters ⁇ ' may represent a user's field directed substantially
  • parameters characterizing the field of view range toward the viewing angle range may comprise: the starting point parameter of the viewing angle ⁇ ' 0, end perspective parameters ⁇ '1, based on this parameter can perspective
  • the angle of view of the additional content data covers the current perspective of the second user
  • the visual stay area corresponding to the change of the field of view in the additional content data is overwritten by the current second user.
  • the field of view is toward the visual stop area corresponding to the data.
  • the second application client is an application client used by the second user.
  • the period of time may be a period from a point in time before the first user posts the additional content to a point in time after the time point, for example, the time for the publication of the barrage is 9:00. This time period can be from 8:59 to 9:01.
  • the length of the time period and the starting time point can be preset, for example, the setting time period is n seconds or minutes, and the starting time point is m seconds before the time point when the barrage is published or minute.
  • the above solution can effectively utilize the additional content of the barrage to guide the user to better view the panoramic image, reduce the orientation of the panoramic image and the change of the viewing angle, and cause the user to have the viewing trouble, thereby reducing the user's trouble caused by the problem.
  • Blind operation eg operation of the controller, movement of the rotor, etc.
  • the above solution also reduces the display amount of additional content (targeted on the application client side to display additional content published by some users), thereby saving system processing resources, improving processing efficiency, and improving overall system performance.
  • the above method may further include: in response to an operation by the first user to post the additional content, the first application client determines the first user from a period of time before the time point when the additional content data is published The field of view is oriented towards a range of changes.
  • the field of view orientation data sent by the first application client to the application server includes the field of view orientation variation range.
  • the above method may further include: the first application client determines a stay of the first user within the range of the field of view orientation from a time point before the time point when the first user posts the additional content data time.
  • the field of view orientation data sent by the first application client to the application server further includes the dwell time.
  • the application server or the second application client may determine, according to the field of view orientation change range, the dwell time, and the current view direction data of the second user, that the second application client is displaying the Whether the additional content data is displayed when the panoramic image is displayed.
  • the first condition is that the first user's field of view changes toward the range of coverage of the second user's current field of view.
  • the second condition is that the cumulative dwell time of the first user's field of view toward the range of variation reaches a predetermined threshold. When both of these conditions are met, it is determined to display the additional content posted by the first user.
  • the first user's field of view orientation includes one or more fields of view orientation (each field of view may correspond to a visual dwell plane). Each field of view has its own dwell time. The cumulative dwell time of the field of view toward the range of variation can be obtained by accumulating the dwell times of the respective fields of view.
  • the accumulated dwell time When the accumulated dwell time reaches a predetermined threshold, it indicates that the first user is relatively stable in the direction of the field of view in the range of the field of view, which is an effective viewing process, and the additional content published is also a panorama corresponding to the range of the field of view.
  • the image screen content is related.
  • the manner in which the first application client sends the view orientation data includes at least the following manners.
  • the first application client determines that the first user is in each field of view from a time point before and after the time point when the additional content data is published. The dwell time towards the head.
  • the first application client may send relevant data of the first user's respective fields of view (including parameters indicating the direction of the field of view and the dwell time) to the application server during this time. In this way, the application server can determine the field of view change range and the accumulated stay time of the first user during the time period according to the view direction data related to the additional content sent by the first application client.
  • the first application client may also calculate the accumulated dwell time of the first user in each view direction during the period of time, and then send the accumulated dwell time to the application server.
  • the application server can directly obtain the accumulated stay time of the first user's field of view orientation variation range during this time period.
  • the first application client sends relevant data for the current user's current field of view (e.g., a parameter characterizing the current field of view) to the application server every predetermined time interval (i.e., every other time interval).
  • relevant data for the current user's current field of view e.g., a parameter characterizing the current field of view
  • the application server can obtain the first user's full amount of field of view orientation data and the behavior data of the published additional content.
  • the application server can calculate, for an additional content published by the first user, a field of view change range and a cumulative stay time of the first user from a time point before and after the time point when the additional content is published.
  • the VR client when the user is watching the VR video with the HMD head-on, the VR client performs playback initialization.
  • the VR server can randomly set the initial viewing angle parameters ( ⁇ 0 , ⁇ 0 , ⁇ 0 ) of the user and pass it to the VR client. In this way, the VR client starts playing the VR video based on the viewing angle parameter. In this way, when different users bring HMD headers, their respective initial viewing angle parameters may be different, that is, the initial picture of the VR video they see may be different.
  • the VR client After the VR video starts playing, the VR client records the time information of the current user's announcement of the barrage and the field of view data when the barrage is published.
  • the field of view orientation data may include position coordinates (x i , y i , z i ) and viewing angle parameters ( ⁇ i , ⁇ i , ⁇ i ).
  • the VR client can send the data of the barrage and the recorded field of view toward the data and time information to the VR server.
  • the VR client may record the user's field of view data and report it to the VR server every other unit time (the specific value is not limited).
  • the VR server can obtain a full amount of user behavior data based on the time series from each VR client (the field of view orientation data and the behavior data of the publication barrage). Based on the full amount of user behavior data, the VR server can determine, for each barrage, the field of view change range and cumulative dwell time of the user who published the barrage from a time before the time point when the barrage is published.
  • the VR server has not collected the above-described field of view orientation data associated with the barrage when the VR video has just begun to play.
  • the VR server sets initial viewing angle parameters for each user, the perspective of each user can be evenly distributed.
  • the VR server has collected some of the barrage-related field of view orientation data, so it is possible to determine the field of view orientation (mainly the range of viewing angles) corresponding to the most barrage.
  • the VR client can obtain the perspective parameter from the VR server when the playback initialization is performed.
  • the viewing angle parameter can be determined according to the above-mentioned range of viewing angles corresponding to the most barrage.
  • each VR client can first position the screen to the VR video screen associated with the most barrage during playback initialization. That is, the corresponding VR video image data is obtained for playing according to the viewing angle parameter, so that the VR server can use the collected barrage data to guide the VR video viewing of each user, so that the user first sees the video screen corresponding to the most barrage. . That is to say, the VR server can analyze the obtained viewing angle range of the user according to the barrage data collected for a period of time, and then can guide subsequent users to view the VR video content of the viewing range content.
  • the user may not be wearing an HMD headline, and the VR client may enter the autoplay mode when determining that the user wants to view a panoramic image such as a VR video on a 2D plane.
  • the VR client does not need to adjust the view angle and/or viewpoint of the currently displayed panoramic image in response to the visual field orientation data (such as user position coordinate change and viewing angle change parameter, etc.) transmitted by the HMD headband worn by the user, but may be changed according to a predetermined viewing angle.
  • the rules automatically adjust the angle of view of the currently displayed panoramic image. For the user, the image image he sees moves in a certain direction, such as moving from right to left.
  • the VR client can make the playback angle of the current image move with the current displayable barrage. Variety.
  • the VR client can move the currently displayable barrage with the viewing angle of the current image, so that the barrage seen by the user moves synchronously with the corresponding image frame. In the VR video playback scene, the user does not need to manually adjust the angle of view, and the playback angle of the VR video can be synchronously moved along with the barrage.
  • the application example also proposes a method for displaying a panoramic image, which can be applied to an application client (such as the second application client in the foregoing example), and can display additional content (such as a comment) VR for the VR panoramic image.
  • an application client such as the second application client in the foregoing example
  • additional content such as a comment
  • Step 401 The application client receives data of the panoramic image from the application server and displays the panoramic image.
  • Step 402 The application client receives at least one piece of additional content data from the application server and a field of view orientation variation of the first user who publishes each piece of additional content data over a period of time.
  • the period of time includes a point in time at which the additional content data is published.
  • Step 403 For each piece of additional content data, the application client determines whether the additional content data can be displayed according to the field of view orientation variation range of the piece of additional content data and the field of view orientation data of the second user.
  • the second user is the user of the application client for this purpose.
  • the application client may receive the additional content published by each first user and the range of the visual field orientation change, and determine according to the visual field orientation data of the second user and the change range of the visual field orientation of each first user. Which or which first user posts additional content is displayable. With this scheme, it is possible to select additional content for the content of the current panoramic image screen.
  • the method can further include the application client further receiving the presentation of the additional content data when the additional content data and its field of view orientation change range are received from the application server. In this way, the application client can display the additional content data in the manner shown.
  • the application server may classify the behavior of the first user's publishing barrage according to the collected visual field data before and after the first user's publication of the barrage :
  • the first type, the static barrage before the user publishes the barrage, the user's field of view changes (including the horizontal direction or the vertical direction) is less than a certain threshold, that is, the user has substantially no turning. That is to say, the display area of the video displayed to the user has not changed, and the barrage is only a barrage with a fixed field of view facing inward.
  • the second type, the directional barrage before the user publishes the barrage, the user's field of view changes (including the horizontal direction or the vertical direction) is greater than a certain threshold, that is, the user has a significant turning behavior. That is, the display area of the video displayed to the user has changed. For example, the following three situations:
  • the user basically does not turn the head before the publication of the barrage, and turns the head after publication.
  • the user turns the head before the publication of the barrage, and the user basically does not turn around after the publication.
  • the application server can determine the display mode of each barrage, for example, for the first type of static barrage, it can be determined to display in a static manner.
  • the application client displays the barrage according to the presentation mode indicated by the application server.
  • the display mode indicates that the barrage is stationary
  • the application client displays the barrage in a static manner, for example, displaying the barrage at a fixed position, and further exposing the barrage after a period of time, or
  • the second user turns his head, the barrage disappears.
  • the application client determines a pointing direction, and the barrage is displayed in a dynamic manner according to the pointing direction, for example, moving the display in the pointing direction to display the barrage, further An arrow pointing to this pointing direction can be displayed.
  • the barrage can be displayed at a fixed position or moved in a pointing direction.
  • Using this method to analyze and display the barrage can give users more precise viewing tips, such as: moving from right to left in a horror panoramic video screen to display a barrage "high-energy warning ahead", the user can know that the left side is about to appear A scene of horror; another example: a static display of a barrage in a panoramic video, the user can know that the barrage is related to the current picture. When the user turns his head and changes the visual direction, the video picture will change accordingly. Correspondingly, the barrage will disappear to reduce the interference to the user.
  • the determining the pointing direction according to the field of view orientation variation range of the received multiple pieces of additional content data comprises: determining the first according to the field of view orientation variation range of the plurality of additional content data
  • the direction of the field of view of the person of the specified type in the user is taken as the pointing direction.
  • the direction of the visual field of the user with the higher user level can be selected from the first user, and the so-called higher user level can be based on the user's application platform (such as a panoramic video platform or a virtual reality platform or a social application used to log in to the VR client).
  • the user information registered in the social application platform of the account and the accumulated user level points and the like are determined.
  • Step 501 The application server sends the data of the panoramic image to the plurality of application clients to respectively display the panoramic image.
  • Some examples of the present application also propose a display control method for panoramic images, which can be applied to the application server 103. As shown in FIG. 6, the method includes the following process 600:
  • the application client 900 may include the following modules:
  • the determining module 903 further determines a manner of displaying the additional content data according to the field of view of the additional content data, and the panoramic display module 901 displays the additional content data according to the display manner. .
  • the application server 1000 may include the following modules:
  • the sending module 1001 sends the data of the panoramic image to the plurality of application clients to respectively display the panoramic image.
  • the sending module 1001 sends each of the additional content data that has been received and the respective field of view of the first user to the plurality of application clients, so as to make each additional content And determining, according to the field of view orientation range of the additional content data and the field of view orientation data of the second user, whether the additional content data can be displayed, and displaying the determined displayable additional content data.
  • the second user is a user of an application client that receives attachment content data.
  • the determining module 1002 may further determine, according to the field of view orientation variation range of the additional content data, a manner of displaying the additional content data; the sending module 1001 further The presentation mode is sent to the plurality of application clients to display the additional content data in the display manner.
  • the application server in the above example may collect each additional content data and the visual field orientation data from each application client, determine the visual field orientation range corresponding to each additional content data, and determine additional content data that can be displayed by each application client, thereby improving the additional content. Display of results.
  • the application client and/or application server described above can be run in various computing devices that can perform panoramic image data processing and loaded into the memory of the computing device.
  • FIG. 12 is a diagram showing the composition of a computing device in which the above application client and/or application server are located.
  • the computing device 1200 includes one or more processors (CPUs) 1202, communication modules 1204, memories 1206, user interfaces 1210, and a communication bus 1208 for interconnecting these components.
  • processors CPUs
  • communication modules 1204
  • memories 1206, user interfaces 1210
  • communication bus 1208 for interconnecting these components.
  • the processor 1202 can receive and transmit data through the communication module 1204 to effect network communication and/or local communication.
  • User interface 1210 includes one or more output devices 1212 that include one or more speakers and/or one or more visual displays.
  • User interface 1210 also includes one or more input devices 1214 including, for example, a keyboard, a mouse, a voice command input unit or loudspeaker, a touch screen display, a touch sensitive tablet, a gesture capture camera or other input button or control, and the like.
  • the memory 1206 can be a high speed random access memory such as DRAM, SRAM, DDR RAM, or other random access solid state storage device; or a non-volatile memory such as one or more magnetic disk storage devices, optical disk storage devices, flash memory devices, Or other non-volatile solid-state storage devices.
  • a high speed random access memory such as DRAM, SRAM, DDR RAM, or other random access solid state storage device
  • non-volatile memory such as one or more magnetic disk storage devices, optical disk storage devices, flash memory devices, Or other non-volatile solid-state storage devices.
  • the memory 1206 stores a set of instructions executable by the processor 1202, including:
  • the application 1218 includes various programs for implementing panoramic image data processing.
  • the program can implement the processing flow in each of the above examples.
  • the application client 800 shown in FIG. 8 and the application client shown in FIG. 9 can be included.
  • the application client 900 can include at least one of the modules 901-903 shown in FIG. 9, and each of the modules 901-903 can store machine-executable instructions.
  • the processor 1202 can realize the function of at least one of the modules 901 to 903 described above by executing the machine executable instructions of at least one of the modules 901 to 903 in the memory 1206.
  • the application server 1000 can include at least one of the modules 1001 - 1002 shown in FIG. 10, and at least one of the modules 1001 - 1002 can store machine executable instructions.
  • the processor 1202 can realize the function of at least one of the modules 1001 to 1002 described above by executing the machine executable instructions of at least one of the modules 1001 to 1002 in the memory 1206.
  • application server 1100 can include at least one of modules 1101 - 1102 shown in FIG. 11, and at least one of modules 1101 - 1102 can store machine-executable instructions.
  • the processor 1202 can implement the functions of at least one of the modules 1101 to 1102 described above by executing the machine executable instructions of at least one of the modules 1101 to 1102 in the memory 1206.
  • each of the examples of the present application can be implemented by a data processing program executed by a data processing device such as a computer.
  • the data processing program constitutes the present invention.
  • a data processing program usually stored in a storage medium is executed by directly reading a program out of a storage medium or by installing or copying the program to a storage device (such as a hard disk and or a memory) of the data processing device. Therefore, such a storage medium also constitutes the present invention.
  • the storage medium can use any type of recording method, such as paper storage medium (such as paper tape, etc.), magnetic storage medium (such as floppy disk, hard disk, flash memory, etc.), optical storage medium (such as CD-ROM, etc.), magneto-optical storage medium ( Such as MO, etc.).
  • the present application therefore also discloses a non-volatile storage medium in which is stored a data processing program for performing any of the above-described methods of the present application.
  • the method steps described in this application can be implemented by a data processing program, and can also be implemented by hardware, for example, by logic gates, switches, application specific integrated circuits (ASICs), programmable logic controllers, and embedded control. And so on.
  • ASICs application specific integrated circuits
  • programmable logic controllers programmable logic controllers
  • embedded control embedded control

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Information Transfer Between Computers (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请公开了一种全景图像的展示方法，包括：从应用服务器接收全景图像的数据并展示所述全景图像；响应于第一用户发表附加内容的操作，接收输入的附加内容数据；将所述附加内容数据及所述第一用户的视野朝向数据发送至所述应用服务器，以使所述应用服务器根据所述视野朝向数据确定在一段时间内所述第一用户的视野朝向变化范围，其中，所述一段时间包含所述第一用户发表所述附加内容数据的时间点，使得所述应用服务器或第二应用客户端根据所述视野朝向变化范围和第二用户当前的视野朝向数据确定所述第二应用客户端在展示所述全景图像时是否展示所述附加内容数据。本申请还公开了相应的展示控制方法、计算设备和存储介质。

Description

全景图像的展示方法、展示控制方法、计算设备及存储介质
本申请要求于2017年06月21日提交中国专利局、申请号为201710474090.1、发明名称为“全景图像的展示方法、客户端、服务器及存储介质”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及计算机技术领域，尤其涉及全景图像的展示方法、全景图像的展示控制方法、计算设备及存储介质。
背景技术
随着智能用户设备的发展，虚拟现实(VR，Virtual Reality)技术越来越多的应用到普通的用户设备中，如智能手机、平板电脑、PC机等，于是出现了各种VR软件(如VR视频APP)。用户在佩戴连接了用户设备的头盔、眼镜等VR可穿戴设备时，可观看到VR软件展示的VR全景图像，可以获得三维空间视景中的沉浸式体验。
目前，已存在一些VR平台，用户设备中可安装VR应用客户端，各VR应用客户端通过访问VR平台中的VR应用服务器能够访问VR全景图像数据并向用户展示。比如：VR应用客户端可以从VR应用服务器获取到VR视频数据并播放，用户佩戴了连接VR应用客户端的VR头显设备(如头盔、眼镜等)就能够体验到沉浸式的全景视频。
发明内容
本申请实例提供一种全景图像的展示方法，应用于第一应用客户端，该方法包括：从应用服务器接收全景图像的数据并展示所述全景图像；响应于第一用户发表附加内容的操作，接收输入的附加内容数据；将所述附加内容数据及所述第一用户的视野朝向数据发送至所述应用服务器，以使所述应用服务器根 据所述视野朝向数据确定在一段时间内所述第一用户的视野朝向变化范围，其中，所述一段时间包含所述第一用户发表所述附加内容数据的时间点，使得所述应用服务器或第二应用客户端根据所述视野朝向变化范围和第二用户当前的视野朝向数据，确定所述第二应用客户端在展示所述全景图像时是否展示所述附加内容数据，所述第二用户为所述第二应用客户端的使用者。
本申请实例提供了一种全景图像的展示方法，应用于应用客户端，该方法包括：从应用服务器接收全景图像的数据并展示所述全景图像；从所述应用服务器接收至少一份附加内容数据以及发表各份附加内容数据的第一用户在一段时间内的视野朝向变化范围；其中，针对一份附加内容数据，发表该份附加内容数据的第一用户对应的所述一段时间包含发表该份附加内容数据的时间点；针对每一份附加内容数据，根据该份附加内容数据的所述视野朝向变化范围和第二用户的视野朝向数据确定是否展示该份附加内容数据，所述第二用户为所述应用客户端的使用者；展示所确定的可展示的各份附加内容数据。
本申请实例提供了一种全景图像的展示控制方法，应用于应用服务器，该方法包括：向多个应用客户端发送全景图像的数据，以使各应用客户端分别展示所述全景图像；接收所述多个应用客户端中任一应用客户端上传的第一用户发表的附加内容数据和所述第一用户的视野朝向数据；根据所述视野朝向数据确定在一段时间内所述第一用户的视野朝向变化范围，其中，所述一段时间包含所述第一用户发表所述附加内容数据的时间点；将已收到的各份附加内容数据和各自对应的所述第一用户的视野朝向变化范围发送给所述多个应用客户端，以使所述多个应用客户端中任一应用客户端针对接收的每一份附加内容数据，根据该份附加内容数据的所述视野朝向变化范围和第二用户的视野朝向数据，确定是否展示所述附加内容数据，并展示所确定的可展示的各份附加内容数据，所述第二用户为该应用客户端的使用者。
本申请实例提供了一种全景图像的展示控制方法，应用于应用服务器，该方法包括：向多个应用客户端发送全景图像的数据，以使各应用客户端分别展 示所述全景图像；接收所述多个应用客户端中任一应用客户端上传的第一用户发表的附加内容数据和所述第一用户的视野朝向数据；根据所述视野朝向数据确定在一段时间内所述第一用户的视野朝向变化范围，其中，所述一段时间包含所述第一用户发表所述附加内容数据的时间点；针对任一应用客户端执行如下操作：针对已收到的任一份附加内容数据，根据该份附加内容数据的所述视野朝向变化范围和第二用户的视野朝向数据确定该应用客户端是否展示所述附加内容数据，所述第二用户为该应用客户端的使用者，将所述确定的该应用客户端可展示的各份附加内容数据发送给该应用客户端，以使其展示所述可展示的各份附加内容数据。
本申请实例提供了一种计算设备，包括：处理器和存储器；所述存储器中存储有计算机可读指令，可以使所述处理器：从应用服务器接收全景图像的数据并展示所述全景图像；响应于第一用户发表附加内容的操作，接收输入的附加内容数据；将所述附加内容数据及所述第一用户的视野朝向数据发送至所述应用服务器，以使所述应用服务器根据所述视野朝向数据确定在一段时间内所述第一用户的视野朝向变化范围，其中，所述一段时间包含所述第一用户发表所述附加内容数据的时间点，使得所述应用服务器或第二应用客户端根据所述视野朝向变化范围和第二用户当前的视野朝向数据，确定所述第二应用客户端在展示所述全景图像时是否展示所述附加内容数据，所述第二用户为所述第二应用客户端的使用者。
本申请实例提供了一种计算设备，包括：处理器和存储器；所述存储器中存储有计算机可读指令，可以使所述处理器：从应用服务器接收全景图像的数据并展示所述全景图像；从所述应用服务器接收至少一份附加内容数据以及发表各份附加内容数据的第一用户在一段时间内的视野朝向变化范围；其中，针对一份附加内容数据，其对应的所述一段时间包含发表该份附加内容数据的时间点；针对每一份附加内容数据，根据该份附加内容数据的所述视野朝向变化范围和第二用户的视野朝向数据确定是否展示该份附加内容数据，所述第二用 户为所述计算设备的使用者；展示所确定的可展示的各份附加内容数据。
本申请实例提供了一种计算设备，包括：处理器和存储器；所述存储器中存储有计算机可读指令，可以使所述处理器：向多个应用客户端发送全景图像的数据，以使各应用客户端分别展示所述全景图像；接收所述多个应用客户端中任一应用客户端上传的第一用户发表的附加内容数据和所述第一用户的视野朝向数据；根据所述视野朝向数据确定在一段时间内所述第一用户的视野朝向变化范围，其中，所述一段时间包含所述第一用户发表所述附加内容数据的时间点；将已收到的各份附加内容数据和各自对应的所述第一用户的视野朝向变化范围发送给所述多个应用客户端，以使所述多个应用客户端中任一应用客户端针对接收的每一份附加内容数据，根据该份附加内容数据的所述视野朝向变化范围和第二用户的视野朝向数据，确定是否展示所述附加内容数据，并展示所确定的可展示的各份附加内容数据，所述第二用户为该应用客户端的使用者。
本申请实例提供了一种计算设备，包括：处理器和存储器；所述存储器中存储有计算机可读指令，可以使所述处理器：向多个应用客户端发送全景图像的数据，以使各应用客户端分别展示所述全景图像；接收所述多个应用客户端中任一应用客户端上传的第一用户发表的附加内容数据和所述第一用户的视野朝向数据；根据所述视野朝向数据确定在一段时间内所述第一用户的视野朝向变化范围，其中，所述一段时间包含所述第一用户发表所述附加内容数据的时间点；针对任一个应用客户端执行如下操作：针对已收到的任一份附加内容数据，根据该份附加内容数据的所述视野朝向变化范围和第二用户的视野朝向数据确定该应用客户端是否展示所述附加内容数据，所述第二用户为该应用客户端的使用者，将所述确定的该应用客户端可展示的各份附加内容数据发送给该应用客户端，以使其展示所述可展示的各份附加内容数据。
本申请实例提供了一种非易失性存储介质，存储有数据处理程序，所述数据处理程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行根据本申请的全景图像的展示方法或展示控制方法的指令。
采用本申请提出的上述技术方案，能够改善VR系统中全景图像和附加内容的展示效果。
附图说明
为了更清楚地说明本申请实例中的技术方案，下面将对实例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请涉及的一种系统构架示意图；
图2为本申请一实例的方法流程图；
图3为本申请一实例的三维虚拟空间示意图；
图4为本申请一实例的方法流程图；
图5为本申请一实例的方法流程图；
图6为本申请一实例的方法流程图；
图7为本申请一实例的消息交互图；
图8是本申请一实例的应用客户端结构图；
图9是本申请一实例的应用客户端结构图；
图10是本申请一实例的应用服务器结构图；
图11是本申请一实例的应用服务器结构图；及
图12是本申请一些实例的设备结构图。
具体实施方式
下面将结合本申请实例中的附图，对本申请实例中的技术方案进行清楚、完整地描述，显然，所描述的实例仅是本申请一部分实例，而不是全部的实例。基于本申请中的实例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实例，都属于本申请保护的范围。
本申请提出的全景图像的展示方法可应用于VR系统。图1示出了一种VR 系统100，其包括：终端设备101、VR设备102和服务器103。其中，终端设备101中可运行VR客户端(即VR APP)，VR设备102可包括用户可操作的控制器(Controller)和可穿戴的装备(如：各种VR头显设备、VR体感设备等)。上述终端设备101中的VR客户端可与VR设备102进行信息交互以为用户提供沉浸式的VR图像并完成相应的操作功能。具体的，VR客户端可根据可穿戴的装备提供的用户在虚拟空间中的位置信息以及运动信息为用户展示相应的VR图像数据，以给用户带来沉浸式体验。VR客户端还可以响应于用户操作控制器发出的指令而执行相应的操作，比如：打开/暂停/关闭视频文件、发表评论(如弹幕信息)等等。服务器103中可运行相应的VR应用服务器软件(简称VR服务器或者VR平台)。VR服务器可为各个VR客户端提供各种VR全景图像数据，比如：全景图片、全景视频、VR游戏等。VR服务器可响应于来自VR客户端的业务请求而执行相应的处理，比如：为VR客户端提供用于选择全景视频的页面，向VR客户端提供其选中的VR视频的数据以进行播放，发表VR客户端提供的附加内容(如评论信息)等等。
这里，上述终端设备101是指具有数据计算处理功能的终端设备，包括但不限于(安装有通信模块的)智能手机、掌上电脑、平板电脑、智能电视(Smart TV)等。这些终端设备上都安装有操作系统，包括但不限于：Android操作系统、Symbian操作系统、Windows mobile操作系统、以及苹果iPhone OS操作系统等等。上述的VR头显设备(HMD，Head Mount Display)包括可以显示实时的画面的屏幕，还可包括眼球追踪模块。眼球追踪模块能够获得人眼球的实时运动轨迹。上述的VR设备中还可包括跟踪系统和计算处理单元。其中，跟踪系统能够追踪用户在真实三维空间的实时位置信息与运动信息，计算处理单元能够从跟踪系统中获得用户的实时位置信息与运动信息，并计算出用户头部在虚拟三维空间中的三维坐标以及运动信息、用户在虚拟三维空间中的视野朝向数据、用户实时的注视点在虚拟三维空间中的三维坐标。
当用户佩戴VR设备观看VR图像时，可以通过控制器创建该VR图像的附 加内容(比如发表评论、添加注释或标签等)。在一个实施例中在VR系统中，如评论这种附加内容能够以弹幕信息的形式展示在VR图像中。当不同用户针对同一VR媒体内容(如一个VR视频)发表了不同的弹幕信息时，由于各个用户的方位及视野朝向不同，其所看到的VR图像也不同(同一VR视频中对应不同视角/视点的图像)，也就是说各个用户发表的弹幕信息所针对的VR图像不同。这是因为，一个VR媒体内容(比如：一张全景图片或者一个全景视频)是由在实际场景中的不同方位和角度拍摄的多张图片或多组帧图像拼接而成的，每张图片或每组帧图像能够映射到虚拟空间中的特定位置中，VR客户端在向用户提供VR图像时，会根据当前获取到的该用户在实际场景中的位置信息和运动信息确定其在虚拟空间中的位置信息和运动信息，进而为用户提供对应于虚拟空间中特定位置的图片或帧图像。所以，对于同一VR媒体内容，各个用户看到的VR图像画面内容可能是各不相同的。例如，用户戴上VR头显设备时，VR客户端是按默认初始视角播放VR视频的，此默认初始视角可以由VR服务器随机分配，不同用户的可能不一样。进一步的，用户的头部在移动，VR视频的播放视角也会相应发生变化，所以导致他看到的视频画面与其他用户看到的视频画面是不一致的。那么，一个VR客户端在播放一个VR媒体内容时，如果有弹幕信息发表，就要在VR图像中展示弹幕信息，而如果将不同用户针对此VR媒体内容发表的不同弹幕信息同时展示在当前播放的VR图像中，会给当前观看用户带来困扰，因为很可能会有不少弹幕信息与当前播放的VR图像无关，这样，就会严重影响VR图像及其弹幕信息的展示效果，也会造成处理资源的浪费，影响系统性能。
针对上述问题，本申请一些实例中提出了一种全景图像的展示方法，该方法可应用于第一应用客户端，即可针对VR全景图像发表附加内容(如评论)的VR客户端。这里，第一应用客户端例如可以驻留在终端设备101中。如图2所示，该方法包括如下处理200：
步骤201：第一应用客户端从应用服务器(即，VR服务器)接收全景图像 的数据并展示所述全景图像。
步骤202：第一应用客户端响应于第一用户发表附加内容的操作，接收输入的附加内容数据。
这里，当第一用户要发表附加内容时，可操作手持的控制器或者运行第一应用客户端的终端设备的键盘、鼠标等外设，进而能够向第一应用客户端发出发表附加内容的指令，使得第一应用客户端开始接收第一用户输入的附加内容数据(比如：评论信息)。在VR场景下，用户可通过按下控制器上的特定按钮或者手持控制器执行特定手势操作而发出上述发表附加内容的指令，可通过VR图像中呈现的虚拟键盘输入文本形式的评论信息或者通过VR可穿戴设备上的麦克风输入语音形式的评论信息。VR客户端(即第一应用客户端)可接收文本或者语音形式的评论信息，并可将语音形式的评论信息转换成文本形式的评论信息。VR客户端可将用户要发表的文本形式的评论信息通过网络发送给VR服务器，这样，VR服务器可将这种评论信息提供给各个VR客户端。
步骤203：第一应用客户端将所述附加内容数据及所述第一用户的视野朝向数据发送至所述应用服务器，以使所述应用服务器根据所述视野朝向数据确定在一段时间内所述第一用户的视野朝向变化范围。其中，所述一段时间包含所述第一用户发表所述附加内容数据的时间点，使得所述应用服务器或第二应用客户端根据所述视野朝向变化范围和第二用户当前的视野朝向数据确定所述第二应用客户端在展示所述全景图像时是否展示所述附加内容数据。其中，当第一用户的所述视野朝向变化范围覆盖(或者说包含)第二用户当前的视野朝向数据代表的视野朝向时，应用服务器可确定所述第二应用客户端在展示所述全景图像时展示所述附加内容数据。这里，所述第二用户为所述第二应用客户端的使用者，第一用户为第一应用客户端的使用者。
在此实例中，发表附加内容的VR客户端(即第一应用客户端)可根据其所连接的可穿戴设备(VR头显、眼镜或者体感设备)所传递的实时用户数据获取到的当前用户(即第一用户)在虚拟空间中的视野朝向数据，并可将此视野朝 向数据发送给VR服务器。此视野朝向数据可以包括：用户头部在虚拟空间中的三维位置坐标(x,y,z)(也可称为视点坐标)、用户头部的视角参数(α,β,γ)。其中，俯仰角为α，偏转角为β，绕预设相机光轴的旋转角为γ。这里，根据用户头部在虚拟空间中的三维位置坐标(x,y,z)和视角参数(α,β,γ)，基于一些经验数据，如最佳视距(如2.5米)、视野宽度FOV(如90度角)，能够确定用户的视觉停留平面的参数。视觉停留平面的参数例如包括：该平面的长和宽，该平面上每个点在虚拟空间中的三维位置坐标。
如图3所示，在基于三维坐标系XOY的三维虚拟空间300中，用户头部的位置P的位置坐标为(x,y,z)，用户头部的视角参数为(α,β,γ)，基于这些参数能够确定该用户的视觉停留平面301。也就是说，基于一个时间点上第一用户的视野朝向数据，应用服务器可以确定一个视觉停留平面(或者称视觉停留区域)。那么，根据一段时间内第一用户的视野朝向变化范围，应用服务器可确定第一用户的视觉停留平面的变化范围。这里，表征视野朝向变化范围的参数可以包括：起点的位置坐标(x 0,y 0,z 0)和视角参数(α 0,β 0,γ 0)，终点的位置坐标(x 1,y 1,z 1)和视角参数(α 1,β 1,γ 1)，也可以包括中间点的位置坐标(x i,y i,z i)和视角参数(α i,β i,γ i)。简言之，所确定的视觉停留平面的变化范围可以由一个视觉停留平面集合来表征。根据另一用户(即第二用户)当前的视野朝向数据也可以确定第二用户当前的视觉停留平面。根据第二用户当前的视觉停留平面的部分或全部是否被第一用户的上述视觉停留平面的变化范围覆盖，应用服务器可确定第二用户的第二应用客户端当前展示全景图像时是否展示第一用户发表的附加内容。这里，所谓第二用户当前的视觉停留平面的部分或全部、被第一用户的上述视觉停留平面的变化范围覆盖，并不要求第二用户的视觉停留平面与第一用户的视觉停留平面的变化范围包含的某个平面，完全吻合(即处于同一平面)，而是说第二用户的视觉停留平面与第一用户的视觉停留平面的变化范围中的平面达到一定的吻合度，使得它们在虚拟空间中呈现给用户的全景图像画面基本相同。这样，当第二用户当前的视觉停留平面的部分或全部被第一用户 的上述视觉停留平面的变化范围覆盖时，就说明第一用户发表附加内容时看到的全景图像画面(如全景视频的画面内容或者全景图片的画面内容)和第二用户当前看到的全景图像画面基本相同，第一用户发表的附加内容(如弹幕评论)是与第二用户当前看到的全景图像画面有关联的，可以在第二用户的第二应用客户端当前展示的全景图像画面上展示第一用户发表的附加内容。
上述实例中，考虑了用户在虚拟空间中的位置坐标(即视点坐标)，而在某些VR系统中(比如手机VR盒子)是不考虑用户的视点坐标的。那么，在一些实例中，上述步骤203的视野朝向数据可以包括：用户头部的视角参数(α,β,γ)。这里，根据系统预设的虚拟空间中的默认三维位置坐标(x,y,z)和视角参数(α,β,γ)，能够确定用户的视觉停留平面的参数。这里，表征视野朝向变化范围的参数可以包括：起点的视角参数(α 0,β 0,γ 0)，终点的视角参数(α 1,β 1,γ 1)，也可以包括中间点的视角参数(α i,β i,γ i)。
在一些实例中，上述步骤203中也可以采用简化的视角参数，比如：用户视线在水平面上的投影与该水平面上一坐标轴(如图3的X轴)之间的夹角α’。上述步骤203的视野朝向数据可以包括视角参数α’。这里，视角参数α’可以代表用户大致的视野朝向，表征视野朝向变化范围的参数可以包括视角变化范围：起点的视角参数α’ 0、终点的视角参数α’ 1，基于这种视角参数也能实现上述步骤203，当某份附加内容数据的视角变化范围覆盖了当前第二用户的视角时，即认为该份附加内容数据中所述视野朝向变化范围对应的视觉停留区域覆盖了当前第二用户的视野朝向数据所对应的视觉停留区域。具体的，根据第二用户当前的视角参数α’ 2是否属于第一用户的上述视角参数变化范围α’ 0～α’ 1，就可确定第二应用客户端当前展示全景图像时是否展示第一用户发表的附加内容。这里，第二应用客户端为第二用户使用的应用客户端。
在一些实例中，上述一段时间可以是从第一用户发表附加内容的时间点之前的一个时间点到其之后的一个时间点的这个时间段，比如：发表弹幕的时间为9:00，则此时间段可以为8:59～9:01这个时间段。总之，根据实现需要，可以 预设这个时间段的长度以及起始时间点，比如：设置时间段长度为n秒钟或分钟，起始时间点为发表弹幕的时间点之前的m秒钟或分钟。
[根据细则91更正 21.09.2018]　
在上述实施例中，基于各用户的视野朝向数据，应用客户端(例如第二应用客户端)在展示全景图像时可以有针对性的选择当前已发表的附加内容来进行展示。对于单个用户而言，其所看到的其它用户发表的附加内容是与当前全景图像的画面内容有关。这样，附加内容的展示不会给用户带来干扰，还能提供一定的提示和引导。比如：用户在观看一个全景恐怖影片，能够看到一个弹幕“前方高能”。这样，用户就会知道即将出现恐怖的一幕，可以提前做好心理准备。可见，上述方案能够有效的利用弹幕这种附加内容引导用户更好的观看全景图像，减少全景图像的方位及视角变化而给用户带来的观看困扰，从而减少用户因这种困扰而进行的盲目操作(比如：对控制器的操作、转头移动等)。另外上述方案也减少了附加内容的展示量(在一个应用客户端侧有针对性的展示部分用户发表的附加内容)，从而节约了系统处理资源，提高了处理效率，提升了系统整体性能。
在一些实例中，上述方法可进一步包括：响应于第一用户发表附加内容的操作，第一应用客户端确定从发表所述附加内容数据的时间点之前到之后的一段时间内所述第一用户的视野朝向变化范围。其中，第一应用客户端发送至所述应用服务器的所述视野朝向数据包括所述视野朝向变化范围。
在一些实例中，上述方法可进一步包括：第一应用客户端确定从第一用户发表所述附加内容数据的时间点之前到之后的一段时间内第一用户在所述视野朝向变化范围内的停留时间。其中，第一应用客户端发送至所述应用服务器的所述视野朝向数据进一步包括所述停留时间。这样，所述应用服务器或第二应用客户端可以根据所述视野朝向变化范围、所述停留时间和所述第二用户当前的视野朝向数据，来确定所述第二应用客户端在展示所述全景图像时是否展示所述附加内容数据。这里，在确定是否要展示附加内容时要考虑两个条件。第 一个条件是，第一用户的视野朝向变化范围覆盖第二用户当前的视野朝向。第二个条件是，第一用户的视野朝向变化范围的累计停留时间达到预定阈值。当这两个条件均满足时确定展示第一用户发表的附加内容。这里，第一用户的视野朝向变化范围中包含一个或多个视野朝向(每个视野朝向可对应一个视觉停留平面)。每个视野朝向都有自己的停留时间。将各个视野朝向的停留时间累加则可得到该视野朝向变化范围的累计停留时间。当这个累计停留时间达到预定阈值，则说明第一用户在此视野朝向变化范围内的视野方向比较稳定，是一次有效的观看过程，其所发表的附加内容也是与该视野朝向变化范围对应的全景图像画面内容有关联的。通过进一步考虑累计停留时间这一条件，可以使附加内容的展示更加有针对性，能够为第二用户更准确地选择出合适的附加内容进行展示。
上述实例中，第一应用客户端发送视野朝向数据的方式至少包括以下这些方式。
在一个实施例中，当第一用户发表附加内容(比如发布一个弹幕)时，第一应用客户端确定从发表附加内容数据的时间点之前到之后的一段时间内，第一用户在各个视野朝向上的停留时间。另外，第一应用客户端可以将这段时间内第一用户的各个视野朝向的相关数据(包含表征视野朝向的参数及停留时间)发送给应用服务器。这样，应用服务器根据第一应用客户端发送的与此附加内容相关的视野朝向数据，可确定在此时间段内第一用户的视野朝向变化范围以及累计停留时间。
在一个实施例中，第一应用客户端也可以计算在此段时间内第一用户在各个视野朝向上的累计停留时间，再将这个累计停留时间发给应用服务器。应用服务器即可直接得到第一用户在此时间段内的视野朝向变化范围的累计停留时间。
在一个实施例中，每隔预定时间间隔(即，每隔一个时间间隔)，第一应用客户端将第一用户当前视野朝向的相关数据(如表征当前视野朝向的参数)发 送给应用服务器。当第一用户发表附加内容时，将该附加内容及第一用户当前视野朝向的相关数据也发送给应用服务器。这样，应用服务器能够获得第一用户全量的视野朝向数据以及发表附加内容的行为数据。此种情况下，应用服务器针对第一用户发表的一个附加内容能够计算得到从发表该附加内容的时间点之前到之后的一段时间内第一用户的视野朝向变化范围以及累计停留时间。
在一些实例中，当用户在带上HMD头显观看VR视频时,VR客户端进行播放初始化。另外，VR服务器可随机设置该用户的初始视角参数(α 0,β 0,γ 0)并传递给VR客户端。这样，VR客户端以此视角参数为准开始播放VR视频。这样，不同的用户带上HMD头显时，其各自的初始视角参数就可能不同，也就是说他们看到的VR视频的初始画面可能不同。在VR视频开始播放之后，VR客户端记录当前用户发表弹幕的时间信息以及发表弹幕时的视野朝向数据。视野朝向数据可以包括位置坐标(x i,y i,z i)和视角参数(α i,β i,γ i)。VR客户端可以将此弹幕的数据和所记录的视野朝向数据和时间信息发送给VR服务器。在一些实例中，VR客户端可以每隔一个单位时间(具体数值不做限定)记录一次用户的视野朝向数据并上报给VR服务器。这样，VR服务器可以从每一个VR客户端获得了基于时间序列的全量的用户行为数据(视野朝向变化数据和发表弹幕的行为数据)。VR服务器可以根据这种全量的用户行为数据，针对每个弹幕，确定从发表该弹幕的时间点之前到之后一段时间内，发表该弹幕的用户的视野朝向变化范围和累计停留时间。
在一些实例中，在VR视频刚开始播放时，VR服务器还没有收集到与弹幕相关的上述视野朝向数据。此时，VR服务器为各个用户设置初始视角参数时，可以让各个用户的视角均匀分布。在VR视频播放过一段时间后，VR服务器已收集了一些弹幕相关的视野朝向数据，因此可以确定对应最多弹幕的视野朝向范围(主要是视角范围)。这样，当用户带上HMD头显时，VR客户端进行播放初始化时就可以从VR服务器获得视角参数。该视角参数可以根据上述对应最多弹幕的视角范围而确定。这样，各个VR客户端在播放初始化时就可以首先将 画面定位到最多弹幕关联的VR视频画面。即，根据视角参数获取相应的VR视频图像数据进行播放，这样，VR服务器就可以利用已收集的弹幕数据对各个用户的VR视频观看进行引导，使得用户首先看到最多弹幕对应的视频画面。也就是说，VR服务器可以根据一段时间收集到的弹幕数据能够分析得到用户最感兴趣的视角范围，进而可以引导后续用户观看这个视角范围内容的VR视频内容。
在一些实例中，用户可能未佩戴HMD头显，VR客户端可以在确定用户要在2D平面上观看诸如VR视频等的全景图像时，进入自动播放模式。VR客户端无需响应于用户佩戴的HMD头显传递的视野朝向数据(如用户位置坐标变化和视角变化参数等)而调整当前展示的全景图像的视角和/或视点，而可以根据预定的视角变化规则自动调节当前展示的全景图像的视角。对于用户而言，其所看到的某个图像画面就是沿某个方向移动的，比如从右向左移动。由于可以从VR服务器获取到各个弹幕对应的视野朝向数据(比如：某个弹幕发表时的用户视角参数)，VR客户端可以令当前图像的播放视角随当前可展示的弹幕的移动而变化。或者，VR客户端可以令当前可展示的弹幕随当前图像的播放视角变化而移动，使得用户所看到的弹幕随其所对应的图像画面同步移动。在VR视频播放场景中，用户无需手动调整视角，即可实现VR视频的播放视角随着弹幕进行同步移动。
本申请实例还提出了一种全景图像的展示方法，该方法可应用于应用客户端(如前述实例中的第二应用客户端)，即可针对VR全景图像展示附加内容(如评论)的VR客户端。如图4所示，该方法包括如下处理400：
步骤401：应用客户端从应用服务器接收全景图像的数据并展示所述全景图像。
步骤402：应用客户端从所述应用服务器接收至少一份附加内容数据以及发表各份附加内容数据的第一用户在一段时间内的视野朝向变化范围。其中，针对一份附加内容数据，所述一段时间包含发表该份附加内容数据的时间点。
步骤403：针对每一份附加内容数据，应用客户端根据该份附加内容数据的 所述视野朝向变化范围和第二用户的视野朝向数据确定是否可展示所述附加内容数据。所述第二用户为此应用客户端的使用者。
步骤404：应用客户端展示所述确定的可展示的各份附加内容数据。
在此实例中，应用客户端在展示全景图像时，可接收到各个第一用户发表的附加内容以及视野朝向变化范围，根据第二用户的视野朝向数据与各第一用户的视野朝向变化范围确定哪个或哪些第一用户发表的附加内容是可展示的。采用这种方案，能够选择出针对当前全景图像画面内容的附加内容进行展示。
在一些实例中，该方法可进一步包括：当从所述应用服务器接收所述附加内容数据及其视野朝向变化范围时，应用客户端进一步接收所述附加内容数据的展示方式。这样，应用客户端可以按所述展示方式展示所述附加内容数据。
在一些实例中，应用服务器可以根据收集到的各第一用户发表弹幕前后的视野朝向数据对各第一用户的发表弹幕的行为进行归类 ：
第一类，静止弹幕：用户在发表弹幕前后，用户的视野朝向变化(包括水平方向或垂直方向)小于一定阈值，即用户基本没有转头。即说明向用户展示的视频的显示区域未发生变化，此弹幕只是一个固定视野朝向内的弹幕。
第二类，指向性弹幕：用户在发表弹幕前后，用户的视野朝向变化(包括水平方向或垂直方向)大于一定阈值，即用户发生了明显的转头行为。即说明向用户展示的视频的显示区域发生了变化。例如以下三种情况：
情况一，发表弹幕前用户基本不转动头部，发表后转动头部。
情况二，发表弹幕前用户转动头部，发表后用户基本不转头。
情况三，发表弹幕前到弹幕后，用户一直在转头。
经过上述分析，应用服务器即可确定各弹幕的展示方式，比如：对于第一类的静止弹幕，可以确定以静态的方式进行展示。对于第二类指向性弹幕，可以确定以动态的方式进行展示。应用客户端根据应用服务器指示的展示方式来展示弹幕。当所述展示方式指示所述弹幕是静止的时，应用客户端以静态的方式展示此弹幕，比如：在固定位置展示弹幕，进一步的可在展示一段时间后令 弹幕消失，或者当第二用户转头时令弹幕消失。当所述展示方式指示所述弹幕是指向性的时，应用客户端确定指向方向，根据所述指向方向以动态的方式展示此弹幕，比如：沿指向方向移动展示此弹幕，进一步的可展示指向此指向方向的箭头。在展示此箭头时，弹幕可以是在固定位置展示或者是沿指向方向移动展示的。采用这种方式分析并展示弹幕，可以给用户更精准的观看提示，比如：在一个恐怖全景视频画面中从右到左移动展示一弹幕“前方高能预警”，用户就可以知道左边即将出现一幕恐怖的画面；再比如：在一个全景视频画面中静止展示一个弹幕，用户就可以知道此弹幕是与当前画面相关的。当用户转头、变换视觉方向时，视频画面也会相应变化，相应的，此弹幕还会消失，以减少对用户的干扰。
在一些实例中，所述确定指向方向包括：根据接收到的多份附加内容数据的所述视野朝向变化范围确定所述指向方向。比如：应用客户端在选择一些弹幕进行展示时，对于动态展示的弹幕，统一确定一个指向方向。此指向方向是根据多个弹幕对应的视野朝向变化数据而确定的。可选的，可以根据各份附加内容数据各自对应的视野朝向变化范围确定各自的指向方向，即所展示的各动态弹幕的指向方向可以不同。
在一些实例中，上述对于第一用户发表附加内容(如弹幕)前后的视野朝向数据进行分析以对各第一用户发表附加内容的行为进行归类的处理可以在应用客户端侧实现，该方法可进一步包括：应用客户端根据所述附加内容数据对应的视野朝向变化范围，确定所述附加内容数据的展示方式；其中，按所述展示方式展示所述附加内容数据。
在一些实例中，所述根据接收到的多份附加内容数据的所述视野朝向变化范围确定所述指向方向，包括：根据多份附加内容数据的所述视野朝向变化范围，确定所述第一用户中多数者的视野移动方向并将其作为所述指向方向。这里，可以在所有第一用户中选择多数者的视野移动方向，并将其作为指向方向，也可以在所确定的可展示的各附加内容对应的各第一用户中选择多数者的视野 移动方向。这样，可以采用用户群中多数者的视野移动方向来引导用户进行观看，进而能够提升弹幕展示中引导的准确性和有效性。
在一些实例中，所述根据接收到的多份附加内容数据的所述视野朝向变化范围确定所述指向方向，包括：根据多份附加内容数据的所述视野朝向变化范围，确定所述第一用户中指定类型者的视野移动方向并将其作为所述指向方向。这里，可以从第一用户中选择用户级别较高者的视野移动方向，所谓用户级别较高者，可以根据用户在应用平台(如全景视频平台或者虚拟现实平台或者登录VR客户端所用的社交应用账号的社交应用平台)中注册的用户信息以及积累的用户等级积分等等来确定。比如：可以选择意见领袖(KOL)用户或者VIP用户的视野移动方向等等。这样，可以利用用户群中有影响力的用户的视野移动方向来引导用户进行观看，进而能够实现全景图像观看中更多更有趣的应用，改善全景图像的展示效果，提升用户的观看感受。
在一些实例中，所述根据该份附加内容数据的所述视野朝向变化范围和所述第二用户的视野朝向数据确定是否可展示所述附加内容数据，包括：当该份附加内容数据的所述视野朝向变化范围对应的视觉停留区域覆盖了该第二用户的所述视野朝向数据对应的视觉停留区域时，所述应用客户端确定可展示该份附加内容数据。
在一些实例中，进一步包括：当从所述应用服务器接收所述附加内容数据及其视野朝向变化范围时，所述应用客户端进一步接收所述视野朝向变化范围的停留时间。其中，当该份附加内容数据的所述视野朝向变化范围对应的视觉停留区域覆盖了该第二用户的所述视野朝向数据对应的视觉停留区域，并且所述视野朝向变化范围对应的停留时间达到预定阈值时，所述应用客户端确定可展示该份附加内容数据。
这里，确定是否可展示附加内容数据的具体方法前文已有详述，这里不再赘述。
本申请的一些实例中还提出了一种全景图像的展示控制方法，该方法可应 用于应用服务器103(如VR服务器)，如图5所示，该方法包括如下处理500：
步骤501：应用服务器向多个应用客户端发送全景图像的数据，以使其分别展示所述全景图像。
这里，应用服务器可为各个应用客户端提供全景图像服务，比如VR视频在线播放服务。应用服务器可以响应于应用客户端的请求而为应用客户端提供相应的全景图像的数据。而对于一个媒体内容(一个VR视频或一个全景图片)而言，可能会被多个应用客户端同时访问。应用服务器会将此媒体内容的全景图像数据发送给各个应用客户端供其展示。
步骤502：当接收到多个应用客户端中任一应用客户端上传的第一用户发表的附加内容数据时，应用服务器接收所述第一用户的视野朝向数据。根据所述视野朝向数据，应用服务器可以确定在一段时间内所述第一用户的视野朝向变化范围。其中，所述一段时间包含所述第一用户发表所述附加内容数据的时间点。
步骤503：将当前已收到的各份附加内容数据和各自的所述第一用户的视野朝向变化范围分别发送给所述多个应用客户端，以使其针对每一份附加内容数据，根据该份附加内容数据的所述视野朝向变化范围和第二用户的视野朝向数据确定是否可展示所述附加内容数据，并展示所述确定的可展示的各份附加内容数据。这里，第二用户指接收到附加内容数据的应用客户端的使用者。
在此实例中，各个应用客户端会从应用服务器获取到当前已发表的各份附加内容数据和各份附加内容数据各自的发表用户的视野朝向变化范围，每个应用客户端会根据接收到的这些信息和自身当前用户的视野朝向数据从接收到的各份附加内容数据中筛选出可展示的附加内容数据。也就是说，应用客户端可以筛选出在自身用户视野朝向范围内适于展示的附加内容(比如弹幕)，进而能改善附加内容的展示效果，使所展示的附加内容与当前全景图像画面内容更有关联性。对于用户而言，应用客户端所展示的附加内容就更具有可读性。本申请的展示控制方法可以减少全景图像的方位及视角变化给用户带来的观看困 扰，减少用户因这种困扰而进行的盲目操作(比如：对控制器的操作、转头移动等)，也减少了附加内容的展示量(在一个应用客户端侧有针对性的展示部分用户发表的附加内容)，因此，也节约了系统处理资源，提高了处理效率，提升了系统整体性能。
在一些实例中，上述方法进一步包括：针对每一份附加内容数据，应用服务器根据所述附加内容数据的所述视野朝向变化范围，确定该份附加内容数据的展示方式，并将所述展示方式发送给所述多个应用客户端，以使其按所述展示方式展示该份附加内容数据。
本申请的一些实例还提出了一种全景图像的展示控制方法，可应用于应用服务器103，如图6所示，该方法包括如下处理600：
步骤601：应用服务器向多个应用客户端发送全景图像的数据，以使其分别展示所述全景图像。
步骤602：当接收到所述多个应用客户端中任一应用客户端上传的第一用户发表的附加内容数据时，应用服务器接收所述第一用户的视野朝向数据，根据所述视野朝向数据确定在一段时间内所述第一用户的视野朝向变化范围，其中，所述一段时间包含所述第一用户发表所述附加内容数据的时间点。
步骤603：应用服务器针对每一个应用客户端执行步骤604～605：
步骤604：针对当前已收到的每一份附加内容数据，应用服务器根据该份附加内容数据的所述视野朝向变化范围和第二用户的视野朝向数据确定该应用客户端是否可展示所述附加内容数据。所述第二用户为该应用客户端的使用者。
步骤605：应用服务器将所述确定的该应用客户端可展示的各份附加内容数据发送给该应用客户端，以使其展示所述可展示的各份附加内容数据。
在上述实例中，应用服务器可以针对每一个应用客户端，从当前已发布的各附加内容数据中筛选出该应用客户端可展示的附加内容，再将其发送给该应用客户端，也能实现与前述实例类似的技术效果。
图7示出了本申请一实例的消息交互图。在此实例中，应用客户端为VR客 户端，应用服务器为VR服务器，附加内容为弹幕，全景图像为VR视频。图7仅示出一个VR客户端与VR服务器。而实际场景中，针对一个VR视频的展示而言，会有多个VR客户端与VR服务器进行消息交互，每个VR客户端都可执行图7所示的处理。如图7所示，针对当前播放的VR视频，VR客户端和VR服务器的交互过程700如下：
步骤701：VR客户端每发表一个弹幕，就记录当前用户从发表该弹幕的时间点之前到之后一段时间内的视野朝向变化数据。这样，VR客户端可以将此视野朝向变化数据连同该弹幕的数据发送给VR服务器。进而，在步骤702中，VR服务器从各个VR客户端收集了各个用户的视野朝向变化数据和弹幕数据。这里，一个VR客户端对应一个用户，该用户使用VR应用的用户账号登录该VR客户端来观看VR视频。
步骤703：VR服务器获得[弹幕-视野朝向-时间]的数据序列，在此序列中针对每个已发表的弹幕会有一系列数据记录，包括：弹幕内容、从发表该弹幕的时间点之前到之后一段时间内的视野朝向变化范围、此视野朝向变化范围对应的累计停留时间。
步骤704：VR服务器将此[弹幕-视野朝向-时间]的数据序列发送给各个VR客户端。
步骤705：VR客户端在收到此[弹幕-视野朝向-时间]的数据序列后，可以根据此序列中的各弹幕的数据记录以及当前用户的视野朝向数据，确定本客户端要显示的一个或多个弹幕以及显示方式(是静止或者指向性的)。
上述各步骤的具体实现方式，前文已有详述，这里不再赘述。
本申请的一些实例提出了一种应用客户端，如图8所示，该应用客户端800包括如下模块：
全景展示模块801，从应用服务器接收全景图像的数据并展示所述全景图像。
接收模块802，响应于第一用户发表附加内容的操作，接收输入的附加内容 数据.
发送模块803，将所述附加内容数据及所述第一用户的视野朝向数据发送至所述应用服务器，以使所述应用服务器根据所述视野朝向数据确定在一段时间内所述第一用户的视野朝向变化范围，其中，所述一段时间包含所述第一用户发表所述附加内容数据的时间点，使得所述应用服务器或第二应用客户端根据所述视野朝向变化范围和第二用户当前的视野朝向数据确定所述第二应用客户端在展示所述全景图像时是否展示所述附加内容数据。所述第二用户为所述第二应用客户端的使用者。
在一些实例中，该应用客户端800可进一步包括：
确定模块804，响应于所述发表附加内容的操作，确定从发表所述附加内容数据的时间点之前到之后的一段时间内所述第一用户的视野朝向变化范围。其中，发送模块803发送至所述应用服务器的所述视野朝向数据包括所述视野朝向变化范围。
在一些实例中，确定模块804，可进一步确定从发表所述附加内容数据的时间点之前到之后的一段时间内所述第一用户在所述视野朝向变化范围内的停留时间。其中，发送模块803发送至所述应用服务器的所述视野朝向数据进一步包括所述停留时间；所述应用服务器或第二应用客户端根据所述视野朝向变化范围、所述停留时间和所述第二用户当前的视野朝向数据确定所述第二应用客户端在展示所述全景图像时是否展示所述附加内容数据。
在一些实例中，发送模块803每隔一个时间间隔将包括所述第一用户当前视野朝向参数的视野朝向数据发送至所述应用服务器。
上述实例中的应用客户端可将用户发表的附加内容及其相关的视野朝向数据提供给应用服务器，使得应用服务器或者另一应用客户端能够确定该另一应用客户端可展示的附加内容，进而能够改善附加内容的展示效果。
本申请的一些实例还提出了一种应用客户端，如图9所示，该应用客户端900可包括如下模块：
全景展示模块901，从应用服务器接收全景图像的数据并展示所述全景图像。
接收模块902，从所述应用服务器接收至少一份附加内容数据以及发表各份附加内容数据的第一用户在一段时间内的视野朝向变化范围；其中，针对一份附加内容数据，所述一段时间包含发表该份附加内容数据的时间点。
确定模块903，针对每一份附加内容数据，根据该份附加内容数据的所述视野朝向变化范围和第二用户的视野朝向数据确定是否可展示所述附加内容数据。其中，全景展示模块901，展示所述确定的可展示的各份附加内容数据。所述第二用户为所述应用客户端的使用者。
在一些实例中，接收模块902，当从所述应用服务器接收所述附加内容数据及其视野朝向变化范围时，可进一步接收所述附加内容数据的展示方式。全景展示模块901，按所述展示方式展示所述附加内容数据。
在一些实例中，确定模块903，根据所述附加内容数据的所述视野朝向变化范围，进一步确定所述附加内容数据的展示方式；全景展示模块901，按所述展示方式展示所述附加内容数据。
在一些实例中，确定模块903，当该份附加内容数据的所述视野朝向变化范围对应的视觉停留区域覆盖了该第二用户的所述视野朝向数据对应的视觉停留区域时，确定可展示该份附加内容数据。
在一些实例中，接收模块902，当从所述应用服务器接收所述附加内容数据及其视野朝向变化范围时，进一步接收所述视野朝向变化范围的停留时间；确定模块903，当该份附加内容数据的所述视野朝向变化范围对应的视觉停留区域覆盖了该第二用户的所述视野朝向数据对应的视觉停留区域，并且所述视野朝向变化范围对应的停留时间达到预定阈值时，确定可展示该份附加内容数据。
上述实例中的应用客户端可以根据从应用服务器获取的附加内容数据及其视野朝向变化范围，确定当前可展示的附加内容数据，进而能够基于用户的视野朝向有针对性的选择附加内容进行展示。
本申请一些实例提出了一种应用服务器，如图10所示，该应用服务器1000可包括如下模块：
发送模块1001，向多个应用客户端发送全景图像的数据，以使其分别展示所述全景图像.
确定模块1002，当接收到所述多个应用客户端中任一应用客户端上传的第一用户发表的附加内容数据时，接收所述第一用户的视野朝向数据，根据所述视野朝向数据确定在一段时间内所述第一用户的视野朝向变化范围，其中，所述一段时间包含所述第一用户发表所述附加内容数据的时间点。
其中，发送模块1001，将当前已收到的各份附加内容数据和各自的所述第一用户的视野朝向变化范围分别发送给所述多个应用客户端，以使其针对每一份附加内容数据，根据该份附加内容数据的所述视野朝向变化范围和第二用户的视野朝向数据确定是否可展示所述附加内容数据，并展示所述确定的可展示的各份附加内容数据。所述第二用户为接收到附件内容数据的应用客户端的使用者。
在一些实例中，针对每一份附加内容数据，确定模块1002，可进一步根据所述附加内容数据的所述视野朝向变化范围，确定该份附加内容数据的展示方式；发送模块1001，进一步将所述展示方式发送给所述多个应用客户端，以使其按所述展示方式展示该份附加内容数据。
上述实例中的应用服务器可以从各个应用客户端收集各附加内容数据和视野朝向数据，确定各附加内容数据对应的视野朝向变化范围并分发给各应用客户端，使得各应用客户端能够基于视野朝向变化范围选择可展示的附加内容数据，进而改善附加内容展示效果。
本申请实例提出了一种应用服务器，如图11所示，该应用服务器1100可包括如下模块：
发送模块1101，向多个应用客户端发送全景图像的数据，以使其分别展示所述全景图像.
确定模块1102，当接收到所述多个应用客户端中任一应用客户端上传的第一用户发表的附加内容数据时，接收所述第一用户的视野朝向数据，根据所述视野朝向数据确定在一段时间内所述第一用户的视野朝向变化范围，其中，所述一段时间包含所述第一用户发表所述附加内容数据的时间点。
发送模块1101，针对每一个应用客户端执行如下操作：针对当前已收到的每一份附加内容数据，根据该份附加内容数据的所述视野朝向变化范围和第二用户的视野朝向数据确定该应用客户端是否可展示所述附加内容数据，该第二用户为该应用客户端的使用者；将所述确定的该应用客户端可展示的各份附加内容数据发送给该应用客户端，以使其展示所述可展示的各份附加内容数据。
上述实例中的应用服务器可以从各个应用客户端收集各附加内容数据和视野朝向数据，确定各附加内容数据对应的视野朝向变化范围并确定各应用客户端可展示的附加内容数据，进而改善附加内容展示效果。
上述各模块功能的具体实现原理在前文已有描述，这里不再赘述。
另外，在本申请各个实例中的全景图像的展示方法、应用客户端、应用服务器以及其中的各模块可以集成在一个处理单元中，也可以是各个模块单独物理存在，也可以两个或两个以上装置或模块集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
在一些实例中，上述的应用客户端和/或应用服务器可运行在各种可进行全景图像数据处理的计算设备中，并加载在该计算设备的存储器中。
图12示出了上述应用客户端和/或应用服务器所在的计算设备的组成结构图。如图12所示，该计算设备1200包括一个或者多个处理器(CPU)1202、通信模块1204、存储器1206、用户接口1210，以及用于互联这些组件的通信总线1208。
处理器1202可通过通信模块1204接收和发送数据以实现网络通信和/或本地通信。
用户接口1210包括一个或多个输出设备1212，其包括一个或多个扬声器和 /或一个或多个可视化显示器。用户接口1210也包括一个或多个输入设备1214，其包括诸如，键盘，鼠标，声音命令输入单元或扩音器，触屏显示器，触敏输入板，姿势捕获摄像机或其他输入按钮或控件等。
存储器1206可以是高速随机存取存储器，诸如DRAM、SRAM、DDR RAM、或其他随机存取固态存储设备；或者非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存设备，或其他非易失性固态存储设备。
存储器1206存储处理器1202可执行的指令集，包括：
操作系统1216，包括用于处理各种基本系统服务和用于执行硬件相关任务的程序；
应用1218，包括用于实现全景图像数据处理的各种程序，这种程序能够实现上述各实例中的处理流程，比如可以包括图8所示的应用客户端800、图9所示的应用客户端900、图10所示的应用服务器1000和/或图11所示的应用服务器1100。
在一些实例中，应用客户端800可包括图8所示的各模块801～804中的至少个，各模块801～804可以存储有机器可执行指令。处理器1202通过执行存储器1206中各模块801～804中至少一个的机器可执行指令，进而能够实现上述各模块801～804中至少一个的功能。
在一些实例中，应用客户端900可包括图9所示的各模块901～903中的至少一个，各模块901～903可以存储有机器可执行指令。处理器1202通过执行存储器1206中各模块901～903中至少一个的机器可执行指令，进而能够实现上述各模块901～903中至少一个的功能。
在一些实例中，应用服务器1000可包括图10所示的各模块1001～1002中的至少一个，各模块1001～1002中的至少一个可以存储有机器可执行指令。处理器1202通过执行存储器1206中各模块1001～1002中至少一个的机器可执行指令，进而能够实现上述各模块1001～1002中至少一个的功能。
在一些实例中，应用服务器1100可包括图11所示的各模块1101～1102中的 至少一个，各模块1101～1102中的至少一个可以存储有机器可执行指令。处理器1202通过执行存储器1206中各模块1101～1102中至少一个的机器可执行指令，进而能够实现上述各模块1101～1102中至少一个的功能。
另外，本申请的每一个实例可以通过由数据处理设备如计算机执行的数据处理程序来实现。显然，数据处理程序构成了本发明。此外，通常存储在一个存储介质中的数据处理程序通过直接将程序读取出存储介质或者通过将程序安装或复制到数据处理设备的存储设备(如硬盘和或内存)中执行。因此，这样的存储介质也构成了本发明。存储介质可以使用任何类型的记录方式，例如纸张存储介质(如纸带等)、磁存储介质(如软盘、硬盘、闪存等)、光存储介质(如CD-ROM等)、磁光存储介质(如MO等)等。
因此本申请还公开了一种非易失性存储介质，其中存储有数据处理程序，该数据处理程序用于执行本申请上述方法的任何一种实例。
另外，本申请所述的方法步骤除了可以用数据处理程序来实现，还可以由硬件来实现，例如，可以由逻辑门、开关、专用集成电路(ASIC)、可编程逻辑控制器和嵌微控制器等来实现。因此这种可以实现本申请所述方法的硬件也可以构成本申请。
以上所述仅为本申请的较佳实例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (18)

  1. 一种全景图像的展示方法，应用于第一应用客户端，该方法包括：
    从应用服务器接收全景图像的数据并展示所述全景图像；
    响应于第一用户发表附加内容的操作，接收输入的附加内容数据；
    将所述附加内容数据及所述第一用户的视野朝向数据发送至所述应用服务器，以使所述应用服务器根据所述视野朝向数据确定在一段时间内所述第一用户的视野朝向变化范围，其中，所述一段时间包含所述第一用户发表所述附加内容数据的时间点，使得所述应用服务器或第二应用客户端根据所述视野朝向变化范围和第二用户当前的视野朝向数据，确定所述第二应用客户端在展示所述全景图像时是否展示所述附加内容数据，所述第二用户为所述第二应用客户端的使用者。
  2. 根据权利要求1所述的方法，进一步包括：响应于所述发表附加内容的操作，确定从发表所述附加内容数据的时间点之前至之后的所述一段时间内所述第一用户的视野朝向变化范围；
    其中，发送至所述应用服务器的所述视野朝向数据包括所述视野朝向变化范围。
  3. 根据权利要求2所述的方法，进一步包括：
    确定从发表所述附加内容数据的时间点之前至之后的所述一段时间内所述第一用户在所述视野朝向变化范围内的停留时间；
    其中，发送至所述应用服务器的所述视野朝向数据进一步包括所述停留时间；
    其中，所述应用服务器或第二应用客户端根据所述视野朝向变化范围、所述停留时间和所述第二用户当前的视野朝向数据，确定所述第二应用客户端在展示所述全景图像时是否展示所述附加内容数据。
  4. 根据权利要求1所述的方法，其中，所述将所述第一用户的视野朝向数据发送至所述应用服务器，包括：每隔一个时间间隔将所述第一用户当前的视 野朝向数据发送至所述应用服务器，所述当前的视野朝向数据包括所述第一用户当前视野朝向的相关数据。
  5. 一种全景图像的展示方法，应用于应用客户端，该方法包括：
    从应用服务器接收全景图像的数据并展示所述全景图像；
    从所述应用服务器接收至少一份附加内容数据以及发表各份附加内容数据的第一用户在一段时间内的视野朝向变化范围；其中，针对一份附加内容数据，发表该份附加内容数据的第一用户对应的所述一段时间包含发表该份附加内容数据的时间点；
    针对每一份附加内容数据，根据该份附加内容数据的所述视野朝向变化范围和第二用户的视野朝向数据确定是否展示该份附加内容数据，所述第二用户为所述应用客户端的使用者；
    展示所确定的可展示的各份附加内容数据。
  6. 根据权利要求5所述的方法，进一步包括：
    当从所述应用服务器接收所述至少一份附加内容数据及相应的视野朝向变化范围时，进一步接收所述至少一份附加内容数据的展示方式；
    其中，按所述展示方式展示所确定的可展示的各份附加内容数据。
  7. 根据权利要求5所述的方法，进一步包括：
    根据所述至少一份附加内容数据的所述视野朝向变化范围，确定所述至少一份附加内容数据的展示方式；
    其中，按所述展示方式展示所确定的可展示的各份附加内容数据。
  8. 根据权利要求6所述的方法，其中，所述展示所确定的可展示的各份附加内容数据，包括：
    对于可展示的任一份附加内容数据，当该分附加内容数据对应的展示方式指示该份附加内容是静止的时，以静态的方式展示该份附加内容数据；
    对于可展示的任一份附加内容数据，当该分附加内容数据对应的展示方式指示该份附加内容是指向性的时，确定指向方向，根据所述指向方向并以动态 的方式展示该份附加内容数据。
  9. 根据权利要求8所述的方法，其中，所述确定指向方向包括：根据接收到的多份附加内容数据的所述视野朝向变化范围确定所述指向方向。
  10. 根据权利要求9所述的方法，其中，所述根据接收到的多份附加内容数据的所述视野朝向变化范围确定所述指向方向，包括：
    根据所述多份附加内容数据的所述视野朝向变化范围，确定所述第一用户中多数者的视野移动方向并将其作为所述指向方向。
  11. 根据权利要求9所述的方法，其中，所述根据接收到的多份附加内容数据的所述视野朝向变化范围确定所述指向方向，包括：
    根据所述多份附加内容数据的所述视野朝向变化范围，确定所述第一用户中指定类型者的视野移动方向并将其作为所述指向方向。
  12. 根据权利要求5所述的方法，其中，所述根据该份附加内容数据的所述视野朝向变化范围和所述应用客户端当前第二用户的视野朝向数据确定是否展示该份附加内容数据，包括：
    当该份附加内容数据的所述视野朝向变化范围对应的视觉停留区域覆盖了所述第二用户的所述视野朝向数据对应的视觉停留区域时，确定展示该份附加内容数据。
  13. 根据权利要求12所述的方法，进一步包括：当从所述应用服务器接收该份附加内容数据及其视野朝向变化范围时，进一步接收所述视野朝向变化范围的停留时间；
    其中，所述根据该份附加内容数据的所述视野朝向变化范围和第二用户的视野朝向数据确定是否展示该份附加内容数据，包括：当该份附加内容数据的所述视野朝向变化范围对应的视觉停留区域覆盖了所述第二用户的所述视野朝向数据对应的视觉停留区域，并且所述视野朝向变化范围对应的累计停留时间达到预定阈值时，确定展示该份附加内容数据。
  14. 一种全景图像的展示控制方法，应用于应用服务器，该方法包括：
    向多个应用客户端发送全景图像的数据，以使各应用客户端分别展示所述全景图像；
    接收所述多个应用客户端中任一应用客户端上传的第一用户发表的附加内容数据和所述第一用户的视野朝向数据；
    根据所述视野朝向数据确定在一段时间内所述第一用户的视野朝向变化范围，其中，所述一段时间包含所述第一用户发表所述附加内容数据的时间点；
    将已收到的各份附加内容数据和各自对应的所述第一用户的视野朝向变化范围发送给所述多个应用客户端，以使所述多个应用客户端中任一应用客户端针对接收的每一份附加内容数据，根据该份附加内容数据的所述视野朝向变化范围和第二用户的视野朝向数据，确定是否展示所述附加内容数据，并展示所确定的可展示的各份附加内容数据，所述第二用户为该应用客户端的使用者。
  15. 根据权利要求14所述的方法，进一步包括：
    针对来自所述多个应用客户端的每一份附加内容数据，根据该份附加内容数据的所述视野朝向变化范围，确定该份附加内容数据的展示方式，并将所述展示方式发送给所述多个应用客户端，以使各应用客户端按所述展示方式展示该份附加内容数据。
  16. 一种全景图像的展示控制方法，应用于应用服务器，该方法包括：
    向多个应用客户端发送全景图像的数据，以使各应用客户端分别展示所述全景图像；
    接收所述多个应用客户端中任一应用客户端上传的第一用户发表的附加内容数据和所述第一用户的视野朝向数据；
    根据所述视野朝向数据确定在一段时间内所述第一用户的视野朝向变化范围，其中，所述一段时间包含所述第一用户发表所述附加内容数据的时间点；
    针对任一应用客户端执行如下操作：
    针对已收到的任一份附加内容数据，根据该份附加内容数据的所述视野朝向变化范围和第二用户的视野朝向数据确定该应用客户端是否展示所述附加内 容数据，所述第二用户为该应用客户端的使用者，
    将所述确定的该应用客户端可展示的各份附加内容数据发送给该应用客户端，以使其展示所述可展示的各份附加内容数据。
  17. 一种计算设备，包括：处理器和存储器；所述存储器中存储有计算机可读指令，可以使所述处理器执行如权利要求1-16中任一项所述的方法。
  18. 一种非易失性存储介质，存储有数据处理程序，所述数据处理程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行权利要求1-16中任一项所述方法的指令。
PCT/CN2018/088923 2017-06-21 2018-05-30 全景图像的展示方法、展示控制方法、计算设备及存储介质 Ceased WO2018233459A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201710474090.1 2017-06-21
CN201710474090.1A CN108924534B (zh) 2017-06-21 2017-06-21 全景图像的展示方法、客户端、服务器及存储介质

Publications (1)

Publication Number Publication Date
WO2018233459A1 true WO2018233459A1 (zh) 2018-12-27

Family

ID=64402793

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/088923 Ceased WO2018233459A1 (zh) 2017-06-21 2018-05-30 全景图像的展示方法、展示控制方法、计算设备及存储介质

Country Status (2)

Country Link
CN (1) CN108924534B (zh)
WO (1) WO2018233459A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110231867A (zh) * 2019-05-31 2019-09-13 重庆爱奇艺智能科技有限公司 在虚拟现实设备中调整弹幕的显示属性的方法和装置
CN111369320A (zh) * 2020-03-05 2020-07-03 中国建设银行股份有限公司 车辆展示方法及系统
CN113271411B (zh) * 2021-04-17 2024-02-27 圆周率科技(常州)有限公司 一种查看全景图像的方法和播放设备
CN114372843A (zh) * 2021-12-08 2022-04-19 深圳元戎启行科技有限公司 乘车站点定位方法、装置、移动设备和存储介质
CN116260986A (zh) * 2021-12-10 2023-06-13 华为技术有限公司 自由视角视频的弹幕的显示方法、装置及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105898375A (zh) * 2016-07-01 2016-08-24 上海幻电信息科技有限公司 一种弹幕推送系统及推送方法
US20160301862A1 (en) * 2015-04-10 2016-10-13 Finwe Oy Method and system for tracking an interest of a user within a panoramic visual content
CN106385587A (zh) * 2016-09-14 2017-02-08 三星电子（中国）研发中心 分享虚拟现实视角的方法、装置及系统
CN106878786A (zh) * 2017-03-07 2017-06-20 北京小米移动软件有限公司 Vr视频中弹幕的显示方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106331879B (zh) * 2016-08-26 2019-12-31 传线网络科技（上海）有限公司 基于全景视频的弹幕显示方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160301862A1 (en) * 2015-04-10 2016-10-13 Finwe Oy Method and system for tracking an interest of a user within a panoramic visual content
CN105898375A (zh) * 2016-07-01 2016-08-24 上海幻电信息科技有限公司 一种弹幕推送系统及推送方法
CN106385587A (zh) * 2016-09-14 2017-02-08 三星电子（中国）研发中心 分享虚拟现实视角的方法、装置及系统
CN106878786A (zh) * 2017-03-07 2017-06-20 北京小米移动软件有限公司 Vr视频中弹幕的显示方法和装置

Also Published As

Publication number Publication date
CN108924534B (zh) 2020-03-17
CN108924534A (zh) 2018-11-30

Similar Documents

Publication Publication Date Title
US11303881B2 (en) Method and client for playing back panoramic video
US11770599B2 (en) Techniques to set focus in camera in a mixed-reality environment with hand gesture interaction
US20260056697A1 (en) Guided Collaborative Viewing of Navigable Image Content
US10425679B2 (en) Method and device for displaying information on video image
WO2018233459A1 (zh) 全景图像的展示方法、展示控制方法、计算设备及存储介质
CN107911737B (zh) 媒体内容的展示方法、装置、计算设备及存储介质
US10770113B2 (en) Methods and system for customizing immersive media content
EP3258698A1 (en) Server, user terminal device, and control method therefor
CN111683260A (zh) 基于虚拟主播的节目视频生成方法、系统和存储介质
WO2019019232A1 (zh) 基于vr头戴设备播放视频的方法及vr头戴设备
WO2020244078A1 (zh) 足球比赛特效展示系统、方法及计算机装置
WO2020259498A1 (zh) 媒体处理方法、装置、系统和可读存储介质
WO2020206647A1 (zh) 跟随用户运动控制播放视频内容的方法和装置
WO2021088973A1 (zh) 直播流显示方法、装置、电子设备及可读存储介质
CN111314777B (zh) 视频生成方法及装置、计算机存储介质、电子设备
CN108156529B (zh) 一种数据展示方法、装置及系统
CN112511866A (zh) 媒体资源播放及文本渲染方法、装置、设备和存储介质
CN121218005A (zh) 视频生成方法、电子设备、计算机可读存储介质、计算机程序产品
CN116962651A (zh) 一种xr虚拟拍摄的动态投影方法、装置、服务器及系统
CN116896648A (zh) 虚拟现实直播连麦方法、系统、装置、设备及存储介质
HK1256833A1 (zh) 一种数据展示方法、装置及系统
JP2015070417A (ja) 通信システム、情報処理装置、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18821431

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18821431

Country of ref document: EP

Kind code of ref document: A1