WO2017092335A1 - 一种显示立体图像的处理方法和装置 - Google Patents

一种显示立体图像的处理方法和装置 Download PDF

Info

Publication number
WO2017092335A1
WO2017092335A1 PCT/CN2016/089273 CN2016089273W WO2017092335A1 WO 2017092335 A1 WO2017092335 A1 WO 2017092335A1 CN 2016089273 W CN2016089273 W CN 2016089273W WO 2017092335 A1 WO2017092335 A1 WO 2017092335A1
Authority
WO
WIPO (PCT)
Prior art keywords
thread
image
scene
stereoscopic image
generate
Prior art date
Application number
PCT/CN2016/089273
Other languages
English (en)
French (fr)
Inventor
胡雪莲
Original Assignee
乐视控股（北京）有限公司
乐视致新电子科技（天津）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 乐视控股（北京）有限公司, 乐视致新电子科技（天津）有限公司 filed Critical 乐视控股（北京）有限公司
Priority to US15/246,386 priority Critical patent/US20170155890A1/en
Publication of WO2017092335A1 publication Critical patent/WO2017092335A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps

Definitions

  • the present invention relates to the field of virtual reality technologies, and in particular, to a method for processing a stereoscopic image and a processing device for displaying a stereoscopic image.
  • VR Virtual Reality
  • mobile terminals have also developed rapidly.
  • binocular stereo vision plays a big role. Specifically, different images seen by the user's two eyes are separately generated and displayed on different display screens.
  • two image frames of the same scene with certain aberrations are displayed on the left and right screens on the mobile terminal; after wearing special glasses, one eye can only see odd frame images. The other eye can only see the even frame image, and the difference between the odd frame and the even frame is the parallax.
  • the user displays an image of the left and right eyes on the screen of the mobile terminal through special glasses to form a stereoscopic image.
  • a VR system based on a mobile terminal drawing an image frame of the same scene requires real-time rendering of the left and right eye images, and inverse distortion and inverse dispersion calculation to obtain better image quality.
  • the VR system based on the mobile terminal usually performs image rendering of the left and right eyes, and calculation tasks such as anti-distortion and anti-dispersion are serially executed in the same thread.
  • the inventor found in the process of implementing the present invention that the image rendering of the left and right eyes, the calculation task of the anti-distortion and the anti-dispersion are complicated, and the calculation amount is large, so that the stereoscopic image cannot be generated quickly, that is, the frame rate of the stereoscopic image is displayed by the mobile terminal. Lower.
  • the technical problem to be solved by the embodiments of the present invention is to provide a processing method for displaying a stereoscopic image, solving the problem that the mobile terminal generates a stereoscopic image slowly, and improving the frame rate of the stereoscopic image displayed by the mobile terminal.
  • the embodiment of the invention further provides a processing device for displaying a stereoscopic image, which is used to ensure the implementation and application of the above method.
  • an embodiment of the present invention discloses a method for processing a stereoscopic image, including:
  • the first thread and the second thread are synchronously executed to generate stereoscopic image data corresponding to the scene, wherein the first thread is used to generate a rendered image, and the second thread is used to Draw;
  • Playing the stereoscopic image data displays corresponding stereoscopic image data.
  • the embodiment of the invention further discloses a processing device for displaying a stereoscopic image, comprising:
  • a thread creation module for creating a first thread and a second thread
  • a stereoscopic image data generating module configured to synchronously execute the first thread and the second thread to generate stereoscopic image data corresponding to the scene, wherein the first thread is used to generate a rendered image, and the second a thread is used to draw the rendered image;
  • a stereoscopic image display module configured to display the stereoscopic image data to display corresponding stereoscopic image data.
  • An embodiment of the present invention provides a computer program comprising computer readable code, when the computer readable code is run on a mobile terminal, causing the mobile terminal to perform the above-described processing method of displaying a stereoscopic image.
  • Embodiments of the present invention provide a computer readable medium in which the above computer program is stored.
  • the embodiments of the invention include the following advantages:
  • the first thread and the second thread may be executed in parallel during image rendering, so that stereoscopic image data of each scene may be quickly generated.
  • the first thread after the first thread generates the rendered image of the current scene, the first thread continues to generate the next field.
  • the rendered image of the scene is simultaneously drawn by the second thread to the rendered image of the current scene, and the stereoscopic image data of the current scene is generated, thereby improving the rendering efficiency of the stereoscopic image and achieving the purpose of real-time rendering; and improving the frame of the stereoscopic image displayed by the mobile terminal. rate.
  • FIG. 1 is a flow chart showing the steps of an embodiment of a method for processing a stereoscopic image according to the present invention
  • FIG. 2 is a flow chart showing the steps of a preferred embodiment of a method for processing a stereoscopic image according to the present invention
  • FIG. 3 is a schematic diagram of synchronous execution of a first thread and a second thread in an embodiment of the present invention
  • FIG. 4A is a structural block diagram of an embodiment of a processing apparatus for displaying a stereoscopic image according to the present invention
  • 4B is a structural block diagram of a preferred embodiment of a processing apparatus for displaying a stereoscopic image according to the present invention
  • Figure 5 shows schematically a block diagram of a mobile terminal for performing the method according to the invention
  • Fig. 6 schematically shows a storage unit for holding or carrying program code implementing the method according to the invention.
  • One of the core concepts of the embodiments of the present invention is that, in the process of image rendering, the first thread and the second thread are executed in parallel, so that stereoscopic image data corresponding to the scene can be quickly generated.
  • the first thread is used to generate a rendered image
  • the second thread is used to The rendered image is rendered.
  • FIG. 1 is a flow chart showing the steps of a method for processing a stereoscopic image according to the present invention. Specifically, the method may include the following steps:
  • Step 101 Create a first thread and a second thread.
  • the VR system needs to render the data frames (also referred to as image frames) of each scene in real time, generate a rendered image, and perform inverse distortion and inverse on the rendered image. Dispersion processing can get better image quality.
  • the VR system based on the mobile terminal can create multiple threads, execute in parallel through multiple threads, and fully utilize the time of the Central Processing Unit (CPU), so that the stereo can be quickly generated. image.
  • CPU Central Processing Unit
  • the mobile terminal refers to a computer device that can be used in the mobile, such as a smart phone, a notebook computer, a tablet computer, etc., which is not limited in this embodiment of the present invention.
  • a computer device that can be used in the mobile, such as a smart phone, a notebook computer, a tablet computer, etc., which is not limited in this embodiment of the present invention.
  • the embodiments of the present invention are described in detail with reference to the embodiments of the present invention, but should not be construed as limiting the embodiments of the present invention.
  • the mobile phone-based VR system may pre-create two threads, put the image rendering calculation in one of the threads, mark the thread as the first thread, and may also inversely distorte the anti-dispersion. The calculation is placed in another thread and labeled as the second thread.
  • the foregoing step 101 may be specifically: when the image rendering command is detected, creating the first thread and the second thread based on the image rendering command.
  • Step 103 During the image rendering process, the first thread and the second thread are synchronously executed to generate stereoscopic image data corresponding to the scene.
  • the first thread may be used to generate a rendered image
  • the second thread may be used to render the rendered image.
  • the mobile phone-based VR system can generate stereoscopic image data by executing the first thread and the second thread in parallel, that is, executing the first thread and the second thread synchronously.
  • the mobile phone-based VR system can render the data frame of the first scene by using the first thread to generate a rendered image of the first scene.
  • the mobile phone-based VR system can render the current scene through the first thread to generate a rendered image of the current scene, and can also draw the rendered image of the previous scene through the second thread to generate the previous one.
  • the mobile phone-based VR system performs image rendering on the second field (ie, the current scene) through the first thread to generate a rendered image of the first scene;
  • the first scene ie the previous scene
  • the rendered image is drawn to generate stereoscopic image data corresponding to the first scene.
  • the processing method for displaying the stereoscopic image may further include: before the first thread and the second thread are synchronously executed, and generating the stereoscopic image data corresponding to the scene, the first thread may render the data frame of the first scene to generate the first A rendered image of a scene.
  • the step of synchronously executing the first thread and the second thread to generate the stereoscopic image data corresponding to the scene may include: starting from the second scene, the first thread rendering the data frame of the current scene, and simultaneously The second thread draws the rendered image of the previous scene to generate stereoscopic image data corresponding to the previous scene.
  • Step 105 Play the stereoscopic image data to display corresponding stereoscopic image data.
  • the stereoscopic graphic data can be played, and the corresponding stereoscopic image data is displayed on the display screen, that is, the corresponding stereoscopic image is displayed on the display screen.
  • the image data is equivalent to displaying a stereoscopic image corresponding to each scene.
  • the embodiment of the present invention creates a first thread and a second thread, wherein the first thread is used to generate a rendered image, the second thread is used to draw a rendered image, and the image rendering and the anti-distortion and inverse dispersion calculation are separated into two independent threads.
  • the first thread and the second thread are synchronously executed to generate stereoscopic image data corresponding to the scene, that is, the stereoscopic image data is generated by executing the first thread and the second thread in parallel, thereby saving the time of generating the stereoscopic image data. Therefore, the stereoscopic image can be quickly generated, and the frame rate of the stereoscopic image displayed by the mobile terminal is improved.
  • FIG. 2 a flow chart of steps of a method for processing a stereoscopic image according to the present invention is shown. Specifically, the method may include the following steps:
  • Step 201 When an image rendering command is detected, the first thread and the second thread are created based on the image rendering command.
  • the mobile phone may automatically generate an image rendering command, and may also generate a raw image rendering command based on the user's operation, which is not limited in the embodiment of the present invention.
  • the mobile phone-based VR system may process the image rendering command, that is, create the first thread and the second thread based on the image rendering command, such as calling the preset interface creation based on the image rendering command.
  • the first thread may be used to generate a rendered image
  • the second thread may be used to render the rendered image.
  • Step 203 The first thread renders a data frame of the first scene to generate a first scene. Render the image.
  • Step 205 Starting from the second scenario, the first thread renders a data frame of the current scene, and the second thread draws a rendered image of the previous scene to generate stereoscopic image data corresponding to the previous scene.
  • the mobile phone-based VR system can separate image rendering and anti-distortion and anti-dispersion calculation into two independent threads, and execute the first thread and the second thread step by step. It is possible to quickly generate stereoscopic images.
  • the first thread renders the data frame of the first scene to generate a rendered image of the first scene.
  • the second thread draws the rendered image of the first scene, such as rendering the first scene.
  • the image is subjected to anti-distortion and inverse dispersion calculation to generate a stereoscopic image corresponding to the first scene.
  • the first thread After the first thread renders the data frame of the second scene, it continues to render the data frame of the third scene, and so on, until the data frames of all the scenes are rendered. Similarly, after the second thread draws the rendered image of the first scene, it continues to draw the rendered image of the second scene, and so on, until the number of rendered images of all scenes is drawn.
  • the step of rendering the data frame of the scene by the first thread may include the following sub-steps:
  • Sub-step 20511 two data frames of the scene are acquired.
  • the mobile phone-based VR system usually displays image frames of the same scene with certain aberrations on the left and right screens of the mobile phone display screen.
  • the user can view the left and right eye images displayed on the same screen through the special glasses to form a stereoscopic image. Therefore, in the process of image rendering, the first thread can acquire two data frames of the same scene, where one data frame is the first data frame and the other data frame is the second data frame.
  • the frame number of the data frame is an odd number
  • the number of data frames may be determined as the first data frame, for example, the data frame with the frame number of 1 or 3 is determined as the first data frame.
  • the number of data frames may be determined as the second data frame, for example, the data frame with the frame number of 2 or 4 is determined as the second data frame.
  • sub-step 2013 is performed; when the data frame is the second data frame, sub-step 20515 is performed.
  • Sub-step 20513 performing off-screen rendering on the first data frame to generate a first rendered image.
  • Sub-step 20515 performing off-screen rendering on the second data frame to generate a second rendered image.
  • the mobile phone-based VR system can generate a rendered image during the image rendering process.
  • the image is divided into a first rendered image and a second rendered image.
  • the first rendered image may refer to a rendered image generated by rendering the first data frame; and the second rendered image may be a rendered image generated by rendering the second data frame.
  • the VR system may use the first rendered image for display of the right eye image and the second rendered image for display of the left eye image; of course, the first rendered image may also be used for display of the left eye image, and the second rendered image
  • the embodiment of the present invention does not limit this.
  • the embodiment of the present invention will be described as an example of the present invention.
  • the first rendered image is used for the display of the left-eye image and the second rendered image is used for the display of the right-eye image.
  • the mobile phone-based VR system may further save the generated first rendered image in the first off-screen buffer and save the generated second rendered image in the second off-screen buffer.
  • the first thread may save the generated rendered image in a buffer in the graphics card cache, such as an off-screen buffer.
  • the first thread renders the first data frame, and renders the first data frame into a frame buffer, which is equivalent to generating a first rendered image, so that the first rendered image can be saved in the frame.
  • the first off-screen buffer that is, the first rendered image generated by the first thread is placed in the off-screen buffer corresponding to the left eye.
  • the first thread renders the second data frame, generates a second rendered image, and saves the second rendered image in the second off-screen buffer, that is, the second rendered image generated by the second thread can be placed.
  • the right eye corresponds to the off-screen buffer.
  • the step of the second thread to render the rendered image of the scene, and the step of generating the stereoscopic image data corresponding to the scene may specifically include the following sub-steps:
  • Sub-step 20521 acquiring a first rendered image from the first off-screen buffer and acquiring a second rendered image from the second off-screen buffer.
  • the generated rendered image is saved in the corresponding off-screen buffer, that is, the first rendered image is saved in the first off-screen buffer, and the second rendered image is saved in the second off-screen buffer. Buffer.
  • the second thread may acquire the first rendered image of the drawn scene from the first off-screen buffer, and may also acquire the second rendered image of the drawn scene from the first off-screen buffer.
  • Sub-step 20521 invoking a preset algorithm to perform inverse distortion inverse dispersion calculation on the first rendered image and the second rendered image to generate the stereoscopic image data.
  • the second thread can call an algorithm preset by the VR system, such as anti-distortion
  • the inverse dispersion algorithm performs inverse distortion inverse dispersion calculation on the first rendered image and the second rendered image, that is, uses VR system parameters, such as lens optical parameters, left and right lens distance, screen and lens distance, lens and eye distance, and the like,
  • the rendered image is drawn to generate stereoscopic image data corresponding to the drawn scene.
  • the stereoscopic image data includes left screen display data and right screen display data.
  • the sub-step 20521 may specifically include: calling the algorithm to perform inverse distortion inverse dispersion calculation on the first rendered image to generate left-screen display data; and calling the algorithm to perform inverse distortion inverse dispersion calculation on the second rendered image to generate a right-screen display. data.
  • the second thread when the rendered image is the first rendered image, the second thread performs an inverse distortion inverse dispersion calculation on the rendered image to produce a left screen display data.
  • the second thread performs an anti-distortion inverse dispersion calculation on the rendered image to produce a right-screen display data.
  • Step 207 Play the stereoscopic image data to display corresponding stereoscopic image data.
  • stereoscopic image data that is, displaying the left screen display data and the right screen display data generated by the second thread on the display screen.
  • the VR system based on the mobile phone can separate the image rendering and the anti-distortion and the anti-dispersion calculation into two independent threads, and the stereoscopic image data generation can be saved by performing the first thread and the second thread step by step.
  • the time can increase the frame rate of the stereoscopic image displayed by the mobile terminal, thereby reducing the high delay caused by the overall one-time rendering, and solving the problem of dizziness of the user due to the delay of the rendered image, thereby improving the user experience.
  • FIG. 4A a structural block diagram of an embodiment of a processing apparatus for displaying a stereoscopic image according to the present invention is shown, which may specifically include the following modules:
  • the thread creation module 401 can be used to create a first thread and a second thread.
  • the stereoscopic image data generating module 403 can be used to synchronously execute the image during the image rendering process.
  • a thread and a second thread generate stereoscopic image data corresponding to the scene.
  • the first thread may be used to generate a rendered image
  • the second thread may be used to render the rendered image
  • the stereoscopic image display module 405 can be configured to play the stereoscopic image data to display corresponding stereoscopic image data.
  • the thread creation module 401 may be specifically configured to create the first thread and the second thread based on the image rendering command when an image rendering command is detected.
  • the stereoscopic image data generating module 403 may include a rendering submodule 40301 and a rendering submodule 40303, with reference to FIG. 4B.
  • the rendering sub-module 40301 can be used to trigger the first thread to render the data frame of the scene to generate a rendered image of the scene.
  • the rendering sub-module 40301 can comprise the following elements:
  • the data frame obtaining unit 403011 is configured to acquire two data frames of the scene.
  • An off-screen rendering unit 403013 configured to perform off-screen rendering of the first data frame to generate a first rendered image when the data frame is the first data frame; and, when the data frame is the second data frame And performing off-screen rendering on the second data frame to generate a second rendered image.
  • the rendered image saving unit 403015 is configured to save the generated first rendered image in the first off-screen buffer and save the generated second rendered image in the second off-screen buffer.
  • the drawing sub-module 40303 can be configured to trigger the second thread to draw the rendered image of the scene, and generate stereoscopic image data corresponding to the scene.
  • drawing submodule 40303 may include the following units:
  • the rendered image obtaining unit 403031 is configured to acquire a first rendered image from the first off-screen buffer and acquire a second rendered image from the second off-screen buffer.
  • the anti-distortion inverse dispersion calculation unit 403033 is configured to call a preset algorithm to perform inverse distortion inverse dispersion calculation on the first rendered image and the second rendered image to generate the stereoscopic image data.
  • the stereoscopic image data may include left screen display data and right screen display data.
  • the anti-distortion inverse dispersion calculation unit 403033 may be specifically configured to invoke the algorithm to perform inverse distortion inverse dispersion calculation on the first rendered image to generate left-screen display data; and perform inverse distortion inverse dispersion calculation on the second rendered image to generate a right The screen displays the data.
  • embodiments of the embodiments of the invention may be provided as a method, apparatus, or computer program product.
  • embodiments of the invention may be in the form of an entirely hardware embodiment, an entirely software embodiment, or a combination of software and hardware.
  • embodiments of the invention may take the form of a computer program product embodied on one or more computer usable storage media (including but not limited to disk storage, CD-ROM, optical storage, etc.) including computer usable program code.
  • FIG. 5 illustrates that a mobile terminal in accordance with the present invention can be implemented.
  • the mobile terminal conventionally includes a processor 510 and a computer program product or computer readable medium in the form of a memory 520.
  • the memory 520 may be an electronic memory such as a flash memory, an EEPROM (Electrically Erasable Programmable Read Only Memory), an EPROM, a hard disk, or a ROM.
  • Memory 520 has a memory space 530 for program code 531 for performing any of the method steps described above.
  • storage space 530 for program code may include various program code 531 for implementing various steps in the above methods, respectively.
  • the program code can be read from or written to one or more computer program products.
  • These computer program products include program code carriers such as hard disks, compact disks (CDs), memory cards or floppy disks.
  • Such computer program products are typically portable or fixed storage units as described with reference to FIG.
  • the storage unit may have a storage section, a storage space, and the like arranged similarly to the storage 520 in the mobile terminal of FIG.
  • the program code can be compressed, for example, in an appropriate form.
  • the storage unit comprises computer readable code 531 'is a code readable by a processor, such as 510, which when executed by the mobile terminal causes the mobile terminal to perform each of the methods described above step.
  • Embodiments of the invention are described with reference to flowchart illustrations and/or block diagrams of methods, terminal devices (systems), and computer program products according to embodiments of the invention. It will be understood that each flow and/or block of the flowchart illustrations and/or FIG.
  • These computer program instructions can be provided to general purpose computers, Using a computer, embedded processor or other programmable data processing terminal device processor to generate a machine such that instructions executed by a processor of a computer or other programmable data processing terminal device are used to implement a flow in a flowchart or A plurality of processes and/or block diagrams of means for a function specified in a block or blocks.
  • the computer program instructions can also be stored in a computer readable memory that can direct a computer or other programmable data processing terminal device to operate in a particular manner, such that the instructions stored in the computer readable memory produce an article of manufacture comprising the instruction device.
  • the instruction device implements the functions specified in one or more blocks of the flowchart or in a flow or block of the flowchart.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)

Abstract

一种显示立体图像的处理方法和装置，该方法包括：创建第一线程和第二线程；在图像渲染的过程中，同步执行第一线程和第二线程，生成场景对应的立体图像数据，其中，所述第一线程用于生成渲染图像，所述第二线程用于对所述渲染图像进行绘制；播放所述立体图像数据显示相应的立体图像数据。显示立体图像的处理方法通过并行执行第一线程和第二线程，从而可以快速生成各场景的立体图像数据，提高立体图像的渲染效率，达到实时渲染的目的；并提高移动终端显示立体图像的帧率。

Description

一种显示立体图像的处理方法和装置
本申请要求在2015年12月1日提交中国专利局、申请号为201510869736.7、发明名称为“一种显示立体图像的处理方法和装置”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本发明涉及虚拟现实技术领域，特别是涉及一种显示立体图像的处理方法和一种显示立体图像的处理装置。
背景技术
随着虚拟现实(Virtual Reality，VR)技术的发展，基于移动终端的虚拟现实系统也迅速的发展起来。在VR系统中，双目立体视觉起了很大作用。具体的，用户的两只眼睛看到的不同图像是分别产生的，并显示在不同的显示屏上。在基于移动终端的VR系统中，通过在移动终端上左右分屏显示有一定像差的同一场景的两个图像帧；用户在戴上特殊的眼镜后，一只眼睛只能看到奇数帧图像，另一只眼睛只能看到偶数帧图像，奇数帧、偶数帧之间的不同也就是视差就产生了立体感。简单而言，基于移动终端的VR系统，用户通过特殊的眼镜观看在移动终端的屏幕上显示左右眼的图像，形成立体图像。
在基于移动终端的VR系统中，绘制同一场景的图像帧需要实时对左右眼的图像进行渲染，并加以反畸变、反色散计算，才能取得较好的图像质量。基于移动终端的VR系统，通常把左右眼的图像渲染，以及反畸变、反色散等计算任务放在同一个线程中串行执行。发明人在实现本发明的过程中发现：由于左右眼的图像渲染，以及反畸变、反色散的计算任务复杂，并且计算量大，导致立体图像不能快速生成，即移动终端显示立体图像的帧率较低。
发明内容
本发明实施例所要解决的技术问题是提供一种显示立体图像的处理方法，解决移动终端生成立体图像慢的问题，提高移动终端显示立体图像的帧率。
相应的，本发明实施例还提供了一种显示立体图像的处理装置，用以保证上述方法的实现及应用。
为了解决上述问题，本发明实施例公开了一种显示立体图像的处理方法，包括：
创建第一线程和第二线程；
在图像渲染的过程中，同步执行第一线程和第二线程，生成场景对应的立体图像数据，其中，所述第一线程用于生成渲染图像，所述第二线程用于对所述渲染图像进行绘制；
播放所述立体图像数据显示相应的立体图像数据。
相应的，本发明实施例还公开了一种显示立体图像的处理装置，包括：
线程创建模块，用于创建第一线程和第二线程；
立体图像数据生成模块，用于在图像渲染的过程中，同步执行第一线程和第二线程，生成场景对应的立体图像数据，其中，所述第一线程用于生成渲染图像，所述第二线程用于对所述渲染图像进行绘制；
立体图像显示模块，用于播放所述立体图像数据显示相应的立体图像数据。
本发明实施例提供一种计算机程序，其包括计算机可读代码，当所述计算机可读代码在移动终端上运行时，导致所述移动终端执行上述的显示立体图像的处理方法。
本发明实施例提供一种计算机可读介质，其中存储了上述的计算机程序。
与现有技术相比，本发明实施例包括以下优点：
本发明实施例可以在图像渲染的过程中，通过并行执行第一线程和第二线程，从而可以快速生成各场景的立体图像数据。具体的，本发明实施例可以在第一线程生成当前场景的渲染图像后，通过第一线程继续生成下一个场 景的渲染图像，同时通过第二线程对当前场景的渲染图像进行绘制，生成当前场景的立体图像数据，从而提高立体图像的渲染效率，达到实时渲染的目的；并提高移动终端显示立体图像的帧率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明的一种显示立体图像的处理方法实施例的步骤流程图；
图2是本发明的一种显示立体图像的处理方法优选实施例的步骤流程图；
图3是本发明实施例中第一线程和第二线程同步执行的示意图；
图4A是本发明的一种显示立体图像的处理装置实施例的结构框图；
图4B是本发明的一种显示立体图像的处理装置优选实施例的结构框图；
图5示意性地示出了用于执行根据本发明的方法的移动终端的框图；以及
图6示意性地示出了用于保持或者携带实现根据本发明的方法的程序代码的存储单元。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
针对上述问题，本发明实施例的核心构思之一在于，在图像渲染的过程中，通过并行执行第一线程和第二线程，从而可以快速生成场景对应的立体图像数据。其中，所述第一线程用于生成渲染图像，所述第二线程用于对所 述渲染图像进行绘制。
参照图1，示出了本发明的一种显示立体图像的处理方法实施例的步骤流程图，具体可以包括如下步骤：
步骤101，创建第一线程和第二线程。
在基于移动终端的VR系统中，在显示屏显示立体图像之前，VR系统需要实时对各场景的数据帧(也称为图像帧)进行渲染，生成渲染图像，并对渲染图像进行反畸变、反色散处理，才能获得比较好的图像质量。为了提高移动终端显示立体图像的帧率，基于移动终端的VR系统可以创建多个线程，通过多个线程并行执行，充分发挥利用中央处理器(Central Processing Unit，CPU)时间，从而可以快速生成立体图像。需要说明的是，移动终端是指可以在移动中使用的计算机设备，例如智能手机、笔记本电脑、平板电脑等，本发明实施例对此不作限制。本发明实施例将以手机为例，对本发明实施例进行详细描述，但不应将此作为对本发明实施例的限制。
作为本发明实施例的一个具体示例，基于手机的VR系统可以预先创建两个线程，将图像渲染的计算放在其中一个线程，将该线程标注为第一线程；还可以将反畸变反色散的计算放在另一个线程，并标注为第二线程。
可选的，上述步骤101具体可以是在检测到图像渲染命令时，基于所述图像渲染命令创建所述第一线程和第二线程。
步骤103，在图像渲染的过程中，同步执行第一线程和第二线程，生成场景对应的立体图像数据。
其中，所述第一线程可以用于生成渲染图像，所述第二线程可以用于对所述渲染图像进行绘制。在图像渲染的过程中，基于手机的VR系统可以通过并行执行第一线程和第二线程，即同步执行第一线程和第二线程，生成立体图像数据。具体的，基于手机的VR系统可以通过第一线程对第一个场景的数据帧进行渲染，生成第一个场景的渲染图像。从第二个场景开始，基于手机的VR系统可以通过第一线程对当前场景进行渲染，生成当前场景的渲染图像，同时还可以通过第二线程对上一个场景的渲染图像进行绘制，生成上一个场景对应的立体图像数据。以当前场景为第二个场景为例，基于手机的VR系统通过第一线程对第二个场(即当前场景)进行图像渲染，生成第一个场景的渲染图像；同时，通过第二线程对第一个场景(即上一个场景) 的渲染图像进行绘制，生成第一个场景对应的立体图像数据。
可选的，显示立体图像的处理方法在同步执行第一线程和第二线程，生成场景对应的立体图像数据之前，还可以包括：第一线程对第一个场景的数据帧进行渲染，生成第一个场景的渲染图像。相应的，同步执行第一线程和第二线程，生成场景对应的立体图像数据的步骤具体可以包括：从第二个场景开始，所述第一线程对当前场景的数据帧进行渲染，同时所述第二线程对上一个场景的渲染图像进行绘制，生成上一个场景对应的立体图像数据。
步骤105，播放所述立体图像数据显示相应的立体图像数据。
具体而言，基于手机的VR系统在第二线程生成立体图像后，就可以对该立体图形数据进行播放，在显示屏上显示相应的立体图像数据，即在显示屏上显示各场景对应的立体图像数据，相当于显示各场景对应的立体图像。
本发明实施例通过创建第一线程和第二线程，其中第一线程用于生成渲染图像，第二线程用于绘制渲染图像，将图像渲染与反畸变、反色散计算分离到两个独立的线程中；在图像渲染的过程中，同步执行第一线程和第二线程，生成场景对应的立体图像数据，即通过并行执行第一线程和第二线程生产立体图像数据，节省立体图像数据生成的时间，从而可以快速生成立体图像，提高移动终端显示立体图像的帧率。
参照图2，示出了本发明的一种显示立体图像的处理方法实施例的步骤流程图，具体可以包括如下步骤：
步骤201，当检测到图像渲染命令时，基于所述图像渲染命令创建所述第一线程和第二线程。
具体而言，在基于手机的VR系统需要对场景的图像帧进行渲染时，手机可以自动生成图像渲染命令，也可以基于用户的操作生成生图像渲染命令，本发明实施例对此不作限制。
在检测到图像渲染命令时，基于手机的VR系统可以对该图像渲染命令进行处理，即基于该图像渲染命令创建第一线程和第二线程，如基于该图像渲染命令调用预置的接口创建第一线程和第二线程。其中，所述第一线程可以用于生成渲染图像，所述第二线程可以用于对所述渲染图像进行绘制。
步骤203，第一线程对第一个场景的数据帧进行渲染，生成第一个场景的 渲染图像。
步骤205，从第二个场景开始，所述第一线程对当前场景的数据帧进行渲染，同时所述第二线程对上一个场景的渲染图像进行绘制，生成上一个场景对应的立体图像数据。
在图像渲染的过程中，如图3所示，基于手机的VR系统可以将图像渲染与反畸变、反色散计算分离到两个独立的线程中，通过并步执行第一线程和第二线程，就可以快速生成立体图像。具体的，第一线程对第一个场景的数据帧进行渲染，生成第一场景的渲染图像。第一线程渲染完第一个场景的数据帧后，继续对第二个场景的数据帧进行渲染；同时，第二线程对第一个场景的渲染图像进行绘制，如对第一个场景的渲染图像进行反畸变、反色散计算，生成第一个场景对应的立体图像。第一线程渲染完第二个场景的数据帧后，继续对第三个场景的数据帧进行渲染······如此类推，直到渲染完所有场景的数据帧。同理，第二线程绘制完第一个场景的渲染图像后，继续对第二个场景的渲染图像进行绘制······如此类推，直到绘制完所有场景的数渲染图像。
在本发明的一种优选实施例中，第一线程对场景的数据帧进行渲染的步骤可以包括如下子步骤：
子步骤20511，获取场景的两个数据帧。
具体的，基于手机的VR系统通常在手机显示屏上左右分屏显示具有一定像差的同一场景的图像帧。这样，用户通过特殊眼镜可以观看在同一屏幕上显示的左右眼图像，形成立体图像。因此，在图像渲染的过程中，第一线程可以获取同一场景的两个数据帧，其中一个数据帧为第一数据帧，另一个数据帧为第二数据帧。当数据帧的帧号为奇数时，可以将该数据帧数确定为第一数据帧，如将帧号为1或者3的数据帧确定为第一数据帧。当数据帧的帧号为偶数时，可以将该数据帧数确定为第二数据帧，如将帧号为2或者4的数据帧确定为第二数据帧。当数据帧为第一数据帧时，执行子步骤2013；当数据帧为第二数据帧时，执行子步骤20515。
子步骤20513，对所述第一数据帧进行离屏渲染，生成第一渲染图像。
子步骤20515，对所述第二数据帧进行离屏渲染，生成第二渲染图像。
具体的，基于手机的VR系统可以在图像渲染过程中，将生成的渲染图 像分为第一渲染图像和第二渲染图像。其中，第一渲染图像可以是指对第一数据帧进行渲染所生成的渲染图像；第二渲染图像可以是指对第二数据帧进行渲染所生成的渲染图像。VR系统可以将第一渲染图像用于右眼图像的显示，将第二渲染图像用于左眼图像的显示；当然也可以将第一渲染图像用于左眼图像的显示，将第二渲染图像用于右眼图像的显示，本发明实施例对此不作限制。后文将以第一渲染图像用于左眼图像的显示，第二渲染图像用于右眼图像的显示为例，对本发明实施例进行描述，但不应将此作为本发明实施例的限制。
可选的，基于手机的VR系统还可以将所生成的第一渲染图像保存在第一离屏缓冲区，以及将所生成的第二渲染图像保存在第二离屏缓冲区。
在本发明实施例中，第一线程在完成数据帧的渲染后，可以把所生产的渲染图像保存在显卡缓存中的一块缓存区(buffer)，如离屏缓冲区。具体的，第一线程对第一数据帧进行渲染，把该第一数据帧渲染到一个帧缓冲区(frame buffer)中，相当于生成第一渲染图像，从而可以将该第一渲染图像保存在第一离屏缓冲区，即将第一线程所生成的第一渲染图像放在左眼对应的离屏buffer中。同理，第一线程对第二数据帧进行渲染，生成第二渲染图像，将该第二渲染图像保存在第二离屏缓冲区，即可以将第二线程所生成的第二渲染图像放在右眼对应的离屏buffer中。
在本发明的一种优选实施例中，第二线程对场景的渲染图像进行绘制，生成场景对应的立体图像数据的步骤具体可以包括如下子步骤：
子步骤20521，从所述第一离屏缓冲区获取第一渲染图像，以及从所述第二离屏缓冲区获取第二渲染图像。
当第一线程完成数据帧的渲染后，其所生成的渲染图像保存在相应的离屏buffer中，即第一渲染图像保存在第一离屏缓冲区，第二渲染图像保存在第二离屏缓冲区。在绘制场景的渲染图像时，第二线程可以从第一离屏缓冲区获取所绘制场景的第一渲染图像，以及还可以从第一离屏缓冲区获取所绘制场景的第二渲染图像。
子步骤20521，调用预置的算法对所述第一渲染图像和第二渲染图像进行反畸变反色散计算，生成所述立体图像数据。
在具体实现中，第二线程可以通过调用VR系统预置的算法，如反畸变、 反色散算法，对第一渲染图像和第二渲染图像进行反畸变反色散计算，即采用VR系统参数，如透镜光学参数、左右透镜距离、屏幕与透镜距离、透镜与眼睛距离等参数，对场景的渲染图像进行绘制，生成所绘制场景对应的立体图像数据。
可选的，立体图像数据包括左屏显示数据和右屏显示数据。上述子步骤20521具体可以包括：调用所述算法对第一渲染图像进行反畸变反色散计算，生成左屏显示数据；调用所述算法对第二渲染图像进行反畸变反色散计算，生成右屏显示数据。
具体的，在渲染图像为第一渲染图像时，第二线程对渲染图像进行反畸变反色散计算，生产左屏显示数据。在渲染图像为第二渲染图像时，第二线程对渲染图像进行反畸变反色散计算，生产右屏显示数据。
步骤207，播放所述立体图像数据显示相应的立体图像数据。
在基于手机的VR系统中，通过播放立体图像数据，即在显示屏上显示第二线程所生成的左屏显示数据和右屏显示数据，就可以生成各场景对应的立体图像。
在本发明实施例中，基于手机的VR系统可以将图像渲染与反畸变、反色散计算分离到两个独立的线程中，通过并步执行第一线程和第二线程，可以节省立体图像数据生成的时间，从而可以提高移动终端显示立体图像的帧率，进而可以减轻整体一次性渲染造成的高延迟现象，同时解决了由于渲染图像延迟而导致用户眩晕的问题，提高了用户体验。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
参照图4A，示出了本发明一种显示立体图像的处理装置实施例的结构框图，具体可以包括如下模块：
线程创建模块401，可以用于创建第一线程和第二线程。
立体图像数据生成模块403，可以用于在图像渲染的过程中，同步执行第 一线程和第二线程，生成场景对应的立体图像数据。
其中，所述第一线程可以用于生成渲染图像，所述第二线程可以用于对所述渲染图像进行绘制。
立体图像显示模块405，可以用于播放所述立体图像数据显示相应的立体图像数据。
在本发明的一种优选实施例中，该线程创建模块401可以具体用于在检测到图像渲染命令时，基于所述图像渲染命令创建所述第一线程和第二线程。
在图4A的基础上，可选的，立体图像数据生成模块403可以包括渲染子模块40301和绘制子模块40303，参照图4B。
其中，渲染子模块40301，可以用于触发第一线程对场景的数据帧进行渲染，生成场景的渲染图像。
在本发明的一种优选实施例中，渲染子模块40301可以包括如下单元：
数据帧获取单元403011，用于获取场景的两个数据帧。
离屏渲染单元403013，用于当数据帧为第一数据帧时，对所述第一数据帧进行离屏渲染，生成第一渲染图像；以及，还用于当数据帧为第二数据帧时，对所述第二数据帧进行离屏渲染，生成第二渲染图像。
渲染图像保存单元403015，用于将所生成的第一渲染图像保存在第一离屏缓冲区，以及将所生成的第二渲染图像保存在第二离屏缓冲区。
绘制子模块40303，可以用于触发第二线程对场景的渲染图像进行绘制，生成场景对应的立体图像数据。
可选的，绘制子模块40303可以包括如下单元：
渲染图像获取单元403031，用于从所述第一离屏缓冲区获取第一渲染图像，以及从所述第二离屏缓冲区获取第二渲染图像。
反畸变反色散计算单元403033，用于调用预置的算法对所述第一渲染图像和第二渲染图像进行反畸变反色散计算，生成所述立体图像数据。
在本发明的一种优选实施例中，立体图像数据可以包括左屏显示数据和右屏显示数据。反畸变反色散计算单元403033，可以具体用于调用所述算法对第一渲染图像进行反畸变反色散计算，生成左屏显示数据；以及，对第二渲染图像进行反畸变反色散计算，生成右屏显示数据。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较 简单，相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
例如，图5示出了可以实现根据本发明的移动终端。该移动终端传统上包括处理器510和以存储器520形式的计算机程序产品或者计算机可读介质。存储器520可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。存储器520具有用于执行上述方法中的任何方法步骤的程序代码531的存储空间530。例如，用于程序代码的存储空间530可以包括分别用于实现上面的方法中的各种步骤的各个程序代码531。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。这些计算机程序产品包括诸如硬盘，紧致盘(CD)、存储卡或者软盘之类的程序代码载体。这样的计算机程序产品通常为如参考图6所述的便携式或者固定存储单元。该存储单元可以具有与图5的移动终端中的存储器520类似布置的存储段、存储空间等。程序代码可以例如以适当形式进行压缩。通常，存储单元包括计算机可读代码531’，即可以由例如诸如510之类的处理器读取的代码，这些代码当由移动终端运行时，导致该移动终端执行上面所描述的方法中的各个步骤。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专 用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个......”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本发明所提供的一种显示立体图像的处理方法和一种显示立体图像的处理装置，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及 其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (16)

  1. 一种显示立体图像的处理方法，其特征在于，包括：
    创建第一线程和第二线程；
    在图像渲染的过程中，同步执行第一线程和第二线程，生成场景对应的立体图像数据，其中，所述第一线程用于生成渲染图像，所述第二线程用于对所述渲染图像进行绘制；
    播放所述立体图像数据显示相应的立体图像数据。
  2. 根据权利要求1所述的方法，其特征在于，所述同步执行第一线程和第二线程，生成场景对应的立体图像数据之前，还包括：
    所述第一线程对第一个场景的数据帧进行渲染，生成第一个场景的渲染图像；
    所述同步执行第一线程和第二线程，生成场景对应的立体图像数据，包括：
    从第二个场景开始，所述第一线程对当前场景的数据帧进行渲染，同时所述第二线程对上一个场景的渲染图像进行绘制，生成上一个场景对应的立体图像数据。
  3. 根据权利要求1或2所述的方法，其特征在于，所述创建第一线程和第二线程，包括：
    当检测到图像渲染命令时，基于所述图像渲染命令创建所述第一线程和第二线程。
  4. 根据权利要求2所述的方法，其特征在于，所述第一线程对场景的数据帧进行渲染的步骤包括：
    获取场景的两个数据帧；
    当数据帧为第一数据帧时，对所述第一数据帧进行离屏渲染，生成第一渲染图像；
    当数据帧为第二数据帧时，对所述第二数据帧进行离屏渲染，生成第二渲染图像。
  5. 根据权利要求4所述的方法，其特征在于，所述方法还包括：
    将所生成的第一渲染图像保存在第一离屏缓冲区，以及将所生成的第二渲染图像保存在第二离屏缓冲区。
  6. 根据权利要求5所述的方法，其特征在于，所述第二线程对场景的渲染图像进行绘制，生成场景对应的立体图像数据的步骤，包括：
    从所述第一离屏缓冲区获取第一渲染图像，以及从所述第二离屏缓冲区获取第二渲染图像；
    调用预置的算法对所述第一渲染图像和第二渲染图像进行反畸变反色散计算，生成所述立体图像数据。
  7. 根据权利要求6所述的方法，其特征在于，所述立体图像数据包括左屏显示数据和右屏显示数据；
    所述调用预置的算法对所述第一渲染图像和第二渲染图像进行反畸变反色散计算，生成所述立体图像数据的步骤包括：
    调用所述算法对第一渲染图像进行反畸变反色散计算，生成左屏显示数据；
    调用所述算法对第二渲染图像进行反畸变反色散计算，生成右屏显示数据。
  8. 一种显示立体图像的处理装置，其特征在于，包括：
    线程创建模块，用于创建第一线程和第二线程；
    立体图像数据生成模块，用于在图像渲染的过程中，同步执行第一线程和第二线程，生成场景对应的立体图像数据，其中，所述第一线程用于生成渲染图像，所述第二线程用于对所述渲染图像进行绘制；
    立体图像显示模块，用于播放所述立体图像数据显示相应的立体图像数据。
  9. 根据权利要求8所述的装置，其特征在于，所述立体图像数据生成模块包括：
    渲染子模块，用于触发第一线程对场景的数据帧进行渲染，生成场景的渲染图像；
    绘制子模块，用于触发第二线程对场景的渲染图像进行绘制，生成场景对应的立体图像数据。
  10. 根据权利要求8或9所述的装置，其特征在于，所述线程创建模块，具体用于当检测到图像渲染命令时，基于所述图像渲染命令创建所述第一线程和第二线程。
  11. 根据权利要求9所述的装置，其特征在于，所述渲染子模块包括：
    数据帧获取单元，用于获取场景的两个数据帧；
    离屏渲染单元，用于当数据帧为第一数据帧时，对所述第一数据帧进行离屏渲染，生成第一渲染图像；以及，还用于当数据帧为第二数据帧时，对所述第二数据帧进行离屏渲染，生成第二渲染图像。
  12. 根据权利要求11所述的装置，其特征在于，所述渲染子模块还包括：
    渲染图像保存单元，用于将所生成的第一渲染图像保存在第一离屏缓冲区，以及将所生成的第二渲染图像保存在第二离屏缓冲区。
  13. 根据权利要求12所述的装置，其特征在于，所述绘制子模块，包括：
    渲染图像获取单元，用于从所述第一离屏缓冲区获取第一渲染图像，以及从所述第二离屏缓冲区获取第二渲染图像；
    反畸变反色散计算单元，用于调用预置的算法对所述第一渲染图像和第二渲染图像进行反畸变反色散计算，生成所述立体图像数据。
  14. 根据权利要求13所述的装置，其特征在于，所述立体图像数据包括左屏显示数据和右屏显示数据；
    所述反畸变反色散计算单元，具体用于调用所述算法对第一渲染图像进行反畸变反色散计算，生成左屏显示数据；以及，对第二渲染图像进行反畸变反色散计算，生成右屏显示数据。
  15. 一种计算机程序，包括计算机可读代码，当所述计算机可读代码在移动终端上运行时，导致所述移动终端执行根据权利要求1-7中的任一个所述的显示立体图像的处理方法。
  16. 一种计算机可读介质，其中存储了如权利要求15所述的计算机程序。
PCT/CN2016/089273 2015-12-01 2016-07-07 一种显示立体图像的处理方法和装置 WO2017092335A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/246,386 US20170155890A1 (en) 2015-12-01 2016-08-24 Method and device for stereoscopic image display processing

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201510869736.7 2015-12-01
CN201510869736.7A CN105979243A (zh) 2015-12-01 2015-12-01 一种显示立体图像的处理方法和装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/246,386 Continuation US20170155890A1 (en) 2015-12-01 2016-08-24 Method and device for stereoscopic image display processing

Publications (1)

Publication Number Publication Date
WO2017092335A1 true WO2017092335A1 (zh) 2017-06-08

Family

ID=56988379

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2016/089273 WO2017092335A1 (zh) 2015-12-01 2016-07-07 一种显示立体图像的处理方法和装置

Country Status (2)

Country Link
CN (1) CN105979243A (zh)
WO (1) WO2017092335A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108573524A (zh) * 2018-04-12 2018-09-25 东南大学 基于渲染管线的交互式实时自由立体显示方法
CN111862314A (zh) * 2020-07-23 2020-10-30 苏州浪潮智能科技有限公司 一种自动驾驶仿真渲染方法、装置、设备及可读介质
CN112313699A (zh) * 2019-05-24 2021-02-02 京东方科技集团股份有限公司 控制虚拟现实显示设备的方法及其装置
CN113608613A (zh) * 2021-07-30 2021-11-05 建信金融科技有限责任公司 虚拟现实互动方法、装置、电子设备及计算机可读介质
CN114979766A (zh) * 2022-05-11 2022-08-30 深圳市大头兄弟科技有限公司 音视频的合成方法、装置、设备及存储介质

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106502641A (zh) * 2016-09-18 2017-03-15 北京小鸟看看科技有限公司 Vr设备的开机画面的显示方法和头戴式3d显示器
CN107526167A (zh) * 2016-11-30 2017-12-29 深圳市虚拟现实技术有限公司 基于刻度对应的景深激光优化的方法及装置
CN109558187B (zh) * 2017-09-27 2022-08-23 斑马智行网络(香港)有限公司 一种用户界面渲染方法及装置
CN107945138B (zh) * 2017-12-08 2020-04-03 京东方科技集团股份有限公司 一种图片处理方法和装置
CN110335200A (zh) * 2018-03-29 2019-10-15 腾讯科技（深圳）有限公司 一种虚拟现实反畸变方法、装置以及相关设备
CN110346932B (zh) * 2018-04-02 2024-04-02 京东方科技集团股份有限公司 显示方法、显示装置
CN111612881B (zh) * 2019-02-22 2023-05-16 深圳晶源信息技术有限公司 多层集成电路图形的多线程渲染方法、系统及电子设备
CN109920040B (zh) * 2019-03-01 2023-10-27 京东方科技集团股份有限公司 显示场景处理方法和装置、存储介质
CN111812691B (zh) * 2019-04-11 2023-09-12 北京魔门塔科技有限公司 一种车载终端及图像帧检测处理方法、装置
CN110069313B (zh) * 2019-04-29 2022-04-29 珠海豹好玩科技有限公司 图像切换方法、装置、电子设备及存储介质
CN111681179A (zh) * 2020-05-22 2020-09-18 浙江大华技术股份有限公司 屏端显示方法、装置、计算机设备和计算机可读存储介质
CN112230776A (zh) * 2020-10-29 2021-01-15 北京京东方光电科技有限公司 虚拟现实显示方法、装置及存储介质
CN113473105A (zh) * 2021-06-01 2021-10-01 青岛小鸟看看科技有限公司 图像同步方法、图像显示及处理设备、及图像同步系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101271584A (zh) * 2008-04-11 2008-09-24 威盛电子股份有限公司 可编程图形处理单元计算核心的常量缓冲的方法和系统
CN102981809A (zh) * 2012-12-28 2013-03-20 上海创图网络科技发展有限公司 一种多线程环境下基于消息的无同步3d渲染方法
US8493399B1 (en) * 2012-01-10 2013-07-23 Google Inc. Multiprocess GPU rendering model
CN104090753A (zh) * 2014-06-13 2014-10-08 北京奇艺世纪科技有限公司 一种移动终端的视频渲染系统
CN104102488A (zh) * 2014-07-18 2014-10-15 无锡梵天信息技术股份有限公司 一种基于多线程并行化的3d引擎系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1414795A (zh) * 2001-10-22 2003-04-30 矽统科技股份有限公司 在视窗中显示立体动画的装置及方法
US8207962B2 (en) * 2007-06-18 2012-06-26 Mediatek Inc. Stereo graphics system based on depth-based image rendering and processing method thereof
CN101976183B (zh) * 2010-09-27 2012-02-22 广东威创视讯科技股份有限公司 一种多窗口图像同时更新时图像更新的方法及装置
CN103294453B (zh) * 2012-02-24 2017-02-22 华为技术有限公司 图像处理方法和图像处理设备
CN102651142B (zh) * 2012-04-16 2016-03-16 深圳超多维光电子有限公司 图像渲染方法和装置
CN103559730B (zh) * 2013-11-20 2016-08-31 广州博冠信息科技有限公司 一种渲染方法及装置
CN103699364B (zh) * 2013-12-24 2016-09-21 四川川大智胜软件股份有限公司 一种基于并行绘制技术的三维图形渲染方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101271584A (zh) * 2008-04-11 2008-09-24 威盛电子股份有限公司 可编程图形处理单元计算核心的常量缓冲的方法和系统
US8493399B1 (en) * 2012-01-10 2013-07-23 Google Inc. Multiprocess GPU rendering model
CN102981809A (zh) * 2012-12-28 2013-03-20 上海创图网络科技发展有限公司 一种多线程环境下基于消息的无同步3d渲染方法
CN104090753A (zh) * 2014-06-13 2014-10-08 北京奇艺世纪科技有限公司 一种移动终端的视频渲染系统
CN104102488A (zh) * 2014-07-18 2014-10-15 无锡梵天信息技术股份有限公司 一种基于多线程并行化的3d引擎系统

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108573524A (zh) * 2018-04-12 2018-09-25 东南大学 基于渲染管线的交互式实时自由立体显示方法
CN108573524B (zh) * 2018-04-12 2022-02-08 东南大学 基于渲染管线的交互式实时自由立体显示方法
CN112313699A (zh) * 2019-05-24 2021-02-02 京东方科技集团股份有限公司 控制虚拟现实显示设备的方法及其装置
CN111862314A (zh) * 2020-07-23 2020-10-30 苏州浪潮智能科技有限公司 一种自动驾驶仿真渲染方法、装置、设备及可读介质
CN111862314B (zh) * 2020-07-23 2022-05-13 苏州浪潮智能科技有限公司 一种自动驾驶仿真渲染方法、装置、设备及可读介质
CN113608613A (zh) * 2021-07-30 2021-11-05 建信金融科技有限责任公司 虚拟现实互动方法、装置、电子设备及计算机可读介质
CN113608613B (zh) * 2021-07-30 2023-06-23 建信金融科技有限责任公司 虚拟现实互动方法、装置、电子设备及计算机可读介质
CN114979766A (zh) * 2022-05-11 2022-08-30 深圳市大头兄弟科技有限公司 音视频的合成方法、装置、设备及存储介质
CN114979766B (zh) * 2022-05-11 2023-11-21 深圳市闪剪智能科技有限公司 音视频的合成方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN105979243A (zh) 2016-09-28

Similar Documents

Publication Publication Date Title
WO2017092335A1 (zh) 一种显示立体图像的处理方法和装置
US9142010B2 (en) Image enhancement based on combining images from multiple cameras
US10935788B2 (en) Hybrid virtual 3D rendering approach to stereovision
US20130169760A1 (en) Image Enhancement Methods And Systems
JP2016509245A (ja) マルチディスプレイデバイス上での低レイテンシイメージ表示
US10878530B2 (en) Display method and display device
US20150049079A1 (en) Techniques for threedimensional image editing
US20170155890A1 (en) Method and device for stereoscopic image display processing
TWI709331B (zh) 經由多視圖壓縮/解壓縮減少記憶體頻寬的系統與方法
US10802786B2 (en) Content sharing methods and apparatuses
US11379952B1 (en) Foveated image capture for power efficient video see-through
WO2018000620A1 (zh) 一种数据展示方法及装置、虚拟现实设备与播放控制器
US10043302B2 (en) Method and apparatus for realizing boot animation of virtual reality system
US9380189B2 (en) Method of providing information configuration function in video play device and video play device
US20240135501A1 (en) Video generation method and apparatus, device and medium
US20200294209A1 (en) Camera feature removal from stereoscopic content
WO2019114653A1 (zh) 一种导航引导图的生成方法和装置
WO2013112295A1 (en) Image enhancement based on combining images from multiple cameras
WO2016107531A1 (zh) 一种图像转换方法及装置
TWI723119B (zh) 相機應用的圖像預覽方法、裝置及相機應用系統
WO2018000610A1 (zh) 一种基于图像类型判断的自动播放方法和电子设备
US11327562B2 (en) Method and apparatus for tracking eye based on eye reconstruction
US20130286007A1 (en) Apparatus and method for displaying stereo-scopic image in electronic device
JP5556493B2 (ja) 表示装置、表示方法およびプログラム
TW202243468A (zh) 3d顯示系統與3d顯示方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16869648

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16869648

Country of ref document: EP

Kind code of ref document: A1