WO2013123789A1 - 图像处理方法和图像处理设备 - Google Patents

图像处理方法和图像处理设备 Download PDF

Info

Publication number
WO2013123789A1
WO2013123789A1 PCT/CN2012/085329 CN2012085329W WO2013123789A1 WO 2013123789 A1 WO2013123789 A1 WO 2013123789A1 CN 2012085329 W CN2012085329 W CN 2012085329W WO 2013123789 A1 WO2013123789 A1 WO 2013123789A1
Authority
WO
WIPO (PCT)
Prior art keywords
layer
data source
dimensional
user
image processing
Prior art date
Application number
PCT/CN2012/085329
Other languages
English (en)
French (fr)
Inventor
张�杰
余亮罡
Original Assignee
华为技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 华为技术有限公司 filed Critical 华为技术有限公司
Publication of WO2013123789A1 publication Critical patent/WO2013123789A1/zh
Priority to US14/462,082 priority Critical patent/US20140354633A1/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/361—Reproducing mixed stereoscopic images; Reproducing mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background

Definitions

  • Embodiments of the present invention relate to the field of image applications, and more particularly, to image processing methods and image processing devices.
  • Two Dimension (2D) and Three Dimension (3D) fusion scenes are a common display scene in the terminal, which can be applied to advertisements, movie on demand, visual chat, and the like.
  • the commonly used technique for realizing 2D and 3D fusion scenes is to render the input content and generate a 3D data source uniformly.
  • the 2D part of the scene can only be simulated by the corresponding 3D part, for example
  • Embodiments of the present invention provide an image processing method and an image processing device, which can improve rendering processing efficiency.
  • an image processing method including: determining a UI element of a 2-dimensional layer in a user scene and a UI element of a 3-dimensional layer; and performing rendering processing on the UI element of the 2-dimensional layer to obtain the UI element a data source of the UI element of the 2D layer, and rendering the UI element of the 3D layer to obtain a data source of the UI element of the 3D layer; and the data source of the UI element of the 2D layer
  • the data source of the UI element of the 3D layer is synthesized to obtain a data source of 2D and 3D fusion.
  • an image processing apparatus including: a determining unit, configured to determine a user interface UI element of a 2D layer in a user scene and a UI element of a 3D layer; a rendering unit, configured to the 2D
  • the UI element of the layer performs rendering processing to obtain a data source of the UI element of the 2D layer, and performs rendering processing on the UI element of the 3D layer to obtain a data source of the UI element of the 3D layer;
  • the data source of the UI element of the 2D layer is combined with the data source of the UI element of the 3D layer to obtain a data source of 2D and 3D fusion.
  • the data source of the UI element of the 2D layer and the 3D layer are respectively obtained. After the data source of the UI element, the data source of the 2D and 3D fusion is acquired, which can improve the rendering processing efficiency.
  • FIG. 1 is a schematic flowchart of an image processing method according to an embodiment of the present invention.
  • FIG. 2 is a schematic flow chart of a process of an image processing method according to an embodiment of the present invention.
  • FIG. 3 is a block diagram showing the structure of an image processing apparatus according to an embodiment of the present invention.
  • the scenes of the two-dimensional and three-dimensional fusions are in the same display scene, and there are two-dimensional display scenes and three-dimensional display scenes.
  • the image in the ad can be a 3D display and the text can be a 2D display.
  • the images in the video can be 3D
  • the text can be 2D.
  • the 3-dimensional display scene may refer to a three-dimensional display scene of the eye, and the main principle is formed by using the parallax of the left eye and the right eye of the user.
  • the results of the left and right eyes of the user are different. If the image seen by the user's left eye and the image seen by the right eye are simultaneously transmitted to the user's brain at the same frequency, the brain will be based on the left eye and the right. The image of the eye reconstructs the real 3D image in the physical space.
  • FIG. 1 is a schematic flowchart of an image processing method according to an embodiment of the present invention. The method of Figure 1 is performed by an image processing device.
  • UI 110 Determine a user interface (UI) element of the 2D layer and a UI element of the 3D layer in the user scene.
  • UI user interface
  • the image processing device may determine, according to the label information, a UI element of the 2-dimensional layer and a UI element of the 3-dimensional layer in the user scene, where the label information may be used to indicate the user scene.
  • the UI element in the UI belongs to a 2D layer or a 3D layer. It should be understood that, in the embodiment of the present invention, the image processing device may further determine the UI element of the 2-dimensional layer and the UI element of the 3-dimensional layer in the user scene according to the indication information that can distinguish the UI elements. limited.
  • the label information may be a configuration file, or may be an Extensible Markup Language (XML)/Hypertext Markup Language (HTML) file for describing a UI element.
  • the label information may be any other information that can be used to indicate that the UI element in the user scene belongs to the 2D layer or the 3D layer.
  • the label information may be the number "0" and "1".
  • the number "0" can be used to indicate the UI element of the 2D layer
  • the number "" can be used to indicate the UI element of the 3D layer.
  • the label information can also be "True” and "False”, for example “True” can be used to indicate The UI element of the 2D layer, “False”, can be used to indicate the UI element of the 3D layer. This embodiment of the present invention does not limit this.
  • the image processing device may process the UI elements of the 2D layer using a monocular virtual camera to generate a buffer picture in the range of the user's left and right eye lines of sight.
  • the display can take a picture of the UI element of the 2D layer using a monocular virtual camera to generate a 2-dimensional buffer picture within the left and right eye line of sight of the user, that is, a data source of the UI element of the 2D layer.
  • the rendering processing of the UI element of the 2D layer by the image processing apparatus may also be any other manner capable of generating a 2-dimensional buffer picture in the range of the left and right eye lines of the user. This embodiment of the invention is not limited thereto.
  • the image processing device may process the UI elements of the 3-dimensional layer using a binocular virtual camera to generate buffer pictures for the left and right eyes of the user, respectively.
  • the image processing apparatus may photograph the UI elements of the 3-dimensional layer using a binocular virtual camera to generate a buffer image for the left eye and the right eye of the user, that is, a data source of the UI element of the 3-dimensional layer.
  • the rendering processing of the UI element of the 3-dimensional layer by the image processing device may also be any other manner capable of generating a buffer picture for the left eye and the right eye of the user respectively.
  • the image processing apparatus may generate an image with parallax for the left and right eyes of the user using an algorithm in the prior art. Buffer picture. This embodiment of the present invention does not limit this.
  • the image processing device may write the data source of the UI element of the 2D layer and the data source of the UI element of the 3D layer into the same data frame.
  • the image processing device may combine the buffer picture corresponding to the UI element of the 2D layer in step 120 with the buffer picture corresponding to the UI element of the 3D layer to obtain a synthesized picture frame.
  • the image processing apparatus may also acquire a data source of two-dimensional and three-dimensional fusion using any other data source capable of synthesizing the data elements of the UI elements of the 2D layer and the UI elements of the 3D layer. This embodiment of the present invention does not limit this.
  • the image processing device may further display the 2D and 3D fused scenes based on the 2D and 3D fused data sources.
  • an image processing device can be based on 2D and 3D fused data sources, through a lenticular lens
  • the manner in which the image processing device displays the 2D and 3D fused scenes based on the 2D and 3D fused data sources may also be any implementation in the prior art, which is not limited by the embodiment of the present invention. Therefore, in the embodiment of the present invention, since the data source of the UI element of the 2D layer and the data source of the UI element of the 3D layer are respectively acquired, the 2D display scene in the 2D and 3D fusion scene is 2 The data source of the UI element of the dimension layer is implemented by the simulation of the UI element of the 3D layer in the prior art. Therefore, the 2D display scene in the embodiment of the present invention is not affected by the UI element position or The limitation of the motion can enhance the display effect of the 2D and 3D fusion scenes.
  • the data source of the UI element of the 2D layer and the 3D layer are respectively obtained.
  • the data source of the UI element After the data source of the UI element, the data source of the 2D and 3D fusion is acquired, which can improve the rendering processing efficiency.
  • the limitation of the position of the UI element in the prior art can be avoided, thereby enabling Improve the flexibility of UI design and improve end-to-end processing efficiency and engine rendering performance.
  • FIG. 2 is a schematic flow chart of a process of an image processing method according to an embodiment of the present invention.
  • step 210 the image processing device determines, according to the tag information, whether the UI element in the user scene belongs to a 2D layer or a 3D layer.
  • the tag information may be a configuration file or may be attribute information in an xml/html file for describing a UI element.
  • the tag information can be a label for 2D and 3D layers.
  • the tag information can be a label for 2D and 3D layers.
  • add a Surface3D tag to the child nodes in the head tag of html 5, and record the IDentification of the UI elements belonging to the 3D layer in html 5.
  • the image processing device uses a binocular virtual camera to take a picture of the UI element corresponding to the ID recorded in the Surface3D tag.
  • step 210 If it is determined in step 210 that the UI element belongs to the 3-dimensional layer based on the tag information, then go to step 220 to generate a buffer picture for the left eye and the right eye by binocular virtual camera processing.
  • step 210 If it is determined in step 210 that the UI element belongs to the 2-dimensional layer based on the tag information, then go to step 230 to generate a buffer picture in the range of the left and right eye line of sight by the monocular virtual camera process.
  • step 240 the image processing device combines the buffer picture corresponding to the UI element of the 3-dimensional layer in step 220 with the buffer picture corresponding to the UI element of the 2-dimensional layer in step 230, and obtains 2D and 3D. Converged graph frames.
  • the image processing device may reverse-process the buffer image corresponding to the UI element of the 2-dimensional layer in step 230 to generate two images, respectively corresponding to the UI element of the 3-dimensional layer in step 220.
  • the image of the buffer of the eye and the right eye is synthesized to obtain a 2-dimensional and 3-dimensional fused frame.
  • step 250 the image processing device displays the 2D and 3D fused scenes based on the 2D and 3D fused image frames acquired in step 240.
  • the image processing apparatus outputs the 2-dimensional and 3-dimensional fused frame frames in step 240, and displays the two-dimensional and three-dimensional fused scenes through a stereoscopic display mechanism such as a cylindrical lens type, a parallax barrier type, or a pointing light source.
  • a stereoscopic display mechanism such as a cylindrical lens type, a parallax barrier type, or a pointing light source.
  • the rendering processing efficiency can be improved.
  • the limitation of the position of the UI element in the prior art can be avoided, thereby improving the UI design. Flexibility and improved end-to-end processing efficiency and engine rendering performance.
  • the data source of the UI element of the 2D layer and the data source of the UI element of the 3D layer are respectively obtained, and then the data source of the 2D and 3D fusion is obtained, without passing through the 3D layer.
  • the image processing apparatus 300 of FIG. 3 includes a determining unit 310, a rendering unit 320, and a synthesizing unit 330.
  • the determining unit 310 determines the UI elements of the 2D layer and the UI elements of the 3D layer in the user scene.
  • the rendering unit 320 performs rendering processing on the UI elements of the 2D layer to obtain a data source of the UI elements of the 2D layer, and performs rendering processing on the UI elements of the 3D layer to obtain the data source of the UI elements of the 3D layer.
  • the synthesizing unit 330 synthesizes the data source of the UI element of the 2D layer and the data source of the UI element of the 3D layer to obtain a 2D and 3D fusion data source.
  • the rendering processing efficiency can be improved.
  • the limitation of the position of the UI element in the prior art can be avoided, thereby improving the UI design. Flexibility and improved end-to-end processing efficiency and engine rendering performance.
  • the determining unit 310 may determine, according to the label information, a UI element of a 2-dimensional layer and a UI element of a 3-dimensional layer in the user scene, where the label information is used to indicate that the UI element in the user scene belongs to 2D layer or 3D layer.
  • the tag information may be a configuration file, or may be attribute information in an xml/html file for describing a UI element.
  • the rendering unit 320 may process the UI elements of the 2D layer using a monocular virtual camera to generate a buffer picture in the range of the left and right eye lines of the user.
  • the rendering unit 320 may process the UI elements of the 3D layer using a binocular virtual camera to generate buffer pictures for the left and right eyes of the user, respectively.
  • the synthesizing unit 330 may write the data source of the UI element of the 2D layer and the data source of the UI element of the 3D layer into the same data frame.
  • the image processing apparatus may further include a display unit 340.
  • Display unit 340 can display 2D and 3D fused scenes based on 2D and 3D fused data sources.
  • the data source of the UI element of the 2D layer and the data source of the UI element of the 3D layer are respectively obtained, and then the data source of the 2D and 3D fusion is obtained, without passing through the 3D layer.
  • the simulation of UI elements enables 2D display, which can improve the display effect of 2D and 3D fusion scenes.
  • the data source of the UI element of the 2D layer and the 3D layer are respectively obtained.
  • the data source of the UI element After the data source of the UI element, the data source of the 2D and 3D fusion is acquired, which can improve the rendering processing efficiency.
  • the limitation of the position of the UI element in the prior art can be avoided, thereby improving the UI design. Flexibility and improved end-to-end processing efficiency and engine rendering performance.
  • the disclosed systems, devices, and methods may be implemented in other ways.
  • the device embodiments described above are merely illustrative.
  • the division of the unit is only a logical function division.
  • there may be another division manner for example, multiple units or components may be combined or Can be integrated into another system, or some features can be ignored, or not executed.
  • the mutual coupling or direct coupling or communication connection shown or discussed may be an indirect coupling or communication connection through some interface, device or unit, and may be in an electrical, mechanical or other form.
  • the components displayed by the unit may or may not be physical units, that is, may be located in one place, or may be distributed to multiple network units.
  • each functional unit in each embodiment of the present invention may be integrated into one processing unit, or each unit may exist physically separately, or two or more units may be integrated into one unit.
  • the functions, if implemented in the form of software functional units and sold or used as separate products, may be stored in a computer readable storage medium.
  • the technical solution of the present invention which is essential or contributes to the prior art, or a part of the technical solution, may be embodied in the form of a software product, which is stored in a storage medium, including
  • the instructions are used to cause a computer device (which may be a personal computer, server, or network device, etc.) to perform all or part of the steps of the methods described in various embodiments of the present invention.
  • the foregoing storage medium includes: a USB flash drive, a removable hard disk, a read-only memory (ROM), a random access memory (RAM), a magnetic disk or an optical disk, and the like, which can store program code. .

Abstract

本发明实施例提供了图像处理方法和图像处理设备。该方法包括：确定用户场景中2维图层的用户界面UI元素和3维图层的UI元素；对该2维图层的UI元素进行渲染处理以获取该2维图层的UI元素的数据源，对该3维图层的UI元素进行渲染处理以获取该3维图层的UI元素的数据源；将该2维图层的UI元素的数据源与该3维图层的UI元素的数据源进行合成，获取2维和3维融合的数据源。本发明实施例中通过分别获取2维图层的UI元素的数据源和3维图层的UI元素的数据源后，再获取2维和3维融合的数据源，能够提高渲染处理效率。

Description

图像处理方法和图像处理设备
本申请要求于 2012 年 02 月 24 日提交中国专利局、 申请号为 201210043466.0, 发明名称为 "图像处理方法和图像处理设备" 的中国专利申 请的优先权， 其全部内容通过引用结合在本申请中。
技术领域
本发明实施例涉及图像应用领域， 并且更具体地， 涉及图像处理方法和图 像处理设备。
背景技术
2维 （ Two Dimension, 2D )和 3维 （ Three Dimension, 3D ) 融合场景在 终端中是一种常用的显示场景， 可应用于广告、 电影点播、 可视聊天等。
目前，常用的实现 2维和 3维融合场景的技术是对输入的内容进行渲染处 理， 统一生成 3维的数据源， 场景中的 2维部分则只能通过相应的 3维部分模 拟得到， 比如把相应的 3维部分中的模型整体放到 z=0的平面上，模拟 2维显 示的效果。 因此造成了渲染处理效率低。
发明内容
本发明实施例提供了图像处理方法和图像处理设备，能够提高渲染处理效 率。
一方面， 提供了一种图像处理方法， 包括： 确定用户场景中 2维图层的用 户界面 UI元素和 3维图层的 UI元素； 对该 2维图层的 UI元素进行渲染处理 以获取该 2维图层的 UI元素的数据源，对该 3维图层的 UI元素进行渲染处理 以获取该 3维图层的 UI元素的数据源；将该 2维图层的 UI元素的数据源与该 3维图层的 UI元素的数据源进行合成， 获取 2维和 3维融合的数据源。
另一方面， 提供了一种图像处理设备， 包括： 确定单元， 用于确定用户场 景中 2维图层的用户界面 UI元素和 3维图层的 UI元素； 渲染单元，用于对该 2维图层的 UI元素进行渲染处理以获取该 2维图层的 UI元素的数据源，对该 3维图层的 UI元素进行渲染处理以获取该 3维图层的 UI元素的数据源；合成 单元，用于将该 2维图层的 UI元素的数据源与该 3维图层的 UI元素的数据源 进行合成， 获取 2维和 3维融合的数据源。
本发明实施例中通过分别获取 2维图层的 UI元素的数据源和 3维图层的 UI元素的数据源后， 再获取 2维和 3维融合的数据源， 能够提高渲染处理效 率。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例或现有技术 描述中所需要使用的附图作简单地介绍， 显而易见地， 下面描述中的附图仅仅 是本发明的一些实施例， 对于本领域普通技术人员来讲， 在不付出创造性劳动 的前提下， 还可以根据这些附图获得其他的附图。
图 1是根据本发明实施例的图像处理方法的示意性流程图。
图 2是根据本发明实施例的图像处理方法的过程的示意性流程图。
图 3是根据本发明实施例的图像处理设备的结构框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清 楚、 完整地描述， 显然， 所描述的实施例是本发明一部分实施例， 而不是全部 的实施例。基于本发明中的实施例， 本领域普通技术人员在没有作出创造性劳 动前提下所获得的所有其他实施例， 都属于本发明保护的范围。
应理解， 在本发明实施例中， 2维和 3维融合的场景是指在同一显示场景 中， 同时存在 2维显示场景和 3维显示场景。 例如， 在 2维和 3维融合的广告 中， 广告中的图片可以是 3维显示， 文字可以是 2维显示。 在 2维和 3维融合 的视频中， 视频中的图像可以是 3维显示， 文字可以是 2维显示。 应注意， 本 发明实施例中， 3维显示场景可以指棵眼 3维显示场景， 主要原理是利用用户 左眼和右眼的视差形成的。对于立体图像而言， 用户左眼和右眼观察的结果是 不一样的，如果以相同频率将用户左眼看到的图像和右眼看到的图像同时传入 用户大脑， 大脑会根据左眼和右眼的图像重构物理空间里真实的 3维图像。
图 1是根据本发明实施例的图像处理方法的示意性流程图。图 1的方法由 图像处理设备执行。
110, 确定用户场景中 2维图层的用户界面（User Interface, UI )元素和 3 维图层的 UI元素。
可选地， 作为一个实施例， 图像处理设备可根据标签信息确定用户场景中 2维图层的 UI元素和 3维图层的 UI元素，其中标签信息可用于指示用户场景 中的 UI元素属于 2维图层或 3维图层。 应理解， 本发明实施例中， 图像处理 设备还可以根据其它能够区分 UI元素的指示信息确定用户场景中 2维图层的 UI元素和 3维图层的 UI元素， 本发明实施例对此不作限定。
可选地， 作为另一实施例， 标签信息可以是配置文件， 或者可以是用于描 述 UI元素的可扩展标记语言（Extensible Markup Language, XML ) /超文本标 记语言 （Hypertext Markup Language, HTML ) 文件中的属性信息。 本发明实 施例中， 标签信息还可以是其它任何能够用于指示用户场景中 UI元素属于 2 维图层或 3维图层的信息， 例如， 标签信息可以是编号 "0" 和 "1"， 比如编 号 "0" 可用于指示 2维图层的 UI元素， 编号 "Γ 可用于指示 3维图层的 UI 元素。 标签信息还可以是 "True" 和 "False" , 比如 "True" 可用于指示 2维 图层的 UI元素， "False" 可用于指示 3维图层的 UI元素。 本发明实施例对此 不作限定。
120, 对该 2维图层的 UI元素进行渲染处理以获取该 2维图层的 UI元素 的数据源，对该 3维图层的 UI元素进行渲染处理以获取该 3维图层的 UI元素 的数据源。
可选地， 作为另一实施例， 图像处理设备可使用单目虚拟相机对 2维图层 的 UI元素进行处理， 以生成用户左右眼视线范围内的緩沖区图片。 具体地， 显示可使用单目虚拟相机对 2维图层的 UI元素拍照， 生成用户左右眼视线范 围内的 2维的緩冲区图片， 也就是 2维图层的 UI元素的数据源。 应理解， 本 发明实施例中， 图像处理设备对 2维图层的 UI元素的渲染处理， 还可以是其 它任何能够生成用户左右眼视线范围内的 2维的緩冲区图片的方式。本发明实 施例对此不作限定。
可选地， 作为另一实施例， 图像处理设备可使用双目虚拟相机对 3维图层 的 UI元素进行处理，以生成分别针对用户左眼和右眼的緩冲区图片。具体地， 图像处理设备可使用双目虚拟相机对 3维图层的 UI元素拍照， 生成分别针对 用户左眼和右眼的緩冲区图片，也就是 3维图层的 UI元素的数据源。应理解， 本发明实施例中， 图像处理设备对 3维图层的 UI元素的渲染处理， 还可以是 其它任何能够生成分别针对用户左眼和右眼的緩冲区图片的方式。 例如， 图像 处理设备可以使用现有技术中的算法生成具有视差的针对用户左眼和右眼的 緩沖区图片。 本发明实施例对此不作限定。
130， 将该 2维图层的 UI元素的数据源与该 3维图层的 UI元素的数据源 进行合成， 获取 2维和 3维融合的数据源。
可选地， 作为另一实施例， 图像处理设备可将 2维图层的 UI元素的数据 源与 3维图层的 UI元素的数据源写入相同的数据帧中。 例如， 图像处理设备 可将步骤 120中 2维图层的 UI元素对应的緩冲区图片与 3维图层的 UI元素对 应的緩冲区图片合成， 获取合成的图帧。 应理解， 图像处理设备还可使用其它 任何能够合成 2维图层的 UI元素的数据源与 3维图层的 UI元素的数据源的方 式， 获取 2维和 3维融合的数据源。 本发明实施例对此不作限定。
在现有技术中通过 3维图层的 UI元素的模拟来实现 2维和 3维融合场景 中的 2维部分， 如果在 UI设计中该模型和 z=0平面产生夹角， 就失去了 2维 显示的效杲。 因此无法保证 2维和 3维融合场景的显示效果。
可选地， 作为另一实施例， 图像处理设备还可以基于该 2维和 3维融合的 数据源， 显示 2维和 3维融合的场景。
例如， 图像处理设备可基于 2 维和 3 维融合的数据源， 通过柱状透镜式
( Lenticular Lenses )、 视差障壁式 ( Parallax Barries )、 指向光源 ( Directional Backlight )等立体显示机制显示 2维和 3维融合的场景。 应理解， 图像处理设 备基于 2维和 3维融合的数据源显示 2维和 3维融合的场景的方式还可以是现 有技术中的任何实现方式， 本发明实施例对此不作限定。 因此， 本发明实施例 中，由于 2维图层的 UI元素的数据源和 3维图层的 UI元素的数据源是分别获 取的， 因此 2维和 3维融合场景中的 2维显示场景 于 2维图层的 UI元素 的数据源实现的， 并非现有技术中通过 3维图层的 UI元素的模拟来实现 2维 显示场景，所以本发明实施例中 2维显示场景不受 UI元素位置或动作的限制， 从而能够提升 2维和 3维融合场景的显示效果。
本发明实施例中通过分别获取 2维图层的 UI元素的数据源和 3维图层的
UI元素的数据源后， 再获取 2维和 3维融合的数据源， 能够提高渲染处理效 率。
此外， 本发明实施例中通过分别获取 2维图层的 UI元素的数据源和 3维 图层的 UI元素的数据源， 能够避免现有技术中 UI元素位置的限制，从而能够 提高 UI设计的灵活性， 并能够提升端到端处理效率及引擎渲染性能。
下面将结合具体的例子详细描述本发明实施例。图 2是根据本发明实施例 的图像处理方法的过程的示意性流程图。
在步骤 210中， 图像处理设备根据标签信息， 判断用户场景中的 UI元素 属于 2维图层还是 3维图层。
可选地， 标签信息可以是配置文件， 或者可以是用于描述 UI元素的 xml/ html文件中的属性信息。
例如， 标签信息可以是 2维和 3维图层的标签。 以 html 5格式的 UI设计 为例，在 html 5的头（ head )标签内的子节点中增加 Surface3D标签，记录 html 5中属于 3维图层的 UI元素的标识 （IDentification )。 在渲染处理中， 图像处 理设备使用双目虚拟相机对 Surface3D标签中记录的 ID对应的 UI元素进行拍 照。
Surface3D标签的伪代码的一个例子如下：
<html xmlns= "http：〃 www.xxx.org/xxxx/xhtml" >
<head>
<meta http-equiv= "content-type" content="text/html； charset=UFT-8"> <Surface3D ElementldArray= "myCanvas">
<title> RichUx</title>
</head>
<body>
<canvas id= "myCanvas" height= "100" width= "50" src= "/i/ruchux/3dTest.dae"/>
</body>
</html>
其 中 ， 在语 句 <html xmlns="http：〃 www.xxx.org/xxxx/xhtml">中 ，
"http://www.xxx.org/xxxx/xhtml"表示任意网址，此处只是举例说明，并非对本 发明实施例进行限定。
在语句 <Surface3D ElementldArray^ "myCanvas">中， "myCanvas" 表示 Surface3D标签中记录的 3维图层的 UI元素的 ID。 此处只是举例说明， 并非 对本发明实施例进行限定。
应注意， 此处 Surface3D标签的伪代码的这个例子是为了帮助本领域技术 人员更好地理解本发明实施例， 而非要限制本发明实施例的范围。 本领域技术 人员根据所给出的伪代码的例子， 显然可以进行各种等价的修改或变化， 这样 的修改或变化也落入本发明实施例的范围内。
如果在步骤 210中根据标签信息判断 UI元素属于 3维图层， 则转到步骤 220, 通过双目虚拟相机处理， 生成针对左眼和右眼的緩沖区图片。
如果在步骤 210中根据标签信息判断 UI元素属于 2维图层， 则转到步骤 230, 通过单目虚拟相机处理， 生成左右眼视线范围内的緩冲区图片。
在步骤 240中， 图像处理设备将步骤 220中的 3维图层的 UI元素对应的 緩沖区图片与步骤 230中的 2维图层的 UI元素对应的緩沖区图片进行合成， 获取 2维和 3维融合的图帧。
例如， 图像处理设备可对步骤 230中的 2维图层的 UI元素对应的緩冲区 图片进行逆向处理， 生成两张图片， 分别与步骤 220中的 3维图层的 UI元素 对应的针对左眼和右眼的緩冲区图片进行合成，从而得到 2维和 3维融合的图 帧。
在步骤 250中，图像处理设备基于步骤 240中获取的 2维和 3维融合的图 帧， 显示 2维和 3维融合的场景。
例如， 图像处理设备将步骤 240中的 2维和 3维融合的图帧输出， 通过柱 状透镜式、视差障壁式、指向光源等立体显示机制显示 2维和 3维融合的场景。
本发明实施例中通过分别获取 2维图层的 UI元素的数据源和 3维图层的 UI元素的数据源后， 再获取 2维和 3维融合的数据源， 能够提高渲染处理效 率。
此外， 本发明实施例中通过分别获取 2维图层的 UI元素的数据源和 3维 图层的 UI元素的数据源， 能够避免现有技术中 UI元素位置的限制，从而能够 提高 UI设计的灵活性， 并能够提升端到端处理效率及引擎渲染性能。
另外， 本发明实施例中通过分别获取 2维图层的 UI元素的数据源和 3维 图层的 UI元素的数据源后， 再获取 2维和 3维融合的数据源， 无需通过 3维 图层的 UI元素的模拟来实现 2维显示， 从而能够提升 2维和 3维融合场景的 显示效果。
图 3是根据本发明实施例的图像处理设备的结构框图。图 3的图像处理设 备 300包括确定单元 310、 渲染单元 320、 合成单元 330。
确定单元 310确定用户场景中 2维图层的 UI元素和 3维图层的 UI元素。 渲染单元 320对 2维图层的 UI元素进行渲染处理以获取 2维图层的 UI元素的 数据源，对 3维图层的 UI元素进行渲染处理以获取 3维图层的 UI元素的数据 源。合成单元 330将 2维图层的 UI元素的数据源与 3维图层的 UI元素的数据 源进行合成， 获取 2维和 3维融合的数据源。
本发明实施例中通过分别获取 2维图层的 UI元素的数据源和 3维图层的 UI元素的数据源后， 再获取 2维和 3维融合的数据源， 能够提高渲染处理效 率。
此外， 本发明实施例中通过分别获取 2维图层的 UI元素的数据源和 3维 图层的 UI元素的数据源， 能够避免现有技术中 UI元素位置的限制，从而能够 提高 UI设计的灵活性， 并能够提升端到端处理效率及引擎渲染性能。
可选地， 作为一个实施例， 确定单元 310可根据标签信息， 确定用户场景 中 2维图层的 UI元素和 3维图层的 UI元素 ,其中标签信息用于指示用户场景 中的 UI元素属于 2维图层或 3维图层。
可选地， 作为另一实施例， 标签信息可以是配置文件， 或者可以是用于描 述 UI元素的 xml/ html文件中的属性信息。
可选地， 作为另一实施例， 渲染单元 320可使用单目虚拟相机对 2维图层 的 UI元素进行处理， 以生成用户左右眼视线范围内的緩沖区图片。
可选地， 作为另一实施例， 渲染单元 320可使用双目虚拟相机对 3维图层 的 UI元素进行处理， 以生成分别针对用户左眼和右眼的緩冲区图片。
可选地， 作为另一实施例， 合成单元 330可将 2维图层的 UI元素的数据 源与 3维图层的 UI元素的数据源写入相同的数据帧中。
可选地， 作为另一实施例， 图像处理设备还可包括显示单元 340。 显示单 元 340可基于 2维和 3维融合的数据源， 显示 2维和 3维融合的场景。
本发明实施例中通过分别获取 2维图层的 UI元素的数据源和 3维图层的 UI元素的数据源后， 再获取 2维和 3维融合的数据源， 无需通过 3维图层的 UI元素的模拟来实现 2维显示， 从而能够提升 2维和 3维融合场景的显示效 果。
图像处理设备 300的其他功能和操作可参照上面图 1和图 2的方法实施例 的过程， 为避免重复， 此处不再赘述。
本发明实施例中通过分别获取 2维图层的 UI元素的数据源和 3维图层的
UI元素的数据源后， 再获取 2维和 3维融合的数据源， 能够提高渲染处理效 率。
此外， 本发明实施例中通过分别获取 2维图层的 UI元素的数据源和 3维 图层的 UI元素的数据源， 能够避免现有技术中 UI元素位置的限制，从而能够 提高 UI设计的灵活性， 并能够提升端到端处理效率及引擎渲染性能。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示 例的单元及算法步骤， 能够以电子硬件、或者计算机软件和电子硬件的结合来 实现。 这些功能究竟以硬件还是软件方式来执行， 取决于技术方案的特定应用 和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现 所描述的功能， 但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到， 为描述的方便和简洁 , 上述描述 的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程 , 在此不再赘述。
在本申请所提供的几个实施例中， 应该理解到， 所揭露的系统、 装置和方 法， 可以通过其它的方式实现。 例如， 以上所描述的装置实施例仅仅是示意性 的， 例如， 所述单元的划分， 仅仅为一种逻辑功能划分， 实际实现时可以有另 外的划分方式， 例如多个单元或组件可以结合或者可以集成到另一个系统， 或 一些特征可以忽略， 或不执行。 另一点， 所显示或讨论的相互之间的耦合或直 接耦合或通信连接可以是通过一些接口， 装置或单元的间接耦合或通信连接， 可以是电性， 机械或其它的形式。 单元显示的部件可以是或者也可以不是物理单元， 即可以位于一个地方， 或者 也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部 单元来实现本实施例方案的目的。 另外， 在本发明各个实施例中的各功能单元可以集成在一个处理单元中， 也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元 中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用 时， 可以存储在一个计算机可读取存储介质中。 基于这样的理解， 本发明的技 术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以 以软件产品的形式体现出来， 该计算机软件产品存储在一个存储介质中， 包括 若干指令用以使得一台计算机设备（可以是个人计算机， 服务器， 或者网络设 备等）执行本发明各个实施例所述方法的全部或部分步骤。 而前述的存储介质 包括： U盘、 移动硬盘、 只读存储器（Read-Only Memory, ROM ), 随机存取 存储器（Random Access Memory, RAM ), 磁碟或者光盘等各种可以存储程序 代码的介质。
以上所述， 仅为本发明的具体实施方式，但本发明的保护范围并不局限于 此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内， 可轻易想到 变化或替换， 都应涵盖在本发明的保护范围之内。 因此， 本发明的保护范围应 所述以权利要求的保护范围为准。

Claims

权 利 要 求
1、 一种图像处理方法， 其特征在于， 包括：
确定用户场景中 2维图层的用户界面 UI元素和 3维图层的 UI元素； 对所述 2维图层的 UI元素进行渲染处理以获取所述 2维图层的 UI元素的 数据源， 对所述 3维图层的 UI元素进行渲染处理以获取所述 3维图层的 UI 元素的数据源；
将所述 2维图层的 UI元素的数据源与所述 3维图层的 UI元素的数据源进 行合成， 获取 2维和 3维融合的数据源。
2、 根据权利要求 1所述的方法， 其特征在于， 所述确定用户场景中 2维 图层的用户界面 UI元素和 3维图层的 UI元素， 包括：
根据标签信息， 确定所述用户场景中所述 2维图层的 UI元素和所述 3维 图层的 UI元素，其中所述标签信息用于指示所述用户场景中的 UI元素属于 2 维图层或 3维图层。
3、根据权利要求 2所述的方法，其特征在于，所述标签信息是配置文件， 或者是用于描述所述 UI元素的可扩展标记语言 xml/超文本标记语言 html文件 中的属性信息。
4、 根据权利要求 1至 3中任一项所述的方法， 其特征在于， 所述对所述 2维图层的 UI元素进行渲染处理以获取所述 2维图层的 UI元素的数据源， 包 括：
使用单目虚拟相机对所述 2维图层的 UI元素进行处理， 以生成用户左右 眼视线范围内的緩冲区图片。
5、 根据权利要求 1至 3中任一项所述的方法， 其特征在于， 所述对所述 3维图层的 UI元素进行渲染处理以获取所述 3维显示的 UI元素的数据源， 包 括：
使用双目虚拟相机对所述 3维图层的 UI元素进行处理， 以生成分别针对 用户左眼和右眼的緩冲区图片。
6、 根据权利要求 1至 5中任一项所述的方法， 其特征在于， 所述将所述 2维图层的 UI元素的数据源与所述 3维图层的 UI元素的数据源进行合成， 包 括： 将所述 2维图层的 UI元素的数据源与所述 3维图层的 UI元素的数据源写 入相同的数据帧中。
7、 根据权利要求 1至 6中任一项所述的方法， 其特征在于， 所述方法还 包括：
基于所述 2维和 3维融合的数据源， 显示 2维和 3维融合的场景。
8、 一种图像处理设备， 其特征在于， 包括：
确定单元， 用于确定用户场景中 2维图层的用户界面 UI元素和 3维图层 的 UI元素；
渲染单元， 用于对所述 2维图层的 UI元素进行渲染处理以获取所述 2维 图层的 UI元素的数据源，对所述 3维图层的 UI元素进行渲染处理以获取所述 3维图层的 UI元素的数据源；
合成单元， 用于将所述 2维图层的 UI元素的数据源与所述 3维图层的 UI 元素的数据源进行合成， 获取 2维和 3维融合的数据源。
9、 根据权利要求 8所述的设备， 其特征在于， 所述确定单元具体用于根 据标签信息， 确定所述用户场景中所述 2维图层的 UI元素和所述 3维图层的
UI元素 ,其中所述标签信息用于指示所述用户场景中的 UI元素属于 2维图层 或 3维图层。
10、根据权利要求 9所述的设备，其特征在于，所述标签信息是配置文件， 或者是用于描述所述 UI元素的可扩展标记语言 xml/超文本标记语言 html文件 中的属性信息。
11、 根据权利要求 8至 10中任一项所述的设备， 其特征在于， 所述渲染 单元具体用于使用单目虚拟相机对所述 2维图层的 UI元素进行处理， 以生成 用户左右眼视线范围内的緩冲区图片。
12、 根据权利要求 8至 10中任一项所述的设备， 其特征在于， 所述渲染 单元具体用于使用双目虚拟相机对所述 3维图层的 UI元素进行处理， 以生成 分别针对用户左眼和右眼的緩冲区图片。
13、 根据权利要求 8至 12中任一项所述的设备， 其特征在于， 所述合成 单元具体用于将所述 2维图层的 UI元素的数据源与所述 3维图层的 UI元素的 数据源写入相同的数据帧中。
14、 根据权利要求 8至 13中任一项所述的设备， 其特征在于， 所述设备 还包含显示单元， 用于基于所述 2维和 3维融合的数据源， 显示 2维和 3维融 合的场景。
PCT/CN2012/085329 2012-02-24 2012-11-27 图像处理方法和图像处理设备 WO2013123789A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/462,082 US20140354633A1 (en) 2012-02-24 2014-08-18 Image processing method and image processing device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201210043466.0 2012-02-24
CN201210043466.0A CN103294453B (zh) 2012-02-24 2012-02-24 图像处理方法和图像处理设备

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/462,082 Continuation US20140354633A1 (en) 2012-02-24 2014-08-18 Image processing method and image processing device

Publications (1)

Publication Number Publication Date
WO2013123789A1 true WO2013123789A1 (zh) 2013-08-29

Family

ID=49004978

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2012/085329 WO2013123789A1 (zh) 2012-02-24 2012-11-27 图像处理方法和图像处理设备

Country Status (3)

Country Link
US (1) US20140354633A1 (zh)
CN (1) CN103294453B (zh)
WO (1) WO2013123789A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103559730B (zh) * 2013-11-20 2016-08-31 广州博冠信息科技有限公司 一种渲染方法及装置
CN104157007B (zh) * 2014-03-03 2018-02-27 腾讯科技（北京）有限公司 视频处理的方法及装置
CN105979243A (zh) * 2015-12-01 2016-09-28 乐视致新电子科技（天津）有限公司 一种显示立体图像的处理方法和装置
WO2018119786A1 (zh) * 2016-12-28 2018-07-05 深圳前海达闼云端智能科技有限公司 一种显示数据处理方法及装置
CN106933525B (zh) * 2017-03-09 2019-09-20 青岛海信移动通信技术股份有限公司 一种显示图像的方法和装置
CN109285203A (zh) * 2017-07-21 2019-01-29 中兴通讯股份有限公司 一种3d图片的编辑方法、计算机设备及存储介质
CN115641400B (zh) * 2022-11-04 2023-11-17 广州大事件网络科技有限公司 一种动态图片生成方法、系统、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010151555A1 (en) * 2009-06-24 2010-12-29 Dolby Laboratories Licensing Corporation Method for embedding subtitles and/or graphic overlays in a 3d or multi-view video data
WO2010150936A1 (ko) * 2009-06-24 2010-12-29 (주)엘지전자 3d 유저 인터페이스를 제공하는 입체영상 재생장치 및 방법
CN102063734A (zh) * 2009-11-18 2011-05-18 新奥特（北京）视频技术有限公司 一种三维图像的呈现方法和装置
CN102232294A (zh) * 2008-12-01 2011-11-02 图象公司 用于呈现具有内容自适应信息的三维动态影像的方法和系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110157322A1 (en) * 2009-12-31 2011-06-30 Broadcom Corporation Controlling a pixel array to support an adaptable light manipulator
JP5572437B2 (ja) * 2010-03-29 2014-08-13 富士フイルム株式会社 ３次元医用画像に基づいて立体視用画像を生成する装置および方法、並びにプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102232294A (zh) * 2008-12-01 2011-11-02 图象公司 用于呈现具有内容自适应信息的三维动态影像的方法和系统
WO2010151555A1 (en) * 2009-06-24 2010-12-29 Dolby Laboratories Licensing Corporation Method for embedding subtitles and/or graphic overlays in a 3d or multi-view video data
WO2010150936A1 (ko) * 2009-06-24 2010-12-29 (주)엘지전자 3d 유저 인터페이스를 제공하는 입체영상 재생장치 및 방법
CN102063734A (zh) * 2009-11-18 2011-05-18 新奥特（北京）视频技术有限公司 一种三维图像的呈现方法和装置

Also Published As

Publication number Publication date
CN103294453A (zh) 2013-09-11
US20140354633A1 (en) 2014-12-04
CN103294453B (zh) 2017-02-22

Similar Documents

Publication Publication Date Title
CN107590771B (zh) 具有用于在建模3d空间中投影观看的选项的2d视频
WO2013123789A1 (zh) 图像处理方法和图像处理设备
KR102214827B1 (ko) 증강 현실 제공 장치 및 방법
WO2017113681A1 (zh) 一种基于虚拟现实技术的视频图像处理方法及装置
CN109087346B (zh) 单目深度模型的训练方法、训练装置和电子设备
US20130321586A1 (en) Cloud based free viewpoint video streaming
WO2019224292A1 (en) Adapting acoustic rendering to image-based object
CN106296781B (zh) 特效图像生成方法及电子设备
US20140240354A1 (en) Augmented reality apparatus and method
KR20180019067A (ko) 소셜 스트리트 뷰 생성을 위한 시스템, 장치 및 방법
CN112740261A (zh) 全景光场捕获、处理和显示
JP2016504828A (ja) 単一のカメラを用いて３ｄ画像を取り込む方法およびシステム
CN113852829A (zh) 点云媒体文件的封装与解封装方法、装置及存储介质
Cserkaszky et al. Light-field capture and display systems: limitations, challenges, and potentials
JP2012243042A (ja) 情報処理システム、情報処理装置、情報処理プログラムおよび情報処理方法
KR101177058B1 (ko) 마커 기반 3차원 입체 시스템
US20230231983A1 (en) System and method for determining directionality of imagery using head tracking
US20230026014A1 (en) Video processing device and manifest file for video streaming
KR20200115631A (ko) 멀티뷰잉 가상 현실 사용자 인터페이스
US10075693B2 (en) Embedding calibration metadata into stereoscopic video files
Richardt et al. Video for virtual reality
JP2023549657A (ja) 複数の視点から撮像された立体レンダリング画像データを表示するための３ｄビデオ会議システムおよび方法
TWI572899B (zh) 擴充實境成像方法及其裝置
US10891424B2 (en) System and method for generating 3D image content which enables user interaction
Nocent et al. 3d displays and tracking devices for your browser: A plugin-free approach relying on web standards

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12869255

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12869255

Country of ref document: EP

Kind code of ref document: A1