WO2018053952A1 - 一种基于场景样本库的影视图像深度提取方法 - Google Patents
一种基于场景样本库的影视图像深度提取方法 Download PDFInfo
- Publication number
- WO2018053952A1 WO2018053952A1 PCT/CN2016/109982 CN2016109982W WO2018053952A1 WO 2018053952 A1 WO2018053952 A1 WO 2018053952A1 CN 2016109982 W CN2016109982 W CN 2016109982W WO 2018053952 A1 WO2018053952 A1 WO 2018053952A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- depth
- image
- library
- extraction method
- candidate
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Definitions
- the computer cannot estimate the depth hierarchy of the image from a single image.
- the present invention provides a film image depth extraction method based on a scene sample library, which mainly focuses on extracting a depth image from a common two-dimensional image by using a software method, and can reduce the depth adjustment of manual participation in the process. The lowest, improve work efficiency, high accuracy, short processing time and so on.
- similarity is the similarity value between the input image and the RGB image
- G 1 and F 1 are the GIST feature vector and the optical flow feature vector of the input image, respectively
- G 2 and F 2 are the GIST feature vector and the optical flow feature vector of the RGB image, respectively.
- ⁇ is the preset weight coefficient.
- C i (j) represents the depth value of the ith pixel in the depth map corresponding to the jth candidate image
- ⁇ is a preset constant corresponding to the fusion function of the depth map corresponding to the jth candidate image in the SIFT Flow algorithm.
- w i (j) is the weight corresponding to the depth value C i (j)
- j is a natural number and 1 ⁇ j ⁇ K
- K is the number of candidate pictures.
- t is a variable
- ⁇ 10 -4
- P i is the average depth value of all depth maps in the image library with respect to the ith pixel.
- the invention utilizes the similarity between ordinary RGB pictures to migrate the depth values in the existing depth pictures to the input target picture; in the actual film and television production process, multiple scene libraries can be established to utilize the depth pictures in the similar scenes to generate input.
- the depth map of the target image in this process, the depth adjustment of the manual participation can be minimized, the work efficiency is improved, the accuracy is high, and the processing time is short.
- Figure 1 is a schematic flow chart showing the steps of the method of the present invention.
- the film and television image depth extraction method based on the scene sample library mainly comprises: a deep scene library, a picture feature extraction, a depth picture fusion, a foreground target depth estimation, and an overall depth map optimization, as shown in FIG. 1; as follows:
- each lens can be used as a group of scenes, and if a scene similar to the input image is selected for training in the subsequent processing, a good effect can be achieved.
- G 1 and G 2 are GIST feature vectors in two frames of images, and feature vectors of optical flows in two frames of F 1 and F 2 , and ⁇ as a weight can be adjusted as needed.
- the depth maps of the candidate images are merged into a picture D at the pixel level.
- the picture D generated at this time is just a rough picture, and the subsequent steps will further optimize and smooth the picture.
- the foreground goal refers to the target that people care about in a picture, usually some moving objects.
- the previous steps 2 to 3 roughly determine the depth of the background as a whole, however some foreground objects, especially some moving objects, are often the most critical in the entire video.
- step 4.1 may be replaced by manual interaction, and the boundary of the foreground target is manually determined manually. Even so, it can save a lot of working hours and improve labor efficiency.
- L is the input image
- D is the depth map of the target image.
- the optimization is to minimize -log(P(D
- E t is the data item
- E s is the spatial smoothing term
- E p is the depth term of the database prior
- ⁇ and ⁇ are also constants. After the iteration as a function of the objective, the resulting value is as small as possible.
- the E t in step 5.1 is used to measure the difference between the target picture and the candidate picture, which can be calculated by the following formula:
- K is the number of candidate pictures
- w is the weight value of each candidate picture
- ⁇ is the weight coefficient constant
- Each candidate picture corresponds to a fusion function.
- the sift flow algorithm is from the literature Ce Liu, Jenny Yuen, Antonio Torralba, et al. SIFT Flow: Dense Correspondence across Different Scenes [M]//Computer Vision–ECCV 2008. Springer Berlin Heidelberg, 2008: 28-42.
- the spatial smoothing term E s is calculated by the following formula, consisting of gradients in the x and y directions:
- step 4 Make the depth image obtained in step 4 as the initial value, and the actual operation continuously adjusts each parameter through each iterative process until the maximum number of iterations or the minimum value of E(D) is reached, and the time is obtained.
- the corresponding D value is the optimized depth map.
Abstract
一种基于场景样本库的影视图像深度提取方法，包括：建立深度场景库、图片特征提取、深度图片融合、前景目标深度估计、深度图整体优化。利用普通RGB图片之间的相似性，将已有的深度图片中的深度值迁移到输入目标图片；在实际影视制作过程中，可以建立多个场景库，利用相似场景中的深度图片，生成输入目标图片的深度图。能够将人工参与的深度调整减少到最低，提高工作效率，具有准确性高，处理时间短的特点。
Description
本发明属于视频图像处理技术领域，具体涉及一种基于场景样本库的影视图像深度提取方法。
三维视频已经成为不可阻挡的技术热潮，因其带来的视觉冲击力，场景的真实感，受到大量的电影、电视和广告等行业技术人员和销售人员青睐。但目前三维视频内容依旧缺乏，将现有的众多二维视频转换为三维视频受到越来越多的重视。其中最主要的方法是首先计算得到原有二维视频的深度信息，再通过DIBR(Depth Image Based Rendering)技术获得虚拟视点视频图像，合成相应的三维视频。
现有的三维视频的来源主要分为硬件实现和软件实现。硬件方法是直接使用立体相机并在多个角度完成拍摄。软件方法则是通过软件的方法将已有的二维视频转化成三维立体视频，主要有以下两类：
(1)利用视频或图像编辑软件，人工对视频中的每帧图像进行分割，逐一手动确定该帧图像中每个物体的前后关系，赋以相应的深度值。这种方法得到的深度图具有较高的精度，质量较好，但由于需要逐帧进行视频图像分割与深度赋值，需要耗费大量的人工，效率不高。
(2)与全人工赋值相反的二维视频到三维视频的全自动转换技术，对接收到的二维视频信息进行分析并计算出深度图，再采用DIBR的方法合成三维视频。目前很多三维电视都在电视机里都内置了基于这种转换技术的装置，可以方便的将电视中接收到的二维视频信号实时的转换为三维视频信号来观看，但这种实时计算出来的深度图相对于方法(1)中得到的深度图效果较差，有些时候会发生前后景混乱的情况，造成视觉困扰。
目前国内现有的二维转三维视频的技术和方法还处于起步阶段，与国外还存有较大差距，存在自动化程度不高，制作周期长、成本高、效率低等一系列
问题。其中估计并恢复二维图像所对应的深度图，成为整个二维视频转三维视频的关键。从普通二维图像中恢复深度信息存在以下的难点：
1.如果不借助其他深度信息，计算机不能从单张图片中估计出图像的深度层次关系。
2.在处理视频时，如何能保证深度图在时间信息上的一致性，如何能在保证帧间图片不发生跳变。
发明内容
基于上述，本发明提供了一种基于场景样本库的影视图像深度提取方法，主要关注用软件的方法从普通的二维图像当中提取出深度图像，在此过程中能够将人工参与的深度调整减少的最低，提高工作效率，具有准确性高，处理时间短等特点。
一种基于场景样本库的影视图像深度提取方法，包括如下步骤：
(1)建立图像库；所述图像库包含有大量RGB图像及其对应的深度图，且这些RGB图像来自于多个场景；
(2)对输入图像以及图像库中的RGB图像进行特征提取，以得到这些图像的GIST特征向量和光流(optical flow)特征向量，进而计算输入图像与图像库中每一RGB图像的相似度值；
(3)从图像库中选取与输入图像相似度值最小的若干张RGB图像作为候选图片，并确保这些候选图片分别来自于各个不同的场景，进而将各候选图片对应的深度图在像素级别融合成一张深度图片U；
(4)在深度图片U中恢复出前景目标，从而得到深度图片D*；
(5)使深度图片D*作为初值对以下目标函数进行最小化求解，得到输入图像对应的深度图D；
其中：Di为深度图D中第i像素的深度值，Et(Di)为Di对应的数据项，Es(Di)为Di对应的空间平滑项，Ep(Di)为Di对应的图像库先验深度项，α和β均为预设的常数，i为自然数且1≤i≤N，N为深度图片D的像素总数。
每一场景即对应为一个独立的镜头，同一场景的RGB图像来源于其对应镜
头所拍摄。
所述步骤(2)中通过以下算式计算输入图像与图像库中每一RGB图像的相似度值：
similarity＝(1-ω)||G1-G2||+ω||F1-F2||
其中：similarity为输入图像与RGB图像的相似度值，G1和F1分别为输入图像的GIST特征向量和光流特征向量，G2和F2分别为RGB图像的GIST特征向量和光流特征向量，ω为预设的权重系数。
优选地，所述步骤(3)在选取候选图片之前，使图像库中相似场景的RGB图像合并组成一个场景库，则选取候选图片时确保任意两张候选图片不会来自于同一个场景库；能够使后续生成的深度图像将更加准确，细节更丰富。
所述步骤(3)中采用SIFT Flow算法将各候选图片对应的深度图在像素级别融合成一张深度图片U。
所述步骤(4)中在深度图片U中恢复出前景目标的具体过程为：首先，通过提取输入图像的前景目标用以对输入图像中的前景和背景进行二值化，得到输入图像的前景模板M；然后，基于前景模板M在深度图片U中刻画出前景目标区域；最后，将深度图片U中前景目标区域所有像素的深度值均修改为前景目标区域最低点的深度值，从而得到深度图片D*。
所述数据项Et(Di)的表达式如下：
其中：Ci
(j)表示第j张候选图片对应深度图中第i像素的深度值，
和
分别为对应X方向和Y方向上的梯度算子，
为SIFT Flow算法中对应第j张候选图片对应深度图的融合函数，γ为预设的常数，
t为变量，ε＝10-4，wi
(j)为深度值Ci
(j)所对应的权重，j为自然数且1≤j≤K，K为候选图片的数量。
所述空间平滑项Es(Di)的表达式如下：
其中：
t为变量，ε＝10-4，
和
分别为对应X方向和Y方向上
的梯度算子，Li为输入图像中第i像素的颜色值。
所述图像库先验深度项Ep(Di)的表达式如下：
Ep(Di)＝φ(Di-Pi)
其中：
t为变量，ε＝10-4，Pi为图像库中所有深度图关于第i像素的平均深度值。
本发明利用普通RGB图片之间的相似性，将已有的深度图片中深度值迁移到输入目标图片；在实际影视制作过程中，可以建立多个场景库利用相似场景中的深度图片，生成输入目标图片的深度图；在此过程中能够将人工参与的深度调整减少的最低，提高工作效率，具有准确性高，处理时间短等特点。
图1为本发明方法的步骤流程示意图。
为了更为具体地描述本发明，下面结合附图及具体实施方式对本发明的技术方案进行详细说明。
本发明基于场景样本库的影视图像深度提取方法主要包括：深度场景库的建立、图片特征提取、深度图片融合、前景目标深度估计、深度图整体优化五部分，如图1所示；其具体过程如下：
1.针对不同场景的建立深度图像库。
在对目标图像进行深度估计之前，需要根据不同场景建立图像库。在影视制作中，我们首先把场景定义为一个独立的镜头。所有的视频将以图像帧的形式存储在数据库中，其中既包括普通二维RGB图像以及每张图像对应的深度图。在之后的处理过程中将通过RGB的特征信息，进行特征提取。一般每一个镜头可以作为一组场景，在后续的处理过程中如果选取与输入图像相似的场景进行训练，能够达到很好的效果。
2.通过特征提取算法计算特征值。
2.1、使用GIST特征与光流特征(optical flow)对图像数据库中每张图片计算出相应的特征值。
2.2、计算出输入目标图片GIST特征与光流特征值。
2.3、使用如下公式计算输入目标图片与图像数据库中相似度值：
similarity score＝(1-ω)||G1-G2||+ω||F1-F2||
其中：G1和G2是两帧图像中的GIST特征向量，F1和F2两帧图像中光流的特征向量，ω作为权重可以根据需要适时调整。
3.从已有深度图片中将深度迁移到目标图片中。
3.1、根据步骤2中相似度值similarity score的高低进行排序，并选取最接近的10张普通图片作为候选图片。
3.2、从深度图像库中，选取出候选图片所对应的深度图像Ci(i＝1...k)，确保每一张候选图片都来自不同的场景库。在实际操作过程中，为了达到更好的效果，会选择相似的场景作为场景库。如果每个相似场景都贡献一张候选图片，生成的深度图像将更加准确，细节更丰富。
3.3、使用SIFT Flow的方法将各个候选图片的深度图在像素级别融合成一张图片D。此时生成的图片D只是一个粗略的图，之后的步骤将会进一步优化平滑此图。
4.恢复前景目标的深度。
前景目标是指一张图片当中人们所关心的目标，通常是一些运动的物体。之前的步骤2～3大致确定了背景整体的深度，然而一些前景物体，特别是一些运动物体往往是整个视频中最关键的。
4.1、通过运动物体检测，高斯混合模型等背景差分的方法，在一组连续RGB图像中提取出前景目标，将前景目标图片二值化得到模板，记为M。一些基于动态背景的运动物体检测方法也被应用于此步骤，检测物体准确性和在多帧之间的一致性，将影响到最后深度图的准确性。为了提高准确性，我们适当的引入人工的交互，即为步骤4.2.
4.2、为了保证最后生成深度图的质量，步骤4.1或可通过人工交互的方式代替，由人工手动确定前景目标的边界。即使如此仍然能节省许多的工时，提高劳动效率。
4.3、将步骤4.1～4.2获得的蒙板M，应用于步骤3.3中所生成的图片D中，在D中所有在M中的像素深度，定义为M最低点与地面接触点位置的深度，以此给出整个前景目标的深度。
5.对所得深度图像进行优化。
步骤5中我们使用整组候选图片的深度图
对每张生成的深度图进行优化。
5.1、上述步骤只完成了深度迁移得到了一个大致的深度图，使用如下公式对步骤4中生成的深度图像进一步优化。
其中：L是输入图像，D是目标图像的深度图，所做的优化就是要将-log(P(D|L))减到最小，即将D与其余各张候选图片的差别最小。Et是数据项，Es是空间平滑项，Ep是数据库先验的深度项，α，β同时也为常数。作为目标函数经过多次迭代使得所得值尽可能的小。
步骤5.1中的Et用来衡量目标图片与候选图片之间的差别，可以通过以下公式计算：
其中：K为候选图片的数量，w为每个候选图片的权重值，γ为权重系数常数，函数
为步骤3.3中sift flow的融合函数，即先通过sift flow找到两张图片之间的对应关系，再把候选图片中对应位置的像素搬到目标深度图中，这整个过程它定义为融合函数，每张候选图片对应有一个融合函数。sift flow算法出自文献Ce Liu,Jenny Yuen,Antonio Torralba,et al.SIFT Flow:Dense Correspondence across Different Scenes[M]//Computer Vision–ECCV 2008.Springer Berlin Heidelberg,2008:28-42.
空间平滑项Es由以下公式计算，由x和y方向上的梯度组成：
上式中
下式为计算数据库先验项，p为所有图片数据库中深度平均值。
Ep(Di)＝φ(Di-Pi)
5.2、使步骤4最后得到的深度图像作为初始值，实际操作通过每次迭代过程不断调整各个参数，直到达到迭代次数最大值或E(D)的最小值，并求出此时
对应的D值，即为优化后的深度图。
上述对实施例的描述是为便于本技术领域的普通技术人员能理解和应用本发明。熟悉本领域技术的人员显然可以容易地对上述实施例做出各种修改，并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此，本发明不限于上述实施例，本领域技术人员根据本发明的揭示，对于本发明做出的改进和修改都应该在本发明的保护范围之内。
Claims (9)
- 一种基于场景样本库的影视图像深度提取方法，包括如下步骤：(1)建立图像库；所述图像库包含有大量RGB图像及其对应的深度图，且这些RGB图像来自于多个场景；(2)对输入图像以及图像库中的RGB图像进行特征提取，以得到这些图像的GIST特征向量和光流特征向量，进而计算输入图像与图像库中每一RGB图像的相似度值；(3)从图像库中选取与输入图像相似度值最小的若干张RGB图像作为候选图片，并确保这些候选图片分别来自于各个不同的场景，进而将各候选图片对应的深度图在像素级别融合成一张深度图片U；(4)在深度图片U中恢复出前景目标，从而得到深度图片D*；(5)使深度图片D*作为初值对以下目标函数进行最小化求解，得到输入图像对应的深度图D；
其中：Di为深度图D中第i像素的深度值，Et(Di)为Di对应的数据项，Es(Di)为Di对应的空间平滑项，Ep(Di)为Di对应的图像库先验深度项，α和β均为预设的常数，i为自然数且1≤i≤N，N为深度图片D的像素总数。 - 根据权利要求1所述的影视图像深度提取方法，其特征在于：每一场景即对应为一个独立的镜头，同一场景的RGB图像来源于其对应镜头所拍摄。
- 根据权利要求1所述的影视图像深度提取方法，其特征在于：所述步骤(2)中通过以下算式计算输入图像与图像库中每一RGB图像的相似度值：similarity＝(1-ω)||G1-G2||+ω||F1-F2||其中：similarity为输入图像与RGB图像的相似度值，G1和F1分别为输入图像的GIST特征向量和光流特征向量，G2和F2分别为RGB图像的GIST特征向量和光流特征向量，ω为预设的权重系数。
- 根据权利要求1所述的影视图像深度提取方法，其特征在于：所述步骤(3)在选取候选图片之前，使图像库中相似场景的RGB图像合并组成一个场景库，则选取候选图片时确保任意两张候选图片不会来自于同一个场景库。
- 根据权利要求1所述的影视图像深度提取方法，其特征在于：所述步骤(3)中采用SIFT Flow算法将各候选图片对应的深度图在像素级别融合成一张深度图片U。
- 根据权利要求1所述的影视图像深度提取方法，其特征在于：所述步骤(4)中在深度图片U中恢复出前景目标的具体过程为：首先，通过提取输入图像的前景目标用以对输入图像中的前景和背景进行二值化，得到输入图像的前景模板M；然后，基于前景模板M在深度图片U中刻画出前景目标区域；最后，将深度图片U中前景目标区域所有像素的深度值均修改为前景目标区域最低点的深度值，从而得到深度图片D*。
- 根据权利要求1所述的影视图像深度提取方法，其特征在于：所述数据项Et(Di)的表达式如下：
其中：Ci (j)表示第j张候选图片对应深度图中第i像素的深度值，和
分别为对应X方向和Y方向上的梯度算子，
为SIFT Flow算法中对应第j张候选图片对应深度图的融合函数，γ为预设的常数，
t为变量，ε＝10-4，
为深度值Ci (j)所对应的权重，j为自然数且1≤j≤K，K为候选图片的数量。
- 根据权利要求1所述的影视图像深度提取方法，其特征在于：所述空间平滑项Es(Di)的表达式如下：
其中：t为变量，ε＝10-4，
和
分别为对应X方向和Y方向上的梯度算子，Li为输入图像中第i像素的颜色值。
- 根据权利要求1所述的影视图像深度提取方法，其特征在于：所述图像库先验深度项Ep(Di)的表达式如下：Ep(Di)＝φ(Di-Pi)其中：t为变量，ε＝10-4，Pi为图像库中所有深度图关于第i像素的平均深度值。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610847113.4A CN106548494A (zh) | 2016-09-26 | 2016-09-26 | 一种基于场景样本库的影视图像深度提取方法 |
| CN2016108471134 | 2016-09-26 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2018053952A1 true WO2018053952A1 (zh) | 2018-03-29 |
Family
ID=58369410
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/CN2016/109982 WO2018053952A1 (zh) | 2016-09-26 | 2016-12-14 | 一种基于场景样本库的影视图像深度提取方法 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN106548494A (zh) |
| WO (1) | WO2018053952A1 (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110674837A (zh) * | 2019-08-15 | 2020-01-10 | 深圳壹账通智能科技有限公司 | 视频相似度获取方法、装置、计算机设备及存储介质 |
| CN112446384A (zh) * | 2019-12-06 | 2021-03-05 | 黑芝麻智能科技(上海)有限公司 | 快速实例分割 |
| CN112560998A (zh) * | 2021-01-19 | 2021-03-26 | 德鲁动力科技(成都)有限公司 | 针对目标检测的少样本数据扩增方法 |
| CN112637614A (zh) * | 2020-11-27 | 2021-04-09 | 深圳市创成微电子有限公司 | 网络直播音视频处理方法、处理器、装置及可读存储介质 |
| CN112967365A (zh) * | 2021-02-05 | 2021-06-15 | 浙江大学 | 一种基于用户感知优化的深度图生成方法 |
| CN115496863A (zh) * | 2022-11-01 | 2022-12-20 | 之江实验室 | 用于影视智能创作的情景互动的短视频生成方法及系统 |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108492364B (zh) * | 2018-03-27 | 2022-09-20 | 百度在线网络技术（北京）有限公司 | 用于生成图像生成模型的方法和装置 |
| CN110322499B (zh) * | 2019-07-09 | 2021-04-09 | 浙江科技学院 | 一种基于多层特征的单目图像深度估计方法 |
| CN112446822B (zh) * | 2021-01-29 | 2021-07-30 | 聚时科技(江苏)有限公司 | 一种污损集装箱号图片的生成方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080232716A1 (en) * | 2005-08-17 | 2008-09-25 | Nxp B.V. | Video Processing Method and Device for Depth Extraction |
| CN101815225A (zh) * | 2009-02-25 | 2010-08-25 | 三星电子株式会社 | 生成深度图的方法及其设备 |
| CN103024420A (zh) * | 2013-01-17 | 2013-04-03 | 宁波工程学院 | 一种rgbd数据深度迁移的单幅图像2d转3d方法 |
| CN103716615A (zh) * | 2014-01-09 | 2014-04-09 | 西安电子科技大学 | 基于样本学习和深度图像传播的2d视频立体化方法 |
-
2016
- 2016-09-26 CN CN201610847113.4A patent/CN106548494A/zh active Pending
- 2016-12-14 WO PCT/CN2016/109982 patent/WO2018053952A1/zh active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080232716A1 (en) * | 2005-08-17 | 2008-09-25 | Nxp B.V. | Video Processing Method and Device for Depth Extraction |
| CN101815225A (zh) * | 2009-02-25 | 2010-08-25 | 三星电子株式会社 | 生成深度图的方法及其设备 |
| CN103024420A (zh) * | 2013-01-17 | 2013-04-03 | 宁波工程学院 | 一种rgbd数据深度迁移的单幅图像2d转3d方法 |
| CN103716615A (zh) * | 2014-01-09 | 2014-04-09 | 西安电子科技大学 | 基于样本学习和深度图像传播的2d视频立体化方法 |
Non-Patent Citations (1)
| Title |
|---|
| LUO, HAO: "Understanding and Application of RGB-D Visual Content", CHINA MASTER'S THESES FULL-TEXT DATABASE INFORMATION SCIENCE AND TECHNOLOGY, 15 March 2016 (2016-03-15), pages 15, ISSN: 1674-0246 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110674837A (zh) * | 2019-08-15 | 2020-01-10 | 深圳壹账通智能科技有限公司 | 视频相似度获取方法、装置、计算机设备及存储介质 |
| CN112446384A (zh) * | 2019-12-06 | 2021-03-05 | 黑芝麻智能科技(上海)有限公司 | 快速实例分割 |
| CN112637614A (zh) * | 2020-11-27 | 2021-04-09 | 深圳市创成微电子有限公司 | 网络直播音视频处理方法、处理器、装置及可读存储介质 |
| CN112637614B (zh) * | 2020-11-27 | 2023-04-21 | 深圳市创成微电子有限公司 | 网络直播音视频处理方法、处理器、装置及可读存储介质 |
| CN112560998A (zh) * | 2021-01-19 | 2021-03-26 | 德鲁动力科技(成都)有限公司 | 针对目标检测的少样本数据扩增方法 |
| CN112967365A (zh) * | 2021-02-05 | 2021-06-15 | 浙江大学 | 一种基于用户感知优化的深度图生成方法 |
| CN115496863A (zh) * | 2022-11-01 | 2022-12-20 | 之江实验室 | 用于影视智能创作的情景互动的短视频生成方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106548494A (zh) | 2017-03-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2018053952A1 (zh) | 一种基于场景样本库的影视图像深度提取方法 | |
| US10542249B2 (en) | Stereoscopic video generation method based on 3D convolution neural network | |
| RU2426172C1 (ru) | Способ и система выделения данных об изображении объекта переднего плана на основе данных о цвете и глубине | |
| US11348267B2 (en) | Method and apparatus for generating a three-dimensional model | |
| Hillman et al. | Alpha channel estimation in high resolution images and image sequences | |
| KR20150079576A (ko) | 조합된 깊이 큐들에 기초하여 모노스코픽 이미지로부터 깊이 맵 생성 | |
| CN108377374B (zh) | 用于产生与图像相关的深度信息的方法和系统 | |
| CN110189294B (zh) | 基于深度可信度分析的rgb-d图像显著性检测方法 | |
| CN102609950B (zh) | 一种二维视频深度图的生成方法 | |
| CN110827312B (zh) | 一种基于协同视觉注意力神经网络的学习方法 | |
| US10425634B2 (en) | 2D-to-3D video frame conversion | |
| CN109525786B (zh) | 视频处理方法、装置、终端设备及存储介质 | |
| CN108470178B (zh) | 一种结合深度可信度评价因子的深度图显著性检测方法 | |
| Zhu et al. | Joint depth and alpha matte optimization via fusion of stereo and time-of-flight sensor | |
| CN110610486A (zh) | 单目图像深度估计方法及装置 | |
| Yan et al. | Depth map generation for 2d-to-3d conversion by limited user inputs and depth propagation | |
| KR100987412B1 (ko) | 멀티프레임을 고려한 비디오 오브젝트 매팅 시스템 및 방법 | |
| JP5561786B2 (ja) | ３次元形状モデル高精度化方法およびプログラム | |
| CN112288788A (zh) | 单目图像深度估计方法 | |
| CN110390724B (zh) | 一种带有实例分割的slam方法 | |
| JP6272071B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| CN110120012A (zh) | 基于双目摄像头的同步关键帧提取的视频拼接方法 | |
| CN110580696A (zh) | 一种细节保持的多曝光图像快速融合方法 | |
| CN110378995A (zh) | 一种利用投射特征进行三维空间建模的方法 | |
| CN107578419B (zh) | 一种基于一致性轮廓提取的立体图像分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 16916691 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 16916691 Country of ref document: EP Kind code of ref document: A1 |