WO2014063373A1 - 深度图提取、判断视频场景切换及深度图边缘优化方法 - Google Patents

深度图提取、判断视频场景切换及深度图边缘优化方法 Download PDF

Info

Publication number
WO2014063373A1
WO2014063373A1 PCT/CN2012/083689 CN2012083689W WO2014063373A1 WO 2014063373 A1 WO2014063373 A1 WO 2014063373A1 CN 2012083689 W CN2012083689 W CN 2012083689W WO 2014063373 A1 WO2014063373 A1 WO 2014063373A1
Authority
WO
WIPO (PCT)
Prior art keywords
depth
value
depth map
target
image
Prior art date
Application number
PCT/CN2012/083689
Other languages
English (en)
French (fr)
Inventor
马荣敏
邢文峰
Original Assignee
青岛海信信芯科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 青岛海信信芯科技有限公司 filed Critical 青岛海信信芯科技有限公司
Publication of WO2014063373A1 publication Critical patent/WO2014063373A1/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/142—Edging; Contouring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Definitions

  • the invention relates to a depth map extraction method in a video image 2D to 3D, in particular to a depth map extraction method including a method for determining a video scene switching and a depth map edge optimization.
  • the depth map refers to an image formed by replacing the gray level of the grayscale image with the longitudinal depth value of the object. Since each pixel represents a relative depth information that reflects the three-dimensional coordinate information of the surface of the scene, the depth map contains 3D information (ie, more reliable depth data) that can be directly utilized. In the 2 D to 3 D algorithm, the extraction and calculation of the depth map is an important key link.
  • the present invention provides a depth map extraction method based on a TV refresh frequency.
  • the present invention provides a depth map extraction method, the method comprising at least the following steps:
  • the present invention provides a method for determining a video scene switching, the method comprising at least the following steps: Inputting a sequence of video frames to be processed to obtain a source image; performing edge detection and target recognition on the source image to obtain a target image;
  • the brightness value of the target object is obtained.
  • the present invention provides a depth map edge optimization method, where the method includes at least the following steps
  • Edge detection of the depth map obtaining an edge map, recording the coordinates of all edge points Input the sequence of the video frame to be processed, and perform horizontal and vertical 1 / 2 sampling on the source image separately, and perform edge detection and target recognition on the obtained result to obtain the target image; perform 1 / 3 sampling on the target image, record new
  • the obtained edge image, the coordinate record at the intersection of the target boundary is ( ⁇ ); the comparison between ) and ( ) is done line by point, if it is the same as), continue to compare the next point; otherwise, For the reference, adjust the depth value of ( ' ) and its neighborhood; smooth the resulting depth map to generate the final depth map.
  • the depth map extraction method of the present invention introduces the TV refresh frequency into the calculation of the depth value, and then calculates and extracts the depth map based on the obtained depth value.
  • different pixel point spans are used to calculate the depth map, so that the calculated depth map is more accurate, and the final rendered 3D video image is more ideal.
  • the method for determining the switching of the video scene of the present invention uses the brightness value of the target object as a judgment, which is different from the existing method for judging the switching of the video scene by the pixel value.
  • the main advantages are: 1. Using the target object brightness value instead of the brightness value of the entire source image, reducing the amount of calculation; 2. Calculating the ⁇ component instead of the sum of the components of the YUV three channels, reducing the complexity of the algorithm. Make the judgment more accurate and more convenient to use.
  • the depth map edge optimization method of the present invention repairs the edge depth value of the depth image by comparing the edge information of the target object in the depth map and the source image, and recalibrates the calculated edge pixel of the depth map that does not match the source image edge. And adjust the depth value of the neighborhood to make the generated depth image edge data more accurate, and solve the problem that the edge of the video image 2 D to 3 D is prone to edge blur or ghosting and thus affect the viewing shield.
  • Figure 1 is a schematic flow chart of the method of the present invention.
  • Figure 2 is a schematic diagram of the coordinates of the pixel points and their surrounding pixels.
  • FIG. 3 is a flow chart of a preferred embodiment of the method of the present invention.
  • FIG. 4 is a flow chart of a preferred embodiment of a depth value calculation method.
  • Figure 5 is a flow chart of a preferred embodiment of the depth map optimization method. detailed description
  • the input image frame sequence to be processed is taken as the source image, and the target image is obtained by performing edge detection and target recognition on the source image. It is judged based on the target image whether or not the video scene is switched. Then, according to whether the video scene is switched, the brightness value of the target image pixel is changed in time and space, and the TV refresh frequency is used to calculate the depth value of a certain pixel point, and the depth map is calculated and extracted according to the obtained depth value, and the depth map result is output. .
  • the depth value of a certain pixel point is calculated according to the target image and the TV refresh frequency.
  • the depth is equal to the spatial variation of the luminance value of the pixel at a certain position and the brightness of the pixel at the position.
  • the change in value time divides the resulting value.
  • the preferred specific formula is: depth ⁇
  • ⁇ '(, is the brightness value of the pixel at the same position in the image of the previous frame, ⁇ 2 , ⁇ the next movement of the pixel in the horizontal direction
  • the brightness value of the coordinate point, P Y( x , y + Height /2) is the brightness value of the next coordinate point of the pixel moving in the vertical direction
  • Width is the number of pixels in the TV width direction divided by the TV refresh frequency
  • the resulting value, Height is the number of pixels in the TV height direction divided by the TV refresh rate; when the resulting depth value is greater than 255, the depth count is 255, and the resulting depth value is rounded off when there is a remainder.
  • the degree of change of the depth value is an accumulation process; when the video scene is switched, the continuous motion is terminated, and the accumulated depth value needs to be cleared. Otherwise an error will occur. So, when calculating and extracting the depth map based on the depth value,
  • Acount depth + depth ⁇ 255 then AcounV depth Acount depth + depth ; No, Width
  • the added depth value, ⁇ is the new depth value.
  • the depth map extraction method of the present invention further includes the steps of: performing horizontal and vertical first squatting on the obtained source image, and performing edge detection and target on the image after the first squatting sample. Identify and get the target image.
  • the first squat sample is preferably used in 1 / 2 squatting.
  • the depth map extraction method of the present invention further includes the steps of: performing a second squatting operation on the target image in the horizontal and vertical directions respectively; according to whether the video scene is switched or not, after the second squatting
  • the result and the TV refresh rate are used to calculate and extract the depth map; the depth map is output.
  • the second sputum sample is preferably 1 1 / 3 ⁇ sample.
  • the depth map extraction method of the present invention further comprises the steps of: extracting edge coordinates of the target image, and optimizing the edge of the calculated and extracted depth map according to the edge coordinate. Calibrate and then output the depth map results.
  • the preferred implementation method of the edge detection is implemented by calculating the correlation degree between the pixel point of a certain position and the neighboring pixel points: the pixel value of the center point and the adjacent pixel point are respectively subtracted, And taking the absolute value; determining the two points when the absolute value of the adjacent pixel difference is less than the set correlation threshold; the pixel points related to the neighboring pixel points are located inside the target, and are related to the surrounding three pixel points The pixel is located at the edge of the target, and the pixel associated with the two surrounding pixels is located at the edge of the target boundary. After the detection is completed, the pixel inside the target, the pixel at the target edge, and the pixel at the intersection of the target boundary form a target to achieve the target. Identification.
  • the present invention also discloses a method for judging video scene switching, the method comprising at least the following steps: inputting a sequence of video frames to be processed to obtain a source image; performing edge detection and target on the source image Identifying, obtaining the target image; obtaining the brightness value of the target object according to the target image, determining that the video scene is switched when the number of uncorrelated luminance values of the same position pixel exceeds the set value in two consecutive frames, otherwise determining the video The scene has not been switched.
  • the preferred implementation manner of the method for determining a video scene switching includes the following steps: Let the number of target objects in the current frame be M, and the total number of pixels included in a target object is N, O'J is the brightness value of a pixel in a certain position in the target object, '( ⁇ , is The brightness value of the pixel at the same coordinate in the previous frame image.
  • the counter value of the counter is incremented by one; the pixel points included in all the target objects in the current frame are calculated. The same position pixel of the previous frame image
  • the method for determining a video scene switching method further includes the following steps: performing horizontal and vertical squatting on the source image separately; performing edge detection and target recognition on the result obtained after the squatting, to obtain a target image. It is preferred to use a 1/2 squat sample.
  • the present invention further provides a depth map edge optimization method, the method step: performing edge detection on the depth map, obtaining an edge map, recording coordinates of all edge points ( , ); inputting a sequence of video frames to be processed, The source image is respectively subjected to horizontal and vertical 1/2 squatting, edge detection and target recognition are performed on the obtained image to obtain a target image; 1/3 squatting is performed on the target image, and the newly obtained edge image is recorded, located at the target The coordinates of the intersection point are recorded as ( ⁇ ); and () and () are compared line by line, if) the same as), continue to compare the next point; otherwise, For the benchmark, adjust the depth value of ( ' ) and its neighborhood;
  • the obtained depth map is smoothed to generate a final depth map.
  • edge detection for the depth map is not limited. In order to achieve good results, the Canny operator is preferred for edge detection.
  • the specific characterization method of each point in the edge map is not limited.
  • the preferred method is: the edge point has a value of 1, and the remaining points have a value of 0.
  • the body adjustment method is as follows, ⁇ Wo Perform line-by-point comparison by line. If 'the same is true, continue to compare the next point; if the two coordinates are not the same, it means that the edge of the depth map does not match the edge of the source image. It needs to be calibrated and adjust the depth value of its neighboring pixels.
  • the adjustment is divided into two parts: the depth value adjustment in the horizontal direction and the depth value adjustment in the vertical direction.
  • the two adjustment methods are the same.
  • the adjustment in the horizontal direction is taken as an example. In the horizontal direction, if Xd ⁇ Xs , indicating that the boundary point of the depth map is shifted to the left of the boundary point of the source image, the depth value at the boundary point of the depth map needs to be moved right to the boundary point of the source image.
  • the value is the depth value at ⁇ .
  • the depth values of adjacent pixels of the mismatched edge points in the vertical direction are adjusted as above.
  • Preferred Embodiment 1 A 2D television image is used as a source image. Assume that the coordinates of a certain center point P in one frame of the 2D television image are (X, y), as shown in Fig. 2, the coordinates of adjacent pixels around it are (xl, y), (x+l , y) , ( ⁇ , y-1) , ( ⁇ , y+1) , calculate the degree to which the pixel is related to its neighboring pixels.
  • the center point pixel value is subtracted from its neighboring pixel points, respectively, and its absolute value is taken. If the absolute value of the adjacent pixel difference in a certain direction is less than the set correlation threshold, it is determined that the two points are related, and the value of the (X, y) position in the target object table is added to 0x01; otherwise, no processing is performed. After calculating the remaining adjacent pixels in turn, the value of the (X, y) position in the target object table at this time represents the degree of correlation of the point of this coordinate in the source video image with its neighboring pixels.
  • Table 1 The calculation results are shown in Table 1.
  • the value in the target object table is 0x04 for the target interior, 0x03 for the target edge, and 0x02 for the target boundary intersection.
  • the depth value of the P point in the one frame picture is calculated according to the target image and the TV refresh frequency, wherein the TV refresh frequency is 60 Hz, and the video image source size is 1920 x 1080.
  • the brightness value of the P point is ( , , in order to make the depth map extraction more accurate, assuming that the number of pixels of its motion is Width/2, Height/2 after rounding. That is, the P point moves in the horizontal direction.
  • the luminance value of the coordinate point is + 1 ⁇ /2, and the luminance value of the next coordinate point moving in the vertical direction is P Y (x, y + Height / 2), and a luminance value of the ⁇ point in space is obtained.
  • Change: d _ space (x, y + Height/2) - P Y (x, y) ⁇
  • the P point brightness value ( , the change in time span: the brightness value at the same coordinate of the P point of one frame is ' ⁇ , , Then the brightness value of the P point over the time span changes to:
  • a gray level is calculated from the change of the luminance value after 1/f second in time space, and the depth value of this point is expressed by the following formula:
  • the calculated depth is calculated as 175, and the depth map is calculated and extracted based on the obtained depth value, and the depth map result is output.
  • the depth map is calculated and extracted with the TV refresh frequency as an element, so that the calculated depth map is more accurate, and the final rendered 3D video image is more ideal.
  • Preferred Embodiment 2 After the edge detection and the target recognition are completed in the preferred embodiment 1, it is found that the video scene has been switched, and the continuous motion is terminated, and the accumulated depth value needs to be cleared, otherwise an error will occur.
  • the depth value calculated by the P point from the previous step is calculated as , and the previously accumulated depth value is calculated as
  • Acount de P th the new depth value is Acount , , ie Acomt + depth.
  • Acount th + depth ⁇ 255 is found during the process of depth value accumulation, in order to avoid the accumulation of depth values.
  • Acount ' . Acount, . x + depth
  • the formula uses depth depth 255 ⁇ to get an accumulated value of 235.
  • the situation of the subsequent switching of the video scene is given, and the influence of the video scene switching on the calculation and extraction of the depth map is fully considered, so that the obtained depth map is more accurate.
  • the TV refresh frequency is 60 Hz
  • the size of the video image source is 1920 ⁇ 1080.
  • the 2D TV image source image is first 1/2 sampled, and then the edge detection and target recognition work.
  • the extraction process of the depth map in order to further reduce the amount of calculation and reduce the Width, the span of the pixel of the Height, the calculation error of the reduced depth map, and the 1/3 ⁇ ⁇ ⁇ ⁇ 1/3 In this way, the depth map is extracted from the obtained 320 X 180 image.
  • the width of the image to be processed is W
  • the height is H.
  • the luminance value of the P point is (, , in order to make the depth map extraction more accurate, it is assumed that the number of pixels of the motion is Width/2, Height/2 after rounding. That is, the P point is horizontal.
  • the brightness value of the next coordinate point moving in the direction is + 1 ⁇ /2, and the brightness value of the next coordinate point moving in the vertical direction is P y + Heightll), then a brightness value of the p point in space is obtained.
  • a gray level is calculated from the change of the luminance value after 1/f second in time space, and the depth value of this point is expressed by the following formula:
  • the calculated depth is 268, and the depth count is 255.
  • the depth map is calculated and extracted according to the obtained depth value, and the depth map result is output.
  • Preferred Embodiment 4 Judging whether the video scene is switched by using a change in the brightness of the target object.
  • the number of target objects in the current frame be ⁇ , and the total number of pixels included in a target is ⁇ , ⁇ ⁇ ⁇ )
  • the brightness value of a pixel at a certain position in this target, '(, is the pixel value of the pixel at the same coordinate of the previous frame.
  • the counter counter is automatically incremented by one. After calculating the difference in brightness between the pixel points of all target objects in the current frame and the pixels at the same position in the next frame image, the phase is discriminated. ⁇ counter ,
  • Scene _ change (1 ) xl00% Whether the video scene of two adjacent frames is switched, the formula is as follows: ⁇ MxN .
  • the calculated value of Scene_change is greater than 30%, it means that the number of unrelated values of the pixels at the same position in the two frames before and after is more than 30%, and it is determined that the video scene has been switched. Otherwise, it is determined that the current frame is similar to the previous frame and is still a continuous scene.
  • the method for determining the switching of the video scene of the present invention uses the brightness value of the target object as a judgment, which is different from the existing method for judging the switching of the video scene by the pixel value.
  • the main advantages are: 1. Using the target object brightness value instead of the brightness value of the entire source image, reducing the amount of calculation; 2. Calculating the Y component instead of the sum of the components of the YUV three channels, reducing the complexity of the algorithm. Make the judgment more accurate and more convenient to use.
  • Preferred Embodiment 5 It can be known from experiments that the spatial position of the same target object in the depth map and the source image is exactly the same, but the mismatched position mainly exists at the edge of the target object. Since the edge of the depth map source image cannot be completely matched, the distortion of the 2D to 3D effect of the video image is affected, which affects the viewing shield. The edge depth value of the depth image can be repaired by comparing the depth map and the edge information of the target object in the source image, as shown in FIG.
  • the edge map is a binary image with an edge point value of 1, and the remaining points have a value of 0. Record the coordinates of all points with a value of 1
  • the adjustment is divided into two parts: the depth value adjustment in the horizontal direction and the depth value adjustment in the vertical direction.
  • the two adjustment methods are the same.
  • the adjustment in the horizontal direction is taken as an example.
  • the depth value at the coordinates ( ) in the depth map is assigned to the depth value at – 1 ' 3 ⁇ ).
  • the depth values of adjacent pixels of the mismatched edge points in the vertical direction are adjusted as above.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种深度图提取方法，步骤为：输入待处理视频帧序列，得到源图像；对源图像进行边缘检测和目标识别，得到目标图像；根据目标图像判断视频场景是否发生切换；依据视频场景是否发生切换、目标图像像素点的亮度值在时间和空间上的变化、以及电视刷新频率计算某一像素点的深度值，根据所得深度值计算并提取深度图；输出深度图结果。本发明公开一种判断视频场景切换的方法，该方法通过判断相同位置像素点亮度值不相关的个数是否超过设定值来判定视频场景是否发生了切换。本发明公开一种深度图边缘优化方法，逐点比较深度图边缘点坐标和目标边界交点的坐标，如果不相同则深度图边缘点坐标赋值为目标边界交点的坐标。

Description

深度图提取、 判断视频场景切换及深度图边缘优化方法 技术领域
本发明涉及一种视频图像 2 D转 3 D 中的深度图提取方法， 尤其设计一种包括 判断视频场景切换及深度图边缘优化方法的深度图提取方法。 背景技术
深度图是指以物体纵向深度值代替灰度图像的灰度级形成的图像。 由于其中 的每个像素代表了一个相对的深度信息， 反映了景物表面的三维坐标信息， 所以 深度图包含了可以直接利用的 3 D信息 （即较可靠的深度数据）。 在 2 D转 3 D算法 中， 深度图的提取与计算是至为重要的关键环节。
在实现本发明过程中， 发明人发现现有的深度图提取算法中没有针对电视机 刷新频率进行深度图计算的方法， 导致最终计算得到的深度图像对转化 2 D视频序 列的观看效果受到影响。 发明内容
为了克服上述的缺陷， 本发明提供一种基于电视刷新频率的深度图提取方法。 为达到上述目的， 一方面， 本发明提供一种深度图提取方法， 所述方法至少 包括下述步骤：
输入待处理视频帧序列， 得到源图像； 对源图像进行边缘检测和目标识别， 得到目标图像；
根据目标图像判断视频场景是否发生切换；
依据视频场景是否发生切换、 目标图像像素点的亮度值在时间和空间上的变 化、 以及电视刷新频率计算某一像素点的深度值， 根据所得深度值计算并提取深 度图；
输出深度图结果； 其中，
依据目标图像和电视刷新频率计算某一像素点的深度值 de p t h 等于某位置处 该像素点的亮度值在空间上的变化量与此位置处该像素点的亮度值在时间上的变 化相除所得值。 另一方面， 本发明提供一种判断视频场景切换的方法， 所述方法至少包括下 述步骤： 输入待处理视频帧序列， 得到源图像； 对源图像进行边缘检测和目标识别， 得到目标图像；
根据目标图像得到目标对象的亮度值， 在连续两帧画面中， 相同位置像素点 的亮度值不相关的个数超过设定值时判定视频场景发生了切换， 否则判定视频场 景未切换。 再一方面， 本发明提供一种深度图边缘优化方法， 所述方法至少包括下述步
对深度图进行边缘检测， 得到边缘图， 记录所有边缘点的坐标
Figure imgf000004_0001
输入待处理视频帧序列， 对源图像分别进行横向和纵向的 1 / 2 下釆样， 对所 得结果进行边缘检测和目标识别， 得到目标图像； 对目标图像进行 1 / 3 下釆样， 记录新得到的边缘图像， 位于目标边界交点的坐标记录为 ( ·^ ) ; 对 )和 ( )进行逐行逐点比较， 如果 )与 )相同则继续比对 下一点； 否则， 以
Figure imgf000004_0002
为基准， 调整( ' )及其邻域的深度值； 对得到的深度图进行平滑滤波， 生成最终的深度图。
本发明深度图提取方法将电视刷新频率引入到深度值的计算中， 进而再根据 所得深度值计算并提取深度图。 根据电视不同的刷新频率而釆用了不同的像素点 跨度来进行深度图的计算， 使计算得到的深度图更加准确， 让最终渲染出的 3 D视 频图像效果更加理想。 本发明判断视频场景切换的方法利用 目标对象的亮度值作判断， 有别于现有 通过像素值来判断视频场景切换的方法。 优点主要为： 1.使用 目标对象亮度值而 非整个源图像的亮度值， 减少了计算量； 2.计算的是 Υ分量， 而非 YUV 三个通道 的分量和， 降低算法复杂程度。 令判断更加准确， 使用更加方便。
本发明深度图边缘优化方法通过比对深度图和源图像中目标对象的边缘信息 来对深度图像的边缘深度值进行修复， 对计算得到的与源图像边缘不匹配深度图 边缘像素点进行重新校准， 并调整其邻域的深度值， 使生成的深度图像边缘数据 更加准确外， 解决了视频图像 2 D转 3 D 时易出现边缘模糊或重影进而影响观看盾 量的问题。 附图说明
图 1为本发明方法流程示意图。
图 2为像素点及其周围像素点的坐标标注示意图。
图 3为本发明方法优选实施例流程图。
图 4为深度值计算方法优选实施例流程图。
图 5为深度图优化方法优选实施例流程图。 具体实施方式
下面结合说明书附图和实施例对本发明做详细描述。
如图 1 所示， 在本发明深度图提取方法中， 以输入的待处理视频帧序列为源 图像， 通过对源图像进行边缘检测和目标识别， 得到目标图像。 根据目标图像判 断视频场景是否发生切换。 然后依据视频场景是否发生切换、 目标图像像素点的 亮度值在时间和空间上的变化、 以及电视刷新频率计算某一像素点的深度值， 根 据所得深度值计算并提取深度图， 输出深度图结果。
为了实现本发明深度图提取方法， 依据目标图像和电视刷新频率计算某一像 素点的深度值 depth 等于某位置处该像素点的亮度值在空间上的变化量与此位置 处该像素点的亮度值 时间上的变化相除所得值。 优选的具体公式为： depth―
Figure imgf000005_0001
； 其 中 ， 为目标图像中某一像素点的亮度值， ^ '(， 为上一帧图像中同一位置像 素点的亮度值， ^ 圳2,^为此像素点在水平方向上运动的下一坐标点的 亮度值， PY(x,y + Height /2)为此像素点在垂直方向上运动的下一坐标点的亮度 值； Width 为电视宽度方向上的像素个数除以电视刷新频率后所得值， Height 为 电视高度方向上的像素个数除以电视刷新频率后所得值； 当所得 depth值大于 255 时 depth的计数为 255 , 当所得 depth值有余数时进行四舍五入。
在计算深度图时， 由于运动是连续的， 所以其深度值的变化程度是一个累加 的过程； 而当视频场景切换时， 连续的运动终止了， 此时需要对累加的深度值进 行清零， 否则就会发生错误。 所以， 根据深度值计算并提取深度图时， 如果
Acountdepth+ depth < 255 则 AcounV depth =Acountdepth + depth ； 否、 depth
+ depth Acount
其巾 deP'h为之前累
Acount
加的深度值， ώ为新的深度值。
为了筒化算法的复杂程度， 本发明深度图提取方法还包括步骤： 对所得源图 像分别进行横向和纵向的第一次下釆样， 对第一次下釆样后的图像进行边缘检测 和目标识别， 得到目标图像。 其中， 第一次下釆样优选釆用 1 / 2下釆样。
同样为了筒化算法的复杂程度， 本发明深度图提取方法还包括步骤： 对目标 图像分别进行横向和纵向的第二次下釆样操作； 依据视频场景是否发生切换、 第 二次下釆样后的结果以及电视刷新频率进行深度图的计算与提取； 输出深度图。 其中， 第二次下釆样优选釆用 1 / 3下釆样。
为了使生成的深度图像边缘数据更加准确、 3 D 视频图像效果更好， 本发明深 度图提取方法还包括步骤： 对目标图像提取边缘坐标， 依据边缘坐标对计算与提 取所得深度图的边缘进行优化校准， 然后输出深度图结果。
在本发明深度图提取方法中， 边缘检测优选的实现方法是通过计算某一位置 的像素点与其四周相邻像素点的相关程度来实现： 将中心点像素值与其相邻像素 点分别相减， 并取其绝对值； 当相邻像素差值的绝对值小于设定的相关阈值时判 定此两点相关； 与四周相邻像素点都相关的像素点位于目标内部， 与周围三个像 素点相关的像素点位于目标边缘， 与周围两个像素点相关的像素点位于目标边界 边缘检测完成后， 由目标内部的像素点、 目标边缘的像素点和目标边界交点 的像素点共同组成目标， 实现目标识别。
在本发明深度图提取方法中， 判断视频场景是否切换是很重要的一个步骤。 现有判断方法依据的是灰度值的变化。 为了提高判断的准确性和效果， 本发明还 公开了一种判断视频场景切换的方法， 该方法至少包括下述步骤： 输入待处理视 频帧序列， 得到源图像； 对源图像进行边缘检测和目标识别， 得到目标图像； 根 据目标图像得到目标对象的亮度值， 在连续两帧画面中， 相同位置像素点的亮度 值不相关的个数超过设定值时判定视频场景发生了切换， 否则判定视频场景未切 换。
为了令视频场景切换的判定更加准确， 本发明判断视频场景切换方法的优选 实现方式包括下述步骤： 设当前帧中目标对象的个数为 M, 某一目标对象所包含的像素点总个数为 N, O'J 为此目标对象中的某一位置像素点的亮度值， '(^， 为上一帧图像中同 一坐标处像素点的亮度值， 当 (，^— '(，^<7¾ ¾/wW时计数器的计数值加一; 计算完当前帧中所有目标对象所包含的像素点与上一帧图像相同位置像素点
Scene _ change = (1- counter^ x \ oo%
的亮度差后， 代入公式 ― MxN , 其中 counter 为计数器 的计数值；
当 Scene_change的值大于设定值时判定视频场景发生了切换， 否则判定当前 帧图像与上一帧图像是连续场景。
为了筒化算法， 本发明判断视频场景切换方法还包括下述步骤： 对源图像分 别进行横向和纵向的下釆样； 对下釆样后得到的结果进行边缘检测和目标识别， 得到目标图像。 下釆样优选釆用 1/2下釆样。
现有深度图优化方法的一个缺点是没有对目标对象边缘处进行很好的处理， 还会存在一些边缘模糊或重影的现象， 以及深度图边缘与源图像边缘不能完全匹 配的情况。 为了解决这一问题， 本发明还提供一种深度图边缘优化方法， 该方法 骤： 对深度图进行边缘检测， 得到边缘图， 记录所有边缘点的坐标( ， )； 输入待处理视频帧序列， 对源图像分别进行横向和纵向的 1/2 下釆样， 对所 得结果进行边缘检测和目标识别， 得到目标图像； 对目标图像进行 1/3 下釆样， 记录新得到的边缘图像， 位于目标边界交点的坐标记录为 ( ·^); 对 )和 ( )进行逐行逐点比较， 如果 )与 )相同则继续比对 下一点； 否则， 以
Figure imgf000007_0001
为基准， 调整( ' )及其邻域的深度值；
对得到的深度图进行平滑滤波， 生成最终的深度图。
对深度图进行边缘检测的具体方法不限。 为了达到良好的效果， 边缘检测优 选使用的是 Canny算子。
在本发明深度图边缘优化方法中， 边缘图中各点的具体表征方法不限， 优选 方式为： 边缘点的值为 1, 其余点的值为 0。 在本发明深度图边缘优化方法中 ^Xd'yd ^及其周围相邻像素点的深度值的具 体调整方法如下 对 ,· 禾
Figure imgf000008_0001
进行逐行逐点比较， 如果 '与 相同则继续比对 下一点； 如果两坐标不相同， 说明深度图边缘与源图像边缘不匹配， 需要进行校 准并对其相邻像素点深度值进行调整。 调整分为两部分进行： 水平方向的深度值 调整和垂直方向的深度值调整， 两种调整方法是一样的， 在此以水平方向的调整 为例进行说明。 在水平方向上， 若 Xd<Xs, 说明深度图的边界点 偏移到源图像的边界点 左边， 需要将深度图边界点 处的深度值右移至源图像的边界点
-1.
的坐标处， 同时将深度图中此边界点 至坐标 处的深度值赋
-1
值为 ^ 处的深度值。
垂直方向上的不匹配边缘点的相邻像素的深度值调整同上。
优选实施例一： 将 2D 的电视图像作为源图像。 假定该 2D 电视图像的一帧画 面中某一中心点 P的坐标为（X, y) , 如图 2所示， 其周围相邻像素点的坐标分别为 (x-l, y) , (x+l, y) , (χ, y-1) , (χ, y+1) , 计算该像素点与其上下左右相邻像素点 的相关程度。
将中心点像素值与其相邻像素点分别相减， 并取其绝对值。 如果某一方向上 相邻像素差值的绝对值小于设定的相关阈值， 则认定此两点是相关的， 将目标对 象表中（X, y)位置的值加 0x01; 否则， 不做处理。 依次计算其余的相邻像素点后， 此时目标对象表中 （X, y)位置的值表征了源视频图像中此坐标的点与其相邻像素 点的相关程度。计算结果如表 1所示， 目标对象表中的值为 0x04的代表目标内部， 0x03的代表目标边缘， 0x02的代表目标边界交点。
图 1 目标对象表
Figure imgf000008_0002
完成边缘检测和目标识别后， 根据目标图像的亮度变化程度进行判断， 发现 视频场景未发生切换。
依据目标图像和电视刷新频率来计算该一帧画面中 P 点的深度值， 其中电视 刷新频率为 60HZ, 视频图像源的尺寸为 1920 x 1080。 需要处理的图像宽为 W, 高 度为 H,则认为连续两帧中相同 目标的最大运动幅度在水平和竖直方向上分别不超 Width=W/60=32, Height=H/60=18。 假定 P 点的亮度值为 ( ， ， 为使深度图的提取更加准确， 假定其运动的像 素点个数为四舍五入后的 Width/2, Height/2。 即 P点在水平方向上运动的下一坐 标点的亮度值为 + 1^/2, , 其垂直方向上运动的下一坐标点的亮度值为 PY(x,y + Height/ 2) , 则 得 到 ρ 点 在 空 间 上 的 一 个 亮 度 值 变 化 ： d _ space =
Figure imgf000009_0001
(x, y + Height/2) - PY (x, y)\ 然后计算 P 点亮度值 ( ， 在时间跨度上的变化： 计上一帧 P 点同一坐标处 的 亮 度值 为 '^， , 那 么 P 点 在 时 间 跨度上 的 亮 度值 变 化 为 ：
Figure imgf000009_0002
由 P 点在时间空间上经过 1/f 秒后亮度值的变化计算得到一个灰度级， 以此 来表示此点的深度值， 计算公式如下：
depth = d _ time /d _ space
Figure imgf000009_0003
计算得到 depth的计数为 175, 根据所得深度值计算并提取深度图， 输出深度 图结果。
本优选实施例中以电视刷新频率为元素计算并提取深度图， 使计算得到的深 度图更加准确， 让最终渲染出的 3D视频图像效果更加理想。
优选实施例二： 当优选实施例一中完成边缘检测和目标识别后发现视频场景 发生了切换， 连续的运动终止了， 需要对累加的深度值进行清零， 否则就会发生 错误。 P 点经由上一步计算得到的深度值计为 , 之前累加的深度值计为
AcountdePth , 新的深度值为 Acount、 , 即 Acomt
Figure imgf000009_0004
+ depth。 在进行 深度值累加的过程中发现 Acount th + depth≥ 255 , 为了避免造成深度值的流失累加 Acountd h -depth
Acount ' . = Acount, . x + depth
公式使用 depth depth 255 ^ ， 得到累加值为 235。
本优选实施例中针对视频场景发生切换这一状况给出了后续计算的应对方 法， 充分地考虑到视频场景切换对深度图计算与提取所造成的影响， 令所得深度 图更加地准确。
优选实施例三：如图 3所示， 电视刷新频率为 60HZ,视频图像源的尺寸为 1920 χ 1080。 为了筒化计算得复杂程度， 对 2D电视图像源图像先进行 1/2下釆样， 然 后再作边缘检测和目标识别的工作。 在深度图的提取过程中对图像， 为进一步减 少计算量并且减少 Width, Height 的像素点的跨度、 缩小深度图的计算误差， 对 经过 1/2下釆样的图像再经过 1/3下釆样， 对得到的 320 X 180图像进行深度图的 提取。 需要处理的图像宽为 W, 高度为 H, 则认为连续两帧中相同 目标的最大运动 幅度在水平和竖直方向上分别不超 Width=W/60=5. 3, He ight=H/60 = 3。 如图 4 所示， 假定 P 点的亮度值为 (， ， 为使深度图的提取更加准确， 假 定其运动的像素点个数为四舍五入后的 Width/2, Height/2。 即 P点在水平方向上 运动的下一坐标点的亮度值为 + 1^/2, ，其垂直方向上运动的下一坐标点的 亮度值为 P y + Heightll) , 则得到 p 点在空 间 上的一个亮度值变化： d _ space =
Figure imgf000010_0001
(x, y + Height/2) - P 然后计算 P 点亮度值 (， 在时间跨度上的变化： 计上一帧 P 点同一坐标处 的 亮 度值 为 '^， , 那 么 P 点 在 时 间 跨度上 的 亮 度值 变 化 为 ：
Figure imgf000010_0002
由 P 点在时间空间上经过 1/f 秒后亮度值的变化计算得到一个灰度级， 以此 来表示此点的深度值， 计算公式如下：
depth = d _ time /d _ space
Figure imgf000010_0003
计算得到 depth的计数为 268, 此时 depth计数 255 , 根据所得深度值计算并 提取深度图， 输出深度图结果。
优选实施例四： 利用对目标对象亮度变化的变化对视频场景是否切换进行判 断。 设当前帧中目标对象的个数为 Μ, 某目标所包含的像素点总个数为 Ν, ρ χ^) 为此目标中的某一位置像素点的亮度值， '(， 为上一帧同一坐标处像素点的像 素值。
若 ^ - '( > |<7¾^/^ω, 计数器 counter 就自动加一。 计算完当前帧 中所有目标对象包含的像素点与下一帧图像相同位置像素点的亮度差后， 判别相 ， ^ counter ,
Scene _ change = (1 ) xl00% 邻两帧的视频场景是否发生切换，计算公式如下： ― MxN 。
若计算出的 Scene_change 的值大于 30%, 表示前后两帧相同位置的像素点的 亮度值不相关的个数超过 30%, 认定视频场景发生了切换。 否则， 认定当前帧与上 一帧是相似的， 仍是连续场景。
本发明判断视频场景切换的方法利用 目标对象的亮度值作判断， 有别于现有 通过像素值来判断视频场景切换的方法。 优点主要为： 1.使用 目标对象亮度值而 非整个源图像的亮度值， 减少了计算量； 2.计算的是 Y分量， 而非 YUV 三个通道 的分量和， 降低算法复杂程度。 令判断更加准确， 使用更加方便。
优选实施例五： 通过试验可知， 同一目标对象在深度图和源图像中的空间位 置是完全相同的， 但不匹配的位置主要存在于目标对象的边缘。 由于深度图源图 像边缘不能够完全匹配， 造成了视频图像 2D转 3D效果上的失真， 影响观看盾量。 可以通过比对深度图和源图像中目标对象的边缘信息来对深度图像的边缘深度值 进行修复， 如图 5所示。
首先， 对深度图 D_depth使用 Canny算子进行边缘检测， 得到其边缘图 A。 边 缘图是一个二值图像， 边缘点的值为 1, 其余点的值为 0。 记录下所有值为 1 的点 的坐标
其次， 步骤一中计算所用的图像为源图像的 1/2 下釆样图像， 对步骤一中计 算得到的边缘图像再进行 1/3 下釆样以对应深度图为源图像 1/6 下釆样图像。 记 录得到的边缘图像即目标对象表中值为 0x02的点的坐标 然后， 逐行逐点比较。 在边缘图像的 (Χβ'Λ)处寻找深度图中此坐标处是否存在 若存在， 则边缘匹配， 继续比对下一点； 否则以 (ΧβΛ)为基准， 调整 及其周围相邻像素点的深度值。对 )和 ^' )进行逐行逐点比较，如果（ 与 \ 相同则继续比对下一点； 如果两坐标不相同， 说明深度图边缘与源图像 边缘不匹配， 需要进行校准并对其相邻像素点深度值进行调整。 调整分为两部分 进行： 水平方向的深度值调整和垂直方向的深度值调整， 两种调整方法是一样的， 在此以水平方向的调整为例进行说明。 在水平方向上， 若 Xd< Xs , 说明深度图的边界点 ( ， )偏移到源图像的边界点 左边， 需要将深度图边界点 ( ，^ )处的深度值右移至源图像的边界点
(Xg ' )的坐标处， 同时将深度图中此边界点 )至坐标（ )处的深度值赋 值为 —1'3^ )处的深度值。
垂直方向上的不匹配边缘点的相邻像素的深度值调整同上。
以上， 仅为本发明的较佳实施例， 但本发明的保护范围并不局限于此， 任何 熟悉本技术领域的技术人员在本发明揭露的技术范围内， 可轻易想到的变化或替 换， 都应涵盖在本发明的保护范围之内。 因此， 本发明的保护范围应该以权利要 求所界定的保护范围为准。

Claims

权 利 要 求 书
1、 一种深度图提取方法， 其特征在于， 所述方法至少包括下述步骤： 输入待处理视频帧序列， 得到源图像； 对源图像进行边缘检测和目标识别， 得到目标图像； 根据目标图像判断视频场景是否发生切换； 依据视频场景是否发生切换、 目标图像像素点的亮度值在时间和空间上的 变化、 以及电视刷新频率计算某一像素点的深度值， 根据所得深度值计算并提 取深度图； 输出深度图结果； 其中，
依据目标图像和电视刷新频率计算某一像素点的深度值 depth 等于某位置 处该像素点的亮度值在空间上的变化量与此位置处该像素点的亮度值在时间上 的变化量相除所得值。
2、 根据权利要求 1所述的深度图提取方法， 其特征在于， 依据目标图像和 电 视 刷 新 频 率 计 算 某 一 像 素 点 的 深 度 值 的 公 式 为 ： depth 二
Figure imgf000013_0001
，
\ΡΥ (χ + Width/ 2 , y) - PY (x, y)\ + \PY (x, y + Height/ 2) - PY (x, y)\ ' ^ 1
Ργ 为目标图像中某一像素点的亮度值， Ργ '( ， 为上一帧图像中同一位置 像素点的亮度值， + Wldthl2， 为此像素点在水平方向上运动的下一坐标点 的亮度值， ^J+^ ^/2)为此像素点在垂直方向上运动的下一坐标点的亮 度值； Width为电视宽度方向上的像素个数除以电视刷新频率后所得值， Height 为电视高度方向上的像素个数除以电视刷新频率后所得值； 当所得 depth值大于 255时 depth的计数为 255 , 当所得 depth值有余数时进行四舍五入。
3、 根据权利要求 1所述的深度图提取方法， 其特征在于， 根据所得深度值 计 算 并 提 取 深 度 图 时 ， 如 果 Ac隱 t depth < 255 则 Acount ' depth = Acomtdepth + depth . 否 则
Acountde th― depth
AcounV , f = Acount , f x h depth ^u^t
depth depth 255 ^ , 其中， A c(mntdepth为之前 累加的深度值
Figure imgf000014_0001
c0tmt， 为新的深度值。
4、 根据权利要求 1所述的深度图提取方法， 其特征在于， 所述方法还包括 步骤： 对所得源图像分别进行横向和纵向的第一次下釆样， 对第一次下釆样后 的图像进行边缘检测和目标识别， 得到目标图像。
5、 根据权利要求 4所述的深度图提取方法， 其特征在于， 第一次下釆样为 1/2下釆样。
6、 根据权利要求 1所述的深度图提取方法， 其特征在于， 所述方法还包括 步骤： 对目标图像分别进行横向和纵向的第二次下釆样操作； 依据视频场景是 否发生切换、 第二次下釆样后的结果以及电视刷新频率进行深度图的计算与提 取； 输出深度图。
7、 根据权利要求 6所述的深度图提取方法， 其特征在于， 第二次下釆样为 1/3下釆样。
8、 根据权利要求 1所述的深度图提取方法， 其特征在于， 所述方法还包括 步骤： 对目标图像提取边缘坐标； 依据边缘坐标对计算与提取所得深度图的边缘进行优化校准； 输出深度图结果。
9、 根据权利要求 1所述的深度图提取方法， 其特征在于， 边缘检测是通过 计算某一位置的像素点与其四周相邻像素点的相关程度来实现： 将中心点像素 值与其相邻像素点分别相减， 并取其绝对值； 当相邻像素差值的绝对值小于设 定的相关阔值时判定此两点相关； 与四周相邻像素点都相关的像素点位于目标 内部， 与周围三个像素点相关的像素点位于目标边缘， 与周围两个像素点相关 的像素点位于目标边界交点。
10、 根据权利要求 9 所述的深度图提取方法， 其特征在于： 由目标内部的 像素点、 目标边缘的像素点和目标边界交点的像素点共同组成目标， 实现目标 识别。
11、 一种判断视频场景切换的方法， 其特征在于， 所述方法至少包括下述 步骤： 输入待处理视频帧序列， 得到源图像； 对源图像进行边缘检测和目标识别， 得到目标图像；
根据目标图像得到目标对象的亮度值， 在连续两帧画面中， 相同位置像素 点的亮度值不相关的个数超过设定值时判定视频场景发生了切换， 否则判定视 频场景未切换。
12、 根据权利要求 11所述的判断视频场景切换的方法， 其特征在于， 根据 目标对象的亮度值判定视频场景是否切换至少包括下述步骤：
设当前帧中目标对象的个数为 M, 某一目标对象所包含的像素点总个数为 N, ， 为此目标对象中的某一位置像素点的亮度值， '(JC， 为上一帧图像 中同一坐标处像素点的亮度值， 当 1^ — ^ '^^)1 < Threshold时计数器的计数值 力口一； 计算完当前帧中所有目标对象所包含的像素点与上一帧图像相同位置像素
Scene _ change = (1- co徹 ter、 x \ oo%
点的亮度差后， 代入公式 ― ΜχΝ , 其中 counter为计数 器的计数值；
当 Scene— change的值大于设定值时判定视频场景发生了切换， 否则判定当 前帧图像与上一帧图像是连续场景。
13、 根据权利要求 11所述的判断视频场景切换的方法， 其特征在于， 所述 方法还包括下述步骤： 对源图像分别进行横向和纵向的下釆样； 对下釆样后得 到的结果进行边缘检测和目标识别， 得到目标图像。
14、 根据权利要求 13所述的判断视频场景切换的方法， 其特征在于， 所述 下釆样为 1/2下釆样。
15、 一种深度图边缘优化方法， 其特征在于， 所述方法至少包括下述步骤： 对深度图进行边缘检测， 得到边缘图， 记录所有边缘点的坐标 ( ， )； 输入待处理视频帧序列，对源图像分别进行横向和纵向的 1/2下釆样，对所 得结果进行边缘检测和目标识别， 得到目标图像； 对目标图像进行 1/3下釆样， 记录新得到的边缘图像， 位于目标边界交点的坐标记录为
Figure imgf000016_0001
； 对 ， )和 )进行逐行逐点比较，如果 )与 )相同则继续比对 下一点； 否则， 以 ( ^ )为基准， 调整( )及其邻域的深度值； 对得到的深度图进行平滑滤波， 生成最终的深度图。
16、 根据权利要求 15所述的深度图边缘优化方法， 其特征在于： 对深度图 进行边缘检测使用的是 Canny算子。
17、 根据权利要求 15所述的深度图边缘优化方法， 其特征在于： 在所述边 缘图中， 边缘点的值为 1 , 其余点的值为 0。
18、 根据权利要求 15所述的深度图边缘优化方法， 其特征在于： 当 ( ， ) 与 不相同而进行深度值的调整时，分为水平方向的深度值调整和垂直方向 的深度值调整。
PCT/CN2012/083689 2012-10-23 2012-10-29 深度图提取、判断视频场景切换及深度图边缘优化方法 WO2014063373A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201210405799.3 2012-10-23
CN201210405799.3A CN102883175B (zh) 2012-10-23 2012-10-23 深度图提取、判断视频场景切换及深度图边缘优化方法

Publications (1)

Publication Number Publication Date
WO2014063373A1 true WO2014063373A1 (zh) 2014-05-01

Family

ID=47484289

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2012/083689 WO2014063373A1 (zh) 2012-10-23 2012-10-29 深度图提取、判断视频场景切换及深度图边缘优化方法

Country Status (2)

Country Link
CN (1) CN102883175B (zh)
WO (1) WO2014063373A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109753840A (zh) * 2017-11-06 2019-05-14 纵目科技（上海）股份有限公司 一种基于响应值确定车位线角点的方法
CN109859249A (zh) * 2019-01-24 2019-06-07 西安理工大学 Rgbd序列中基于自动分层的场景流估计方法
CN111369611A (zh) * 2018-12-25 2020-07-03 曜科智能科技（上海）有限公司 图像像素深度值优化方法及其装置、设备和存储介质
CN113642588A (zh) * 2021-08-11 2021-11-12 深圳福鸽科技有限公司 平面图像物体外边缘爬虫分析方法
CN115861098A (zh) * 2022-11-24 2023-03-28 内蒙古工业大学 花粉深度图像修正方法

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014124871A2 (en) * 2013-02-12 2014-08-21 Thomson Licensing Method and device for enriching the content of a depth map
TWI511079B (zh) * 2014-04-30 2015-12-01 Au Optronics Corp 三維影像校正裝置及三維影像校正方法
CN104506819B (zh) * 2015-01-06 2018-06-15 成都新舟锐视科技有限公司 一种多摄像头实时联动的互反馈跟踪系统及方法
KR102369368B1 (ko) * 2015-09-30 2022-03-02 엘지디스플레이 주식회사 영상 처리 회로 및 그를 가지는 표시 장치
CN105374039B (zh) * 2015-11-16 2018-09-21 辽宁大学 基于轮廓锐度的单目图像深度信息估计方法
CN108921001B (zh) * 2018-04-18 2019-07-02 特斯联（北京）科技有限公司 一种采用人工智能预测追踪的视频监视云台及其追踪方法
CN109241955B (zh) * 2018-11-08 2022-04-19 联想(北京)有限公司 识别方法和电子设备
CN109218728B (zh) * 2018-11-16 2021-09-10 深圳市梦网视讯有限公司 一种场景切换检测方法和系统
CN109194955B (zh) * 2018-11-16 2021-04-30 深圳市梦网视讯有限公司 一种场景切换检测方法及系统
CN110070573B (zh) * 2019-04-25 2021-07-06 北京卡路里信息技术有限公司 关节图确定方法、装置、设备和存储介质
CN110415287B (zh) * 2019-07-11 2021-08-13 Oppo广东移动通信有限公司 深度图的滤波方法、装置、电子设备和可读存储介质
CN113361463B (zh) * 2021-06-30 2024-02-02 深圳万兴软件有限公司 最优显著区确定方法、装置、计算机设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101141648A (zh) * 2007-09-20 2008-03-12 上海广电（集团）有限公司中央研究院 基于直方图的加权预测方法
CN102404594A (zh) * 2011-10-31 2012-04-04 庞志勇 基于图像边缘信息的2d转3d的方法
CN102496138A (zh) * 2011-11-15 2012-06-13 华东师范大学 一种二维图像转换为三维图像的方法
CN102714741A (zh) * 2009-10-14 2012-10-03 汤姆森特许公司 深度图处理的方法和设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101087413B (zh) * 2006-06-07 2010-05-12 中兴通讯股份有限公司 视频序列中运动物体的分割方法
EP2026246A1 (en) * 2007-08-03 2009-02-18 Harman/Becker Automotive Systems GmbH Method and apparatus for evaluating an image
JP4695664B2 (ja) * 2008-03-26 2011-06-08 富士フイルム株式会社 立体動画像処理装置および方法並びにプログラム
CN102124745A (zh) * 2008-08-26 2011-07-13 升级芯片技术公司 用于将二维图像信号转换为三维图像信号的装置及方法
US8848038B2 (en) * 2010-07-09 2014-09-30 Lg Electronics Inc. Method and device for converting 3D images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101141648A (zh) * 2007-09-20 2008-03-12 上海广电（集团）有限公司中央研究院 基于直方图的加权预测方法
CN102714741A (zh) * 2009-10-14 2012-10-03 汤姆森特许公司 深度图处理的方法和设备
CN102404594A (zh) * 2011-10-31 2012-04-04 庞志勇 基于图像边缘信息的2d转3d的方法
CN102496138A (zh) * 2011-11-15 2012-06-13 华东师范大学 一种二维图像转换为三维图像的方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109753840A (zh) * 2017-11-06 2019-05-14 纵目科技（上海）股份有限公司 一种基于响应值确定车位线角点的方法
CN109753840B (zh) * 2017-11-06 2023-09-01 纵目科技（上海）股份有限公司 一种基于响应值确定车位线角点的方法、系统和存储介质
CN111369611A (zh) * 2018-12-25 2020-07-03 曜科智能科技（上海）有限公司 图像像素深度值优化方法及其装置、设备和存储介质
CN111369611B (zh) * 2018-12-25 2023-06-02 曜科智能科技（上海）有限公司 图像像素深度值优化方法及其装置、设备和存储介质
CN109859249A (zh) * 2019-01-24 2019-06-07 西安理工大学 Rgbd序列中基于自动分层的场景流估计方法
CN109859249B (zh) * 2019-01-24 2022-09-20 西安理工大学 Rgbd序列中基于自动分层的场景流估计方法
CN113642588A (zh) * 2021-08-11 2021-11-12 深圳福鸽科技有限公司 平面图像物体外边缘爬虫分析方法
CN113642588B (zh) * 2021-08-11 2023-10-13 深圳福鸽科技有限公司 平面图像物体外边缘爬虫分析方法
CN115861098A (zh) * 2022-11-24 2023-03-28 内蒙古工业大学 花粉深度图像修正方法
CN115861098B (zh) * 2022-11-24 2024-05-28 内蒙古工业大学 花粉深度图像修正方法

Also Published As

Publication number Publication date
CN102883175A (zh) 2013-01-16
CN102883175B (zh) 2015-06-17

Similar Documents

Publication Publication Date Title
WO2014063373A1 (zh) 深度图提取、判断视频场景切换及深度图边缘优化方法
TWI524734B (zh) 產生深度圖的方法及裝置
EP2382791B1 (en) Depth and video co-processing
CN105430415B (zh) 一种3d‑hevc深度视频帧内快速编码方法
TWI483612B (zh) Converting the video plane is a perspective view of the video system
EP3311361B1 (en) Method and apparatus for determining a depth map for an image
RU2423018C2 (ru) Способ и система для преобразования стереоконтента
KR20130102626A (ko) 글로벌 모션에 기초한 심도 추정
CN102131058B (zh) 高清数字视频帧速率变换处理模块及其方法
WO2012071356A1 (en) Depth estimation based on global motion
WO2009026857A1 (en) Video image motion processing method introducing global feature classification and implementation device thereof
US10269099B2 (en) Method and apparatus for image processing
CN105704398A (zh) 一种视频处理方法
WO2016199418A1 (en) Frame rate conversion system
CN103747248B (zh) 深度与彩色视频边界不一致的检测和处理方法
CN107481253B (zh) 一种基于边缘的斑点检测方法
JP4762880B2 (ja) 画像処理システム
JP2011239172A (ja) 映像処理装置
CN113313707A (zh) 原始图像处理方法、装置、设备及可读存储介质
Lie et al. Improving dibr technique to resolve foreground color/depth edge misalignment
JP2019192048A (ja) 撮像装置
JP2011191884A (ja) 白線検出装置
CN103034976B (zh) 影像内插的处理方法
Hanca et al. depth estimation for 1K-pixel stereo visual sensors
KR20150139315A (ko) 적외선 이미지에서 특징추적을 위한 고온 공기 제거방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12887186

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12887186

Country of ref document: EP

Kind code of ref document: A1