WO2013120308A1 - 一种三维显示方法及系统 - Google Patents

一种三维显示方法及系统 Download PDF

Info

Publication number
WO2013120308A1
WO2013120308A1 PCT/CN2012/073411 CN2012073411W WO2013120308A1 WO 2013120308 A1 WO2013120308 A1 WO 2013120308A1 CN 2012073411 W CN2012073411 W CN 2012073411W WO 2013120308 A1 WO2013120308 A1 WO 2013120308A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
eye
frame
narrow
band
Prior art date
Application number
PCT/CN2012/073411
Other languages
English (en)
French (fr)
Inventor
贺菲菲
李敬源
潘志斌
李达
高峰
Original Assignee
中兴通讯股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 中兴通讯股份有限公司 filed Critical 中兴通讯股份有限公司
Publication of WO2013120308A1 publication Critical patent/WO2013120308A1/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor

Definitions

  • the present invention relates to display technology of a monocular camera, and more particularly to a three-dimensional display method and system. Background technique
  • the basis of three-dimensional (3D, Three Dimensions) stereoscopic display technology is the principle of binocular parallax.
  • binocular parallax means that there is a certain distance between the eyes of the viewer, and the left eye and the right when viewing the object.
  • the visual image received by the eye is slightly different, so the spatial depth information of the image can be perceived.
  • the three-dimensional stereoscopic display based on the binocular parallax principle provides stereoscopic image pairs of the same scene for the left and right eyes of the viewer respectively, and optically and other means are used to make the viewer's left eye and right eye respectively only see the corresponding images, thereby allowing the observer to respectively Perceive the stereoscopic information of the image.
  • the three-dimensional stereoscopic display technology based on the binocular parallax principle usually uses different image processing methods to obtain the left-eye image and the right-eye image of the spatial scene simulated by the human eye, and outputs the two images to the left eye and the right respectively through a specific display method. In the eye, the viewer can perceive the stereoscopic information of the scene in the brain.
  • the Sony Ericsson LT18i is based on the principle of displacement three-dimensional imaging.
  • the camera acquires a series of images in high-speed continuous shooting.
  • the image processor in the camera. (BIONZ) extracts the captured image according to the disparity information between adjacent images, thereby obtaining two sets of image sequences conforming to the left and right eye observations, and finally the image processor (BIONZ) splices the two sets of image sequences into
  • the left and right eye panoramic images are displayed by different three-dimensional display devices.
  • This three-dimensional panoramic display technology requires real-time screening of pairs of pictures with parallax effects in the frame, and then splicing the entire sheet. Throughout the process, it is not guaranteed that the disparity information extracted for each part of the scene is consistent, and there is no effect of simulating the human eye throughout the whole process.
  • the 3D panoramic display group of the Hebrew University Computer Science and Technology Laboratory in Jerusalem has proposed an image capture method for acquiring a three-dimensional image pair: a surround vision projection method.
  • This method can fully simulate the mode of human eye observation, and the effect of stereo information acquisition can be comparable to that of binocular camera.
  • the area-based splicing method selected by the laboratory has a large calculation amount and a complicated process, and the system splicing time is long and inefficient.
  • the invention provides a three-dimensional display method, comprising:
  • Step A Rotating a video around a fixed axis, the video being used as a video material for three-dimensional display;
  • Procedure B for each frame of video captured in narrow-band division processing to obtain the left-eye panorama sequences observed narrowband image 52 and the right-eye panorama narrowband image observed sequence
  • Step C performing a stereoscopic panoramic image stitching on the left-eye view of the narrow-band image sequence 5 2 and the right-eye view of the narrow-band image sequence to obtain a stereoscopic panoramic image pair of the left eye and the right eye;
  • Step D Perform output display on the obtained stereoscopic panoramic image pairs of the left eye and the right eye.
  • the rotating video is rotated around the fixed axis to: Apply a monocular camera to shoot a video in a target scene region from left to right or right to left around a fixed axis.
  • step B is:
  • the symmetrical part of the left and right sides of the heart axis divides the two narrow-band images to obtain the left-eye narrow-band image and the right-eye narrow-band image, the left-eye narrow-band image as the right-eye circular observation image, and the right-eye narrow-band image as the left-eye circular observation pattern.
  • a narrow-band image sequence of the left-eye view and a narrow-band image sequence of the right-eye view are obtained.
  • step C is:
  • Step C1 performing redundant frame screening processing on 5 2 and 5 3 ;
  • Step C2 Perform SIFT feature extraction processing on 5 2 and 5 3 of the redundant frame
  • Step C3 performing feature point matching processing on the 5 2 and 5 3 that have undergone the SIFT feature extraction processing; Step C4, performing stereoscopic panoramic image stitching on the 5 2 and 5 3 subjected to the feature point matching processing.
  • the step C1 is:
  • the left-eye view of the narrow-band image sequence 5 2 and the right-eye view of the narrow-band image sequence 5 3 are subjected to redundant frame screening processing, and from the next frame of the current frame, the SIFT feature points of the current image frame are compared with each subsequent The number of SIFT feature points of one frame of image is matched, and the image frame with the least number of SIFT feature points matching but not zero is selected as the next part of the stereoscopic panorama stitching.
  • step C2 is:
  • step C3 is:
  • the partial distance search algorithm is used to accelerate the SIFT feature points of the current image frame and the subsequent image frame.
  • SIFT feature points do not match; otherwise, SIFT feature points match.
  • step C4 is:
  • the stereoscopic panoramic image stitching is performed on the 5 2 and 5 3 of the feature point matching processing according to the principle of the center of the heart, and the stitched stitching area is estimated according to the image of the neighborhood band of the slit pixel strip taken in the current image frame.
  • the slit pixel strip of the current image frame and the neighborhood band of the slit pixel strip are taken out, and compared with the next image frame, and the two images are stitched along the matched SIFT feature points, and are stitched in the stitching seam area. Perform a homogenous transition to obtain stereoscopic panoramic image pairs of the left and right eyes.
  • the present invention also provides a three-dimensional display system, including: an image acquisition subsystem, an image segmentation subsystem, an image stitching subsystem, and an image output subsystem;
  • An image acquisition subsystem configured to rotate a video around a fixed axis, wherein the video is used as a three-dimensional display video material;
  • the image segmentation subsystem is configured to perform narrowband segmentation processing on each frame in the captured video according to the principle of the surround view, and obtain a narrow-band image sequence S 2 for the left-eye view and a narrow-band image sequence for the right-eye view;
  • the image splicing subsystem is configured to perform stereoscopic panoramic image splicing on the left-eye panoramic view narrow-band image sequence S 2 and the right-eye panoramic view narrow-band image sequence S 3 to obtain stereoscopic panoramic image pairs of the left eye and the right eye;
  • the image output subsystem is configured to output and display the obtained stereoscopic panoramic image pairs of the left eye and the right eye.
  • the image stitching subsystem further includes:
  • a redundant frame screening module for performing redundant frame screening processing on 5 2 and 5 3 ;
  • a feature extraction module configured to perform SIFT feature extraction processing on the 5 2 and ⁇ 2 of the redundant frame
  • an acceleration matching module configured to perform feature point matching processing on the 5 2 and 5 3 through the SIFT feature extraction process
  • the image splicing module is configured to perform stereoscopic panoramic image splicing on the 5 2 and 5 3 subjected to the feature point matching processing.
  • the three-dimensional display method and system provided by the present invention rotates a video around a fixed axis, and the video is used as a video material for three-dimensional display; according to the principle of a circular heart projection, narrow-band segmentation processing is performed on each frame in the captured video to obtain The left-eye view of the narrow-band image sequence and the right-eye view of the narrow-band image sequence; the left-eye view of the narrow-band image sequence and the right-eye view of the narrow-band image sequence for stereoscopic panoramic image stitching, to obtain the stereoscopic image of the left and right eyes
  • the panoramic image pair is outputted and displayed on the obtained stereoscopic panoramic image pairs of the left eye and the right eye, and the three-dimensional stereoscopic display of the monocular camera can be efficiently realized, and the user's needs are satisfied, and the stereoscopic visual effect is better.
  • FIG. 1 is a schematic diagram of the principle of a three-dimensional stereoscopic display technology in the prior art
  • FIG. 2 is a schematic flow chart of a method for implementing a three-dimensional display according to the present invention
  • FIG. 3 is a schematic view of a method for projecting a surround view of the present invention.
  • FIG. 4 is a schematic view showing the position of a slit camera simulated by a monocular camera in the present invention
  • FIG. 5 is a schematic view showing a slit camera using a monocular camera in the present invention
  • FIG. 6 is a schematic flow chart of a specific method for implementing step 203 of the present invention.
  • FIG. 7 is a schematic structural view of a three-dimensional display system according to the present invention. detailed description
  • the basic idea of the present invention is: rotating a video around a fixed axis, the video as a three-dimensional display video material; according to the principle of the surround vision projection, performing narrowband segmentation processing on each frame in the captured video to obtain a left eye ring
  • the narrow-band image sequence and the right-eye view are used to observe the narrow-band image sequence;
  • the left-eye view of the narrow-band image sequence and the right-eye view of the narrow-band image sequence are used to perform stereoscopic panoramic image stitching, and stereoscopic panoramic image pairs of the left eye and the right eye are obtained.
  • FIG. 2 is a schematic flow chart of a three-dimensional display method according to the present invention. As shown in FIG. 2, the method includes the following steps:
  • Step 201 Rotate a video around the fixed axis, and the video is used as a video material for three-dimensional display.
  • a monocular camera is used to shoot a video in a target scene region from left to right or right to left around a fixed axis.
  • the video is used as a video material for 3D display.
  • Step 202 for each frame of video captured in narrow-band division processing to obtain the left-eye panorama sequences observed narrowband image 52 and the right-eye panorama narrowband image observed sequence
  • the two narrow-band images are segmented along the left and right sides of the central axis to obtain a narrow-band image of the left eye and a narrow-band image of the right eye;
  • the left-eye narrow-band image is used as the right-eye circular observation image
  • the right-eye narrow-band image is used as the left-eye circular observation pattern
  • the left eye ring can be obtained because narrow-band segmentation processing is performed on each frame in the image sequence in the captured video.
  • the ring-shaped heart projection is equivalent to placing a pair of cameras placed on a simulated human eye in parallel, and rotating with the midpoint of the two camera connections as an axis to shoot the panoramic field of view;
  • the projection does not overlap the two cameras in the direction of the connection, so there is no blind area for three-dimensional display;
  • the image projected by the heart can be photographed by a slit camera.
  • the film of the slit camera is covered except for a narrow slit.
  • the camera only takes images along the line connecting the aperture and the slit, as shown in Figure 4.
  • the slit camera is set as shown in Figure 4 (c)
  • the slit is fixed at the left or right position of the camera film.
  • a conventional monocular camera is used to simulate the imaging effect of a slit camera by taking a narrow-band image of the same width at a distance from the center of the image to the left and right portions of V.
  • Step 203 Perform stereoscopic panoramic image stitching on the left-eye surround view narrow-band image sequence S 2 and the right-eye surround view narrow-band image sequence S 3 to obtain stereoscopic panoramic image pairs of the left eye and the right eye.
  • Step 204 Perform output display on the obtained stereoscopic panoramic image pairs of the left eye and the right eye.
  • FIG. 6 is a schematic flowchart of a specific method for implementing step 203 of the present invention. As shown in FIG. 6, the method includes the following steps:
  • Step 601 performing a redundant frame screening process on the left-eye view observation narrow-band image sequence 5 2 and the right-eye view observation narrow-band image sequence 5 3 ;
  • the left-eye view observation narrow-band image sequence S 2 and the right-eye surround view narrow-band image sequence 5 3 are subjected to redundant frame screening processing, because the difference between adjacent image frames in the video is different, usually in the case of There is only a small shift in the adjacent image frames.
  • the panorama is expanded frame by frame, there is very little information added to each image frame. In addition, in fact, the number of pixels required to stitch the panorama is far away.
  • the number of image frames in the video so the image bands in many image frames do not need to participate in the process of panoramic stitching; from the next frame of the current frame, the scale-invariant feature transform of the current image frame (SIFT, Scale-invariant) Feature Transform )
  • SIFT Scale-invariant
  • Feature Transform The number of matching points between the feature points and the SIFT feature points of each subsequent image. Obviously, the number of matching points will be reduced to zero by frame, and the SIFT features are selected.
  • the image frame with the least number of points matching but not zero is the next part of the stereoscopic panorama stitching.
  • the image frame can ensure the overlap with the current image frame, so that the stitched stereo panorama is intact without loss, and the new scene information can be introduced at the most.
  • the operation time can be saved; for example, the black point according to the ellipse distribution is the SIFT feature point of the current image frame, and it can be seen that the number of matching SIFT feature points included in the fifth image frame is the least and not zero, so directly select
  • the splicing of the fifth image frame with the current image frame may introduce the most scene information into the first frame, and the second image frame, the third image frame, and the fourth image frame may not participate in the operation.
  • Step 602 Perform SIFT feature extraction processing on 5 2 and 5 3 of the redundant frame
  • the left eye ring view narrowband image sequence s 2 and the right eye ring view narrow band image sequence 5 3 of the redundant frame are subjected to panoramic stitching, and the SIFT feature extraction process is first performed on each image frame;
  • the process mainly includes: extraction of scale space extremum, feature point location, direction assignment and feature point descriptor generation; after the above extraction process, the position, scale and direction information of SIFT feature points can be obtained, and then the SIFT feature points are centered.
  • a descriptor generation window is created, and the coordinate axis gradient direction of the descriptor generation window is consistent with the SIFT feature point, and the projection of the Gaussian image gradient in 8 directions is calculated for each 4 ⁇ 4 small block window.
  • the accumulated value is obtained, and a 128-dimensional vector is obtained, and the generated 128-dimensional vector is normalized to obtain a SIFT feature operator having scaling, rotation, and affine transformation scale without deformation.
  • Step 603 a SIFT feature extraction processing through S 2 and S 3 feature-point matching processing; Specifically, after 52 and 53 of SIFT feature extraction process performed at 52 and 3 5, from the first frame Initially, performing an accelerated matching on the SIFT feature points of the current image frame and the subsequent image frame;
  • each SIFT feature point is a vector containing 128 dimensions.
  • the matching speed and accuracy determine The speed and quality of the stereoscopic panoramic image stitching, the SIFT feature points of each 128-dimensional vector in the image frame, and the full search in the hundreds of SIFT feature points of the matched slit image, this process requires a large Calculating amount, spending a lot of time, practical application
  • the partial distance search algorithm is usually used to speed up the matching processing speed of SIFT feature points.
  • the partial distance search algorithm refers to the early termination of the input vector and the to-be-matched by introducing an early exit condition in the vector matching search process.
  • the SIFT feature points can be judged as not matching; otherwise, the SIFT feature points can be judged as matching;
  • the displacement between adjacent image frames is estimated by the positional movement information of the corresponding feature points, thereby splicing adjacent image frames, and all the image frames are sequentially processed to obtain a stereoscopic panoramic image of the corresponding sequence.
  • Step 604 performing stereoscopic panoramic image stitching on the 5 2 and 5 3 subjected to the feature point matching processing; specifically, performing stereoscopic panoramic image stitching on the 5 2 and 5 3 subjected to the feature point matching processing according to the principle of the surround view projection, which can be ingeniously
  • the stereoscopic panoramic image pair of the left eye and the right eye is stitched out from a series of image frames, but only two slit pixel strips are used for each frame image, and the rest of the information is not effectively utilized, but actually, since the photographed scene is Consistently, therefore, the information of the slit pixel strip of the next frame spelled in the current slit pixel strip has a great correlation with the information of the neighborhood strip of the slit image strip existing in the current image;
  • the fixed, stitched image of the current slit pixel strip and the stitched image of the slit strip of the next portion are all shot at different angles in the latter part of the scene. the result of;
  • FIG. 7 is a schematic structural diagram of a three-dimensional display system according to the present invention.
  • the system includes: an image acquisition subsystem 71, an image segmentation subsystem 72, Image splicing subsystem 73, image output subsystem 74; wherein
  • An image acquisition subsystem 71 is configured to rotate a video around a fixed axis, and the video is used as a video material of a three-dimensional display;
  • Image segmentation subsystem 72 for projection according to the principles of Panorama heart, for each frame of video captured in narrow-band division processing to obtain the left-eye panorama narrowband image observed sequence S 2 and the right-eye panorama narrowband image observed sequence S 3 ;
  • the image splicing subsystem 73 is configured to perform stereoscopic panoramic image splicing on the left eye ring view narrowband image sequence S 2 and the right eye ring view narrowband image sequence S 3 to obtain stereoscopic panoramic image pairs of the left eye and the right eye;
  • the image output subsystem 74 is configured to output and display the obtained stereoscopic panoramic image pairs of the left and right eyes.
  • the image stitching subsystem 73 further includes:
  • a redundant frame screening module 731 configured to perform redundant frame screening processing on S 2 and S 3 ;
  • Feature extraction module 732 configured to perform SIFT feature extraction on the sum of the redundant frames Reason
  • the acceleration matching module 733 is configured to perform feature point matching processing on the 5 2 and 5 3 that have undergone the SIFT feature extraction processing;
  • the image splicing module 734 is configured to perform stereoscopic panoramic image splicing on the 52 2 and 5 3 subjected to the feature point matching processing.
  • the image projector according to the principle of segmentation subsystem 72 Views heart, for each frame of video captured in narrow-band division processing to obtain the left-eye panorama narrowband image observed sequence S 2 and the right-eye panorama observed narrowband image sequence 53
  • the two narrow-band images are segmented along the left and right sides of the central axis to obtain a narrow-band image of the left eye and a narrow-band image of the right eye.
  • the left-eye narrow-band image is used as the right-eye circular observation image
  • the right-eye narrow-band image is used as the left-eye circular observation pattern to obtain a left-eye panoramic observation narrow-band image sequence 5 2 and a right-eye circular observation narrow-band image sequence S 3 .
  • the redundant frame screening module 731 performs redundant frame screening processing on the 5 2 and 5 3 to: perform redundant frame on the left-eye surround view narrow-band image sequence S 2 and the right-eye surround view narrow-band image sequence S 3
  • the screening process compares the SIFT feature points of the current image frame with the SIFT feature points of each subsequent image frame from the next frame of the current frame, and selects the image frame with the least number of SIFT feature points matching but not zero as the stereoscopic image. The next part of the panorama stitching.
  • the feature extraction module 732 performs SIFT feature extraction processing on the 5 2 and 5 3 of the filtered redundant frames as: a narrow-band image sequence S 2 and a right-eye view narrow-band image for the left-eye view of the redundant frame sequence for each image frame 53 for extracting the extreme value scale space, feature points, the feature point directions and distribution descriptor generating process; SIFT feature point as a center to take the 16 X 16 block descriptor generation window creation of For each 4 x 4 small block window, the projected cumulative value of the Gaussian image gradient in 8 directions is calculated to obtain a 128-dimensional vector, and the 128-dimensional vector is normalized to obtain a SIFT feature operator.
  • the matching module 733 pairs of acceleration after SIFT feature extraction processing 52 and 53 as feature-point matching processing: after 52 and 53 of the SIFT feature extraction process performed at 52 and 3 5, from the first At the beginning of the frame, the partial distance search algorithm is used to accelerate the matching of the SIFT feature points of the current image frame and the subsequent image frame.
  • SIFT feature points do not match; otherwise, SIFT feature points match.
  • the image stitching module 734 pairs of feature points through the matching process 52 and 53 as a stereoscopic panoramic mosaic image: After the feature points of the matching process 52 and 53 for a stereoscopic panoramic mosaic image projector according to the principles of Panorama heart, in accordance with An image of the neighborhood band of the slit pixel strip taken in the current image frame, estimating the stitched stitching region, taking out the slit pixel strip of the current image frame and the neighborhood band of the slit pixel strip, and simultaneously with the next image frame For comparison, the two images are spliced along the matching SIFT feature point forming curve, and the splicing seam region is uniformly hooked to obtain stereoscopic panoramic image pairs of the left eye and the right eye.
  • the present invention has the following beneficial effects:
  • the three-dimensional display method and system of the present invention can obtain a good display effect; the technical scheme of the present invention is applied by further optimization and speed increase.
  • the user can basically meet the needs of the user.
  • the camera should not release the sharp displacement in the vertical direction. Try to keep moving horizontally. The camera cannot move too fast, thus ensuring that the camera can not move too fast. The integrity of the stitched picture.
  • the three-dimensional display method and system system based on the monocular camera can be widely applied to current digital cameras and mobile terminals, and does not need to be equipped with a binocular camera. Only the internal software can be used to obtain a stereoscopic panorama with three-dimensional effects. image. The user only needs to rotate around fixed By shooting the scene, the center can automatically synthesize the stereo image of the scene and output the display, so as to meet the needs of people to take stereo images.
  • the technical scheme of the present invention combines an advanced surround vision projection and an effective image matching algorithm, and each part of the panoramic image simulates the human eye observation mode well, and has a better stereoscopic effect; in addition, with the Fuji company Compared with binocular stereo shooting products, by loading the three-dimensional display system of the present invention, terminals such as cameras or mobile phones can obtain novel stereo panoramic shooting functions without upgrading and equipped with expensive hardware devices, thereby enhancing product competitiveness and attracting more. Consumer.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明公开一种三维显示方法，包括：绕固定轴心旋转拍摄视频，所述视频作为三维显示的视频素材；根据环景心投影原理，对拍摄的视频中的每一帧进行窄带分割处理，得到左眼环景观察窄带图像序列S 2和右眼环景观察窄带图像序列S 3；对左眼环景观察窄带图像序列S 2和右眼环景观察窄带图像序列S 3进行立体全景图像拼接，得到左眼和右眼的立体全景图像对；对得到的左眼和右眼的立体全景图像对进行输出显示；本发明还提供一种三维显示系统。根据本发明的技术方案，能够高效的实现单目相机的三维立体显示。

Description

一种三维显示方法及系统 技术领域
本发明涉及单目相机的显示技术， 尤其涉及一种三维显示方法及系统。 背景技术
随着社会的发展， 目前通常的二维平面显示已不能满足用户的需求， 用户希望显示器能真实的还原显示出空间的三维信息。 三维 （3D, Three Dimensions )立体显示技术的基础是双目视差原理， 如图 1所示， 所谓双目 视差是指观看者的两眼间有一定的瞳距， 在观看物体时左眼和右眼所接收 到的视觉图像略有差异， 所以能够感知到图像的空间深度信息。 基于双目 视差原理的三维立体显示为观看者的左右眼分别提供同一场景的立体图像 对， 采用光学等手段让观看者的左眼和右眼分别只看到相对应的图像， 从 而让观察者感知到图像的立体信息。
基于双目视差原理的三维立体显示技术通常应用不同的图像处理方法 获得模拟人眼观察的空间景物左眼图像和右眼图像， 并通过特定的显示方 法将两个图像分别输出给左眼和右眼， 观看者即可在大脑中感知到景物立 体信息。
现阶段能够获取到三维图像的产品有很多， 通常为单镜头三维拍摄产 品， 如索尼爱立信 LT18i是根据位移式三维成像原理， 相机以高速连拍方 式获取一系列的图像， 相机内的影像处理器（BIONZ )会根据相邻图片之 间的视差信息对拍摄的图像进行提取， 从而获得符合左右眼观察的两组图 像序列， 最后影像处理器（BIONZ )会将这两组图片序列各自拼接成左眼 和右眼全景图像， 通过不同的三维显示设备进行显示。 这种三维全景显示 技术， 需要实时筛选帧内具有视差效果的图片对， 之后整张进行拼接， 在 整个过程中， 不能保证对每部分景物提取的视差信息均勾一致， 没有全程 模拟人眼观察的效果。
耶路撒冷的希伯来大学计算机科学技术实验室的三维全景显示小组， 曾提出获取三维立体图像对的图像捕获方法： 环景心投影法。 这种方法能 够全面的模拟人眼观察的模式， 其立体信息获取的效果可以同双目相机媲 美。 然而在全景拼接的过程中， 该实验室选用的基于区域的拼接方式， 计 算量大且过程复杂， 系统拼接时间长效率低。 发明内容
有鉴于此， 本发明的主要目的在于提供一种三维显示方法及系统， 能 够高效的实现单目相机的三维立体显示。
为达到上述目的， 本发明的技术方案是这样实现的：
本发明提供一种三维显示方法， 包括：
步驟 A、 绕固定轴心旋转拍摄视频， 所述视频作为三维显示的视频素 材；
步驟 B、 根据环景心投影原理， 对拍摄的视频中的每一帧进行窄带分 割处理， 得到左眼环景观察窄带图像序列 52和右眼环景观察窄带图像序列
步驟 C、 对左眼环景观察窄带图像序列52和右眼环景观察窄带图像序 列 ^进行立体全景图像拼接， 得到左眼和右眼的立体全景图像对；
步驟 D、 对得到的左眼和右眼的立体全景图像对进行输出显示。
上述方法中， 所述绕固定轴心旋转拍摄视频为： 应用单目相机， 在目 标景物区域绕固定轴心由左至右或由右至左的旋转拍摄视频。
上述方法中， 所述步驟 B为：
对于拍摄的视频中图像序列中的每一帧， 根据环景心投影原理， 沿中 心轴线左右两侧对称的部分， 分割两条窄带图像， 得到左眼窄带图像和右 眼窄带图像， 将左眼窄带图像作为右眼环形观察图像， 将右眼窄带图像作 为左眼环形观察图形， 得到左眼环景观察窄带图像序列 和右眼环景观察 窄带图像序列^。
上述方法中， 所述步驟 C为：
步驟 Cl、 对 52和53进行冗余帧筛除处理；
步驟 C2、 对筛除冗余帧的 52和53进行 SIFT特征提取处理；
步驟 C3、 对经过 SIFT特征提取处理的 52和 53进行特征点匹配处理； 步驟 C4、 对经过特征点匹配处理的 52和53进行立体全景图像拼接。 上述方法中， 所述步驟 C1为：
对左眼环景观察窄带图像序列 52和右眼环景观察窄带图像序列 53进 行冗余帧筛除处理， 从当前帧的下一帧起， 对比当前图像帧的 SIFT特征点 与之后每一帧图像的 SIFT特征点匹配数量， 选取 SIFT特征点匹配数量最 少但不为零的图像帧作为立体全景拼接的下一部分。
上述方法中， 所述步驟 C2为：
对筛除冗余帧的左眼环景观察窄带图像序列 S2和右眼环景观察窄带图 像序列 ^中的每个图像帧进行尺度空间极值的提取、 特征点定位、 方向分 配和特征点描述子生成处理； 以 SIFT特征点为中心取 16 X 16块， 创立描 述子生成窗口，对其中每 4 x 4 的小块窗口， 计算高斯图像梯度在 8个方向 上的投影累加值， 得到 128维的矢量， 对所述 128 维的矢量进行归一化处 理， 得到 SIFT特征算子。
上述方法中， 所述步驟 C3为：
在对 52和 ^进行 SIFT特征提取处理后，在52和53中，从第一帧开始， 采用部分距离搜索算法对当前图像帧与后一图像帧的 SIFT特征点进行加速 匹配，
当前 SIFT特征点 X与当前 SIFT特征点 X最接近的 SIFT特征点 ^二者之间 距 离 为 „= ，yP ) ， 对 于 下 一 SIFT 特 征 点 Λ· , 有 j=w—l
∑( Xj - yij )2≥dmin ( ≤w≤k - i) , 如果特征点 与 的距离 rffx^ rf^ , 则
7=0
SIFT特征点 不匹配； 反之 , SIFT特征点 匹配。
上述方法中， 所述步驟 C4为：
根据环景心投影原理对经过特征点匹配处理的 52和53进行立体全景 图像拼接， 根据当前图像帧内所取狭缝像素带的邻域带的图像， 对拼接的 缝合区域进行估计， 取出当前图像帧的狭缝像素带以及狭缝像素带的邻域 带， 同时与下一个图像帧进行比对， 沿匹配的 SIFT特征点形成曲线对两幅 图像进行拼接， 并在拼接缝区域进行均勾过渡， 得到左眼和右眼的立体全 景图像对。
本发明还提供一种三维显示系统， 包括： 图像采集子系统、 图像分割 子系统、 图像拼接子系统、 图像输出子系统； 其中，
图像采集子系统， 用于绕固定轴心旋转拍摄视频， 所述视频作为三维 显示的视频素材；
图像分割子系统， 用于根据环景心投影原理， 对拍摄的视频中的每一 帧进行窄带分割处理， 得到左眼环景观察窄带图像序列 S2和右眼环景观察 窄带图像序列^ ;
图像拼接子系统， 用于对左眼环景观察窄带图像序列 S2和右眼环景观 察窄带图像序列 S3进行立体全景图像拼接 , 得到左眼和右眼的立体全景图 像对；
图像输出子系统， 用于对得到的左眼和右眼的立体全景图像对进行输 出显示。 上述系统中， 所述图像拼接子系统进一步包括：
冗余帧筛除模块， 用于对 52和53进行冗余帧筛除处理；
特征提取模块， 用于对筛除冗余帧的 52和 ^进行 SIFT特征提取处理； 加速匹配模块， 用于对经过 SIFT特征提取处理的52和53进行特征点 匹配处理；
图像拼接模块， 用于对经过特征点匹配处理的 52和53进行立体全景图 像拼接。
本发明提供的三维显示方法及系统， 绕固定轴心旋转拍摄视频， 所述 视频作为三维显示的视频素材； 根据环景心投影原理， 对拍摄的视频中 的每一帧进行窄带分割处理，得到左眼环景观察窄带图像序列 和右眼环 景观察窄带图像序列；对左眼环景观察窄带图像序列 和右眼环景观察窄 带图像序列 进行立体全景图像拼接， 得到左眼和右眼的立体全景图像 对； 对得到的左眼和右眼的立体全景图像对进行输出显示， 能够高效的 实现单目相机的三维立体显示， 满足用户的需求， 具有更好的立体视觉 效果。 附图说明
图 1是现有技术中三维立体显示技术的原理示意图；
图 2是本发明实现三维显示方法的流程示意图；
图 3是本发明环景心投影的方法示意图；
图 4是本发明中利用单目相机模拟的狭缝相机的位置示意图； 图 5是本发明中利用单目相机模拟狭缝相机的示意图；
图 6是本发明实现步驟 203的具体方法的流程示意图；
图 7是本发明实现三维显示系统的结构示意图。 具体实施方式
本发明的基本思想是： 绕固定轴心旋转拍摄视频， 所述视频作为三维 显示的视频素材； 根据环景心投影原理， 对拍摄的视频中的每一帧进行 窄带分割处理，得到左眼环景观察窄带图像序列 和右眼环景观察窄带图 像序列； 对左眼环景观察窄带图像序列 和右眼环景观察窄带图像序列 进行立体全景图像拼接， 得到左眼和右眼的立体全景图像对； 对得到的 左眼和右眼的立体全景图像对进行输出显示。
下面通过附图及具体实施例对本发明再做进一步的详细说明。
本发明提供一种三维显示方法， 图 2是本发明实现三维显示方法的流 程示意图， 如图 2所示， 该方法包括以下步驟：
步驟 201 ,绕固定轴心旋转拍摄视频，该视频作为三维显示的视频素材； 具体的， 应用单目相机， 在目标景物区域绕固定轴心由左至右或由右 至左的旋转拍摄一段视频， 该视频作为三维显示的视频素材。
步驟 202,根据环景心投影原理，对拍摄的视频中的每一帧进行窄带分 割处理， 得到左眼环景观察窄带图像序列 52和右眼环景观察窄带图像序列
具体的， 对于拍摄的视频中图像序列中的每一帧， 根据环景心投影原 理， 沿中心轴线左右两侧对称的部分， 分割两条窄带图像， 得到左眼窄带 图像和右眼窄带图像； 将左眼窄带图像作为右眼环形观察图像， 将右眼窄 带图像作为左眼环形观察图形， 同时由于对拍摄的视频中图像序列中的每 一帧都进行窄带分割处理， 因此可以得到左眼环景观察窄带图像序列 52和 右眼环景观察窄带图像序列 S3；
如图 3 所示， 所述环景心投影相当于将一对模拟人眼放置的相机平行 放置， 并以两相机连线的中点为轴进行旋转， 对全景视场进行拍摄； 环景 心投影不会在两相机连线方向进行重叠拍摄， 因而没有三维显示的盲区； 通常， 环景心投影的图像可以通过狭缝相机进行拍摄， 狭缝相机的底片除 了一个狭窄细缝外均被遮盖，相机只沿光圈与狭缝的连线方向取像， 如图 4 所示， 当狭缝相机如图 4 ( c )所示的位置设置时， 狭缝固定在相机底片偏 左或偏右的位置， 当狭缝相机绕中心轴旋转时， 对场景拍摄的效果如图 3 ( a )所示， 图 3 ( a )所示的为环景心投影的其中一部分； 如果狭缝相机的 底片左右对称位置各有一狭缝， 则通过旋转这样的狭缝相机， 得到环景观 察窄带图像序列， 进而可以拼接环景心模式的左右眼立体全景图像；
如图 5 所示， 本发明中是使用常见的单目相机， 通过在偏离图像中心 距离为 V的左右两部分， 各取一个宽度相同的窄带图像， 即可模拟狭缝相机 的成像效果。
步驟 203， 对左眼环景观察窄带图像序列 S2和右眼环景观察窄带图像 序列 S3进行立体全景图像拼接， 得到左眼和右眼的立体全景图像对。
步驟 204, 对得到的左眼和右眼的立体全景图像对进行输出显示。
图 6是本发明实现步驟 203的具体方法的流程示意图， 如图 6所示， 该方法包括以下步驟：
步驟 601 , 对左眼环景观察窄带图像序列52和右眼环景观察窄带图像 序列 53进行冗余帧筛除处理；
具体的， 对左眼环景观察窄带图像序列 S2和右眼环景观察窄带图像序 列 53进行冗余帧筛除处理， 由于视频中相邻图像帧间差异大小不一， 通常 情况下相邻图像帧只发生很小的移位， 当逐帧进行全景扩充时， 每个图像 帧能添加进的景物信息很少； 此外， 事实上拼接全景所需的像素带个数远 'J、于视频中图像帧的个数， 所以很多图像帧内的图像带不需要参与全景拼 接的处理过程； 从当前帧的下一帧起， 对比当前图像帧的尺度不变特征变 换（SIFT, Scale-invariant Feature Transform )特征点与之后每一帧图像的 SIFT特征点匹配数量， 显然， 匹配点数将逐帧减少至零个， 选取 SIFT特征 点匹配数量最少但不为零的图像帧作为立体全景拼接的下一部分， 该图像 帧既能保证与当前图像帧有重合部分， 使得拼接立体全景完整无损失， 又 能最多的引入新的场景信息， 能够节省运算时间； 例如， 按照椭圆分布的 黑点即为当前图像帧的 SIFT特征点， 可以看出第五个图像帧中包含的匹配 的 SIFT特征点数目最少且不为零， 所以直接选取第五个图像帧与当前图像 帧进行拼接， 就可以向第一帧中引入最多的场景信息， 第二个图像帧、 第 三个图像帧、 第四个图像帧可不参与运算。
步驟 602, 对筛除冗余帧的 52和53进行 SIFT特征提取处理；
具体的， 对筛除冗余帧的左眼环景观察窄带图像序列 s2和右眼环景观 察窄带图像序列 53进行全景拼接，首先对每个图像帧进行 SIFT特征提取处 理； 具体的提取过程主要包括： 尺度空间极值的提取、 特征点定位、 方向 分配和特征点描述子生成； 经过上述提取过程， SIFT特征点的位置、 尺度、 方向信息都可以得到， 之后以 SIFT特征点为中心取 16 X 16块， 创立描述 子生成窗口， 该描述子生成窗口的坐标轴梯度方向与 SIFT特征点一致， 对 其中每 4 x 4 的小块窗口， 计算高斯图像梯度在 8个方向上的投影累加值， 得到 128维的矢量， 对该生成的 128 维的矢量进行归一化处理， 即得到具 有缩放、 旋转、 仿射变换尺度不变形的 SIFT特征算子。
步驟 603 , 对经过 SIFT特征提取处理的 S2和 S3进行特征点匹配处理； 具体的， 在对 52和53进行 SIFT特征提取处理后， 在52和53中， 从第 一帧开始， 对当前图像帧与后一图像帧的 SIFT特征点进行加速匹配；
对于每个狭缝图像， 都能提取出数百个 SIFT特征点， 每个 SIFT特征 点为包含 128 维的矢量， 在拼接的重要环节即特征点匹配的处理过程中， 匹配的快慢和精度决定了立体全景图像拼接的速度和质量， 对图像帧中每 个 128 维的矢量的 SIFT特征点， 在匹配的狭缝图像的数百个 SIFT特征点 中进行全搜索， 这一过程需要很大的计算量， 花费很多的时间， 实际应用 中通常采用部分距离搜索算法， 能够加快 SIFT特征点的匹配处理速度； 其中， 部分距离搜索算法是指在矢量匹配的搜索过程中， 通过引入一 个提前退出条件， 较早地终止输入矢量与待匹配矢量间的距离计算， 部分 距离搜索算法应用于特征点匹配的处理过程中， 即在已知当前 SIFT特征点 X与当前 SIFT特征点 X最接近的 SIFT特征点 ^二者之间距离为 dmin =d(x,yp ) , 计算下一个 SIFT特征点的 与 X距离时， 始终判断已经参与累加的 _ /维距 离是否已超出当前的最小距离^ l>t , 如果超出当前的最小距离 rf^ , 则终止 该 SIFT特征点 与 X距离的计算。
基于部分距离搜索算法判断特征点是否匹配的方法为： 设当前 SIFT特 征点为 X , 与当前 SIFT特征点 X最接近的 SIFT特征点 ^二者之间距离为 dmin=d(x,yp ) , 如 果 对 于 下 一 SIFT 特 征 点 Λ· , 有 j=w—l
j( xj - yij )2≥dmin (0≤w≤k - i) , 如果特征点 与 的距离 ^χ，Λχ 则
7=0
SIFT特征点 可以判为不匹配； 反之 , SIFT特征点 可以判为匹配；
通过对应特征点的位置移动信息估算相邻的图像帧间的移位， 从而对 相邻的图像帧进行拼接， 依次处理所有图像帧， 得到对应序列的立体全景 图像。
步驟 604, 对经过特征点匹配处理的 52和53进行立体全景图像拼接； 具体的， 根据环景心投影原理对经过特征点匹配处理的 52和53进行立 体全景图像拼接， 可以巧妙的从一系列图像帧中拼接出左眼和右眼的立体 全景图像对， 但每帧图像仅使用两个狭缝像素带， 其余信息没有得到有效 的利用， 而实际上， 由于拍摄的景物是一致的， 因此当前狭缝像素带中拼 入的下一帧的狭缝像素带的信息， 与当前图像已有的狭缝像素带的邻域带 的信息有很大的相关性； 由于场景是固定的， 当前狭缝像素带的拼接图像 和下一部分的狭缝像素带的拼接图像， 都是后一部分场景在不同角度拍摄 的结果；
根据当前图像帧内所取狭缝像素带的邻域带的图像， 对拼接的缝合区 域进行估计，通过对冗余帧的筛除，当前图像帧与拼接图像帧的匹配的 SIFT 特征点的数量较少， 如果仅仅根据匹配的 SIFT特征点的移位信息， 对两帧 图像直接拼接， 连接缝隙处的不衔接点较多； 如果取出当前图像帧的狭缝 像素带以及狭缝像素带的邻域带， 同时与下一个图像帧进行比对， 沿匹配 的 SIFT特征点形成曲线对两幅图像进行拼接， 并在拼接缝区域进行均匀过 渡， 即可得到更理想的图像效果。
为实现上述方法， 本发明还提供一种三维显示系统， 图 7是本发明实 现三维显示系统的结构示意图， 如图 7所示， 该系统包括： 图像采集子系 统 71、 图像分割子系统 72、 图像拼接子系统 73、 图像输出子系统 74; 其 中，
图像采集子系统 71 , 用于绕固定轴心旋转拍摄视频， 所述视频作为三 维显示的视频素材；
图像分割子系统 72, 用于根据环景心投影原理， 对拍摄的视频中的每 一帧进行窄带分割处理， 得到左眼环景观察窄带图像序列 S2和右眼环景观 察窄带图像序列 S3 ;
图像拼接子系统 73 , 用于对左眼环景观察窄带图像序列 S2和右眼环景 观察窄带图像序列 S3进行立体全景图像拼接， 得到左眼和右眼的立体全景 图像对；
图像输出子系统 74 , 用于对得到的左眼和右眼的立体全景图像对进行 输出显示。
所述图像拼接子系统 73进一步包括：
冗余帧筛除模块 731 , 用于对 S2和 S3进行冗余帧筛除处理；
特征提取模块 732,用于对筛除冗余帧的 和 进行 SIFT特征提取处 理；
加速匹配模块 733,用于对经过 SIFT特征提取处理的 52和53进行特征 点匹配处理；
图像拼接模块 734, 用于对经过特征点匹配处理的52和53进行立体全 景图像拼接。
其中， 图像分割子系统 72根据环景心投影原理， 对拍摄的视频中的每 一帧进行窄带分割处理， 得到左眼环景观察窄带图像序列 S2和右眼环景观 察窄带图像序列53为： 对于拍摄的视频中图像序列中的每一帧， 根据环景 心投影原理， 沿中心轴线左右两侧对称的部分， 分割两条窄带图像， 得到 左眼窄带图像和右眼窄带图像， 将左眼窄带图像作为右眼环形观察图像， 将右眼窄带图像作为左眼环形观察图形， 得到左眼环景观察窄带图像序列 52和右眼环景观察窄带图像序列 S3。
所述冗余帧筛除模块 731对52和53进行冗余帧筛除处理为： 对左眼环 景观察窄带图像序列 S2和右眼环景观察窄带图像序列 S3进行冗余帧筛除 处理， 从当前帧的下一帧起， 对比当前图像帧的 SIFT特征点与之后每一帧 图像的 SIFT特征点匹配数量， 选取 SIFT特征点匹配数量最少但不为零的 图像帧作为立体全景拼接的下一部分。
所述特征提取模块 732对筛除冗余帧的52和53进行 SIFT特征提取处 理为： 对筛除冗余帧的左眼环景观察窄带图像序列 S2和右眼环景观察窄带 图像序列 53中的每个图像帧进行尺度空间极值的提取、 特征点定位、 方向 分配和特征点描述子生成处理； 以 SIFT特征点为中心取 16 X 16块， 创立 描述子生成窗口，对其中每 4 x 4 的小块窗口， 计算高斯图像梯度在 8个方 向上的投影累加值， 得到 128维的矢量， 对所述 128 维的矢量进行归一化 处理， 得到 SIFT特征算子。 所述加速匹配模块 733对经过 SIFT特征提取处理的 52和53进行特征 点匹配处理为： 在对 52和53进行 SIFT特征提取处理后， 在52和53中， 从 第一帧开始， 采用部分距离搜索算法对当前图像帧与后一图像帧的 SIFT特 征点进行加速匹配，当前 SIFT特征点 X与当前 SIFT特征点 X最接近的 SIFT 特征点^二者之间距离为 rf^ ^fx,^ , 对于下一 SIFT 特征点 ， 有 j=w—l
∑( Xj - yij )2≥dmin ( ≤w≤k - i) , 如果特征点 与 的距离 rffx^ rf^ , 则
7=0
SIFT特征点 不匹配； 反之 , SIFT特征点 匹配。
所述图像拼接模块 734对经过特征点匹配处理的 52和53进行立体全景 图像拼接为： 根据环景心投影原理对经过特征点匹配处理的 52和53进行立 体全景图像拼接， 根据当前图像帧内所取狭缝像素带的邻域带的图像， 对 拼接的缝合区域进行估计， 取出当前图像帧的狭缝像素带以及狭缝像素带 的邻域带， 同时与下一个图像帧进行比对， 沿匹配的 SIFT特征点形成曲线 对两幅图像进行拼接， 并在拼接缝区域进行均勾过渡， 得到左眼和右眼的 立体全景图像对。
基于上述技术方案， 本发明具有以下有益效果：
通过结合相关的投影方式和图像拼接方法， 并对其进行改进和优化， 本发明的三维显示方法和系统能够得到很好的显示效果； 通过进一步的优 化和提速， 将本发明的技术方案应用于终端后基本可以满足用户的需求。 用户在使用过程中， 开始拍摄视频后， 根据提示方向绕固定轴心旋转拍摄 场景视频， 拍摄过程中相机不要在垂直方向上放生剧烈的位移， 尽量保持 水平移动， 相机不能移动过快， 从而保证拼接画面的完整性。
基于单目相机的三维显示方法和系统系统， 可以广泛应用于当前数码 相机和移动终端等产品中去， 不需要增配双目摄像头， 仅通过内部软件的 处理就能够得到具有三维效果的立体全景图像。 使用者仅需要绕固定旋转 中心对场景进行拍摄， 就能够自动合成场景的立体图像并输出显示， 从而 满足人们拍摄立体图像的需求。
本发明的技术方案结合了先进的环景心投影和有效的图像匹配算法， 全景图像每一部分都很好的模拟了人眼观察的模式， 具有更好的立体视觉 效果； 此外， 与富士公司的双目立体拍摄产品相比， 通过加载本发明的三 维显示系统， 相机或手机等终端无需升级和配备昂贵的硬件设备， 就能获 得新颖的立体全景拍摄功能， 增强产品竟争力， 吸引更多的消费者。
以上所述， 仅为本发明的较佳实施例而已， 并非用于限定本发明的保 护范围， 凡在本发明的精神和原则之内所作的任何修改、 等同替换和改进 等， 均应包含在本发明的保护范围之内。

Claims

权利要求书
1、 一种三维显示方法， 其特征在于， 该方法包括：
步驟 A、 绕固定轴心旋转拍摄视频， 所述视频作为三维显示的视频素 材；
步驟 B、 根据环景心投影原理， 对拍摄的视频中的每一帧进行窄带分 割处理， 得到左眼环景观察窄带图像序列 52和右眼环景观察窄带图像序列
步驟 C、 对左眼环景观察窄带图像序列52和右眼环景观察窄带图像序 列 ^进行立体全景图像拼接， 得到左眼和右眼的立体全景图像对；
步驟 D、 对得到的左眼和右眼的立体全景图像对进行输出显示。
2、 根据权利要求 1所述的方法， 其特征在于， 所述绕固定轴心旋转拍 摄视频为： 应用单目相机， 在目标景物区域绕固定轴心由左至右或由右至 左的旋转拍摄视频。
3、 根据权利要求 1所述的方法， 其特征在于， 所述步驟 B为： 对于拍摄的视频中图像序列中的每一帧， 根据环景心投影原理， 沿中 心轴线左右两侧对称的部分， 分割两条窄带图像， 得到左眼窄带图像和右 眼窄带图像， 将左眼窄带图像作为右眼环形观察图像， 将右眼窄带图像作 为左眼环形观察图形， 得到左眼环景观察窄带图像序列 52和右眼环景观察 窄带图像序列^。
4、 根据权利要求 1所述的方法， 其特征在于， 所述步驟 C为： 步驟 Cl、 对 52和53进行冗余帧筛除处理；
步驟 C2、 对筛除冗余帧的 52和53进行 SIFT特征提取处理； 步驟 C3、 对经过 SIFT特征提取处理的 和 进行特征点匹配处理； 步驟 C4、 对经过特征点匹配处理的 52和53进行立体全景图像拼接。
5、 根据权利要求 4所述的方法， 其特征在于， 所述步驟 C1为： 对左眼环景观察窄带图像序列 52和右眼环景观察窄带图像序列 53进 行冗余帧筛除处理， 从当前帧的下一帧起， 对比当前图像帧的 SIFT特征点 与之后每一帧图像的 SIFT特征点匹配数量， 选取 SIFT特征点匹配数量最 少但不为零的图像帧作为立体全景拼接的下一部分。
6、 根据权利要求 4所述的方法， 其特征在于， 所述步驟 C2为： 对筛除冗余帧的左眼环景观察窄带图像序列 S2和右眼环景观察窄带图 像序列 53中的每个图像帧进行尺度空间极值的提取、 特征点定位、 方向分 配和特征点描述子生成处理； 以 SIFT特征点为中心取 16 X 16块， 创立描 述子生成窗口，对其中每 4 x 4 的小块窗口， 计算高斯图像梯度在 8个方向 上的投影累加值， 得到 128维的矢量， 对所述 128 维的矢量进行归一化处 理， 得到 SIFT特征算子。
7、 根据权利要求 4所述的方法， 其特征在于， 所述步驟 C3为： 在对 52和53进行 SIFT特征提取处理后，在52和53中，从第一帧开始， 采用部分距离搜索算法对当前图像帧与后一图像帧的 SIFT特征点进行加速 匹配， 当前 SIFT特征点 X与当前 SIFT特征点 X最接近的 SIFT特征点 ^二 者之 间 距 离 为 dmin =d(x，yp ) , 对于 下一 SIFT 特征点 ， 有 j=w—l
j( xj - yij )2≥dmin (0≤w≤k -l) , 如果特征点 与 的距离 ^χ，Λχ 则
7=0
SIFT特征点 不匹配； 反之 , SIFT特征点 匹配。
8、 根据权利要求 4所述的方法， 其特征在于， 所述步驟 C4为： 根据环景心投影原理对经过特征点匹配处理的 52和53进行立体全景 图像拼接， 根据当前图像帧内所取狭缝像素带的邻域带的图像， 对拼接的 缝合区域进行估计， 取出当前图像帧的狭缝像素带以及狭缝像素带的邻域 带， 同时与下一个图像帧进行比对， 沿匹配的 SIFT特征点形成曲线对两幅 图像进行拼接， 并在拼接缝区域进行均勾过渡， 得到左眼和右眼的立体全 景图像对。
9、 一种三维显示系统， 其特征在于， 该系统包括： 图像采集子系统、 图像分割子系统、 图像拼接子系统、 图像输出子系统； 其中，
图像采集子系统， 用于绕固定轴心旋转拍摄视频， 所述视频作为三维 显示的视频素材；
图像分割子系统， 用于根据环景心投影原理， 对拍摄的视频中的每一 帧进行窄带分割处理， 得到左眼环景观察窄带图像序列 S2和右眼环景观察 窄带图像序列^ ;
图像拼接子系统， 用于对左眼环景观察窄带图像序列 S2和右眼环景观 察窄带图像序列 S3进行立体全景图像拼接 , 得到左眼和右眼的立体全景图 像对；
图像输出子系统， 用于对得到的左眼和右眼的立体全景图像对进行输 出显示。
10、 根据权利要求 9所述的系统， 其特征在于， 所述图像拼接子系统 进一步包括：
冗余帧筛除模块， 用于对 52和53进行冗余帧筛除处理；
特征提取模块， 用于对筛除冗余帧的 52和 ^进行 SIFT特征提取处理； 加速匹配模块， 用于对经过 SIFT特征提取处理的52和53进行特征点 匹配处理；
图像拼接模块， 用于对经过特征点匹配处理的 52和53进行立体全景图 像拼接。
PCT/CN2012/073411 2012-02-16 2012-03-31 一种三维显示方法及系统 WO2013120308A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2012100349846A CN103260046A (zh) 2012-02-16 2012-02-16 一种三维显示方法及系统
CN201210034984.6 2012-02-16

Publications (1)

Publication Number Publication Date
WO2013120308A1 true WO2013120308A1 (zh) 2013-08-22

Family

ID=48963705

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2012/073411 WO2013120308A1 (zh) 2012-02-16 2012-03-31 一种三维显示方法及系统

Country Status (2)

Country Link
CN (1) CN103260046A (zh)
WO (1) WO2013120308A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105306921A (zh) * 2014-06-18 2016-02-03 中兴通讯股份有限公司 一种基于移动终端的三维照片拍摄方法及移动终端
US10257494B2 (en) 2014-09-22 2019-04-09 Samsung Electronics Co., Ltd. Reconstruction of three-dimensional video
US11205305B2 (en) 2014-09-22 2021-12-21 Samsung Electronics Company, Ltd. Presentation of three-dimensional video
CN105025287A (zh) * 2015-06-30 2015-11-04 南京师范大学 利用旋转拍摄的视频序列影像构建场景立体全景图的方法
CN106385576B (zh) * 2016-09-07 2017-12-08 深圳超多维科技有限公司 立体虚拟现实直播方法、装置及电子设备
CN106375748B (zh) * 2016-09-07 2018-05-22 深圳超多维科技有限公司 立体虚拟现实全景视图拼接方法、装置及电子设备
CN106412558B (zh) * 2016-09-08 2017-11-21 深圳超多维科技有限公司 一种立体虚拟现实直播方法、装置及设备
US11049218B2 (en) 2017-08-11 2021-06-29 Samsung Electronics Company, Ltd. Seamless image stitching
CN108364333B (zh) * 2018-02-11 2021-04-27 成都康烨科技有限公司 基于多方向摄影拟合俯视图的方法及装置
CN110995997A (zh) * 2019-12-11 2020-04-10 苏州新光维医疗科技有限公司 一种单镜头内窥镜图像处理转换方法
CN111982015B (zh) * 2020-08-18 2022-06-21 深圳大学 结构几何形态监测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102111629A (zh) * 2009-12-24 2011-06-29 索尼公司 图像处理装置、图像捕获装置、图像处理方法和程序
CN102239697A (zh) * 2009-10-09 2011-11-09 索尼公司 图像处理装置和方法及程序
WO2011162227A1 (ja) * 2010-06-24 2011-12-29 富士フイルム株式会社 立体パノラマ画像合成装置、撮像装置並びに立体パノラマ画像合成方法、記録媒体及びコンピュータプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101673395B (zh) * 2008-09-10 2012-09-05 华为终端有限公司 图像拼接方法及装置
CN101394573B (zh) * 2008-10-30 2010-06-16 清华大学 一种基于特征匹配的全景图生成方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102239697A (zh) * 2009-10-09 2011-11-09 索尼公司 图像处理装置和方法及程序
CN102111629A (zh) * 2009-12-24 2011-06-29 索尼公司 图像处理装置、图像捕获装置、图像处理方法和程序
WO2011162227A1 (ja) * 2010-06-24 2011-12-29 富士フイルム株式会社 立体パノラマ画像合成装置、撮像装置並びに立体パノラマ画像合成方法、記録媒体及びコンピュータプログラム

Also Published As

Publication number Publication date
CN103260046A (zh) 2013-08-21

Similar Documents

Publication Publication Date Title
WO2013120308A1 (zh) 一种三维显示方法及系统
TWI712918B (zh) 擴增實境的影像展示方法、裝置及設備
TWI554976B (zh) 監控系統及其影像處理方法
CN101673395B (zh) 图像拼接方法及装置
WO2019075268A1 (en) IMAGE PROCESSING METHOD, APPARATUS THEREFOR, AND STORAGE MEDIUM
EP3163535A1 (en) Wide-area image acquisition method and device
KR20180111798A (ko) 파노라마 프레임 생성 프로세스에서 프레임의 적응적 스티칭
WO2018188277A1 (zh) 视线校正方法、装置、智能会议终端及存储介质
JP2000354257A (ja) 画像処理装置、画像処理方法、およびプログラム提供媒体
JP2011166264A (ja) 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
CN104599317A (zh) 一种实现3d扫描建模功能的移动终端及方法
EP3340618A1 (en) Geometric warping of a stereograph by positional constraints
KR20130104691A (ko) 영상 처리 장치 및 방법
CN111866523B (zh) 全景视频合成方法、装置、电子设备和计算机存储介质
KR20130039522A (ko) 입체 파노라마 영상을 생성하는 장치 및 방법
KR20120046802A (ko) 하나의 카메라를 이용하여 3차원 파노라마 영상을 생성하는 장치 및 방법
US20150326847A1 (en) Method and system for capturing a 3d image using single camera
US20190287223A1 (en) Blurring Panoramic Image Blurring Method, Terminal And Computer Readable Storage Medium
CN108282650B (zh) 一种裸眼立体显示方法、装置、系统及存储介质
US20140168375A1 (en) Image conversion device, camera, video system, image conversion method and recording medium recording a program
KR20110025020A (ko) 입체 영상 시스템에서 입체 영상 디스플레이 장치 및 방법
JP5555046B2 (ja) 画像入力装置、画像入力方法及び画像入力プログラム
KR101718309B1 (ko) 색상 정보를 활용한 자동 정합·파노라믹 영상 생성 장치 및 방법
Wang et al. A common feature-based disparity control strategy in stereoscopic panorama generation
CN109360270B (zh) 基于人工智能的3d人脸姿态对齐方法及装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12868542

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12868542

Country of ref document: EP

Kind code of ref document: A1