WO2005003857A1 - A method of digital imaging device’s scene panoramic imagery and display method thereof - Google Patents

A method of digital imaging device’s scene panoramic imagery and display method thereof Download PDF

Info

Publication number
WO2005003857A1
WO2005003857A1 PCT/CN2004/000754 CN2004000754W WO2005003857A1 WO 2005003857 A1 WO2005003857 A1 WO 2005003857A1 CN 2004000754 W CN2004000754 W CN 2004000754W WO 2005003857 A1 WO2005003857 A1 WO 2005003857A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
overlapping
imaging device
digital imaging
panoramic
Prior art date
Application number
PCT/CN2004/000754
Other languages
English (en)
French (fr)
Inventor
Kun Ma
Original Assignee
Kun Ma
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kun Ma filed Critical Kun Ma
Publication of WO2005003857A1 publication Critical patent/WO2005003857A1/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Definitions

  • the present invention relates to a digital imaging method, in particular to a method for generating a panoramic image by using a movable digital imaging device to stitch continuous background images in real time, and a method for displaying a panoramic image obtained based on the above method.
  • Image processing technology in particular to a method for generating a panoramic image by using a movable digital imaging device to stitch continuous background images in real time, and a method for displaying a panoramic image obtained based on the above method.
  • Digital cameras and mobile phones with integrated micro-cameras are convenient, compact, easy to carry, and can take pictures at any time.
  • the limitation of physical size makes this type of photographing equipment have poor imaging quality and small field of view, which cannot meet people's expectations for taking pictures.
  • Chinese patent 92215421. X has designed a 360 ° panoramic camera, which includes a camera body, a lens, a power controller and a camera chassis. An imaging surface with a slit-type exposure hole is opened in the middle of the fuselage. A micromotor and a reducer are installed in the chassis below the fuselage. The small gear meshes with the inner gear of the chassis, and the power controller has a three-speed regulator that controls the speed of the motor.
  • This device has high accuracy and is suitable for shooting indoor panoramas; however, for outdoor wide landscapes and large group photos, additional mechanical devices and driving components need to be added, so it is not suitable for portable use.
  • Chinese patent application 00802545. 2 discloses a two-reflector system, one is a hyperboloid mirror, and the other is a concave ellipse or spherical mirror, which eliminates optical aberrations through optical principles and is used for capturing Wide angle panoramic image.
  • the system's sophisticated and bulky optical equipment is also not suitable for installation in small and flexible portable equipment.
  • a photo is digitized into a digital collection of millions of pixels, and the processing of the photo can make full use of high-speed and large-capacity computers for pixel-level editing; therefore, the stitching combination of multiple photos is simplified to Reorganization and arrangement of corresponding pixel sets.
  • the two photos with partial overlap can be matched in the computer first to locate the overlapping position, and then be continuously stitched into a larger photo according to the content. In this way, the purpose of expanding the imaging field and improving the imaging quality can be achieved without changing the imaging equipment.
  • this method is directly applied to a digital camera or a mobile phone integrated with a micro-camera, even if a high-quality picture shield can be obtained through the offline processing of a computer, it also loses the characteristics of instant and convenience of these mobile shootings.
  • Chinese patent ZL 01230425. 5 designed a digital camera for rotating shooting, which is a micro-motor and rotating device added to the existing digital camera circuit. Under the control of the control circuit, the micro-motor drives the rotating device to make the dark box rotate on the base.
  • the image information processing circuit receives a series of digital signals every rotation, and finally composes a complete image.
  • the device has a certain degree of automation and continuity, but it uses additional mechanical devices to precisely rotate the camera.
  • Image synthesis is a fixed stitching process. It is not flexible, bulky, and not suitable for mobile phones or mobile phones.
  • Digital cameras are a kind of portable and freely taking pictures. If the camera is rotated manually, this method requires the operator to rotate precisely mechanically. Obviously, this is impractical. Summary of the invention
  • the main purpose of the present invention is to provide a method and display method for on-site panoramic imaging of a digital imaging device, to make up for the lack of insufficient imaging quality of a camera phone, and to provide a convenient and practical mobile phone.
  • the scene imaging method simplifies user operations and meets the requirements of on-site imaging.
  • Another object of the present invention is to provide a method and display method for on-site panoramic imaging of digital imaging equipment, avoiding the use of any additional mechanical or optical equipment, and maintaining the usual manual photographing habits; meanwhile, using human-machine cooperation, active framing, Continuous shooting and intelligent stitching form a novel and practical real-time processing method.
  • Yet another object of the present invention is to provide a display method for a portable digital imaging device to effectively display a panoramic image on the scene, scrolling and displaying large-format panoramic photos on a small screen, taking into account the completeness of global content and the clarity of local details; Dynamic effect; The image is smooth and clear, which is better than the video effect.
  • a method for on-site panoramic imaging of a digital imaging device includes at least:
  • Step 1 Match the currently acquired dynamic image of the digital imaging device with the previous image;
  • Step 2 According to the matching result of step 1, stitch the previous image and the currently acquired dynamic image to form a panoramic image.
  • the above matching process can adopt the most basic traversal (exhaustive) method, or through further optimization, a fast scene matching method can be obtained to speed up the search for accurate overlapping positions.
  • the fast scene matching method includes at least the following two processes:
  • Step 11B Set a moving step size not less than 1 and an initial overlap position
  • Step 12B Calculate the similarity value of the currently acquired dynamic image and the previous image at the overlapping position; use the 8 neighborhoods with a moving step distance around the overlapping position as candidate overlapping positions, and calculate each candidate overlapping position. Similarity value
  • Step 13B Select the smallest similarity value among the calculated similarity values; and use the overlapping position corresponding to the smallest similarity value as the new initial overlapping position;
  • Step 14B Reduce the moving step; perform step 12B until the moving step is not greater than 1.
  • Search by mountain climbing method :
  • Step 11C Set the initial overlapping position according to the set ratio, and set the moving step to 1.
  • Step 12C Calculate the similarity value of the currently acquired dynamic image and the previous image at the overlapping position; 8 neighborhoods around the position are candidate overlapping positions, and the similarity value of each candidate overlapping position is calculated;
  • Step 13C Select the smallest similarity value among the calculated similarity values; Step 14C: If the similarity value of the initial overlapping position is not equal to the minimum similarity value, then the overlapping position corresponding to the minimum similarity value As the new initial overlapping position, step 12C is performed; otherwise, the matching ends.
  • the specific processing flow is:
  • Step 21 Store the data of the previous image including the overlapping area in the splicing buffer of the digital imaging device;
  • Step 22 extract the data of the overlapping area from the data of the previous image and the data of the currently acquired moving image respectively;
  • Step 23 After performing weighted average processing on the data of the two overlapping areas taken out in step 22, the obtained weighted average data is stored in the overlapping area i or of the data of the previous image in the stitching buffer of the digital imaging device;
  • Step 24 Store the data of the currently acquired moving image data that does not include the overlapping area after the overlapping area of the stitching buffer.
  • the purpose of the foregoing weighted average is to make the stitched images have a better transition effect at the stitching place. Therefore, the following methods can be used to perform weighting processing:
  • a D is an image block of the previous image in the overlap region, is an image block of the currently acquired dynamic image in the overlap region, and G is an image block of the stitched image in the overlap region; and, A D and B D
  • the vector form I AD of , C D and are expressed as:
  • w is the horizontal or vertical distance position of P k eD along the splicing direction in the overlapping area
  • L is the length of the overlap region along the splicing direction.
  • the above-mentioned weighting methods are linear, and non-linear weighting methods can also be adopted. These methods are only specific algorithms and can be directly referenced, and will not be repeated here.
  • the digital imaging device actually continuously detects the shooting state, and the stitching operation will only be performed after the user takes the current photo; otherwise, according to the method of the present invention, the real-time matching operation is continued and the calculation is performed.
  • the deviation value of the current overlapping area from the preset recommended overlapping position is fed back to the user with a signal of a framing prompt, waiting for the user's adjustment and shooting operations.
  • the panorama shooting state is terminated.
  • the specific display method is: The panoramic image display command input by the user continuously transmits the panoramic image data to be displayed to a display buffer of a digital imaging device; the display processing module of the digital imaging device reads and outputs the panoramic image data to a display interface to form a panoramic screen Scroll display effect.
  • the main advantage of the present invention is to make up for the shortcomings of the existing digital imaging equipment that cannot provide a convenient and practical panoramic imaging function in real time, simplify the operation of user stitching images, and meet the requirements of field imaging;
  • the invention avoids the use of any additional mechanical or optical equipment, and maintains the usual manual photographing habit.
  • by using human-machine cooperation, active framing, continuous shooting and intelligent stitching, a novel and practical real-time image processing method a novel and practical real-time image processing method .
  • it also provides a convenient means for users to display stitched images on digital imaging equipment.
  • FIG. 1 is a flowchart of a specific embodiment of the present invention
  • FIG. 2 is a flowchart of an embodiment of a multi-resolution search in a matching process according to the present invention
  • FIG. 3 is a flowchart of an embodiment of a mountain climbing search method in a matching process of the present invention. detailed description
  • the present invention first matches a currently acquired dynamic image of a digital imaging device with a previous image; then, according to the matching result, stitches the last image and the currently acquired dynamic image to form a panoramic image.
  • the purpose of the previous step is to perform matching processing on the currently acquired dynamic image and the scene of the previous image, and find the area with the greatest similarity among them.
  • the specific digital panorama generation processing for the above two consecutively taken photos , Need to go through the following steps to deal with:
  • Step 1 Set a possible overlap position for the currently acquired dynamic image and the previous image of the digital imaging device, and calculate the content similarity measurement value of the two images under the overlap position;
  • Step 2 Search all candidate overlap positions and select the smallest content similarity measure value.
  • the corresponding overlap position is the most accurate content overlap position of the two images. Referring to FIG. 1, the following is a specific example of implementing the above method: First, an initial overlap position is set for the currently acquired dynamic image and the previous image; second, the similarity value of the currently acquired dynamic image and the previous image at the overlap position is calculated;
  • the overlapping position corresponding to the minimum similarity value is selected as the final accurate overlapping position.
  • a D is an image block of the previous image in the overlapping area, and is an image block of the currently acquired dynamic image in the overlapping area; and the vector forms I AD and I BD of A D and B D are respectively expressed as: jAD _ p BD p BD J
  • a D P ° is the first pixel A, B D of the r-th pixel
  • the above method is the most basic traversal (exhaustive) method.
  • using this method to find the optimal overlap position is a large amount of calculation and takes a long time, which is not convenient for real-time calculation by a portable device.
  • the fast scene matching method described in the following embodiment can be obtained to accelerate the search for accurate overlapping positions.
  • Multi-resolution search First, set a moving step size of not less than 1, such as 16, and an initial overlapping position;
  • the smallest similarity value is selected from the calculated similarity values; and the overlapping position corresponding to the smallest similarity value is used as the new initial overlapping position;
  • the traversal method needs to measure the similarity of 76800 possible overlapping positions, and the above multi-resolution search method (such as a coarse resolution traversal with a step size of 16 and its subsequent steps)
  • the taper search strategy with long halving requires only 332 measurements, and the calculation amount is 1/231.
  • the above scene matching algorithm does not need to perform a full-format matching search, but performs a local heuristic search in a set area.
  • the specific method is:
  • the smallest similarity value is selected from the calculated similarity values
  • the overlapping position obtained at this time is the best matching position.
  • the above mountain climbing method can generally find a local optimal solution within 16 to 240 times according to the complexity of the image content and the shooting error of the user, which can greatly reduce the amount of calculation.
  • the user determines the stitching for example, the user of the digital camera presses the photo shutter to take a picture, and then stitches the two images described above to form a panoramic image.
  • the invention uses the weighted average of the corresponding pixels in the overlapping area to improve the stitching quality.
  • the previous image A and the currently acquired dynamic image B overlap at position D, and A D and image blocks in the overlapping area of image A and B, respectively.
  • G is the stitched image overlapping The image blocks within the region; and the vector forms I AD , I BD and I eD of A D , B D , and C D are respectively expressed as:
  • P k CD wl x P k AD + wl x P k BD
  • wl and w2 are weighting coefficients, and their sum is 1
  • P k AD is the k-th pixel in A D
  • P k BD B D the first pixel
  • Step 21 Store the data of the previous image A including the overlapping area in the stitching buffer C of the digital imaging device;
  • Step 22 retrieve the data A D , B D of its overlapping area from the data of the previous image A and the data of the currently acquired dynamic image B, respectively;
  • Step 23 Use the average method or the data of the two overlapping areas A D and B D taken in step 22 After processing by the linear weighted average method, the obtained weighted average data is stored in the overlapping area AD of the data of the previous image A in the stitching buffer C of the digital imaging device;
  • Step 24 the moving image data of the current B is not included in the acquired data memory after the overlap region to the overlapping region C in buffer C D splicing.
  • the averaging method is used at the same time to use the information of the two original images in the overlapping area. Therefore, the obvious abrupt changes in the boundaries caused by the inconsistent image content are avoided, so that the overlapping area of the stitched image can smoothly transition between natural and non-overlapping areas.
  • the linear weighted average method can be used to gradually and smoothly transition the content in the overlapping area from image A to image B, which can more effectively improve the final mosaic quality.
  • a non-linear weighting method can also be used to improve or improve the picture quality of the stitched image in the overlapping area.
  • the specific weighting algorithm is not here-enumeration. Specifically, when a digital imaging device, such as a digital camera or a mobile phone with a camera function, performs on-site panoramic imaging, after the above matching process is completed, the digital imaging device also needs to detect a shooting state.
  • the digital imaging device After the user takes the current photo, that is, after the user presses the shutter, Then the stitching operation is performed; otherwise, the digital imaging device will continue to perform the above-mentioned real-time matching while waiting for the shooting operation of the user, and calculate the deviation value of the current overlapping area from the recommended overlapping position preset by the system to provide framing tips
  • the signal is fed back to the user, waiting for the user's adjustment and shooting operations.
  • the panorama shooting status is terminated
  • the above real-time matching result is fed back to the user on the spot, which can effectively guide the user to frame and ensure the quality of stitching.
  • the system is set to stitch from left to right.
  • the system recommends 1/5 image size as the most Best overlap position.
  • the system captures the current new scene in real time to match the previous photo. If the calculated overlap position is 1/2, the system prompts the user to continue Rotate to the right; if the calculated overlap position is 1/8, the system prompts the user to rotate to the left.
  • the system calculates the top and bottom deviations, and signals the user with an upper and lower boundary signal. Since the above digital imaging equipment is generally a portable product, the screen size of this type of product for display is limited, so its display interface cannot completely display the stitched panoramic image. Therefore, the following processing is required to enable the panoramic image to be displayed on the screen.
  • Display on the digital imaging device First, receive a panoramic image display command input by the user (this command can be achieved by pressing the corresponding key set on the digital imaging device), and then transmit the panoramic image data to be displayed to the digital imaging device.
  • Display buffer specific command analysis and processing steps include:
  • the system monitors the duration of the user pressing the direction key in real time. The longer the duration, the faster the scrolling speed in that direction.
  • the function of the present invention is to effectively and conveniently improve the imaging field and shooting effect of digital photographing equipment by using pattern recognition and digital processing technology. It can be widely used in photographing mobile phones, digital cameras, and other portable digital photographing equipment.
  • the present invention is directed to the characteristics of digital camera equipment that require real-time convenience, one for shooting and one for real-time stitching, omitting the processes of sorting and transmission in the prior art, and after the shooting, the panoramic image can be generated on the spot; the present invention uses intelligent identification technology,
  • the microprocessor accurately calculates the overlapping position of two adjacent photos, thereby achieving continuous seamless stitching of content; traditional image stitching methods are all post-processing methods, and stitching is performed on a group of photos that have been taken.
  • the present invention performs image matching in real-time during the user's shooting process, guides the user to make a reasonable framing according to the previous photo, and generally instructs the user to save the entire image with a 1/5 overlapping area when framing.
  • the workload of device calculation is reduced, so that matching can be performed quickly, real-time and validity of matching are guaranteed, and the final image stitching quality is also well guaranteed.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Description

数字成像设备现场全景成像的方法及显示方法 技术领域
本发明涉及一种数字成像方法，特别是指一种利用可移动数字成像设备 实时对连续背景图像进行拼接而生成全景图像的方法，以及对基于上述方法 获得的全景图像进行显示的方法， 属于数字图像处理技术。 背景技术
数字相机、 集成有微型摄像装置的手机具有方便小巧， 易于携带并可以 随时拍照的特点，但物理尺寸的限制使该类拍照设备的成像质量差、视野小， 不能满足人们对拍照的期望。
成像质量差、视野受限是一般数字相机和集成有微型摄像装置的手机都 面临的问题。 针对这类问题， 人们从机械、 光学及数字技术等多方面做了许 多改进。
例如， 中国专利 92215421. X设计了一种 360° 环摄全景照相机， 包括照相机机身、 镜头、 电源控制器及相机底盘。 机身中间开有一缝隙式曝 光孔的成像面， 机身下的底盘内装有微型电机和减速器、 减速器出轴与输片 胶辊连接和收片轴呈差动啮合， 另一出轴上的小齿轮与底盘内齿轮啮合， 电 源控制器有三挡控制电机变速的调压器。该装置精度高，适合拍摄室内全景； 但对于野外宽阔画风景和大型团体照等，却需要添加额外的机械装置和驱动 部件， 因此， 不适于便携使用。
中国专利申请 00802545. 2 (公开号 CN 1352754 )公开了一种两反射器 系统， 一个是双曲面反射镜， 另一个是凹椭圆或球面反射镜， 通过光学原理 消除光学象差， 用于捕获超广角全景图象。 但是， 该系统精密而庞大的光学 设备同样不适于装设在小巧灵活的便携设备上。
近年来数字技术的应用极大地促进了成像技术的发展，数码成像技术的 最大好处是处理准确灵活。 一张照片被数字化为成上百万像素的数字集合， 进而对该照片的处理， 可充分地利用高速大容量的计算机进行像素级的编 辑；因此，对多幅照片的拼接组合也就简化为对相应像素集合的重组和排列。 具有部分重合的两张照片在计算机中可以先进行内容匹配， 定位出重叠位 置， 然后按内容连续地拼接为一张更大的照片。 这样， 可以在不更改成像器 材的情况下， 达到扩展成像视野、 提高成像质量的目的。
上述的方法虽然简单经济， 但目前都是离线后处理方式： 即用户使用数 字相机或集成有微型摄像装置的手机连续拍摄多张照片，然后一起输入到计 算机后进行排序、 匹配和拼接。 这样就不可避免地造成了整个处理周期长、 操作多； 另外， 如果在后处理时发现个别照片不合乎要求， 这将导致整个拼 接处理的失效， 用户需要重新拍照并重复上述的操作。 因此， 如果将该方法 直接用于数字相机或集成有微型摄像装置的手机，即使通过计算机的离线处 理可以得到高质量的画盾， 但同时也丧失了这些可移动拍摄的即时、便捷等 特点。
中国专利 ZL 01230425. 5 设计了一种用于旋转拍摄的数码照相机， 它 是在已有的数码相机电路中增加了微电机和旋转装置。微电机在控制电路的 控制下， 驱动旋转装置使暗箱在底座上作旋转运动。 图像信息处理电路每旋 转一个角度接收一列数字信号， 最后合成一幅完整图像。.该设备具有一定的 自动化和连续性， 但其利用额外的机械装置精确地旋转相机， 图像合成是一 固定的拼接过程， 在实际使用中既不灵活， 体积又庞大， 不适用于用手机或 数字相机这种便携自如拍照的场合； 若用手工旋转相机， 该方法要求操作者 必须机械化地精确旋转， 显然， 这是不切实际的。 发明内容
本发明的主要目的在于提供一种数字成像设备现场全景成像的方法及 显示方法， 弥补拍照手机成像质量不足的缺憾， 提供一种便捷实用的手机全 景成像方法， 简化用户操作， 适应现场成像要求。
本发明的另一目的在于提供一种数字成像设备现场全景成像的方法及 显示方法， 避免采用任何额外附加的机械或光学设备， 保持通常的手工拍照 习惯； 同时采用人机配合方式， 主动取景、 连续拍摄及智能拼接， 形成一种 新颖实用的实时处理方法。
本发明的再一目的在于提供一种便携数字成像设备有效显示现场全景 图像的显示方法， 在小屏幕上滚动显示大幅面全景照片， 兼顾全局内容的完 整和局部细节的清晰； 内容滚动显示， 具有动态效果； 图像平稳清晰， 优于 视频效果。
本发明的目的是这样实现的：
一种数字成像设备现场全景成像的方法， 至少包括：
步骤 1: 将数字成像设备当前所获取的动态图像和上一图像进行匹配； 步骤 2: 根据步骤 1的匹配结果， 将上一图像和当前所获取的动态图像 进行拼接处理， 构成全景图像。
上述的匹配过程可以采用最为基本的遍历（穷举）的方法， 也可以通过 进一步地优化， 得到快速场景匹配方法， 加速搜索准确的重叠位置。 所述的 快速场景匹配方法至少包括如下述的两种流程：
1、 采用多分辨的方法：
步骤 11B: 设定一不小于 1的移动步长和一初始重叠位置；
步骤 12B: 计算当前所获取的动态图像和上一图像在该重叠位置的相似 性值； 将该重叠位置周围距离为移动步长的 8个邻域为候选重叠位置， 并计 算各候选重叠位皇的相似性值；
步骤 13B: 在计算获得的各相似性值之中选取最小的相似性值； 并将该 最小相似性值对应的重叠位置作为新的初始重叠位置；
步骤 14B: 缩小移动步长； 执行步骤 12B, 直至移动步长不大于 1。 2、 采用爬山法进行搜索：
步骤 11C: 根据设定的比值， 设定初始重叠位置， 并设定移动步长为 1; 步驟 12C: 计算当前所获取的动态图像和上一图像在该重叠位置的相似 性值； 将该重叠位置周围 8个邻域为候选重叠位置， 并计算各候选重叠位置 的相似性值；
步驟 13C: 在计算获得的各相似性值之中选取最小的相似性值； 步骤 14C: 如果初始重叠位置的相似性值不等于该最小相似性值， 则将 该最小相似性值对应的重叠位置作为新的初始重叠位置， 执行步骤 12C; 否 则， 匹配结束。 拼接图像时， 具体的处理流程是：
步骤 21 : 将包括重叠区域的上一图像的数据存储在数字成像设备的拼 接緩冲区中；
骤 22: 分别从上一图像的数据和当前所获取的动态图像的数据中取 出其重叠区域的数据；
步骤 23：对步骤 22中取出的两个重叠区域的数据进行加权平均处理后， 将获得的加权平均数据存储在数字成像设备的拼接緩冲区中上一图像的数 据的重叠区 i或中；
步骤 24: 将当前所获取的动态图像数据中不包含重叠区域的数据存储 到拼接緩冲区的重叠区域之后。 上述的加权平均的目的是为了使被拼接的图像在拼接处能够具有较好 的过渡效果， 因此， 可以采用如下的方式来进行加权处理：
如果 Pk eD在上一图像内且不在当前所获取的动态图像内， = pk AD ； 如果 Pk eD在当前所获取的动态图像内且不在上一图像内， Pk eD = Pfc BD ； 如果 Pk eD在上一图像和当前所获取的动态图像的重叠区内， Pk CD = (P +Pk BD ) /2， 或者 Pk CD = a-W/L) Pk AD+w/L x Pk BD;
其中， AD为上一图像在重叠区内的图像块， 为当前所获取的动态图像 在重叠区内的图像块， G为拼接图像在重叠区内的图像块； 并且， AD、 BD、 CD的矢量形式 IAD、 和 分别表达为:
Figure imgf000007_0001
严 -[cm
°为 AD中的第 :个像素， ∞为 中的第 个像素， P 为 CD中的第 个像素；
w为 Pk eD在重叠区内沿拼接方向的水平或垂直距离位置；
L为沿拼接方向的重叠区长度。
需要说明的是： 上述的加权方法为线性的，也可以采用非线性的加权方 法， 这些方法只是具体的算法， 可以直接引用， 在此不再赘述。 实际的操作过程中， 数字成像设备实际上是不断地对拍摄状态进行检 测， 当用户拍摄当前照片后， 才会进行拼接的操作； 否则， 按照本发明的方 法， 继续进行实时的匹配操作， 计算当前的重叠区与预设的推荐重叠位置的 偏离值， 以取景提示的信号反馈给用户， 等待用户的调整和拍摄操作。 当图 像拼接的数量达到预定的值或用户按键终止拼接时， 终止全景拍摄状态。 当采用上述的方法得到了一个全景图像以后，由于所述的数字成像设备 本身的显示装置不可能一次完全显示全部的图像， 所以， 需要对所述的图像 滚动显示， 具体的显示方法是： 根据用户输入的全景图像显示命令， 连续地 将要显示的全景图像数据传送到数字成像设备的显示緩冲区中； 由所述的数 字成像设备的显示处理模块读取并输出到显示界面，形成全景画面的滚动显 示效果。 根据上述的技术方案可知：本发明的主要优点在于弥补了现有数字成像 设备不能实时提供一种便捷实用的全景成像功能的缺陷，筒化了用户拼接图 像的操作， 适应了现场成像要求； 本发明避免了采用任何额外附加的机械或 光学设备， 保持了通常的手工拍照习惯； 同时， 通过采用人机配合方式， 主 动取景、 连续拍摄及智能拼接， 形成了一种新颖实用的实时图像处理方法。 同时也为用户在数字成像设备上显示拼接的图像提供了方便的手段。 附图说明
图 1为本发明以具体实施例的流程图；
图 2为本发明匹配流程中多分辨搜索的实施例流程图；
图 3为本发明匹配流程中爬山法搜索的实施例流程图。 具体实施方式
以下结合具体的实施例对本发明作进一步的详细说明：
本发明首先，将数字成像设备当前所获取的动态图像和上一图像进行匹 配； 然后， 根据的匹配结果， 将上一图像和当前所获取的动态图像进行拼接 处理， 构成全景图像。
其中，前一个步骤的目的是对当前所获取的动态图像和上一图像的场景 进行匹配处理， 从中找到相似性最大区域； 在具体的数字全景生成处理中， 对于上述的两幅连续拍摄的照片， 需要经过如下的步骤来处理：
步驟 1 : 针对数字成像设备当前所获取的动态图像和上一图像， 设定一 可能重叠位置， 计算该重叠位置下两幅图像的内容相似性测度值；
步骤 2: 搜索所有候选重叠位置， 选择最小的内容相似性测度值， 它对 应的重叠位置即为两幅图像最准确的内容重叠位置。 参见图 1， 以下是实现上述方法的具体实例： 首先， 针对当前所获取的动态图像和上一图像， 设定一初始重叠位置； 其次，计算当前所获取的动态图像和上一图像在该重叠位置下的相似性 值；
然后， 移动所述的重叠位置， 重复上一步骤的计算， 直到计算出所有重 叠位置下的相似性值；
最后， 选择最小相似性值所对应的重叠位置为最终的准确重叠位置。 在上述的步骤中，
当前所获取的动态图像和上一图像在重叠位置下的相似性具体根据如 下的公式 （ 1 ) 或公式 （ 2 )计算：
Figure imgf000009_0001
其中， AD为上一图像在重叠区内的图像块， 为当前所获取的动态图像 在重叠区内的图像块； 并且， AD、 BD的矢量形式 IAD和 IBD分别表达为： jAD _ p BD p BDJ
Figure imgf000009_0002
P °为 AD中的第 A个像素， 为 BD中的第 r个像素；
为公式（1 )重叠区内像素差异绝对值的平均值或公式（2 )重叠区内 像素的均方差；
为重叠区内的像素总个数。 上述的方法是最为基本的遍历 （穷举）的方法， 事实上， 采用这一方法 找出最佳重叠位置，计算量大， 费时长， 不便于便携设备的实时计算。 为此， 可以通过进一步地优化， 得到如下实施例所描述的快速场景匹配方法， 加速 搜索准确的重叠位置。
参见图 2： 1、 多分辨搜索： 首先， 设定一不小于 1的移动步长, 例如 16 , 和一初 始重叠位置；
其次， 计算当前所获取的动态图像和上一图像在该重叠位置的相似性 值； 将该重叠位置周围距离为移动步长的 8个邻域为候选重叠位置， 并计算 各候选重叠位置的相似性值；
然后， 在计算获得的各相似性值之中选取最小的相似性值； 并将该最小 相似性值对应的重叠位置作为新的初始重叠位置；
最后， 缩小移动步长， 例如， 取原来移动步长值的一半或 1/3; 重复执 行计算， 直至移动步长不大于 1。
此时得到的即为最终的准确重叠位置。
釆用上述的方法，对于 320 x 24 G的数字图像，用遍历法需要进行 76800 个可能重叠位置的相似度测量， 用上述多分辨搜索方法 （如步长为 16的粗 分辨遍历及其后步长减半的渐细搜索策略）仅需 332次测量， 计算量是原先 的 1/231。
参见图 3:
2、 爬山法搜索：
事实上， 如果约束用户拍摄时留有基本固定尺寸的重叠， 上述场景匹配 算法没有必要进行全幅面的匹配搜索， 而是在设定区内进行局部启发式搜 索。 具体的方法是：
首先， 根据设定的重叠比值， 例如 1/5图像尺寸， 设定初始重叠位置， 并设定移动步长为 1;
其次， 计算当前所获取的动态图像和上一图像在该重叠位置的相似性 值； 将该重叠位置周围 8个邻域为候选重叠位置， 并计算各候选重叠位置的 相似性值；
然后， 在计算获得的各相似性值之中选取最小的相似性值；
最后， 如果初始重叠位置的相似性值不等于该最小相似性值， 则将该最 小的相似性值对应的位置作为新的初始重叠位置， 执行重复计算； 否则， 匹 配结束。
这时得到的重叠位置为最佳匹配位置。
上述爬山法， 根据图像内容的复杂度及用户的拍摄误差， 一般能在 16 至 240次内找到局部最优解， 可以大大地减少计算量。 根据上述的匹配结果， 在用户确定拼接的时候， 例如： 数字相机的用户 按下拍照快门实施拍照后，对上述的两个图像进行拼接处理，构成全景图像。
改变两幅图像像素的重新組合和排列关系， 就可以达到图像拼接的目 的， 但是在重叠区内像素的选择对拼接的质量有所影响。
本发明利用重叠区内对应像素的加权平均来提高拼接质量。假设上一图 像 A和当前所获取的动态图像 B在位置 D处重叠， AD和 分别为图像 A和 B 在重叠区内的图像块， 对于新拼接的全景图像 C, G为拼接图像在重叠区内 的图像块； 并且， AD、 BD、 CD的矢量形式 IAD、 IBD和 IeD分别表达为：
D =[C , ...， ]'
Figure imgf000011_0001
其中， Pk CD= wl x Pk AD + wl x Pk BD, 且 wl和 w2为加权系数， 其和为 1; , Pk AD为 AD中的第 k个像素， Pk BD BD中的第 个像素， P 为 CD中的第 个像素。
具体的拼接步驟是：
步骤 21: 将包括重叠区域的上一图像 A的数据存储在数字成像设备的 拼接緩冲区 C中；
步骤 22: 分别从上一图像 A的数据和当前所获取的动态图像 B的数据 中取出其重叠区域的数据 AD、 BD;
步骤 23: 对步骤 22中取出的两个重叠区域 AD、 BD的数据采用平均法或 线性加权平均法处理后，将获得的加权平均数据存储在数字成像设备的拼接 緩冲区 C中上一图像 A的数据的重叠区域 AD中；
步骤 24: 将当前所获取的动态图像 B数据中不包含重叠区域的数据存 储到拼接緩冲区 C的重叠区域 CD之后。
当采用平均加权方法时， 按照如下的规则获得重叠区内的数据 Pk eD ： 如果 Pk eD在上一图像内且不在当前所获取的动态图像内， = Pk AD ； 如果 P 在当前所获取的动态图像内且不在上一图像内， Pk CD = Pk BD ； 如果 P 在上一图像和当前所获取的动态图像的重叠.区内， 则 Pk eD
= (Pk AD+Pk BD、11 。
采用平均法， 同时使用了重叠区内两原始图像的信息， 因此避免了由于 图像内容不完全一致而造成的边界明显突变，使得拼接后的图像的重叠区域 能自然和非重叠区域平滑过渡。
当采用线性加权平均法时， 按照如下的规则获得重叠区内的数据 Pk eD ： ή口果 Pfc eD在上一图像内且不在当前所获取的动态图像内， Pk eD = Pk AD ； 如果 Pk eD在当前所获取的动态图像内且不在上一图像内， Pk eD = Pk BD ； 如果 Pk eD在上一图像和当前所获取的动态图像的重叠区内， 则 Pk ra = (l-w/L) Pk AD+w/L x Pk BD。
采用线性加权平均法， 可以使拼接重叠区内的内容逐渐平滑地从图像 A 过渡到图像 B, 能更加有效地改善最终的拼接质量。
在上述的拼接过程中， 除了采用上述线性加权的方法外，还可以采用非 线性加权的方法来改善或提高拼接图像在重叠区域中的画面质量，具体的加 权算法在此不——枚举。 具体在数字成像设备， 例如： 数字相机、 具有摄像功能的手机等， 进行 现场全景成像的时候， 在上述的匹配过程完成后， 所述的数字成像设备还要 对拍摄状态进行检测， 当检测到用户拍摄当前照片后， 即用户按下快门后， 则进行拼接操作； 否则所述的数字成像设备在等待用户,的拍摄操作同时， 还 将继续进行上述的实时匹配，计算当前的重叠区与系统预设的推荐重叠位置 的偏离值， 以取景提示的信号反馈给用户， 等待用户的调整和拍摄操作。 当 图像拼接的数量达到系统预定值或用户按键终止拼接时， 终止全景拍摄状
上述实时匹配的结果现场反馈给用户， 可有效地指导用户取景，保证拼 接质量， 例如， 系统设定为自左向右拼接， 为保证拼接效率和匹配质量， 系 统推荐 1 /5图像尺寸为最佳重叠位置。 当用户拍完前一张照片后， 稍微向右 旋转相机一个角度， 系统实时地捕获当前的新场景与上一张照片匹配， 如果 通过计算得到的重叠位置为 1/2 , 系统则提示用户继续向右旋转； 如果计算 得到的重叠位置为 1/8 , 系统则提示用户向左旋转。 同理， 对于自左向右水 平拼接的模式， 用户若上下偏离过多， 系统计算出上下偏差， 并以上下越界 信号给用户发出提示。 由于上述的数字成像设备一般为便携式的产品，该类产品用于显示的屏 幕尺寸有限， 因此其显示界面无法完整显示拼接后的全景图像， 为此需要通 过如下的处理使全景图像能够在所述的数字成像设备上显示： 首先， 接收用 户输入的全景图像显示命令（该命令可以通过按动设置在数字成像设备上相 应的按键实现）， 然后， 将要显示的全景图像数据传送到数字成像设备的显 示緩冲区中； 具体的命令分析和处理步骤包括：
分析用户输入的显示命令； 如果所述的显示命令不是图像移动命令， 不 做显示全景图像移动显示的操作； 否则， 根据移动命令中的移动方向参数， 并以当前显示内容为基准，进一步分析被显示的图像是否已经到达相应的边 界； 如果是， 则由所述的数字成像设备的显示处理模块读取并输出到显示界 面； 如果不是， 则以当前显示内容为基准， 根据移动方向参数， 从全景图像 数据中不断地取出新的显示内容， 并将该显示内容输出到显示緩冲区中； 由 所述的数字成像设备的显示处理模块读取并输出到显示界面，最终形成全景 图像的滚动显示。 为进一步增加控制的灵活性， 系统实时监视用户按方向键 的持续时间， 持续时间越长， 沿该方向滚动的速度越快。
综上所述，本发明的功能就是利用模式识别和数字处理技术有效便捷地 提高数字拍照设备的成像视野和拍摄效果， 可广泛用于拍照手机、数码相机 及其他便携的数码摄影设备。 本发明针对数字拍照设备要求实时便捷的特 点， 拍摄一张， 实时拼接一张， 省略了现有技术中排序、 传输等过程， 拍摄 完毕， 全景图像当场就能生成； 本发明使用智能识别技术， 利用微处理器准 确计算出相邻两张照片的重叠位置， 进而实现了内容连续的无缝拼接； 传统 的图像拼接方法均为后处理方式， 针对已经拍好的一組照片进行拼接， 若存 在无效照片， 整个拼接就会失败， 故拼接盾量无法保证。 本发明在用户的拍 摄过程中实时地进行图像匹配， 根据前一张照片指引用户合理取景， 通常指 示用户在取景时保存有整幅图像 1 /5的重叠区域，这样可以确保在保留足够 的图像拼接信息的同时， 减少了设备计算的工作量， 使得匹配能快速进行， 保证了匹配的实时性和有效性， 最终的图像拼接质量也得到了很好的保证。
最后应说明的是：以上实施例仅用以说明本发明而并非限制本发明所描 述的技术方案； 因此， 尽管本说明书参照上述的各个实施例对本发明已进行 了详细的说明， 但是， 本领域的普通技术人员应当理解， 仍然可以对本发明 进行修改或者等同替换； 而一切不脱离本发明的精神和范围的技术方案及其 改进， 其均应涵盖在本发明的权利要求范围当中。

Claims

权利要求书
1、 一种数字成像设备现场全景成像的方法， 其特征在于： 该方法至少包 括如下的步骤：
步骤 1: 将数字成像设备当前所获取的动态图像和上一图像进行匹配； 步骤 2: 根据步骤 1的匹配结果， 将上一图像和当前所获取的动态图像 进行拼接处理， 构成全景图像。
2、 根据权利要求 1所述的数字成像设备现场全景成像的方法， 其特征 在于： 所述步骤 1具体包括：
步骤 11A: 针对当前所获取的动态图像和上一图像， 设定一初始重叠位 置；
步骤 12A: 计算当前所获取的动态图像和上一图像在该重叠位置下的相 似性值；
步骤 13A: 移动所述的重叠位置， 执行步骤 12A, 直到计算出所有重叠 位置下的相似性值；
步骤 14A: 选择最小相似性值所对应的重叠位置为最终的准确重叠位 置。
3、 根据权利要求 1所述的数字成像设备现场全景成像的方法， 其特征 在于： 所述步骤 1具体包括：
步骤 11B: 设定一不小于 1的移动步长和一初始重叠位置；
步骤 12B: 计算当前所获取的动态图像和上一图像在该重叠位置的相似 性值； 将该重叠位置周围距离为移动步长的 8个邻域为候选重叠位置， 并计 算各候选重叠位置的相似性值；
步骤 13B: 在计算获得的各相似性值之中选取最小的相似性值； 并将该 最小相似性值对应的重叠位置作为新的初始重叠位置；
步驟 14B: 缩小移动步长； 执行步骤 12B, 直至移动步长不大于 1结束 匹配。
4、 根据权利要求 1所述的数字成像设备现场全景成像的方法， 其特征 在于： 所述步骤 1具体包括：
步骤 11C: 根据设定的比值， 设定初始重叠位置， 并设定移动步长为 1; 步骤 12C: 计算当前所获取的动态图像和上一图像在该重叠位置的相似 性值； 将该重叠位置周围 8个邻域为候选重叠位置， 并计算各候选重叠位置 的相似性值；
步骤 13C: 在计算获得的各相似性值之中选取最小的相似性值； 步骤 14C: 如果初始重叠位置的相似性值不等于该最小相似性值， 则将 该最小相似性值对应的重叠位置作为新的初始重叠位置， 执行步骤 12C; 否 则， 匹配结束。
5、根据权利要求 2或 3或 4所述的数字成像设备现场全景成像的方法， 其特征在于： 当前所获取的动态图像和上一图像在重叠位置下的相似性具体 根据如下的公式 （1 )或公式（2 )计算：
Figure imgf000016_0001
其中， AD为上一图像在重叠区内的图像块， ^为当前所获取的动态图 像在重叠区内的图像块； 并且， AD、 BD的矢量形式 和 IBD分别表达为：
Figure imgf000016_0002
为 AD中的第 个像素， BD中的第 个像素；
为公式（1 )重叠区内像素差异绝对值的平均值或公式（2 )重叠区内 像素的均方差；
为重叠区内的像素总个数。
6、 根据权利要求 1所述的数字成像设备现场全景成像的方法， 其特征 在于： 所述的步骤 2具体包括： 步驟 21 : 将包括重叠区域的上一图像的数据存储在数字成像设备的拼 接緩冲区中；
步骤 22: 分别从上一图像的数据和当前所获取的动态图像的数据中取 出其重叠区域的数据；
步骤 23:对步骤 22中取出的两个重叠区域的数据进行加权平均处理后， 将获得的加权平均数据存储在数字成像设备的拼接緩冲区中上一图像的数 据的重叠区域中；
步骤 24 : 将当前所获取的动态图像数据中不包含重叠区域的数据存储 到拼接緩冲区的重叠区域之后。
7、 居权利要求 6所述的数字成像设备现场全景成像的方法， 其特征 在于： 所述的加权平均处理遵守如下的规则：
如果 Pk eD在上一图像内且不在当前所获取的动态图像内， Pk eD = Pk AD ； 如果 Pk eD在当前所获取的动态图像内且不在上一图像内， P = Pk BD ； 如果 Pk eD在上一图像和当前所获取的动态图像的重叠区内，
P = (Ρ +Ρ ) 12， 或者 Pk CD = (l - w/L) Pk AD+w/L x Pk BD;
其中， AD为上一图像在重叠区内的图像块， ^为当前所获取的动态图 像在重叠区内的图像块， CD为拼接图像在重叠区内的图像块； 并且， AD、
BD、 CD的矢量形式 IAD、 和 IeD分别表达为:
Figure imgf000017_0001
jCD p CD p CD j
^为 AD中的第 r个像素， ^为 BD中的第 个像素， ∞为（^中的 第 r个像素；
w为 Pk eD在重叠区内沿拼接方向的水平或垂直距离位置；
L为沿拼接方向的重叠区长度。
8、 才艮据权利要求 1所述的数字成像设备现场全景成像的方法， 其特征 在于： 在步骤 2之前还进一步包括：
步骤 1A: 对拍摄状态进行检测的步骤， 当用户拍摄当前照片后， 则执 行步骤 2; 否则继续等待用户的拍摄操作。
9、 根据权利要求 8所述的数字成像设备现场全景成像的方法， 其特征 在于： 在步骤 1A之后， 步驟 2之前还进一步包括：
步驟 IB: 分析步驟 1的匹配结果， 如果当前的重叠区偏离预设的推荐 重叠位置， 所述的数字成像设备计算出当前的重叠区与推荐重叠区的偏差， 并以取景提示的信号反馈给用户。
10、根据权利要求 1所述的数字成像设备现场全景成像的方法，其特征 在于： 该方法进一步包括：
步骤 3: 根据用户输入的全景图像显示命令， 将要显示的全景图像数据 传送到数字成像设备的显示緩冲区中；
步驟 4 : 由所述的数字成像设备的显示处理模块读取并输出到显示界 面。
11、 根据权利要求 10所述的显示全景图像的方法， 其特征在于： 所述 的步骤 3具体包括：
步骤 31 : 分析用户输入的显示命令；
步驟 32: 如果所述的显示命令不是图像移动命令， 则不做全景图像移 动显示的操作；
步骤 33: 否则， 根据移动命令中的移动方向参数， 并以当前显示内容 为基准， 进一步分析被显示的图像是否已经到达相应的边界； 是则执行步骤 4;
步骤 34: 以当前显示内容为基准， 根据移动方向参数， 从全景图像数 据中取出新的显示内容，并将该显示内容输出到显示緩冲区中；执行步骤 4。
PCT/CN2004/000754 2003-07-03 2004-07-05 A method of digital imaging device’s scene panoramic imagery and display method thereof WO2005003857A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN03146508.0 2003-07-03
CNB031465080A CN100338631C (zh) 2003-07-03 2003-07-03 数字成像设备现场全景成像的方法

Publications (1)

Publication Number Publication Date
WO2005003857A1 true WO2005003857A1 (en) 2005-01-13

Family

ID=33557739

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2004/000754 WO2005003857A1 (en) 2003-07-03 2004-07-05 A method of digital imaging device’s scene panoramic imagery and display method thereof

Country Status (2)

Country Link
CN (1) CN100338631C (zh)
WO (1) WO2005003857A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106339981A (zh) * 2016-08-25 2017-01-18 安徽协创物联网技术有限公司 一种全景拼接方法
CN107305682A (zh) * 2016-04-22 2017-10-31 富士通株式会社 用于对图像进行拼接的方法和装置
CN107529017A (zh) * 2017-10-12 2017-12-29 长沙全度影像科技有限公司 一种全景相机的多拼接模式的系统及方法

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4356689B2 (ja) * 2005-12-08 2009-11-04 ソニー株式会社 カメラシステム、カメラ制御装置、パノラマ画像作成方法及びコンピュータ・プログラム
KR100790887B1 (ko) * 2006-09-22 2008-01-02 삼성전자주식회사 영상 처리장치 및 방법
KR100866230B1 (ko) * 2007-04-12 2008-10-30 삼성전자주식회사 파노라마 사진 촬영 방법
CN101388961B (zh) * 2007-09-14 2013-05-08 台湾新力国际股份有限公司 多镜头相机系统的先进的动态接图方法
CN101254120B (zh) * 2008-03-17 2010-09-08 北京好望角图像技术有限公司 实时超声宽视野成像方法
CN101600095B (zh) * 2009-07-02 2012-12-19 谢佳亮 一种视频监控方法及视频监控系统
JPWO2011043458A1 (ja) * 2009-10-09 2013-03-04 株式会社日立メディコ 医用画像処理装置、ｘ線撮影装置、医用画像処理プログラム、及び医用画像処理方法
CN102074001B (zh) * 2010-11-25 2012-12-05 上海合合信息科技发展有限公司 一种文本图像的拼接方法及系统
CN103891042B (zh) 2011-10-19 2018-06-19 惠普发展公司，有限责任合伙企业 包括信号传递束和信号阻塞束的材料
CN102881006A (zh) * 2012-08-03 2013-01-16 吉林禹硕动漫游戏科技股份有限公司 多投影显示系统中的图像拼接与融合方法
CN104732485B (zh) * 2015-04-21 2017-10-27 深圳市深图医学影像设备有限公司 一种数字化x线图像的拼接方法及系统
CN106547505B (zh) * 2015-09-22 2021-02-05 同方威视技术股份有限公司 用于实时滑动显示扫描图像的方法及系统
CN107424140A (zh) * 2017-03-02 2017-12-01 平顶山天安煤业股份有限公司 一种基于全景遥视成像和钻孔轨迹测量控制系统
CN112097744B (zh) * 2020-09-16 2022-08-30 上海遥程信息科技有限公司 一种竖立面的图像扫描方法、装置、设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1175007A (zh) * 1996-08-26 1998-03-04 孙海翔 一种分幅图象拼接方法
US5982951A (en) * 1996-05-28 1999-11-09 Canon Kabushiki Kaisha Apparatus and method for combining a plurality of images
US20010002684A1 (en) * 1999-12-03 2001-06-07 Yasuhiro Hitomi Spinning reel spool
WO2001067205A2 (en) * 2000-03-06 2001-09-13 Sony Electronics Inc. System and method for capturing adjacent images by utilizing a panorama mode
US6549681B1 (en) * 1995-09-26 2003-04-15 Canon Kabushiki Kaisha Image synthesization method

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10164563A (ja) * 1996-11-28 1998-06-19 Canon Inc 情報処理装置及び方法及び記憶媒体及び通信システム
JPH114398A (ja) * 1997-06-11 1999-01-06 Hitachi Ltd デジタルワイドカメラ

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6549681B1 (en) * 1995-09-26 2003-04-15 Canon Kabushiki Kaisha Image synthesization method
US5982951A (en) * 1996-05-28 1999-11-09 Canon Kabushiki Kaisha Apparatus and method for combining a plurality of images
CN1175007A (zh) * 1996-08-26 1998-03-04 孙海翔 一种分幅图象拼接方法
US20010002684A1 (en) * 1999-12-03 2001-06-07 Yasuhiro Hitomi Spinning reel spool
WO2001067205A2 (en) * 2000-03-06 2001-09-13 Sony Electronics Inc. System and method for capturing adjacent images by utilizing a panorama mode

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HU SHEJIAO ET AL.: "Panoramic image mosaic based on sequence image", JOURNAL OF HEFEI UNIVERSITY OF TECHNOLOGY, vol. 26, no. 4, August 2003 (2003-08-01), pages 525 - 528 *
HU SHE-JIAO ET AL.: "Panoramic image stitching based on vertical edge sharping", COMPUTER ENGINEERING, vol. 30, no. 4, February 2004 (2004-02-01), pages 132 - 134 *
ZHANG H.M.: "A algorithm for automatically mosaic of color images based ontemplate matching", MICROCOMPUTER DEVELOPMENT, vol. 13, no. 7, July 2003 (2003-07-01), pages 40 - 42 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107305682A (zh) * 2016-04-22 2017-10-31 富士通株式会社 用于对图像进行拼接的方法和装置
CN107305682B (zh) * 2016-04-22 2020-12-15 富士通株式会社 用于对图像进行拼接的方法和装置
CN106339981A (zh) * 2016-08-25 2017-01-18 安徽协创物联网技术有限公司 一种全景拼接方法
CN107529017A (zh) * 2017-10-12 2017-12-29 长沙全度影像科技有限公司 一种全景相机的多拼接模式的系统及方法

Also Published As

Publication number Publication date
CN1567376A (zh) 2005-01-19
CN100338631C (zh) 2007-09-19

Similar Documents

Publication Publication Date Title
WO2005003857A1 (en) A method of digital imaging device’s scene panoramic imagery and display method thereof
JP5340895B2 (ja) 画像データ作成支援装置および画像データ作成支援方法
US11758265B2 (en) Image processing method and mobile terminal
WO2021012856A1 (zh) 一种全景图像的拍摄方法
JP5389697B2 (ja) 高品質な合成パノラマ画像のイン・カメラ生成
JP6192940B2 (ja) 撮影機器及び連携撮影方法
CN105635579B (zh) 一种图像显示方法以及装置
WO2014071840A1 (zh) 一种拍摄照片和视频的方法及装置
CN106292162A (zh) 立体照相装置和相关控制方法
CN102196171A (zh) 摄像控制装置、对象检测方法和程序
WO2011153767A1 (zh) 一种全景照片的拍摄方法及设备
CN113840070B (zh) 拍摄方法、装置、电子设备及介质
JP5874626B2 (ja) 表示制御装置、表示制御システム、表示制御方法及びプログラム
CN106791390B (zh) 广角自拍实时预览方法及用户终端
WO2023103953A1 (zh) 拍摄方法和装置
KR100943548B1 (ko) 촬영 장치의 포즈 가이드 방법 및 장치
JP5892060B2 (ja) 表示制御装置、表示制御システム、表示制御方法及びプログラム
CN108347564A (zh) 移动终端及其旋转摄像模组控制方法、控制装置
JP2007249132A (ja) 撮像装置、自動焦点調整方法、およびプログラム
CN108270959B (zh) 全景成像的方法、终端设备和全景成像装置
JP5375846B2 (ja) 撮像装置、自動焦点調整方法、およびプログラム
CN111061123B (zh) 一种旅游景观展示的旋转全景成像系统及使用方法
TWI704408B (zh) 全景照相裝置及其影像映射結合方法
TWI530179B (zh) The method and apparatus for controlling the lens signal by means of a handheld device
WO2006005231A1 (fr) Appareil photographique panoramique portable

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
122 Ep: pct application non-entry in european phase