WO2016026349A1 - 高鲁棒性的标志点解码方法及系统 - Google Patents

高鲁棒性的标志点解码方法及系统 Download PDF

Info

Publication number
WO2016026349A1
WO2016026349A1 PCT/CN2015/082453 CN2015082453W WO2016026349A1 WO 2016026349 A1 WO2016026349 A1 WO 2016026349A1 CN 2015082453 W CN2015082453 W CN 2015082453W WO 2016026349 A1 WO2016026349 A1 WO 2016026349A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
code
value
marker point
polar
Prior art date
Application number
PCT/CN2015/082453
Other languages
English (en)
French (fr)
Inventor
刘晓利
姚梦婷
殷永凯
彭翔
Original Assignee
深圳大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳大学 filed Critical 深圳大学
Publication of WO2016026349A1 publication Critical patent/WO2016026349A1/zh
Priority to US15/140,534 priority Critical patent/US20160239975A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/20—Contour coding, e.g. using detection of edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Definitions

  • the invention belongs to the technical field of image processing, and particularly relates to a high robust marker point decoding method and system for splicing and matching three-dimensional shapes of large-sized objects in a multi-sensor network.
  • the global matching method of the global control network is used to transform the depth data of different perspectives into a unified reference coordinate system to complete multi-view matching, so the accuracy of the matching is to improve the three-dimensional data stitching. An important part of the correct rate.
  • the design schemes for coding landmarks are mainly divided into two categories: concentric circles (rings) as shown in Fig. 1(a) and Fig. 1(b) and points shown in Fig. 1(c) and Fig. 1(d). distributed.
  • the G-STAR system of the US GSI adopts the Hattori coded mark (Fig. 1(c)); DPA-Pro of AICON 3D of Germany
  • the system uses the Schneider coded marker point (Fig. 1(b)).
  • the DPA-Pro system is integrated by at least two companies in its own related products:
  • the first technical problem to be solved by the present invention is to provide a highly robust marker point decoding method, which can better avoid the factors such as shooting angle, camera resolution and noise, and the judgment of the coding feature region in the marker point. error.
  • the present invention is implemented in such a manner that a highly robust marker point decoding method includes the following steps:
  • Step A estimating a homography matrix, and transforming the perspective projection image of the marker point into an orthographic projection image by using the estimated homography matrix;
  • Step B traverse the code segment of the orthographic image of the marker point in a polar coordinate system, obtain a pixel value corresponding to each pixel of the code segment in a Cartesian coordinate system, and determine the length of each code segment according to the distribution of each pixel value. In order to determine the number of code values occupied by each code segment in the binary code sequence, and then use the pixel value of each code segment as its code value in the binary code sequence to form a code for use in a Cartesian coordinate system. Characterizing a binary code sequence of the marker point code value;
  • the marker point image is a ring-shaped binary coded image, and when the image of the marker point is equally divided by N, each of the aliquots is encoded as a pixel value, and each of the codes Duan Containing at least one aliquot;
  • Step C cyclically shifting the binary code sequence, and converting each shifted sequence into a decimal code value, and finally marking the smallest one decimal code value as the coded value of the mark point.
  • the homography matrix in step A is estimated by using five points: two intersections of the long axis and the edge of the central ellipse of the marker point image, two intersections of the minor axis and the edge, and an elliptical center point.
  • step B specifically maps an image including a plurality of landmark points from a polar coordinate system to a Cartesian coordinate system according to the following formula:
  • x 0 is the polar coordinate transformation center abscissa
  • y 0 is the polar coordinate transformation center ordinate
  • r is the polar diameter
  • theta is the polar angle
  • the polar diameter r is within the image range of the marker point.
  • the polar diameter r is taken as: r ⁇ [2R, 3R], where R is the center circle radius of the image of the marker point; the polar angle theta is: theta ⁇ [1°, 360°] .
  • the ratio of the center circle radius of the image of the marker point, the inner radius of the coded loop, and the outer radius of the coded loop are 1:2:3.
  • a perspective projection transformation module configured to transform the perspective projection image of the marker point into an orthographic projection image by using the estimated homography matrix
  • a coordinate transformation module is configured to traverse the code segment of the orthographic image of the marker point in a polar coordinate system, obtain a pixel value corresponding to each pixel of the code segment in a Cartesian coordinate system, and determine each code according to the distribution of each pixel value The length of the segment, in order to determine the number of code values occupied by each code segment in the binary code sequence, and then use the pixel value of each code segment as its code value in the binary code sequence to form a Cartesian coordinate system.
  • mark point image is a ring-shaped binary coded image, and when the image of the mark point is equally divided by N, each of which a portion as a pixel value encoding bit, and each of the encoding segments further includes at least one aliquot;
  • a decoding marking module configured to cyclically shift the binary code sequence, convert each shifted sequence into a decimal code value, and finally mark the smallest one decimal code value as the coded value of the flag point.
  • the coordinate transformation module maps an image including a plurality of marker points from a polar coordinate system to a Cartesian coordinate system according to the following formula:
  • x 0 is the polar coordinate transformation center abscissa
  • y 0 is the polar coordinate transformation center ordinate
  • r is the polar diameter
  • theta is the polar angle
  • the polar diameter r is within the image range of the marker point.
  • the homography matrix transformation can effectively eliminate the influence of the oblique shooting angle
  • the polar coordinates themselves have rotation invariance, which can eliminate the influence of the rotation
  • the oversampling of the coding loop band can eliminate the camera resolution to some extent
  • the negative influence of noise can be widely applied under the premise of ensuring high robustness, and it can better avoid the errors caused by the shooting angle, camera resolution and noise affecting the judgment of the coded feature area in the marker point.
  • Figure 1a Figure 1b is a schematic diagram of a concentric circle (ring) design of coded landmarks
  • Figure 1c, Figure 1d is a schematic diagram of a distributed design of points encoding code points
  • FIG. 2 is a flowchart showing an implementation of a highly robust decoding method for a ring coded marker point provided by the present invention
  • Figure 3a is a schematic diagram of the design of the coded marker points provided by the present invention.
  • Figure 3b is a schematic diagram of a marker point designed by the present invention using the principle shown in Figure 3a;
  • Figure 4 is an image taken from a target with a certain inclination and rotation for a target to which the coded mark provided by the present invention is attached;
  • FIG. 5 and FIG. 6 are schematic diagrams of coordinate transformation provided by the present invention.
  • FIG. 7 is a schematic diagram of a marker point with an encoding value of 1463 provided by the present invention.
  • Figure 8 is a flow chart for decoding the marker points shown in Figure 7;
  • Figure 9 is a schematic diagram showing the decoding result of the image in Figure 4.
  • FIG. 10 is a logical structural diagram of a highly robust decoding system for ring coded landmarks provided by the present invention.
  • Figure 11 is a schematic illustration of the perspective projection transformation provided by the present invention to an orthographic projection.
  • the invention selects a Schneider coding pattern which is more practical and easy to expand as the basis of the research, and the decoding method used has wide applicability under the premise of ensuring high robustness, whether it is 12 equal parts or 14 equal parts or more subdivision.
  • the coded loops can achieve high decoding accuracy.
  • FIG. 2 shows an implementation flow of a highly robust marker point decoding method provided by the present invention, which is described in detail below.
  • Step A estimating a homography matrix, and transforming the perspective projection image of the marker point into a front projection image by using the solved homography matrix;
  • the image of the marker point is a ring-shaped binary coded image, and when the image of the marker point is equally divided by N, each of the aliquots is encoded as a pixel value, as shown in FIG. 3a.
  • the ring surrounding the center is the coded feature area---the coded ring band, which is equally divided into N equal parts (called N bits bit code), and each aliquot is called an coded bit, and each code is called Bit can be seen as a second Binary digits, black for 0, white for 1, so that each marker can be decoded into an N-bit binary code, and the ratio of the center circle radius, the inner radius of the coded ring, and the outer radius of the coded ring is 1:2. :3.
  • each white code segment may contain at least one of the above aliquots.
  • the above marker points can be generated by using the software AICON logo point generator. Paste a set of markers with different encoding values generated by the software AICON's marker generator onto the target, and use a camera (such as a SLR camera) to capture the captured image from the target with the marker point and transfer the captured image to the computer. .
  • the present invention captures a target having 72 different landmarks from a certain angle of inclination and rotation, as shown in FIG.
  • edge detection is performed on the acquired image, and noise and non-target objects are filtered through a series of constraints and criteria to complete the recognition of the target.
  • sub-pixel positioning of the edge of the marker image captured by the camera is performed, and the positioning process is as follows:
  • Step 1 Using the Canny operator to perform edge detection of the marker points
  • Step 2 Obtain an image containing only the edge of the marker point according to a series of constraints such as a length criterion (number of pixels at the edge of the marker point), a closure criterion, a brightness criterion, and a shape criterion;
  • Step 3 Sub-pixel center localization algorithm based on surface fitting of circular marker points, using sub-pixel positioning method combined with elliptic curve fitting method and surface fitting method for sub-pixel center positioning;
  • Sub-pixel edge localization A cubic polynomial surface fitting is performed on the 5 ⁇ 5 neighborhood of each pixel of the pixel-level edge, and the position of the first derivative local extremum of the surface is obtained, that is, the sub-pixel position.
  • f(x,y) k 1 +k 2 x+k 3 y+k 4 x 2 +k 5 xy+k 6 y 2 +k 7 x 3 +k 3 x 2 y+k 9 xy 2 +k 10 y 3
  • the sub-pixel position of the edge point can be solved as (x 0 + ⁇ cos ⁇ , y 0 + ⁇ sin ⁇ ).
  • Sub-pixel center positioning Perform the least squares fitting equation of all elliptical sub-pixel edges to obtain the center position of the marker point.
  • the five parameters B, C, D, E, and F of the elliptic equation can be obtained by fitting, and the ellipse center coordinates are:
  • a circular perspective projection is an ellipse on the image surface, but there is a deviation between the centroid of the ellipse and the projection of the center on the image plane. Therefore, there is a systematic error in the imaging position at the center of the marker point by the centroid of the marker point image (ellipse) processed by the marker point center (centroid) positioning algorithm.
  • Deviation analysis based on Ahn's formula in "Systematic geometric image measurement errors of circular object targets: Mathematical formulation and correction” (The Photogrammetric Record, 16 (93): 485-502), and Heikkil in “A four-step camera”
  • the deviation correction is performed by the formula in the calibration procedure with implicit image correction” (IEEE Computer Society Conference on, 1997, Proceedings. 1106-1112).
  • the correction of the centering deviation of the marker points is realized in combination with Heikkil's positional deviation model and Chen's circle-based camera calibration in "Camera calibration with two arbitrary coplanar circles” (Computer Vision-ECCV, 2004, 521-532).
  • a Homography matrix H can be used to describe the transformation relationship between the two.
  • two intersections of the long axis and the edge of the center point ellipse of the marker point image, two intersection points of the minor axis and the edge, and the center of the ellipse ie, the center of the above marker point
  • the homography matrix H can be estimated from the five pairs of corresponding points. Using this homography matrix to apply a transformation to each pixel in the image, the actual image (ellipse) of the marker point can be corrected to an orthographic projection image (a perfect circle).
  • Step 1 Estimate the homography matrix H
  • Step 2 Apply a homography matrix transformation to each pixel.
  • step B the code segment of the marker point image is traversed according to a certain rule in a polar coordinate system, and the pixel value of the point corresponding to each point in the Cartesian coordinate system is obtained, and the length of each code segment is determined according to the distribution of the pixel values.
  • the code value of each code segment determines its code value in the binary code sequence, forming a code for use in a Cartesian coordinate system.
  • a binary code sequence characterizing the marker point code value.
  • the invention specifically uses the Log Polar transform, that is, polar coordinate transformation, to map an image in a Cartesian coordinate system into a polar coordinate system.
  • Log Polar Transform maps images from (x,y) to (log(r),theta)
  • present invention maps images from (x,y) to (r,theta).
  • Figure 5 The transformation formula is:
  • the central angle of the coded band is 360°, so the polar angle theta takes the value of theta ⁇ [1,360], and the equal interval is 1 to take 360 angle values as variables in the process of traversing the code segment.
  • the center coordinate of the polar coordinate transformation is required ( x 0 , y 0 ) is added as an offset to (x, y) in order for the polar coordinate system to correctly correspond to the Cartesian coordinate system to complete the transformation, as shown in Figure 6.
  • step C the binary coded sequence is cyclically shifted, and each shifted sequence is converted into a decimal coded value, and finally the smallest one of the decimal coded values is marked as the coded value of the mark point.
  • the binary code string is cyclically shifted to obtain the minimum value as the coded value of the marker point, so that the marker point has unique identity information.
  • FIG. 8 shows The cyclic shift process of the binary code sequence can be seen that the values of 1901, 2998, 3509, and 3802 obtained during the cyclic shift process, wherein the minimum value 1463 is the coded value of the mark point, so that the mark point is unique. Identity information.
  • the marker points on the target shown in FIG. 4 are decoded by the above decoding method, and the decoding result is as shown in FIG. 9. By correcting the correct code value, the decoding accuracy rate is 100%.
  • Fig. 10 shows the logical structure of the highly robust marker point decoding system provided by the present invention, and for the convenience of description, only the parts related to the present embodiment are shown.
  • the high robustness decoding system includes a perspective projection transformation module 101 and a coordinate transformation module.
  • the block 102 and the decoding mark module 103 wherein the perspective projection transformation module 101 is configured to transform the perspective projection image of the marker point into a forward projection image, wherein the transformation is completed by using the homography matrix H.
  • the coordinate transformation module 102 is configured to traverse the code segment of the orthographic image of the marker point in a polar coordinate system, obtain a pixel value corresponding to each pixel of the code segment in a Cartesian coordinate system, and determine each code according to the distribution of each pixel value.
  • the length of the segment in order to determine the number of code values occupied by each code segment in the binary code sequence, and then determine the code value in the binary code sequence by the pixel value of each code segment to form a Cartesian coordinate system a binary code sequence for characterizing the mark point code value; as described above, the image of the mark point is a ring-shaped binary coded image, and when the image of the mark point is equally divided by N, wherein Each aliquot is encoded as a pixel value, and each of the encoded segments contains at least one aliquot.
  • the decoding tagging module 103 cyclically shifts the binary code sequence, and converts each shifted sequence into a decimal coded value, and finally marks the smallest one of the decimal coded values as the coded value of the flag point.
  • the proposed method has high robustness to a decoding method with coding characteristic points, and is less affected by shooting angle, camera resolution, noise, etc., and can be used for large-sized objects in a multi-sensor network. Splicing and matching of three-dimensional shapes.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明适用于图像处理技术领域，尤其涉及一种高鲁棒性的标志点解码方法及系统。该解码方法包括下述步骤：步骤A，估计单应矩阵并将标志点的透视投影图像变换为正投影图像；步骤B，在极坐标系下遍历标志点图像的编码段，得到每一点在笛卡尔坐标系中对应的该点的像素值并判断各编码段的长度和在二进制编码序列中的码值，以此确定每一编码段在二进制编码序列中所占的码值位数，形成一个二进制编码序列；步骤C，将所述二进制编码序列进行循环移位，并将每次移位后的序列转换为一个十进制编码值，将最小的一个十进制编码值标记为该标志点的编码值。本发明能够更好的避免拍摄角度、相机分辨率以及噪声等影响对标志点中编码特征区域的判断造成的误差。

Description

高鲁棒性的标志点解码方法及系统 技术领域
本发明属于图像处理技术领域，尤其涉及一种高鲁棒性的标志点解码方法及系统，用于多传感器网络中大尺寸物体三维形貌的拼接和匹配。
背景技术
在计算机视觉和三维测量中，对于大尺寸的三维物体，需要多个图像传感器从多个角度对三维物体进行数据采集才能得到完整的三维形貌。而在这样的多传感器网络中，采用全局控制网络的全局匹配方法，将不同视角的深度数据变换到统一的参考坐标系的方法来完成多视场匹配，那么匹配的精确性是提高三维数据拼接正确率的重要环节。
人工标志点作为重要的图像特征，广泛应用于相机标定、三维重建、深度数据匹配等3DIM的重要领域。其中，圆形标志点以其定位精度高、易于识别的优点的到了广泛的应用。
不同视场的图像之间点对应关系的确立(对应点匹配)是基于立体视觉的三维重建的基础。但是普通(非编码)标志点只是一个圆点，其所成的像一般是椭圆，相互之间无法在形态上进行区分，对于没有任何先验知识(未经标定)的立体视觉系统，无法实现非编码标志点的对应匹配。因此需要设计外观有区别的标记点——编码标志点，通过外观为每个标志点确立不同的编码值，使每个编码标志点具有唯一的身份信息以确立编码点之间的对应关系。自上个世纪以来，编码标志点已经在数字近景工业摄影测量中得到了广泛的应用。
编码标志点的设计方案主要分为两大类：如图1(a)、图1(b)示出的同心圆(环)式和图1(c)、图1(d)点示出的分布式。在实际应用方面，美国GSI公司的V-STAR系统采用的是Hattori编码标志点(图1(c))；德国AICON 3D公司的DPA-Pro 系统采用的是Schneider编码标志点(图1(b))，目前DPA-Pro系统至少被两家公司集成在自己的相关产品中：
(1)德国GOM公司的TRITOP系统；
(2)德国Steinbichler公司的COMMET系统。
后来国内外诸多学者进行了研究，在Schneider标志的基础之上，国内学者Zhou设计了双层编码环带的标志点，上海交通大学的张义力在“逆向工程数据获取中测量参考点的设计与自动检测关键技术研究”中设计了编码环带14等分间隔的标志点。
因此，如果能避免拍摄角度、相机分辨率以及噪声等因素对标志点中编码特征区域的判断造成的误差，将会使标志点的解码应用更广泛。
发明内容
本发明所要解决的第一个技术问题在于提供一种高鲁棒性的标志点解码方法，以更好地避免拍摄角度、相机分辨率以及噪声等因素对标志点中编码特征区域的判断造成的误差。
本发明是这样实现的，一种高鲁棒性的标志点解码方法，包括下述步骤：
步骤A，估计单应矩阵，利用估计出的单应矩阵将标志点的透视投影图像变换为正投影图像；
步骤B，在极坐标系下遍历标志点正投影图像的编码段，得到编码段的每一像素点在笛卡尔坐标系中对应的像素值，根据各像素值的分布情况判断各编码段的长度，以此确定每一编码段在二进制编码序列中所占的码值位数，再将各编码段的像素值作为其在二进制编码序列中的码值，形成一个在笛卡尔坐标系下用于表征该标志点编码值的二进制编码序列；
其中，所述标志点图像为环状二值编码图像，且当所述标志点的图像被等角度的N等分时，其中每一等份作为一个像素值编码位，而每个所述编码段又 包含有至少一个等份；
步骤C，将所述二进制编码序列进行循环移位，并将每次移位后的序列转换为一个十进制编码值，最后将最小的一个十进制编码值标记为该标志点的编码值。
进一步地，步骤A中单应矩阵利用如下五个点来进行估计:利用标志点图像中心椭圆的长轴与边缘的两个交点、短轴与边缘的两个交点以及椭圆中心点。
进一步地，步骤B具体根据如下公式将包含多个标志点的图像从极坐标系映射到笛卡尔坐标系中：
X＝x0+r×cos(theta)；
Y＝y0+r×sin(theta)；
其中，x0为极坐标变换中心横坐标，y0为极坐标变换中心纵坐标，r表示极径，theta表示极角；极径r在标志点的图像范围之内。
更进一步地，所述极径r取值为：r∈[2R,3R]，R为标志点的图像的中心圆半径；所述极角theta取值为：theta∈[1°,360°]。
再进一步地，步骤B中遍历编码段的具体方式为：
将极径r作为定量，将极角theta以1°的等间隔取360个角度值作为变量，遍历标志点正投影图像的编码段；其中，极径r＝2.5R。
进一步地，所述标志点的图像的中心圆半径、编码环带内半径、编码环带外半径的比值为1:2:3。
本发明所要解决的第二个技术问题在于提供一种高鲁棒性的标志点解码系统，其包括下述模块：
透视投影变换模块，用于利用估计出的单应矩阵将标志点的透视投影图像变换为正投影图像；
坐标变换模块，用于在极坐标系下遍历标志点正投影图像的编码段，得到编码段的每一像素点在笛卡尔坐标系中对应的像素值，根据各像素值的分布情况判断各编码段的长度，以此确定每一编码段在二进制编码序列中所占的码值位数，再将各编码段的像素值作为其在二进制编码序列中的码值，形成一个在笛卡尔坐标系下用于表征该标志点编码值的二进制编码序列；其中，所述标志点图像为环状二值编码图像，且当所述标志点的图像被等角度的N等分时，其中每一等份作为一个像素值编码位，而每个所述编码段又包含有至少一个等份；
解码标记模块，用于将所述二进制编码序列进行循环移位，并将每次移位后的序列转换为一个十进制编码值，最后将最小的一个十进制编码值标记为该标志点的编码值。
进一步地，所述坐标变换模块根据如下公式将包含多个标志点的图像从极坐标系映射到笛卡尔坐标系中：
X＝x0+r×cos(theta)；
Y＝y0+r×sin(theta)；
其中，x0为极坐标变换中心横坐标，y0为极坐标变换中心纵坐标，r表示极径，theta表示极角；极径r在标志点的图像范围之内。
本发明中，由于单应矩阵变换能够有效消除倾斜拍摄角度的影响，而极坐标本身具有旋转不变性，能够消除旋转的影响；对编码环带的过采样能够在一定程度上消除相机分辨率以及噪声的负面影响，因此可以在保证高鲁棒性的前提下具有广泛的适用性，能够更好的避免拍摄角度、相机分辨率以及噪声等影响对标志点中编码特征区域的判断造成的误差。
附图说明
图1a、图1b是编码标志点同心圆(环)式设计示意图；
图1c、图1d是编码标志点的点分布式设计示意图；
图2是本发明提供的环状编码标志点的高鲁棒性解码方法的实现流程图；
图3a是本发明提供的编码标志点的设计原理图；
图3b是本发明采用图3a所示原理设计出的一个标志点示意图；
图4是对贴附有本发明提供的编码标志点的标靶从一个有一定倾斜和旋转的角度拍摄得到的图像；
图5、图6是本发明提供的坐标变换的原理图；
图7是本发明提供的一种编码值为1463的标志点示意图；
图8是对图7所示标志点进行解码的流程图；
图9是对图4中图像的解码结果示意图；
图10是本发明提供的环状编码标志点的高鲁棒性解码系统的逻辑结构图。
图11是本发明提供的透视投影变换为正投影的示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明选取比较实用且易于扩充的Schneider编码图案作为研究的基础，所用的解码方法在保证高鲁棒性的前提下具有广泛的适用性，无论12等分还是14等分亦或是更加细分的编码环带均可以达到很高的解码正确率。
图2示出了本发明提供的高鲁棒性的标志点解码方法的实现流程，详述如下。
步骤A，估计单应矩阵，利用求解出的单应矩阵将标志点的透视投影图像变换为正投影图像；
本发明中，标志点的图像为环状二值编码图像，且当所述标志点的图像被等角度的N等分时，其中每一等份作为一个像素值编码位，如图3a所示，其中包围中心的圆环即为编码特征区域----编码环带，被等角度地分成N等分(称为N bits位编码)，每一等份称为一个编码位，每一编码位可以看作是一个二 进制位，黑色表示0，白色表示1，这样每个标志点都可以解码为一个N位二进码，而且中心圆半径、编码环带内半径、编码环带外半径的比值为1:2:3。采用图3a设计原理而设计的标志点图3b中，每个白色的编码段可以包含有至少一个上述的等份。
上述标志点采用软件AICON的标志点生成器即可生成。将软件AICON的标志点生成器生成的一套具有不同编码值的标志点粘贴在标靶上，使用摄像机(如单反相机)从拍摄带有标志点的标靶，将采集的图像传输到计算机中。本发明对含有72个不同标志点的标靶从一个有一定倾斜和旋转的角度进行拍摄，如图4所示。
然后，再对采集的图像进行边缘检测，通过一系列限制条件和判据来过滤噪声和非目标对象，完成目标的识别。之后，对摄像机所拍摄到的标志点图像进行边沿的亚像素定位，定位过程如下：
步骤1：采用Canny算子进行标志点的边缘检测；
步骤2：根据长度判据(标志点边缘像素数)、闭合判据、亮度判据以及形状判据等一系列约束条件得到只包含标志点边缘的图像；
步骤3：基于曲面拟合的圆形标志点的亚像素中心定位算法，利用边缘亚像素定位结合椭圆曲线拟合的方法和基于曲面拟合的方法进行亚像素中心定位；
亚像素边缘定位：对像素级边缘的每个像素的5×5邻域进行三次多项式曲面拟合，求取曲面的一阶导数局部极值的位置，即亚像素位置。
设图像邻域模型为：
f(x，y)＝k1+k2x+k3y+k4x2+k5xy+k6y2+k7x3+k3x2y+k9xy2+k10y3
其中x和y是以要拟合的图像点(x0,y0)为原点的相对坐标，f(x,y)是点(x0+x，y0+y)处的图像灰度值，用线性最小二乘法求解系数ki(i＝1，...，10)。
函数在θ方向上的一阶导数和二阶导数计算公式：
Figure PCTCN2015082453-appb-000001
Figure PCTCN2015082453-appb-000002
可解得边缘点亚像素位置为(x0+ρcosθ,y0+ρsinθ)。
亚像素中心定位：对所有得到的椭圆亚像素边缘进行最小二乘拟合椭圆的方程，从而得到标志点中心位置。
平面椭圆的一般方程：
x2+2Bxy+Cy2+2Dx+2Ex+F＝0
通过拟合可求得椭圆方程的5个参数B、C、D、E、F，则椭圆中心坐标为：
Figure PCTCN2015082453-appb-000003
由于成像的几何本质是透视投影，圆形经透视投影在像面上成一个椭圆，然而椭圆的形心与圆心在像面上的投影存在一个偏差。因此，以标志点中心(形心)定位算法处理得到的标志点像(椭圆)的形心作为标志点中心的成像位置存在系统误差。
基于Ahn在“Systematic geometric image measurement errors of circular object targets:Mathematical formulation and correction”(The Photogrammetric Record，16(93)：485-502)中的公式进行偏差分析，而用Heikkil在“A four-step camera calibration procedure with implicit image correction”(IEEE Computer Society Conference on,1997,Proceedings.1106-1112)中的公式进行偏差修正。结合Heikkil的定位偏差模型和Chen在“Camera calibration with two arbitrary coplanar circles”(Computer Vision-ECCV,2004,521-532)中基于圆的相机标定来实现对标志点中心定位偏差的修正。
由相机模型可知，编码标志点和它的图像之间是空间中平面到平面的透视投影变换，因此可以用一个单应(Homography)矩阵H来描述二者之间的变换关系。如图11所示，标志点图像中心椭圆的长轴与边缘的两个交点、短轴与边缘的两个交点以及椭圆中心(即上述标志点中心)((a)中的5个红点)分别对应着正圆的水平垂直方向上的四个边缘点和正圆圆心((b)中的5个红点)，以此5对对应点可以估计单应矩阵H。利用此单应矩阵对图像中的每个像素点施加变换，可以将标志点的实际图像(椭圆)纠正为正射投影图像(正圆)。估 计单应矩阵的数学表达如下：
步骤1：估计单应矩阵H；
Figure PCTCN2015082453-appb-000004
理想坐标，
Figure PCTCN2015082453-appb-000005
实际坐标
步骤2：对每个像素点施加单应矩阵变换。
lp＝H*lq,lp：变换后的正投影图像，lq：变换前的透视投影图像。
在步骤B中，在极坐标系下按照一定规则遍历标志点图像的编码段，得到每一点在笛卡尔坐标系中对应的该点的像素值，根据像素值的分布情况判断各编码段的长度，以此确定每一编码段在二进制编码序列中所占的码值位数，又由各编码段的像素值决定其在二进制编码序列中的码值，形成一个在笛卡尔坐标系下用于表征该标志点编码值的二进制编码序列。
本发明具体利用Log Polar变换即极坐标变换，将笛卡尔坐标系中的图像映射到极坐标系中。与Log Polar变换稍有不同，Log Polar是将图像从(x,y)映射到(log(r),theta)，而本发明是将图像从(x,y)映射到(r,theta)，如图5可知。变换公式是：
x′＝r×cos(theta)；
y′＝r×sin(theta)；
其中r代表极径，theta代表极角。
由于是对标志点的编码特征区域做操作，所以极径必须在编码环带范围内，r取值r∈[2R,3R]，R：中心圆半径，极值分别是编码环带的内环边缘和外环边缘，经过以上步骤对标志点进行识别和提取之后使得边缘值并不可靠，故取中间值r＝2.5R作为变换极径，即遍历编码段过程中的定量。编码环带的中心角为360°，所以极角theta取值theta∈[1,360]，等间隔为1取360个角度值作为遍历编码段过程中的变量。
考虑到图像的笛卡尔坐标系的原点默认设定在图像的左上顶端，且纵轴方向向下,而极坐标变换的中心设定在标志点的中心，所以需要将极坐标变换的中心坐标(x0,y0)作为偏移量加到(x,y)上，才能使极坐标系与笛卡尔坐标系正确对 应，完成变换，如图6所示。
变换公式是：
X＝x0+r×cos(theta)；x0:极坐标变换中心横坐标；
Y＝y0+r×sin(theta)；y0:极坐标变换中心纵坐标。
本发明中，将所有的像素值存放在数组Num[i](i∈[1,360])中，该数组长度为360，由于是二值图像，Num[i]＝1代表白色编码带，Num[i]＝0代表黑色非编码带，每一段编码带都会产生K个相同且连续的像素值，将每一段编码带的像素个数K存放在数组Length[i]中，由于编码为循环编码，所以将头尾的像素个数合并。
n＝360/Nbits为单位编码带所含像素值的个数，当Length[i]＝k*n＝K时，对应了Nbits编码序列中的k位连续码值‘1’或‘0’，而其码值是为‘1’还是为‘0’由该段的像素值决定，这样就构成了代表标志点编码值的Nbits二进制编码序列。
在步骤C中，将所述二进制编码序列进行循环移位，并将每次移位后的序列转换为一个十进制编码值，最后将最小的一个十进制编码值标记为该标志点的编码值。
将二进制编码串循环移位得到最小值作为标志点的编码值，从而使标志点具有唯一的身份信息。以图7示出的编码值为1463的标志点为例，其一共有8个编码段，12bits标志点的单位编码环带像素值个数：n＝360/12＝30，图8示出了其二进制编码序列的循环移位过程，可以看出，循环移位过程中得到的1901、2998、3509、3802等值，其中最小值1463恰好为该标志点的编码值，从而使标志点具有唯一的身份信息。
采用上述解码方法对图4所示标靶上的标志点进行解码，解码结果如图9所示。通过比对正确的编码值得知解码正确率达到100％。
图10示出了本发明提供的高鲁棒性的标志点解码系统的逻辑结构，为了便于描述，仅示出了与本实施例相关的部分。
参照图10，该高鲁棒性解码系统包括透视投影变换模块101、坐标变换模 块102、解码标记模块103，其中透视投影变换模块101，用于将标志点的透视投影图像变换为正投影图像，其中，利用了单应矩阵H来完成变换。坐标变换模块102用于在极坐标系下遍历标志点正投影图像的编码段，得到编码段的每一像素点在笛卡尔坐标系中对应的像素值，根据各像素值的分布情况判断各编码段的长度，以此确定每一编码段在二进制编码序列中所占的码值位数，再由各编码段的像素值决定其在二进制编码序列中的码值，形成一个在笛卡尔坐标系下用于表征该标志点编码值的二进制编码序列；如上文所述，上述标志点的图像为环状二值编码图像，且当所述标志点的图像被等角度的N等分时，其中每一等份作为一个像素值编码位，而每个所述编码段又包含有至少一个等份。
最后，解码标记模块103将二进制编码序列进行循环移位，并将每次移位后的序列转换为一个十进制编码值，最后将最小的一个十进制编码值标记为该标志点的编码值。
上述坐标变换模块102进行坐标变换的原理，以及标志点图像的设计原理如上文所述，此处不再赘述。
综上所述，本发明提出的对于具有编码特性标志点的解码方法有较高的鲁棒性，受拍摄角度、相机分辨率以及噪声等的影响较小，可用于多传感器网络中大尺寸物体三维形貌的拼接和匹配。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

  1. 一种高鲁棒性的标志点解码方法，其特征在于，包括下述步骤：
    步骤A，估计单应矩阵，利用估计出的单应矩阵将标志点的透视投影图像变换为正投影图像；
    步骤B，在极坐标系下遍历标志点正投影图像的编码段，得到编码段的每一像素点在笛卡尔坐标系中对应的像素值，根据各像素值的分布情况判断各编码段的长度，以此确定每一编码段在二进制编码序列中所占的码值位数，再将各编码段的像素值作为其在二进制编码序列中的码值，形成一个在笛卡尔坐标系下用于表征该标志点编码值的二进制编码序列；
    其中，所述标志点图像为环状二值编码图像，且当所述标志点的图像被等角度的N等分时，其中每一等份作为一个像素值编码位，而每个所述编码段又包含有至少一个等份；
    步骤C，将所述二进制编码序列进行循环移位，并将每次移位后的序列转换为一个十进制编码值，最后将最小的一个十进制编码值标记为该标志点的编码值。
  2. 如权利要求1所述的高鲁棒性解码方法，其特征在于，步骤A中单应矩阵利用如下五个点来进行估计：利用标志点图像中心椭圆的长轴与边缘的两个交点、短轴与边缘的两个交点以及椭圆中心点。
  3. 如权利要求1所述的标志点解码方法，其特征在于，步骤B具体根据如下公式完成极坐标系到笛卡尔坐标系的对应：
    X＝x0+r×cos(theta)；
    Y＝y0+r×sin(theta)；
    其中，x0为极坐标变换中心横坐标，y0为极坐标变换中心纵坐标，r表示极径，theta表示极角；极径r在标志点的图像范围之内。
  4. 如权利要求3所述的标志点解码方法，其特征在于，所述极径r取值为： r∈[2R，3R]，R为标志点的图像的中心圆半径；所述极角theta取值为：theta∈[1°，360°]。
  5. 如权利要求4所述的标志点解码方法，其特征在于，步骤B中遍历编码段的具体方式为：
    将极径r作为定量，将极角theta以1°的等间隔取360个角度值作为变量，遍历标志点正投影图像的编码段；其中，极径r＝2.5R。
  6. 如权利要求1所述的标志点解码方法，其特征在于，所述标志点图像的中心圆半径、编码环带内半径、编码环带外半径的比值为1∶2∶3。
  7. 一种高鲁棒性的标志点解码系统，其特征在于，包括下述模块：
    透视投影变换模块，用于利用估计出的单应矩阵将标志点的透视投影图像变换为正投影图像；
    坐标变换模块，用于在极坐标系下遍历标志点正投影图像的编码段，得到编码段的每一像素点在笛卡尔坐标系中对应的像素值，根据各像素值的分布情况判断各编码段的长度，以此确定每一编码段在二进制编码序列中所占的码值位数，再将各编码段的像素值作为其在二进制编码序列中的码值，形成一个在笛卡尔坐标系下用于表征该标志点编码值的二进制编码序列；其中，所述标志点图像为环状二值编码图像，且当所述标志点的图像被等角度的N等分时，其中每一等份作为一个像素值编码位，而每个所述编码段又包含有至少一个等份；
    解码标记模块，用于将所述二进制编码序列进行循环移位，并将每次移位后的序列转换为一个十进制编码值，最后将最小的一个十进制编码值标记为该标志点的编码值。
  8. 如权利要求7所述的高鲁棒性解码系统，其特征在于，所述坐标变换模块根据如下公式将包含多个标志点的图像从极坐标系映射到笛卡尔坐标系中：
    X＝x0+r×cos(theta)；
    Y＝y0+r×sin(theta)；
    其中，x0为极坐标变换中心横坐标，y0为极坐标变换中心纵坐标，r表示极径，theta表示极角；极径r在标志点的图像范围之内。
  9. 如权利要求8所述的高鲁棒性解码系统，其特征在于，所述极径r取值为：r∈[2R，3R]，R为标志点的图像的中心圆半径；所述极角theta取值为：theta∈[1°，360°]；所述标志点的图像的中心圆半径、编码环带内半径、编码环带外半径的比值为1∶2∶3。
  10. 如权利要求9所述的高鲁棒性解码系统，其特征在于，所述坐标变换模块将极径r作为定量，将极角theta以1°的等间隔取360个角度值作为变量，遍历标志点正投影图像的编码段；其中，极径r＝2.5R。
PCT/CN2015/082453 2014-08-20 2015-06-26 高鲁棒性的标志点解码方法及系统 WO2016026349A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/140,534 US20160239975A1 (en) 2014-08-20 2016-04-28 Highly robust mark point decoding method and system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201410413706.0A CN104299249B (zh) 2014-08-20 2014-08-20 高鲁棒性的标志点解码方法及系统
CN201410413706.0 2014-08-20

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/140,534 Continuation US20160239975A1 (en) 2014-08-20 2016-04-28 Highly robust mark point decoding method and system

Publications (1)

Publication Number Publication Date
WO2016026349A1 true WO2016026349A1 (zh) 2016-02-25

Family

ID=52318971

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2015/082453 WO2016026349A1 (zh) 2014-08-20 2015-06-26 高鲁棒性的标志点解码方法及系统

Country Status (3)

Country Link
US (1) US20160239975A1 (zh)
CN (1) CN104299249B (zh)
WO (1) WO2016026349A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110246185A (zh) * 2018-03-07 2019-09-17 阿里巴巴集团控股有限公司 图像处理方法、装置、系统、存储介质和标定系统
CN113129384A (zh) * 2021-03-31 2021-07-16 南京航空航天大学 基于一维编码靶标的双目视觉系统灵活标定方法
CN113538483A (zh) * 2021-06-28 2021-10-22 同济大学 高精度近景摄影测量标志的编解码方法和测量方法
WO2022007064A1 (zh) * 2020-07-09 2022-01-13 深圳企业云科技股份有限公司 一种基于计算机视觉识别系统的椭圆角度编码解码方法
CN116687569A (zh) * 2023-07-28 2023-09-05 深圳卡尔文科技有限公司 一种编码标识手术导航方法、系统和存储介质

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104299249B (zh) * 2014-08-20 2016-02-24 深圳大学 高鲁棒性的标志点解码方法及系统
EP3342189B1 (en) 2015-08-24 2020-10-14 PCMS Holdings, Inc. Systems and methods for enhancing augmented reality experience with dynamic output mapping
CN113190111A (zh) * 2015-10-08 2021-07-30 Pcms控股公司 一种方法和设备
CN106525054B (zh) * 2016-10-27 2019-04-09 上海航天控制技术研究所 一种采用星上推扫遥感图像信息的单星自主测定轨方法
CN107342845B (zh) * 2017-03-25 2022-07-12 华为技术有限公司 一种速率匹配的方法和装置
CN108764004B (zh) * 2018-06-04 2021-04-09 空气动力学国家重点实验室 一种基于编码环采样的环状编码标记点解码识别方法
CN110766019A (zh) * 2018-07-25 2020-02-07 深圳市创客工场科技有限公司 编码识别方法、装置、电子设备和计算机可读存储介质
CN109317354B (zh) * 2018-10-16 2024-05-07 珠海广浩捷科技股份有限公司 一种摄像头三工位自动aa组装机及其工作方法
WO2020112900A2 (en) 2018-11-30 2020-06-04 Pcms Holdings, Inc. Method for mirroring 3d objects to light field displays
CN110096922B (zh) * 2019-05-08 2022-07-12 深圳市易尚展示股份有限公司 编码点的处理方法、装置、计算机设备和存储介质
CN110378199B (zh) * 2019-06-03 2021-08-06 北京北科安地科技发展有限公司 一种基于无人机多期影像的岩土体位移监测方法
CN110751149B (zh) * 2019-09-18 2023-12-22 平安科技（深圳）有限公司 目标对象标注方法、装置、计算机设备和存储介质
CN113240744A (zh) * 2020-01-23 2021-08-10 华为技术有限公司 图像处理的方法和装置
CN111597853B (zh) * 2020-05-26 2023-02-24 成都鹏业软件股份有限公司 一种混凝土标识提取方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102542600A (zh) * 2011-12-14 2012-07-04 北京工业大学 一种基于cuda技术的仿真投影drr生成方法
CN103700135A (zh) * 2014-01-08 2014-04-02 北京科技大学 一种三维模型局部球面调和特征提取方法
CN104299249A (zh) * 2014-08-20 2015-01-21 深圳大学 高鲁棒性的标志点解码方法及系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6533728B1 (en) * 2001-11-20 2003-03-18 Mayo Foundation For Medical Education And Research Method and apparatus for recovery and parametric display of contrast agents in ultrasound imaging
US7672511B2 (en) * 2005-08-30 2010-03-02 Siemens Medical Solutions Usa, Inc. System and method for lattice-preserving multigrid method for image segmentation and filtering
CN1946180B (zh) * 2006-10-27 2010-05-12 北京航空航天大学 一种基于Octree的三维模型压缩编码方法
CN101968877A (zh) * 2010-10-15 2011-02-09 天津工业大学 一种双层圆弧的编码标记点设计方法
JP5724544B2 (ja) * 2011-03-31 2015-05-27 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
US9984318B2 (en) * 2013-09-20 2018-05-29 Hewlett-Packard Development Company, L.P. Data-bearing medium

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102542600A (zh) * 2011-12-14 2012-07-04 北京工业大学 一种基于cuda技术的仿真投影drr生成方法
CN103700135A (zh) * 2014-01-08 2014-04-02 北京科技大学 一种三维模型局部球面调和特征提取方法
CN104299249A (zh) * 2014-08-20 2015-01-21 深圳大学 高鲁棒性的标志点解码方法及系统

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110246185A (zh) * 2018-03-07 2019-09-17 阿里巴巴集团控股有限公司 图像处理方法、装置、系统、存储介质和标定系统
CN110246185B (zh) * 2018-03-07 2023-10-27 阿里巴巴集团控股有限公司 图像处理方法、装置、系统、存储介质和标定系统
WO2022007064A1 (zh) * 2020-07-09 2022-01-13 深圳企业云科技股份有限公司 一种基于计算机视觉识别系统的椭圆角度编码解码方法
CN113129384A (zh) * 2021-03-31 2021-07-16 南京航空航天大学 基于一维编码靶标的双目视觉系统灵活标定方法
CN113129384B (zh) * 2021-03-31 2024-03-19 南京航空航天大学 基于一维编码靶标的双目视觉系统灵活标定方法
CN113538483A (zh) * 2021-06-28 2021-10-22 同济大学 高精度近景摄影测量标志的编解码方法和测量方法
CN113538483B (zh) * 2021-06-28 2022-06-14 同济大学 高精度近景摄影测量标志的编解码方法和测量方法
CN116687569A (zh) * 2023-07-28 2023-09-05 深圳卡尔文科技有限公司 一种编码标识手术导航方法、系统和存储介质
CN116687569B (zh) * 2023-07-28 2023-10-03 深圳卡尔文科技有限公司 一种编码标识手术导航方法、系统和存储介质

Also Published As

Publication number Publication date
US20160239975A1 (en) 2016-08-18
CN104299249A (zh) 2015-01-21
CN104299249B (zh) 2016-02-24

Similar Documents

Publication Publication Date Title
WO2016026349A1 (zh) 高鲁棒性的标志点解码方法及系统
CN109945853B (zh) 一种基于3d点云航拍图像的地理坐标定位系统和方法
CN100470590C (zh) 相机标定方法及所用标定装置
CN107782305B (zh) 一种基于数字字母识别的移动机器人定位方法
CN107194991B (zh) 一种基于骨架点局域动态更新的三维全局可视化监控系统构建方法
CN110246185B (zh) 图像处理方法、装置、系统、存储介质和标定系统
CN110033407B (zh) 一种盾构隧道表面图像标定方法、拼接方法及拼接系统
CN109215016B (zh) 一种编码标志的识别定位方法
Strauß et al. Calibrating multiple cameras with non-overlapping views using coded checkerboard targets
CN103345761B (zh) 用于线阵高塔倾斜扫描成像数据校正及拼接的方法和系统
JP2004340840A (ja) 距離測定装置、距離測定方法、及び距離測定プログラム
WO2015019526A1 (ja) 画像処理装置およびマーカ
CN108010086A (zh) 基于网球场标志线交点的摄像机标定方法、装置和介质
CN103150724A (zh) 一种基于分段模型的摄像机标定方法
CN104778675A (zh) 一种采煤综掘工作面动态视频图像融合方法
CN103049731A (zh) 一种点分布型彩色编码标志的解码方法
CN104376328B (zh) 基于坐标的分布型编码标志识别方法及系统
Su et al. A novel camera calibration method based on multilevel-edge-fitting ellipse-shaped analytical model
CN107832661A (zh) 一种基于视觉路标的室内移动机器人定位方法
CN112184826B (zh) 一种标定板和标定方法
CN109737962B (zh) 一种基于特殊圆环编码的机器视觉自主定位方法和系统
Xie et al. A4lidartag: Depth-based fiducial marker for extrinsic calibration of solid-state lidar and camera
CN107767330B (zh) 一种图像拼接方法
CN112270716B (zh) 一种人工视觉地标的解码定位方法
CN113506347B (zh) 一种基于单幅照片的相机内参处理方法及系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15833475

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15833475

Country of ref document: EP

Kind code of ref document: A1

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 29.06.2018)

122 Ep: pct application non-entry in european phase

Ref document number: 15833475

Country of ref document: EP

Kind code of ref document: A1