WO2020073816A1 - 用于测量显示设备的畸变参数的方法、装置和测量设备以及计算机可读介质 - Google Patents

用于测量显示设备的畸变参数的方法、装置和测量设备以及计算机可读介质 Download PDF

Info

Publication number
WO2020073816A1
WO2020073816A1 PCT/CN2019/108233 CN2019108233W WO2020073816A1 WO 2020073816 A1 WO2020073816 A1 WO 2020073816A1 CN 2019108233 W CN2019108233 W CN 2019108233W WO 2020073816 A1 WO2020073816 A1 WO 2020073816A1
Authority
WO
WIPO (PCT)
Prior art keywords
corner point
corner
point
points
array
Prior art date
Application number
PCT/CN2019/108233
Other languages
English (en)
French (fr)
Inventor
薛鸿臻
马福强
楚明磊
孙建康
尹国冰
董泽华
陈丽莉
Original Assignee
京东方科技集团股份有限公司
北京京东方光电科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 京东方科技集团股份有限公司, 北京京东方光电科技有限公司 filed Critical 京东方科技集团股份有限公司
Priority to US16/760,560 priority Critical patent/US11403745B2/en
Publication of WO2020073816A1 publication Critical patent/WO2020073816A1/zh

Links

Images

Classifications

    • G06T5/80—
    • G06T3/02—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G06T5/77—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30121—CRT, LCD or plasma display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix

Definitions

  • the present disclosure relates to the field of display technology, and in particular, to a method, apparatus, measurement device, and computer-readable medium for measuring distortion parameters of a display device.
  • the virtual reality device In order to let the user have a real sense of immersion, the virtual reality device must cover the visual range of the human eye as much as possible, which requires the installation of a A magnifying glass with a curvature, but when a traditional image is projected into a person's eyes through the magnifying glass, the image is distorted, so it is necessary to know the distortion parameters of the device.
  • the present disclosure provides a method for measuring distortion parameters of a display device.
  • the display device includes a display screen and a lens on a light emitting side of the display screen.
  • the method includes:
  • the initial image is an image displayed on the display screen, the initial image includes a plurality of first corner points, and the distortion image includes Multiple second corner points matching one corner point;
  • the distortion parameter of the display device is determined according to the positional relationship between at least one second corner point of the plurality of second corner points and the first corner point matching the at least one second corner point.
  • the distorted image is generated by shooting the initial image through the lens using a shooting unit, and the measurement method further includes:
  • the distortion image is corrected according to the parameters of the shooting unit.
  • Also before determining the distortion parameter of the display device according to the positional relationship between at least one second corner point of the plurality of second corner points and the first corner point matching the at least one second corner point ,Also includes:
  • the first corner points are arranged in a first array
  • the second corner points are arranged in a second array
  • the measurement method further includes:
  • a second corner point whose position in the second array is the same as the position of the first corner point in the first array is determined as the first corner point matching the first corner point Two corners.
  • the determining the positions of the plurality of first corner points in the first array and the positions of the plurality of second corner points in the second array include:
  • the attribute information of the points is different, and the attribute information includes at least one of the following: the corner color and the corner area;
  • the initial image is a barrel image, including the plurality of first corner points arranged in the first array, the first reference corner point includes a central corner point, and the central corner point is located at For the first corner point in the center of the first array, the area of the center corner point is different from the area of the first corner point other than the center corner point.
  • the determining at least one second corner point of the plurality of second corner points as the second reference corner point matching the first reference corner point according to the attribute information includes: The second corner point in the second array whose area is different from the area of the other second corner points is determined as the second reference corner point matching the central corner point in the first array.
  • the first reference corner point further includes: a lateral corner point and a longitudinal corner point, the lateral corner point is a first corner point that goes along with the center corner point, and the longitudinal corner point is a corner angle with the center angle
  • the lateral corner point has a first color
  • the longitudinal corner point has a second color
  • the first corner point other than the lateral corner point and the longitudinal corner point has a Three colors, the first color, the second color and the third color are different from each other.
  • the determining at least one second corner point of the plurality of second corner points as the second reference corner point matching the first reference corner point according to the attribute information includes: The second corner point with the first color in the second array is determined as the second reference corner point matching the lateral corner point in the first array, and the second corner point with the second color in the second array is determined It is a second reference corner point that matches the longitudinal corner point in the first array.
  • the judging whether the positions of the plurality of second corner points in the distorted image satisfy a preset condition includes:
  • the measurement method further includes: if the position of at least one second corner point in the plurality of second corner points in the distorted image does not satisfy the preset condition, the adjustment and the position do not satisfy the The position of the first corner point in the initial image that matches the second corner point of the preset condition, and returns to the step of performing the process of acquiring the distorted image generated after the initial image passes through the lens until the distorted image The plurality of second corner points all satisfy the preset condition.
  • An embodiment of the present disclosure also provides an apparatus for measuring distortion parameters of a display device, the display device including a display screen and a lens on a light-emitting side of the display screen, wherein the device includes:
  • the image acquisition module is configured to acquire a distorted image generated after an initial image passes through the lens, the initial image is an image displayed on the display screen, the initial image includes a plurality of first corner points, and the distorted image includes Multiple second corner points that respectively match the multiple first corner points;
  • the parameter determination module is configured to determine the position of the display device according to the positional relationship between at least one second corner point of the plurality of second corner points and the first corner point matching the at least one second corner point Distortion parameters.
  • the distorted image is generated by the shooting unit shooting the initial image through the lens, and the measuring device further includes:
  • the correction module is configured to correct the distorted image according to the parameters of the shooting unit.
  • the first corner points are arranged in a first array
  • the second corner points are arranged in a second array
  • the measurement device further includes:
  • the corner matching module is configured to determine the positions of the plurality of first corner points in the first array and the positions of the plurality of second corner points in the second array, and for each A corner point, a second corner point whose position in the second array is the same as the position of the first corner point in the first array is determined as a second corner point matching the first corner point.
  • the corner matching module includes:
  • a first reference corner point unit configured to determine at least one first corner point of the plurality of first corner points as a first reference corner point, and attribute information of the first reference corner point and the first
  • the attribute information of the first corner point other than the reference corner point is different, and the attribute information includes at least one of the following: corner color and corner area;
  • a second reference corner point unit configured to determine at least one second corner point of the plurality of second corner points as the second reference corner point matching the first reference corner point according to the attribute information ;as well as
  • the position information determination unit is configured to determine the positions of the plurality of first corner points in the first array according to the positional relationship between the first reference corner point and other first corner points, and according to the Determining the positional relationship between the second reference corner point and other second corner points to determine the positions of the plurality of second corner points in the second array;
  • the correspondence establishment unit is configured to determine, for each first corner point, a second corner point whose position in the second array is the same as that of the first corner point in the first array, as The first corner point matches the second corner point.
  • the initial image is a barrel image, including the plurality of first corner points arranged in the first array, the first reference corner point includes a central corner point, and the central corner point is located at For the first corner point in the center of the first array, the area of the center corner point is different from the area of the first corner point other than the center corner point.
  • the measurement device further includes: a corner determination module configured to determine whether the positions of the plurality of second corners in the distorted image satisfy preset conditions, and if so, trigger the parameter determination module Work, wherein the corner judgment module includes:
  • a distance calculation unit unit configured to calculate the distance between the position of each second corner point in the distorted image and a preset reference position for the second corner point
  • the preset condition determining unit is configured to determine that the second corner meets the preset condition when the distance is less than or equal to a preset threshold, and trigger the parameter determination module to work.
  • the measurement device further includes:
  • the corner adjustment module is configured to adjust and the position to not satisfy the condition that the position of at least one second corner of the plurality of second corners in the distorted image does not satisfy the preset condition
  • the position of the first corner point in the initial image that matches the second corner point of the preset condition and triggers the image acquisition module to perform the step of acquiring the distorted image generated after the initial image passes the lens again, until The plurality of second corner points in the distorted image all satisfy the preset condition.
  • An embodiment of the present disclosure also provides a measurement device for measuring distortion parameters of a display device.
  • the display device includes a display screen and a lens on a light-emitting side of the display screen.
  • the measurement device includes:
  • a shooting unit located on the side of the lens facing away from the display screen, for shooting the initial image displayed on the display device via the lens to obtain a distorted image
  • the controller is connected to the display screen of the display device and the shooting unit, and the controller is configured to perform the above method.
  • Embodiments of the present disclosure also provide a computer-readable medium on which instructions are stored, which when executed by a processor cause the processor to perform the above method.
  • FIG. 1 shows a flowchart of a distortion parameter measurement method provided by an embodiment of the present disclosure
  • FIG. 2 shows a flowchart of a distortion parameter measurement method provided by another embodiment of the present disclosure
  • FIG. 3 shows a flowchart of matching corner points according to an embodiment of the present disclosure
  • FIG. 4 shows a schematic diagram of an initial image provided by an embodiment of the present disclosure
  • FIG. 5A shows a schematic diagram of determining a corner position provided by an embodiment of the present disclosure
  • FIG. 5B shows a flowchart of determining a corner position according to an embodiment of the present disclosure
  • FIG. 6 shows a flowchart of determining whether a corner meets a preset condition provided by an embodiment of the present disclosure
  • FIG. 7 shows a schematic diagram of a distribution of preset reference positions provided by an embodiment of the present disclosure
  • FIG. 8 shows a structural block diagram of a distortion parameter measurement device provided by an embodiment of the present disclosure
  • FIG. 9 shows a schematic structural diagram of a distortion parameter measurement system provided by an embodiment of the present disclosure.
  • FIG. 10 shows a schematic diagram of the distance between the first corner point and the origin on the initial image provided by an embodiment of the present disclosure
  • FIG. 11 shows a schematic diagram of a field angle corresponding to a second corner point on a distorted image provided by an embodiment of the present disclosure
  • FIG. 13 shows a schematic diagram of a relative position between a second corner point and a preset reference point provided by an embodiment of the present disclosure.
  • the distortion includes pincushion distortion, barrel distortion, etc.
  • Pincushion distortion also known as pincushion distortion
  • Barrel distortion also known as barrel distortion
  • barrel distortion is a distortion phenomenon caused by the barrel expansion of the picture caused by the physical characteristics of the lens in the lens and the structure of the lens group.
  • the theoretical distortion parameters are directly output through the corresponding software, and then manually fine-tuned from the application side. This method is time-consuming and labor-intensive, and the effect is not good.
  • an embodiment of the present disclosure provides a distortion parameter measurement method for measuring a distortion parameter of a display device.
  • the display device includes a display screen and a lens on a light emitting side of the display screen.
  • the distortion parameter measurement method may include the following steps.
  • Step 101 Obtain a distorted image generated after an initial image passes through a lens.
  • the initial image may be an image displayed on a display screen.
  • the initial image includes multiple first corner points, and the distorted image may include multiple matching first corner points. A second corner.
  • the initial image may be a theoretical anti-distortion image pre-burned according to the theoretical distortion parameters of the lens or an image pre-designed by a person skilled in the art according to actual conditions.
  • the initial image may be a barrel image
  • the barrel image may be, for example, a barrel grid or a barrel corner array.
  • the barrel-shaped corner point array may include a plurality of points arranged in a barrel shape, such as but not limited to a plurality of round points.
  • the distortion image generated by the barrel image after passing through the lens tends to be “horizontal, horizontal, and vertical”. Therefore, by setting the initial image as a barrel grid or barrel corner array, the efficiency of distortion correction during the measurement process can be improved.
  • Corner points are points on the image that have predetermined attributes, such as points representing corners or protruding parts.
  • a person skilled in the art may define corner points according to the actual situation, for example, a point in the image whose attributes such as gray scale or color have reached a predetermined degree.
  • the corner point of the initial image is called the first corner point
  • the corner point of the distorted image is called the second corner point.
  • the first corner point can be the intersection of the grid lines; when the initial image is a barrel corner array, the first corner
  • the dots may be dots arranged in a barrel shape.
  • the display screen displays the initial image
  • the distorted image generated after the initial image passes through the lens can be collected by a camera (such as a wide-angle camera) and other shooting units.
  • the first corner point on the initial image can be detected by gray-scale corner detection or contour curve-based corner detection.
  • the contour of the first corner point on the initial image can be solved, and then the coordinates of the center point of the contour, that is, the position of the first corner point (such as pixel coordinates, etc.) can be fitted according to the contour.
  • the distorted image includes a plurality of second corner points respectively corresponding to (ie matching) the plurality of first corner points, and the second corner points can also be detected by gray-based corner points or contour curve-based Detected by corner detection and other methods.
  • the position of the second corner point can be obtained according to the image processing method, for example, the contour of the second corner point on the distorted image can be solved, and then the coordinates of the center point of the contour can be fitted according to the contour, ie the position of the second corner point (such as Coordinates, etc.).
  • the positions of the first corner point and the second corner point may also be converted into position coordinates in the same coordinate system according to the respective pixel coordinates.
  • the pixel coordinates of the first corner point can represent the arrangement position of the sub-pixels corresponding to the first corner point in the pixel array in the initial image
  • the pixel coordinates of the second corner point can represent the sub-pixels corresponding to the second corner point
  • the display device may be a virtual display device VR or the like.
  • Step 102 Determine a distortion parameter of the display device according to a positional relationship between at least one second corner point of the plurality of second corner points and a first corner point matching the at least one second corner point.
  • the distortion parameter of the display device may be determined through software simulation or data fitting based on the position of the second corner point that satisfies the preset condition and the corresponding first corner point. This will be described in further detail below.
  • the distortion parameter measurement method provided in this embodiment determines the distortion parameter of the display device according to the second corner point on the first distortion image that satisfies the preset condition and the first corner point on the corresponding initial image.
  • This method of distortion parameter measurement can eliminate the need for manual blind adjustment, making the measurement of distortion parameters more convenient, and this measurement method can accurately calculate the distortion parameters of multiple points on the display device, improve the measurement efficiency, and thus improve the distortion correction. Accuracy.
  • obtaining the distorted image after the initial image passes through the lens may include, for example: obtaining a second distorted image after the initial image passes through the lens, and processing the obtained second distorted image to obtain a distorted image.
  • the processing may include rotating the collected image to correct the angular deviation between the camera and the display screen; it may also include correction processing to eliminate distortion caused by the camera itself.
  • FIG. 2 is a flowchart of a distortion parameter measurement method provided by another embodiment of the present disclosure.
  • Step 201 Use a photographing unit (such as a camera) to photograph the initial image displayed on the display screen through the lens of the display device to obtain a distorted image.
  • a photographing unit such as a camera
  • the initial image may be set as the barrel image shown in FIG. 4.
  • the distorted image is an image obtained after the initial image passes through the lens and the shooting unit, and is equivalent to the distortion caused by applying the lens and the lens of the shooting unit to the initial image.
  • Step 202 Correct the distorted image according to the parameters of the shooting unit (for example, internal parameters) to obtain the corrected distorted image.
  • the shooting unit may be a device with a shooting function, such as a camera or a wide-angle camera.
  • the distortion image captured by the camera may be corrected according to the internal parameters of the camera to eliminate the distortion caused by the camera lens when capturing the image.
  • the internal parameters of the shooting unit, such as the camera can be obtained by calibrating the camera, and the calibration method can use the Zhang Zhengyou method.
  • the shooting unit can be operated under the control of the controller. In some embodiments, the shooting unit can also be operated manually.
  • step 202 may be omitted, and the distorted image obtained in step S201 is used for subsequent operations, so that the processing speed may be increased.
  • step 203 the first corner point and the second corner point are matched, that is, the correspondence between the first corner point and the second corner point is established.
  • the correspondence between the first corner point and the second corner point may be determined according to the positions of the first corner point and the second corner point. For example, as shown in FIG. 4, the first corner points in the initial image are arranged in a first array, which causes the second corner points in the distorted image to be arranged in a second array accordingly.
  • step 2031 the positions of the plurality of first corner points in the first array (for example, the array position represented by the number of rows and columns) and the plurality of second corner points in the second The position in the array (for example, the position of the array represented by the number of rows and columns), and in step 2032, for each first corner point, determine the position in the second array and the first corner point in the The second corner point at the same position in the first array serves as the second corner point matching the first corner point.
  • step 204 it is determined whether the positions of the plurality of second corner points in the distorted image satisfy preset conditions, and if so, step 205 is performed, otherwise step 206 is performed.
  • a distortion parameter of the display device is determined according to a positional relationship between at least one second corner point of the plurality of second corner points and a first corner point matching the at least one second corner point.
  • the positions of the first corner point and the second corner point can be converted into position coordinates in the same plane coordinate system (the plane coordinate system is parallel to the plane of the initial image and the distorted image) according to the respective pixel coordinates, for example
  • the origin of the coordinate system can be set at the position where the optical axis of the lens intersects the plane.
  • the optical axis of the lens may be perpendicular to the above-mentioned plane. As shown in FIG.
  • a point on the initial image also called a screen image
  • the origin O a point on the initial image whose optical axis is perpendicular to the intersection of the initial image and the initial image
  • the coordinates of the first corner point P are (x, y)
  • the distance between the corner point P and the coordinate origin O is R.
  • the distance R may be an Euclidean distance.
  • O ′ represents the origin and Q represents the preset observation point (for example, the position of the human eye, in this embodiment, the position of the camera and other shooting units can be used as the preset observation point), P 'represents a second corner point that matches the first corner point P in the initial image.
  • An angle FOV is formed, and the angle FOV is used as the angle of view of the second corner point P ′.
  • the distance between the observation point Q and the origin O eg, the focal length of the camera
  • the distance between the observation point Q and the origin O can be set to a fixed value.
  • the distortion parameter can be obtained based on the distance R between the first corner point P and the origin O shown in FIG. 10 and the field angle FOV of the second corner point P 'matching the first corner point P shown in FIG. 11.
  • the correspondence list between the distance R and the field of view FOV may be used as an expression of the distortion parameter.
  • a correspondence curve between the distance R and the field of view FOV may be formed, and the coefficient of the curve may also be used as another expression of the distortion parameter.
  • the above distortion parameter calculation is obtained based on the correspondence between the distance R and the field of view FOV.
  • the correspondence between the components of the distance R and the field of view FOV on each coordinate axis of the above coordinate system may also be used.
  • the relationship is obtained, such as the corresponding relationship list (Xp, Yp, FOVx, FOVy), where Xp and Yp are the components of the coordinates of the first corner point P on the two coordinate axes, and FOVx and FOVy are the field angle FOV on the two coordinate axes The weight on.
  • step 206 adjust the position of the first corner point in the initial image that matches the second corner point whose position does not satisfy the preset condition, and return to step 201.
  • the reference corner point of the initial image and the reference corner point of the distorted image may be determined first, and then the relative positional relationship between the reference corner point in the initial image and other first corner points, and the distorted image
  • the relative positional relationship between the reference corner point and the other second corner points in determines the corresponding relationship between each first corner point and each second corner point.
  • step 2032 may include the following steps.
  • Step 301 Determine at least one first corner point among the plurality of first corner points as a first reference corner point, the attribute information of the first reference corner point and the first corner point other than the first reference corner point
  • the attribute information is different, and the attribute information includes at least one of the following: corner color and corner area.
  • the first reference corner point may include a central corner point 41, which is located in the barrel image (initial image)
  • the first corner point of the center, the area of the center corner point 41 may be larger or smaller than the area of the first corner point other than the center corner point 41, the area of the center corner point 41 shown in FIG. 4 is larger than the other first corner points Area.
  • the first reference corner point may further include: a lateral corner point 42 and a longitudinal corner point 43, the lateral corner point 42 is the same as the central corner point 41
  • the first corner point and the longitudinal corner point 43 are the first corner points in the same row as the center corner point 41.
  • the colors of the horizontal corner point 42, the longitudinal corner point 43, and the first corner point other than the lateral corner point 42 and the longitudinal corner point 43 are different.
  • the color of the horizontal corner 42 may be blue (first color), the color of the vertical corner 43 may be red (second color), and the color of the other first corners may be green (third color). It should be noted that, in this embodiment, since the center corner point can be distinguished according to the size of the area, the color of the center corner point can be any color.
  • center corner points shown in FIG. 4 are distinguished from other first corner points by area size, and in some embodiments, the center corner points may also be distinguished by corner color.
  • horizontal corners and vertical corners are not limited to be distinguished by corner color, but can also be determined or distinguished by other attribute information such as area size.
  • Step 302 Determine at least one second corner point among the plurality of second corner points as the second reference corner point matching the first reference corner point according to the attribute information.
  • the second corner point with the largest area among the second corner points is determined to be the central corner point of the distorted image, and the initial image Corresponds to the center corner point of.
  • the center corner point is the largest area in the initial image and using it as the first reference corner point
  • the second reference point matching the first reference corner point can be obtained by looking for the second corner point with the largest area in the distorted image Corner points, so that the central corner point of the distorted image can be used as the second reference corner point.
  • the first reference corner point further includes a horizontal corner point and a vertical corner point
  • the second corner point matches the horizontal corner point and the vertical corner point in the initial image
  • these second corner points can also be used as the second reference corner point of the distorted image, for example, the second reference node that matches the horizontal corner point in the initial image and the first reference point that matches the longitudinal corner point in the initial image Two reference corner points.
  • Step 303 Determine the position of the first corner point in the first array according to the positional relationship between the first reference corner point and other first corner points (for example, the array position represented by the number of rows and columns, also called position Information); determine the position of the second corner point in the second array according to the positional relationship between the second reference corner point and other second corner points (also referred to as position information).
  • step 2031 An example implementation of the above step 2031) will be described below with reference to FIGS. 5A and 5B, that is, how to determine the positions of the plurality of first corner points in the first array and the plurality of second corner points at The position in the second array.
  • the position information of the center corner point of the initial image can be set to (0, 0), and then according to The position of each first corner point (such as pixel coordinates, etc.) determines the relative positional relationship between each first corner point and the central corner point.
  • the position information of the first first corner point to the right of the center corner point can be (1, 0)
  • the position information of the first first corner point below the center corner point can be (0, 1), and so on The position information of each first corner point can be determined.
  • the position information of each second corner point can be determined, such as (1, 0), (0, 1), etc.
  • the first reference corner point includes the central corner point, as well as the lateral corner point and the longitudinal corner point, and the central corner point has the largest area
  • the lateral corner point is blue
  • the longitudinal corner point is red
  • the other corner points are green
  • the area is first determined
  • the largest first corner point is the central corner point of the initial image, and then the first corner points other than the central corner point are separated into three channels (red, blue, and green) according to the corner color.
  • the position information of each first corner point can be solved according to the position of each first corner point (such as pixel coordinates), when the center corner point is used as the first reference point, the position distribution of each first corner point, as shown in FIG. 5A
  • the numbers below the corner point indicate the position information of the first corner point (that is, the row and column where the first corner point is located).
  • the solution process of the position information of the first corner point may be as follows.
  • Step 501 The position information of all the first corner points may be included as an array element in the no_location array (none point in the array has no position information determined).
  • Step 502 Set the central corner point as the initial HOME point (ie, the first reference corner point) position information to (0, 0). Find the first corner point closest to the HOME point in no_location. For example, you can search three times to find the first horizontal corner point (blue) to the right of the center corner point. Determine the location information as (1, 0) and save it to row Array; you can also find the first vertical corner point (red) below the center corner point, and determine the location information as (0, 1), save it to the col array; the third time you can find the green corner point below the center corner point, determine The location information is (1, 1), and the (1, 1) point is used as the new HOME point (HOME 'point shown in FIG. 5A). At the same time, the (0,0), (1,0), (0,1), and (1,1) points whose position information has been determined are deleted from the no_location array.
  • the distance between the corner points may be the Euclidean distance calculated according to the positions of the corner points (such as pixel coordinates, etc.).
  • Step 503 Traverse each first corner point in the row array, each first corner point in the col array, and the HOME point in turn to find the closest point.
  • the first element in the row array is searched twice, the other elements are searched once, and they are updated to the row array in the order they are found;
  • the first element in the col array is searched twice, and the other elements are searched once, in the order they are found Update to the col array in sequence; search for the HOME point once, and update the found point to the HOME point. And delete the found corners from the no_location array.
  • the array serves as the first element in the row array (row'1 shown in Fig. 5A) and the second element (row'2).
  • Step 504 Repeat step 503 until there are no corner points in the no_location array, that is, all corner points have determined position information.
  • 5A shows a schematic diagram of determining position information by different corner points, where different arrows represent steps 503 of different loops, respectively.
  • the process of determining the position information of the second corner point in the distorted image may be the same as the process of determining the position information of the first corner point, and details are not described herein again.
  • step 204 An example implementation of the above step 204 will be described below with reference to FIG. 6, that is, how to determine whether the position of the second corner point in the distorted image satisfies the preset condition.
  • the distortion degree of the distorted image is less than or equal to the specified value.
  • the degree of distortion is used to characterize the degree of distortion of the distorted image.
  • the degree of distortion of the distorted image is inversely proportional to the horizontal or vertical degree or straightness of the second corner points in the distorted image.
  • the degree of distortion of the distorted image is less than or equal to the specified value, for example, by calculating the distance between the second corner point and the preset reference point is less than or equal to the preset distance, or by calculating any two second
  • the angle between the connection point between the corner points and the preset reference line is less than or equal to the preset angle.
  • the preset reference point, preset reference line, and specified value can be set by those skilled in the art according to the actual situation of the structure of the display device and user needs, etc. The specific value is not limited.
  • an implementation manner for determining whether the position of the second corner point in the distorted image satisfies the preset condition is provided, and may include the following steps, for example.
  • Step 601 Calculate the distance between the second corner point and the preset reference position for the second corner point.
  • a corresponding reference position (also referred to as a reference point) may be set for each second corner point of the distorted image, that is, a position where each second corner point is expected to be located.
  • the second corner points in the same row and same column in the distorted image are arranged in a straight line without distortion.
  • a corresponding reference position can be set for each second corner point shown in FIG. 4, for example, for the first reference corner point (such as the center corner point, the lateral corner point and the The longitudinal corner points) and the other first corner points generate corresponding reference positions (also referred to as reference points), thereby obtaining the reference point array as shown in FIG. 7.
  • the line between peer reference points in the reference point array is parallel to the line between horizontal reference points, and the distance between peer reference points is the same as the corresponding vertical reference point; the line between reference points in the same column is parallel The line between the vertical corner points, and the distance between the reference points in the same column is the same as the corresponding horizontal reference point.
  • position information may also be determined for each reference point in the reference point array, and the reference point that is the same as the second corner point position information, that is, the reference point corresponding to the second corner point.
  • the Euclidean distance between the second corner point 131 and the pixel coordinates of the reference position 130 for the second corner point 131 can be calculated.
  • Step 602 When the distance between the second corner point and the preset reference position for the second corner point is less than or equal to a preset threshold, it is determined that the second corner point satisfies the preset condition.
  • the threshold can be set to 4 pixel widths (or pixel pitches) and so on.
  • the distance calculated in step 601 is less than or equal to 4 pixel widths, it may be determined that the second corner point satisfies the preset condition.
  • the distance is greater than the preset threshold, it is determined that the second corner point does not satisfy the preset condition.
  • the threshold for the distance can be determined by those skilled in the art according to actual conditions, and the disclosure is not limited.
  • Steps 601 and 602 determine whether the second corner point on the distorted image is "horizontal, horizontal, and vertical" through an evaluation algorithm, that is, whether the preset condition is satisfied. In some embodiments, when the second corner points in the distorted image satisfy the preset condition through adjustment, that is, when the distorted image reaches the desired “horizontal, horizontal, and vertical” after adjustment, the distortion can be adjusted according to the final adjustment.
  • the second corner point in the image and the first corner point in the initial image determine the distortion parameters of the display device.
  • the deviation direction relative to the preset reference point can be determined first, and during the adjustment process, the corresponding first corner point can be Moving in a direction away from the deviation direction, you can move one pixel at a time, of course, you can also move any desired distance as needed.
  • the corresponding first corner point can be moved downward Move one pixel distance; when the second corner point that does not satisfy the preset condition is located to the right of the preset reference point (that is, the abscissa of the second corner point is greater than the abscissa of the preset reference point), the corresponding A corner point moves one pixel to the left.
  • step 206 After performing the adjustment in step 206, you can return to step 201 to repeat the steps of acquiring the image, corresponding corner points, and judging the corner points until the second corner points finally obtained meet the preset conditions, that is, each second corner on the distorted image
  • the points are all “horizontal, horizontal and vertical”, and at this time, the first corner point on the initial image and the second corner point on the distorted image have a desired distortion correspondence. Therefore, as described above, according to all the second corner points that satisfy the preset condition (including the second corner point that initially satisfies the preset condition and the second corner point that satisfies the preset condition after adjusting the position of the first corner point) and the corresponding The position of the first corner point can determine the distortion parameter of the display device.
  • the framing camera in the scene looks for the FOV1 corresponding to the image point according to the FOV2 of the framing camera, and then fits or calculates According to the distortion coefficient or the corresponding relationship obtained by the above method, determine the screen coordinates (x, y) corresponding to the field of view FOV1, and finally determine where on the screen each point in the scene needs to be displayed.
  • SDK software development kit
  • the coordinates of a fixed number of image plane points (second corner points) (also called image plane coordinates) and object plane points (first corner points) coordinates (also called object plane coordinates or screens) may be used Coordinates) (the image point and object point of which distortion parameters have been calculated), the screen coordinates corresponding to each image plane coordinate are determined by interpolation and fitting.
  • FIG. 12 shows a schematic diagram of fitting screen coordinates corresponding to each image plane coordinate according to a distortion parameter of known image plane coordinates. As shown in FIG.
  • the image plane point represented by the circle can be used
  • the screen coordinates corresponding to the field of view FOV of 1, 2, 3, 4 are fitted to the screen coordinates corresponding to the field of view FOV at the image point represented by the triangle.
  • An embodiment of the present disclosure provides a distortion parameter measurement device for measuring a distortion parameter of a display device.
  • the display device includes a display screen and a lens on a light emitting side of the display screen.
  • the measurement device may include an image acquisition module 801 And parameter determination module 806.
  • the measurement device may further include a correction module 802.
  • the measurement device may further include a corner matching module 803.
  • the measurement device may further include a corner judgment module 804.
  • the measurement device may further include a corner adjustment module 805.
  • the image acquisition module 801 may be configured to acquire a distorted image after the initial image passes through the lens.
  • the initial image is an image displayed on the display screen, the initial image includes a plurality of first corner points, and the distortion image includes a plurality of second corner points.
  • the parameter determination module 806 may be configured to determine the distortion parameter of the display device according to the second corner point satisfying the preset condition and the corresponding first corner point.
  • the image acquisition module 801 may be configured to receive a distorted image generated after the initial image captured by the shooting unit passes through the lens.
  • the image acquisition module 801 may control a shooting unit such as a camera to shoot the initial image displayed on the display screen via a lens to obtain a distorted image, and receive the distorted image from the shooting unit.
  • the correction module 802 may be configured to correct the distorted image according to the parameters (eg, internal parameters) of the shooting unit to obtain the corrected distorted image.
  • the corner matching module 803 may be configured to establish a correspondence between the first corner and the second corner. For example, the corner matching module 803 may determine the positions of the plurality of first corner points in the first array and the positions of the plurality of second corner points in the second array, and for each first The corner point determines a second corner point whose position in the second array is the same as the position of the first corner point in the first array as a second corner point matching the first corner point.
  • the corner matching module 803 may include a first reference corner unit 8031, a second reference corner unit 8032, a position information determination unit 8033, and a correspondence establishment unit 8024.
  • the first reference corner point unit 8031 may be configured to determine a first reference corner point, the first reference corner point belongs to the first corner point, the attribute information of the first reference corner point and the first corner other than the first reference corner point
  • the attribute information of points is different, and the attribute information includes at least one of the following: corner color and corner area.
  • the second reference corner point unit 8032 may be configured to determine that the second corner point corresponding to the first reference corner point is the second reference corner point according to the attribute information.
  • the position information determination unit 8033 may be configured to determine the position information of the first corner point according to the positional relationship between the first corner point and the first reference corner point; according to the position between the second corner point and the second reference corner point Relationship to determine the position information of the second corner point.
  • the correspondence establishment unit 8034 may be configured to correspond to the first corner point and the second corner point having the same position information.
  • the initial image may be a barrel image, including a plurality of first corner points arranged in an array, the first reference corner point may include a central corner point, and the central corner point is the first corner located at the center of the barrel image The area of the center corner point is different from the area of the first corner point other than the center corner point.
  • the first reference corner point may also include: a horizontal corner point and a vertical corner point, the horizontal corner point is the first corner point that goes along with the central corner point, and the longitudinal corner point is the first corner point in the same row as the central corner point; , The color between the vertical corner point and the first corner point except the horizontal corner point and the vertical corner point are different.
  • the corner judgment module 804 may be configured to judge whether the second corner meets a preset condition.
  • the corner determination module 804 may include: a distance calculation unit 8041 configured to calculate the distance between the second corner point and the corresponding preset reference point; and a preset condition determination unit 8042 Is configured to determine that the second corner meets the preset condition when the distance is less than or equal to the preset threshold.
  • the corner adjustment module 805 may be configured to, before the parameter determination module determines the distortion parameters of the display device according to the second corner that meets the preset condition and the corresponding first corner, the second corner that does not satisfy the preset condition The corresponding first corner point is adjusted so that the second corner point corresponding to the adjusted first corner point satisfies the preset condition.
  • the parameter determination module 806 may be configured to determine the distortion parameter of the display device according to the second corner point satisfying the preset condition and the corresponding first corner point.
  • the distortion parameter measurement device provided in this embodiment can implement various processes of the foregoing distortion parameter measurement method embodiments. To avoid repetition, details are not described herein again.
  • the distortion parameter measurement device determines the distortion parameters of the display device according to the second corner point on the distortion image that satisfies the preset condition and the first corner point on the corresponding initial image through the parameter determination module, provided by this embodiment
  • the measurement device can measure the distortion parameters without manual blind adjustment, which makes the measurement of the distortion parameters more convenient, and can accurately calculate the distortion parameters of multiple points on the display device, improve the measurement efficiency, and thus improve the accuracy of distortion correction.
  • the distortion parameter measurement system may include a display device 901 and a measurement device for measuring the distortion parameter of the display device 901.
  • the measurement device includes a shooting unit 902 such as a camera and a controller 903.
  • the display device 901 includes a display screen 9011 and a lens 9012 on the light emitting side of the display screen 9011.
  • the shooting unit 902 is located on the side of the lens 9012 facing away from the display screen 9011.
  • the controller 903 is connected to the display screen 9011 of the display device 901 and the shooting unit 902, respectively.
  • the controller 903 may be configured to perform the distortion parameter measurement method provided by any of the above embodiments.
  • the controller 903 includes, but is not limited to, a PC computer, a laptop computer, a tablet computer, a notebook computer, a CPU, an application specific integrated circuit ASIC, a field programmable gate array FPGA, a micro control unit MCU, and so on.
  • the display device 901 includes but is not limited to a VR device to be tested.
  • the shooting unit 902 includes but is not limited to a camera and the like.
  • a PC computer is connected to a VR device to be tested to control the display content of the VR device to be tested, and is connected to a camera to receive images captured by the camera.
  • the content displayed by the VR device under test can be controlled by the controller 903, and the camera is used to capture the image displayed by the VR device under test and send it to the controller 903.
  • the controller 903 controls the camera to capture the image displayed by the VR device under test and send it to the controller 903.
  • An embodiment of the present disclosure also provides a computer-readable storage medium that stores a computer program (instruction) on the computer-readable storage medium, and when the computer program (instruction) is executed by a processor, causes the processor to perform the implementation of the present disclosure
  • a computer program instruction
  • the computer program instruction
  • causes the processor to perform the implementation of the present disclosure The steps of any distortion parameter measurement method described in the example.
  • Embodiments of the present disclosure provide a distortion parameter measurement method, device, measurement device, and computer-readable medium for measuring distortion parameters of a display device, the display device including a display screen and a lens on a light-emitting side of the display screen,
  • the distortion parameter measurement method includes: obtaining a distortion image generated after an initial image passes through the lens, the initial image is an image displayed on the display screen, and the initial image includes a plurality of first corner points, the The distorted image includes a plurality of second corner points that respectively match the plurality of first corner points; and according to at least one second corner point and the at least one second corner point of the plurality of second corner points The positional relationship of the matched first corner points determines the distortion parameter of the display device.
  • the technical solution provided in this embodiment can calculate the relationship between the second corner point (image plane point) that meets the preset condition and the corresponding first corner point (object plane point), by adjusting the first For corner points (object surface points), when the second corner points (image surface points) are all “horizontal and vertical”, the corresponding relationship and distortion parameters of the two are calculated. No manual blind adjustment is required during the measurement process, and the actual large-scale actual distortion parameters can be automatically calculated directly, which can greatly improve the efficiency of software development.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Image Processing (AREA)
  • Geometry (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

一种用于测量显示设备的畸变参数的方法、装置和测量设备以及计算机可读介质，所述显示设备包括显示屏以及位于所述显示屏出光侧的透镜，其中，所述方法包括：获取初始图像经过所述透镜后产生的畸变图像，所述初始图像为所述显示屏显示的图像，所述初始图像包括多个第一角点，所述畸变图像包括分别与所述多个第一角点匹配的多个第二角点（101）；以及根据第二角点与跟所述第二角点匹配的第一角点的位置关系，确定所述显示设备的畸变参数（102）。

Description

用于测量显示设备的畸变参数的方法、装置和测量设备以及计算机可读介质
本申请要求于2018年10月10日提交的、申请号为201811178302.2的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本公开涉及显示技术领域，特别是涉及一种用于测量显示设备的畸变参数的方法、装置和测量设备以及计算机可读介质。
背景技术
在虚拟现实VR(Virtual Reality)设备中，为了让用户在视觉上拥有真实的沉浸感，虚拟现实设备就要尽可能的覆盖人眼的视觉范围，这就需要在虚拟现实设备中安装一个具有球面弧度的放大镜片，但是传统的图像经过放大镜片投射到人的眼中时，图像是扭曲的，因此需要获知设备的畸变参数。
发明内容
本公开提供了一种用于测量显示设备的畸变参数的方法，所述显示设备包括显示屏以及位于所述显示屏出光侧的透镜，所述方法包括：
获取初始图像经过所述透镜后产生的畸变图像，所述初始图像为所述显示屏显示的图像，所述初始图像包括多个第一角点，所述畸变图像包括分别与所述多个第一角点匹配的多个第二角点；以及
根据所述多个第二角点中的至少一个第二角点与跟所述至少一个第二角点匹配的第一角点的位置关系，确定所述显示设备的畸变参数。
例如，所述畸变图像是通过使用拍摄单元经由所述透镜拍摄所述初始图像来产生的，所述测量方法还包括：
根据所述拍摄单元的参数，对所述畸变图像进行校正。
例如，在所述根据所述多个第二角点中的至少一个第二角点与跟所述至少一个第二角点匹配的第一角点的位置关系确定所述显示设备的畸变参数之前，还包括：
判断所述畸变图像中的所述多个第二角点的位置是否满足预设条件，如果是，则执行所述根据所述多个第二角点中的至少一个第二角点与跟所述至少一个第二角点匹配的第一角点的位置关系确定所述显示设备的畸变参数的步骤。
例如，所述第一角点排布成第一阵列，所述第二角点排布成第二阵列，所述测量方法还包括：
确定所述多个第一角点在所述第一阵列中的位置以及所述多个第二角点在所述第二阵列中的位置；以及
针对每个第一角点，确定在所述第二阵列中的位置与该第一角点在所述第一阵列中的位置相同的第二角点，作为与该第一角点匹配的第二角点。
例如，所述确定所述多个第一角点在所述第一阵列中的位置以及所述多个第二角点在所述第二阵列中的位置包括：
将所述多个第一角点中的至少一个第一角点确定为第一参考角点，所述第一参考角点的属性信息与除所述第一参考角点之外的第一角点的属性信息不同，所述属性信息包括以下至少一种：角点颜色和角点面积；
根据所述属性信息，将所述多个第二角点中的至少一个第二角点确定为与所述第一参考角点匹配的第二参考角点；以及
根据所述第一参考角点与其他第一角点之间的位置关系，确定所述多个第一角点在所述第一阵列中的位置，并根据所述第二参考角点与其他第二角点之间的位置关系，确定所述多个第二角点在所述第二阵列中的位置。
例如，所述初始图像为桶形图像，包括排布成所述第一阵列的所述多个第一角点，所述第一参考角点包括中心角点，所述中心角点为位于所述第一阵列中心的第一角点，所述中心角点的面积与除所述中心角点之外的第一角点的面积不相同。
例如，所述根据所述属性信息，将所述多个第二角点中的至少一个第二角点确定为与所述第一参考角点匹配的第二参考角点包括：将所述第二阵列中面积与其他第二角点的面积不相同的第二角点确定为与所述第一阵列中的中心角点匹配的第二参考角点。
例如，所述第一参考角点还包括：横向角点和纵向角点，所述横向角点为与所述中心角点同行的第一角点，所述纵向角点为与所述中心角点同列的第一角点，所述横向角点具有第一颜色，所述纵向角点具有第二颜色，并且除所述横向角点和所述纵向角点之外的第一角点具有第三颜色，所述第一颜色、第二颜色和第三颜色互不相同。
例如，所述根据所述属性信息，将所述多个第二角点中的至少一个第二角点确定为与所述第一参考角点匹配的第二参考角点包括：将所述第二阵列中具有第一颜色的第二角点确定为与所述第一阵列中的横向角点匹配的第二参考角点，将所述第二阵列中具有第二颜色的第二角点确定为与所述第一阵列中的纵向角点匹配的第二参考角点。
例如，所述判断所述畸变图像中的所述多个第二角点的位置是否满足预设条件包括：
计算所述畸变图像中每个第二角点的位置与针对所述第二角点的预设参考位置之间的距离；以及
当所述距离小于或等于预设阈值时，判定所述第二角点满足所述预设条件。
例如，所述测量方法还包括：如果所述畸变图像中的所述多个第二角点中的至少一个第二角点的位置不满足所述预设条件，则调整与位置不满足所述预设条件的第二角点相匹配的第一角点在所述初始图像中的位置，并返回执行所述获取初始图像经过所述透镜后产生的畸变图像的步骤，直到所述畸变图像中的所述多个第二角点均满足所述预设条件。
本公开的实施例还提供了一种用于测量显示设备的畸变参数的装置，所述显示设备包括显示屏以及位于所述显示屏出光侧的透镜，其中，所述装置包括：
图像获取模块，被配置为获取初始图像经过所述透镜后产生的畸变图像，所述初始图像为所述显示屏显示的图像，所述初始图像包括多个第一角点，所述畸变图像包括分别与所述多个第一角点匹配的多个第二角点；
参数确定模块，被配置为根据所述多个第二角点中的至少一个第二角点与跟所述至少一个第二角点匹配的第一角点的位置关系，确定所述显示设备的畸变参数。
例如，所述畸变图像是通过拍摄单元经由所述透镜拍摄所述初始图像来产生的，所述测量装置还包括：
矫正模块，被配置为根据所述拍摄单元的参数，对所述畸变图像进行校正。
例如，所述第一角点排布成第一阵列，所述第二角点排布成第二阵列，所述测量装置还包括：
角点匹配模块，被配置为确定所述多个第一角点在所述第一阵列中的位置以及所述多个第二角点在所述第二阵列中的位置，并针对每个第一角点，确定在所述第二阵列中的位置与该第一角点在所述第一阵列中的位置相同的第二角点，作为与该第一角 点匹配的第二角点。
例如，所述角点匹配模块包括：
第一参考角点单元，被配置为将所述多个第一角点中的至少一个第一角点确定为第一参考角点，所述第一参考角点的属性信息与除所述第一参考角点之外的第一角点的属性信息不同，所述属性信息包括以下至少一种：角点颜色和角点面积；
第二参考角点单元，被配置为根据所述属性信息，将所述多个第二角点中的至少一个第二角点确定为与所述第一参考角点匹配的第二参考角点；以及
位置信息确定单元，被配置为根据所述第一参考角点与其他第一角点之间的位置关系，确定所述多个第一角点在所述第一阵列中的位置，并根据所述第二参考角点与其他第二角点之间的位置关系，确定所述多个第二角点在所述第二阵列中的位置；以及
对应关系建立单元，被配置为针对每个第一角点，确定在所述第二阵列中的位置与该第一角点在所述第一阵列中的位置相同的第二角点，作为与该第一角点匹配的第二角点。
例如，所述初始图像为桶形图像，包括排布成所述第一阵列的所述多个第一角点，所述第一参考角点包括中心角点，所述中心角点为位于所述第一阵列中心的第一角点，所述中心角点的面积与除所述中心角点之外的第一角点的面积不相同。
例如，所述测量装置还包括：角点判断模块，被配置为判断所述畸变图像中的所述多个第二角点的位置是否满足预设条件，如果是，则触发所述参数确定模块工作，其中所述角点判断模块包括：
距离计算单元单元，被配置为计算所述畸变图像中每个第二角点的位置与针对所述第二角点的预设参考位置之间的距离；以及
预设条件判定单元，被配置为当所述距离小于或等于预设阈值时，判定所述第二角点满足所述预设条件，并触发所述参数确定模块工作。
例如，所述测量装置还包括：
角点调整模块，被配置为在所述畸变图像中的所述多个第二角点中的至少一个第二角点的位置不满足所述预设条件的情况下，调整与位置不满足所述预设条件的第二角点相匹配的第一角点在所述初始图像中的位置，并触发图像获取模块再次执行所述获取初始图像经过所述透镜后产生的畸变图像的步骤，直到所述畸变图像中的所述多个第二角点均满足所述预设条件。
本公开的实施例还提供了一种用于测量显示设备的畸变参数的测量设备，所述显示设备包括显示屏以及位于所述显示屏出光侧的透镜，所述测量设备包括：
拍摄单元，位于所述透镜背离所述显示屏的一侧，用于经由所述透镜来拍摄所述显示设备上显示的初始图像，以得到畸变图像；以及
控制器，与所述显示设备的显示屏以及所述拍摄单元连接，所述控制器被配置为执行上述方法。
本公开的实施例还提供了一种计算机可读介质，其上存储有指令，所述指令在由处理器执行时使所述处理器执行上述方法。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对本公开实施例的描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1示出了本公开一实施例提供的一种畸变参数测量方法的流程图；
图2示出了本公开另一实施例提供的一种畸变参数测量方法的流程图；
图3示出了本公开一实施例提供的一种匹配角点的流程图；
图4示出了本公开一实施例提供的一种初始图像的示意图；
图5A示出了本公开一实施例提供的一种确定角点位置的示意图；
图5B示出了本公开一实施例提供的一种确定角点位置的流程图；
图6示出了本公开一实施例提供的一种判断角点是否满足预设条件的流程图；
图7示出了本公开一实施例提供的一种预设参考位置的分布示意图；
图8示出了本公开一实施例提供的一种畸变参数测量装置的结构框图；
图9示出了本公开一实施例提供的一种畸变参数测量系统的结构示意图；
图10示出了本公开一实施例提供的初始图像上第一角点与原点之间的距离示意图；
图11示出了本公开一实施例提供的畸变图像上第二角点对应的视场角示意图；
图12示出了本公开一实施例提供的一种根据已知像面坐标的畸变参数拟合每个像面坐标对应的屏幕坐标的示意图；以及
图13示出了本公开一实施例提供的一种第二角点与预设参考点之间相对位置的示意图。
具体实施方式
为使本公开的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本公开作进一步详细的说明。
通常，畸变包括枕形畸变、桶形畸变等。枕形畸变又称枕形失真，是由镜头引起的画面向中间收缩的现象。桶形畸变又称桶形失真，是由镜头中透镜物理特性以及镜片组结构等引起的画面呈桶形膨胀的失真现象。目前业界对VR设备的畸变矫正研究有很多方式，比如从光路设计方面直接通过相应的软件输出理论的畸变参数，然后从应用端进行人工微调，这种方式费时费力，并且效果不好。
参照图1，本公开一实施例提供了一种畸变参数测量方法，用于测量显示设备的畸变参数，显示设备包括显示屏以及位于显示屏出光侧的透镜。该畸变参数测量方法可以包括以下步骤。
步骤101：获取初始图像经过透镜后产生的畸变图像，初始图像可以为显示屏显示的图像，初始图像包括多个第一角点，畸变图像可以包括与所述多个第一角点匹配的多个第二角点。
在一些实施例中，初始图像可以是根据透镜的理论畸变参数预先烧录的理论反畸变图像或者是本领域技术人员根据实际情况预先设计的图像。例如初始图像可以是桶形图像，桶形图像例如可以设置为桶形网格或者桶形角点阵列等形式。例如，如图4所示，桶形角点阵列可以包括桶形排布的多个点，例如但不限于多个圆点。在一些实施例中，相比于直线网格或阵列形式的图像，桶形图像经过透镜后产生的畸变图像更趋向于“横平竖直”。因此，通过将初始图像设置为桶形网格或者桶形角点阵列形式，可以提高测量过程中畸变校正的效率。
角点为图像上具备预定属性的点，例如表示拐角或突出部位的点。本领域技术人员可以根据实际情况定义角点，例如定义为图像中灰度或颜色等属性达到预定程度的点。在本文中将初始图像的角点称为第一角点，将畸变图像的角点称为第二角点。当初始图像为桶形网格形式(例如透镜厂商提供的理论畸变网格图)时，第一角点可以为网格线的相交点；当初始图像为桶形角点阵列时，第一角点可以是呈桶形排布的各个圆点。
在一些实施例中，显示屏显示初始图像，可以通过相机(如广角相机)等拍摄单元采集初始图像经过透镜后产生的畸变图像。
初始图像上的第一角点，可以通过基于灰度的角点检测或者基于轮廓曲线的角点检 测等方法检测出来。例如可以求解初始图像上第一角点的轮廓，进而根据轮廓可以拟合得到该轮廓的中心点坐标，即第一角点的位置(如像素坐标等)。相应的，畸变图像上包括分别与所述多个第一角点对应(即，匹配)的多个第二角点，第二角点同样可以通过基于灰度的角点检测或者基于轮廓曲线的角点检测等方法检测出来。第二角点的位置可以根据图像处理方法得到，例如可以求解出畸变图像上第二角点的轮廓，进而根据轮廓可以拟合得到轮廓的中心点坐标，即第二角点的位置(如像素坐标等)。第一角点和第二角点的位置还可以是根据各自的像素坐标转换到同一坐标系中的位置坐标等。其中，第一角点的像素坐标可以表示第一角点所对应的子像素在初始图像中的像素阵列中的排布位置，第二角点的像素坐标可以表示第二角点所对应的子像素在畸变图像的像素阵列中的排布位置。
显示设备可以为虚拟显示设备VR等。
步骤102：根据所述多个第二角点中的至少一个第二角点与跟所述至少一个第二角点匹配的第一角点的位置关系，确定显示设备的畸变参数。
例如，可以根据满足预设条件的第二角点以及对应的第一角点的位置，通过软件模拟或数据拟合等方式，确定显示设备的畸变参数。下文将对此进一步详细描述。
本实施例提供的畸变参数测量方法，根据第一畸变图像上满足预设条件的第二角点以及对应初始图像上的第一角点，确定显示设备的畸变参数。这种畸变参数测量方法可以不需要人工盲调，使畸变参数的测量更加简便，并且这种测量方法可以准确计算出显示设备上多个点的畸变参数，提高测量效率，进而可以提高畸变校正的准确度。
在一些实施例中，获取初始图像经过透镜后的畸变图像例如可以包括：获取初始图像经过透镜后的第二畸变图像，并对获取得到的第二畸变图像进行处理得到畸变图像。其中，处理可以包括对采集图像进行旋转，以矫正相机与显示屏之间的角度偏差；还可以包括校正处理，以消除相机本身带来的畸变等。
图2本公开另一实施例提供的一种畸变参数测量方法的流程图。
步骤201：使用拍摄单元(例如相机)经由显示设备的透镜对显示屏上显示的初始图像进行拍摄，以得到畸变图像。
例如初始图像可以设置为图4所示的桶形图像。例如，畸变图像是初始图像经过透镜以及拍摄单元之后得到的图像，相当于在初始图像上施加了透镜以及拍摄单元的镜头带来的畸变。
步骤202：根据拍摄单元的参数(例如内参)，对畸变图像进行校正，得到校正后的 畸变图像。
例如，拍摄单元可以是摄像头、广角相机等具有拍摄功能的设备。在一些实施例中，可以根据摄像头的内参，对摄像头拍摄得到的畸变图像进行校正，以消除由摄像头镜头在拍摄图像时引起的畸变。其中，拍摄单元如摄像头的内参，可以通过对摄像头进行标定得到，标定方法可以采用张正友法等。拍摄单元可以在控制器的控制下操作。在一些实施例中，拍摄单元也可以手动操作。
在一些实施例中，可以省略步骤202，而使用在步骤S201得到的畸变图像进行后续操作，从而可以提高处理速度。
在步骤203，匹配第一角点和第二角点，即，建立第一角点与第二角点之间的对应关系。
在一些实施例中，第一角点与第二角点之间的对应关系可以根据第一角点和第二角点的位置确定。例如，如图4所示，在初始图像中的第一角点排布成第一阵列，这使得畸变图像中的第二角点相应地排布成第二阵列。可以在步骤2031确定所述多个第一角点在所述第一阵列中的位置(例如由行数和列数来表示的阵列位置)以及所述多个第二角点在所述第二阵列中的位置(例如由行数和列数来表示的阵列位置)，并在步骤2032针对每个第一角点，确定在所述第二阵列中的位置与该第一角点在所述第一阵列中的位置相同的第二角点，作为与该第一角点匹配的第二角点。
在步骤204，判断所述畸变图像中的所述多个第二角点的位置是否满足预设条件，如果是，则执行步骤205，否则执行步骤206。
在步骤205，根据所述多个第二角点中的至少一个第二角点与跟所述至少一个第二角点匹配的第一角点的位置关系确定所述显示设备的畸变参数。
在一些实施例中，第一角点和第二角点的位置可以根据各自的像素坐标转换为在同一平面坐标系(平面坐标系平行于初始图像和畸变图像的平面)中的位置坐标，例如该坐标系的原点可以设置在透镜的光轴与平面相交的位置处。透镜的光轴可以垂直于上述平面。如图10所示，在初始图像(也称作屏幕图像)上光轴垂直于初始图像与初始图像相交的点作为原点O，第一角点P的坐标为(x，y)，该第一角点P与坐标原点O之间的距离为R。在一些实施例中，距离R可以为欧式距离。
如图11所示，在畸变图像中，O’表示原点，Q表示预设观察点(例如以人眼位置，在本实施例中可以为相机等拍摄单元所在的位置作为预设观察点)，P’表示与初始图像中的第一角点P匹配的第二角点。原点O和预设观察点Q’的连线(在图11中由f表 示，该连线f可以表示透镜的光轴)与第二角点P’和预设观察点Q的连线之间形成夹角FOV，以该夹角FOV作为第二角点P’的视场角。通常，观察点Q与原点O之间的距离(例如相机的焦距)可以设置为固定值。
可以基于图10所示的第一角点P与原点O的距离R和图11所示的与第一角点P匹配的第二角点P’的视场角FOV来得到畸变参数。例如在一些实施例中可以将距离R与视场角FOV的对应关系列表作为畸变参数的一种表达方式。在另一些实施例中，可以形成距离R和视场角FOV之间的对应关系曲线，该曲线的系数也可以作为畸变参数的另一种表达方式。
另外，上述的畸变参数计算是根据距离R和视场角FOV的对应关系得到的，在一些实施例中，还可以根据距离R和视场角FOV在上述坐标系各坐标轴上的分量的对应关系得到，如对应关系列表(Xp，Yp，FOVx，FOVy)其中，Xp，Yp分别为第一角点P的坐标在两坐标轴上的分量，FOVx，FOVy为视场角FOV在两坐标轴上的分量。
在步骤206，调整与位置不满足所述预设条件的第二角点相匹配的第一角点在所述初始图像中的位置，并返回步骤201。
下面将参考图3来描述上述步骤2032的一示例实现方式。
例如在执行步骤2032时，可以首先确定初始图像的参考角点与畸变图像的参考角点，然后再根据初始图像中的参考角点与其他第一角点之间的相对位置关系，以及畸变图像中的参考角点与其他第二角点之间的相对位置关系，确定各第一角点与各第二角点的对应关系。
参照图3，在一些实施例中，步骤2032可以包括以下步骤。
步骤301：将所述多个第一角点中的至少一个第一角点确定为第一参考角点，第一参考角点的属性信息与除第一参考角点之外的第一角点的属性信息不同，属性信息包括以下至少一种：角点颜色和角点面积。
参照图4，当初始图像为桶形图像时，包括阵列排布的多个第一角点，第一参考角点可以包括中心角点41，中心角点41为位于桶形图像(初始图像)中心的第一角点，中心角点41的面积可以大于或小于除中心角点41之外的第一角点的面积，图4中示出的中心角点41的面积大于其它第一角点的面积。通过设置面积不同的中心角点，可以提高第一角点与第二角点之间匹配的准确率，进而提高畸变参数测量的准确度。
为了进一步提高第一角点与第二角点之间匹配的准确率，第一参考角点还可以包括：横向角点42和纵向角点43，横向角点42为与中心角点41同行的第一角点，纵向 角点43为与中心角点41同列的第一角点。横向角点42，纵向角点43，以及除横向角点42和纵向角点43之外的第一角点之间的颜色均不相同。
例如，横向角点42的颜色可以为蓝色(第一颜色)，纵向角点43的颜色可以为红色(第二颜色)，其它第一角点的颜色可以为绿色(第三颜色)等。需要说明的是，本实施例中由于中心角点可以根据面积大小区分出来，因此中心角点的颜色可以是任意颜色。
需要说明的是，图4中示出的中心角点是通过面积大小区分于其它第一角点，在一些实施例中也可以通过角点颜色区分中心角点。同理，横向角点和纵向角点也不仅限于通过角点颜色来区分，还可以通过面积大小等其它属性信息加以确定或区分。
步骤302：根据属性信息，将所述多个第二角点中的至少一个第二角点确定为与第一参考角点匹配的第二参考角点。
当第一参考角点包括中心角点时，由于其面积大于其它各第一角点，所以据此确定第二角点中面积最大的第二角点为畸变图像的中心角点，与初始图像的中心角点相对应。通过在初始图像中将中心角点设置为面积最大并将其作为第一参考角点，可以在畸变图像中通过寻找面积最大的第二角点来获得与第一参考角点匹配的第二参考角点，从而可以将畸变图像的中心角点作为第二参考角点。
同样，当第一参考角点还包括横向角点和纵向角点时，根据角点颜色，可以在畸变图像中确定出第二角点中与初始图像中的横向角点和纵向角点分别匹配的第二角点，这些第二角点也可以作为畸变图像的第二参考角点，例如与初始图像中的横向角点匹配的第二参考节点和与初始图像中的纵向角点匹配的第二参考角点。
步骤303：根据第一参考角点与其他第一角点之间的位置关系，确定第一角点在第一阵列中的位置(例如由行数和列数表示的阵列位置，也称作位置信息)；根据第二参考角点与其他第二角点之间的位置关系，确定第二角点在第二阵列中的位置(也称作位置信息)。
下面将参考图5A和图5B来描述上述步骤2031)的一示例实现方式，即如何确定所述多个第一角点在所述第一阵列中的位置以及所述多个第二角点在所述第二阵列中的位置。
在一些实施例中，如图5A所示，以图4中的第四象限的第一角点为例，可以设定初始图像的中心角点的位置信息为(0，0)，然后可以根据各第一角点的位置(如像素坐标等)确定各第一角点与该中心角点之间的相对位置关系。例如，中心角点右侧第一个 第一角点的位置信息可以为(1，0)，中心角点下方第一个第一角点的位置信息可以为(0，1)，以此类推可以确定每个第一角点的位置信息。同样，设定畸变图像的中心角点的位置信息为(0，0)，根据第二角点与面积最大的第二角点(0，0)(畸变图像的中心角点)之间相对位置关系，可以确定出各个第二角点的位置信息，如(1，0)、(0，1)等。
在将位置信息相同的第一角点和第二角点进行对应时，例如，由于初始图像的中心角点(第一角点中面积最大)以及畸变图像的中心角点(第二角点中面积最大)的位置信息均为(0，0)，所以二者彼此匹配。根据位置信息，可以确定各第一角点与第二角点之间的对应关系。
下面介绍一种建立第一角点与第二角点之间对应关系的具体实现方式：
当第一参考角点包括中心角点、以及横向角点和纵向角点，且中心角点面积最大，横向角点为蓝色，纵向角点为红色，其它角点为绿色时，首先确定面积最大的第一角点为初始图像的中心角点，然后根据角点颜色将除中心角点之外的其它第一角点进行三通道(红色、蓝色和绿色)分离。各个第一角点的位置信息可以根据各个第一角点的位置(如像素坐标)，求解出以中心角点为第一参考点时，各个第一角点的位置分布，如图5A中的角点下方数字表示第一角点的位置信息(即第一角点所在的行和列)。
如图5B所示，同样以图4中第四象限的第一角点为例，第一角点的位置信息的求解过程可以如下。
步骤501：可以将所有的第一角点的位置信息作为数组元素包含在no_location数组(数组中的点都没有确定位置信息)中。
步骤502：设定中心角点为初始HOME点(即第一参考角点)的位置信息为(0，0)。在no_location寻找与HOME点距离最近的第一角点，例如可以寻找三次，从而找到中心角点右侧第一个横向角点(蓝色)，确定位置信息为(1，0)，存到row数组；还可以找到中心角点下方第一个纵向角点(红色)，确定位置信息为(0，1)，存到col数组；第三次可以找到中心角点右下方的绿色角点，确定位置信息为(1，1)，将(1，1)点作为新的HOME点(图5A中示出的HOME’点)。同时，将已确定了位置信息的(0，0)点、(1，0)点、(0，1)点和(1，1)点从no_location数组中删除掉。
其中，各角点之间的距离可以是根据各角点的位置(如像素坐标等)计算得到的欧氏距离。
步骤503：依次遍历row数组中各第一角点、col数组中各第一角点以及HOME点，寻找距离最近的点。其中，row数组中的第一个元素寻找两次，其它元素寻找一次，按 照找到的顺序依次更新至row数组；col数组中的第一个元素寻找两次，其它元素寻找一次，按照找到的顺序依次更新至col数组；HOME点寻找一次，将找到的点更新为HOME点。并将找到的角点从no_location数组中删除掉。
例如：row数组中的(1，0)点寻找两次，依次找到(2，0)点和(2，1)点，并将(2，0)点和(2，1)点更新到row数组，分别作为row数组中的第一个元素(图5A中示出的row’1)和第二个元素(row’2)。col数组中的(0，1)寻找两次，依次找到(0，2)点和(1，2)点，并将(0，2)点和(1，2)点更新到col数组，分别作为col数组中的第一个元素(图5A中示出的col’1)和第二个元素(col’2)。HOME点(1，1)寻找一次，找到(2，2)点，更新为HOME点。
步骤504：重复步骤503，直到no_location数组中没有角点为止，即所有的角点均已确定位置信息。参照图5A示出了不同角点确定位置信息的示意图，其中不同的箭头分别代表不同循环的步骤503。
畸变图像中的第二角点的位置信息确定过程可以与第一角点的位置信息确定过程相同，这里不再赘述。
下面将参考图6来描述上述步骤204的一示例实现方式，即，如何判断畸变图像中第二角点的位置是否满足预设条件。
其中，当第二角点满足预设条件时，畸变图像的畸变度小于或等于指定值。畸变度用于表征畸变图像的畸变程度。畸变图像的畸变度与畸变图像中的第二角点排布的横平竖直程度或直线度成反比。
判断畸变图像的畸变度小于或等于指定值的实现方式有多种，例如可以通过计算第二角点与预设参考点之间的距离小于或等于预设距离，或者通过计算任意两个第二角点之间的连线与预设基准线之间的夹角小于或等于预设夹角等方式来实现。其中，预设参考点、预设基准线以及指定值(如预设距离或预设夹角)等均可以由本领域技术人员根据显示设备的结构以及用户需求等实际情况进行设定，本公开对其具体数值不作限定。
例如，预设条件可以有多种类型，只要确保畸变图像的畸变度小于或等于指定值即可。
参照图6，提供了判断第二角点在畸变图像中的位置是否满足预设条件的一种实现方式，例如可以包括以下步骤。
步骤601：计算第二角点与针对该第二角点的预设参考位置之间的距离。
可以为畸变图像的每个第二角点设定相应的参考位置(也称作参考点)，即每个第 二角点被期望处在的位置。在参考位置下，畸变图像中位于同一行和同一列的第二角点均呈直线排列，而没有扭曲。
如图7所示，可以分别为图4所示的每个第二角点均设置相应的参考位置，例如针对第一角点中的第一参考角点(如中心角点、横向角点和纵向角点)和其他第一角点生成相应的参考位置(也称作参考点)，从而得到如图7所示的参考点阵列。该参考点阵列中同行参考点之间的连线平行于横向参考点之间的连线，且同行参考点之间的间距与对应的纵向参考点间距相同；同列参考点之间的连线平行于纵向角点之间的连线，且同列参考点之间的间距与对应的横向参考点间距相同。在一些实施例中，也可以对参考点阵列中的各参考点确定位置信息，与第二角点位置信息相同的参考点即第二角点对应的参考点。
参照图13，可以根据第二角点131的像素坐标与针对该第二角点131的参考位置130的像素坐标，计算二者之间的欧氏距离。
步骤602：当第二角点与针对该第二角点的预设参考位置之间的距离小于或等于预设阈值时，判定第二角点满足预设条件。
例如可以将该阈值设置为4个像素宽度(或像素间距)等。当步骤601计算得到的距离小于或等于4个像素宽度时，可以判定该第二角点满足预设条件。当距离大于预设阈值时，判定第二角点不满足预设条件。针对该距离的阈值可以由本领域技术人员根据实际情况确定，本公开不作限定。
步骤601和步骤602是通过评价算法判断畸变图像上的第二角点是否“横平竖直”，即是否满足预设条件。在一些实施例中，当通过调整使得畸变图像中的第二角点均满足预设条件时，即，当畸变图像经过调整后达到期望的“横平竖直”时，可以根据最终调整后在畸变图像中的第二角点以及在初始图像中的第一角点，确定显示设备的畸变参数。
返回参考图2，在步骤206中，对于不满足预设条件的第二角点，可以首先确定其相对于预设参考点的偏离方向，在调整的过程中，可以将对应的第一角点沿背离偏离方向的方向移动，每次可以移动一个像素的距离，当然也可以根据需要移动任何期望的距离。例如，当不满足预设条件的第二角点位于预设参考点的上方(即第二角点的纵坐标大于预设参考点的纵坐标)时，可以将对应的第一角点向下移动一个像素的距离；当不满足预设条件的第二角点位于预设参考点的右侧(即第二角点的横坐标大于预设参考点的横坐标)时，可以将对应的第一角点向左移动一个像素的距离。
在步骤206执行调整之后，可以返回步骤201以重复执行获取图像、对应角点以及判断角点的步骤，直到最终得到的第二角点均满足预设条件，也就是畸变图像上各第二角点均为“横平竖直”的，此时初始图像上的第一角点与畸变图像上的第二角点具有期望的畸变对应关系。从而可以如上所述，根据所有满足预设条件的第二角点(包括初始满足预设条件的第二角点和调整第一角点的位置后满足预设条件的第二角点)与对应的第一角点的位置，可以确定显示设备的畸变参数。
无论是求解出显示设备的畸变系数(K1，K2，K3，...)，还是得到第一角点坐标与第二角点的视场角之间的对应关系，最终都是要确定显示设备在实际显示图像时屏幕上某一点坐标(x，y)。在渲染时(例如通过软件开发工具包(SDK)来执行渲染时)，场景中取景相机根据取景相机的视场角FOV2寻找像面点对应的视场角FOV1，然后通过拟合或者计算的方式，根据上述方法得到的畸变系数或对应关系，确定与视场角FOV1对应的屏幕坐标(x，y)，最终确定场景中各点需要在显示在屏幕上的哪个位置。
在一些实施例中，可以根据固定数目的像面点(第二角点)的坐标(也称作像面坐标)与物面点(第一角点)的坐标(也称作物面坐标或屏幕坐标)(已计算得到畸变参数的像面点和物面点)，通过插值、拟合的方式，来确定每个像面坐标对应的屏幕坐标。参照图12示出了一种根据已知像面坐标的畸变参数拟合每个像面坐标对应的屏幕坐标的示意图。如图12所示，如需要计算像面中由三角形表示的像面点处的视场角FOV对应的物面点的坐标(也称作屏幕坐标)，可以通过由圆形表示的像面点1，2，3，4的视场角FOV对应的屏幕坐标来拟合出由三角形表示的像面点处视场角FOV对应的屏幕坐标。
本公开一实施例提供了一种畸变参数测量装置，用于测量显示设备的畸变参数，显示设备包括显示屏以及位于显示屏出光侧的透镜，参照图8，该测量装置可以包括图像获取模块801和参数确定模块806。在一些实施例中，该测量装置还可以包括矫正模块802。在一些实施例中，该测量装置还可以包括角点匹配模块803。在一些实施例中，该测量装置还可以包括角点判断模块804。在一些实施例中，该测量装置还可以包括角点调整模块805。
图像获取模块801可以被配置为获取初始图像经过透镜后的畸变图像，初始图像为显示屏显示的图像，初始图像包括多个第一角点，畸变图像包括多个第二角点。
参数确定模块806可以被配置为根据满足预设条件的第二角点以及对应的第一角点，确定显示设备的畸变参数。
本实施例的一种实现方式中，图像获取模块801可以被配置为接收拍摄单元拍摄的 初始图像经过透镜后产生的畸变图像。在一些实施例中，图像获取模块801可以控制诸如相机之类的拍摄单元经由透镜对显示屏上显示的初始图像进行拍摄以得到畸变图像，并接收来自拍摄单元的畸变图像。
矫正模块802可以被配置为根据拍摄单元的参数(例如内参)，对畸变图像进行校正，得到校正后的畸变图像。
角点匹配模块803可以被配置为建立第一角点与第二角点之间的对应关系。例如角点匹配模块803可以确定所述多个第一角点在所述第一阵列中的位置以及所述多个第二角点在所述第二阵列中的位置，并针对每个第一角点，确定在所述第二阵列中的位置与该第一角点在所述第一阵列中的位置相同的第二角点，作为与该第一角点匹配的第二角点。
本实施例的一种实现方式中，角点匹配模块803可以包括第一参考角点单元8031、第二参考角点单元8032、位置信息确定单元8033和对应关系建立单元8024。
第一参考角点单元8031可以被配置为确定第一参考角点，第一参考角点属于第一角点，第一参考角点的属性信息与除第一参考角点之外的第一角点的属性信息不同，属性信息包括以下至少一种：角点颜色和角点面积。
第二参考角点单元8032可以被配置为根据属性信息，确定与第一参考角点对应的第二角点为第二参考角点。
位置信息确定单元8033可以被配置为根据第一角点与第一参考角点之间的位置关系，确定第一角点的位置信息；根据第二角点与第二参考角点之间的位置关系，确定第二角点的位置信息。
对应关系建立单元8034可以被配置为将位置信息相同的第一角点和第二角点进行对应。
在一些实施例中，初始图像可以为桶形图像，包括多个阵列排布的第一角点，第一参考角点可以包括中心角点，中心角点为位于桶形图像中心的第一角点，中心角点的面积与除中心角点之外的第一角点的面积不相同。
第一参考角点还可以包括：横向角点和纵向角点，横向角点为与中心角点同行的第一角点，纵向角点为与中心角点同列的第一角点；横向角点、纵向角点以及除横向角点和纵向角点之外的第一角点之间的颜色均不相同。
角点判断模块804可以被配置为判断第二角点是否满足预设条件。
本实施例的一种实现方式中，角点判断模块804可以包括：距离计算单元8041，被 配置为计算第二角点与对应的预设参考点之间的距离；以及预设条件判定单元8042，被配置为当距离小于或等于预设阈值时，判定第二角点满足预设条件。
角点调整模块805可以被配置为在参数确定模块根据满足预设条件的第二角点以及对应的第一角点，确定显示设备的畸变参数之前，将不满足预设条件的第二角点对应的第一角点进行调整，使调整后的第一角点所对应的第二角点满足预设条件。
参数确定模块806可以被配置为根据满足预设条件的第二角点以及对应的第一角点，确定显示设备的畸变参数。
本实施例提供的畸变参数测量装置，可以实现上述畸变参数测量方法实施例的各个过程，为避免重复，这里不再赘述。
本实施例提供的畸变参数测量装置，通过参数确定模块根据畸变图像上满足预设条件的第二角点以及对应初始图像上的第一角点，确定显示设备的畸变参数，通过本实施例提供的测量装置测量畸变参数可以不需要人工盲调，使畸变参数的测量更加简便，并且可以准确计算出显示设备上多个点的畸变参数，提高测量效率，进而可以提高畸变校正的准确度。
本公开一实施例提供了一种畸变参数测量设备。参照图9，畸变参数测量系统可以包括显示设备901和用于测量显示设备901的畸变参数的测量设备。在图9中，该测量设备包括诸如相机之类的拍摄单元902和控制器903。
显示设备901包括显示屏9011以及位于显示屏9011出光侧的透镜9012。
拍摄单元902位于透镜9012背离显示屏9011的一侧。控制器903分别与显示设备901的显示屏9011以及拍摄单元902连接。控制器903可以被配置为执行上述任一实施例提供的畸变参数测量方法。
在一些实施例中，控制器903包括但不限于PC电脑、膝上型计算机、平板电脑、笔记本电脑、CPU、特定用途集成电路ASIC、现场可编程门阵列FPGA、微控制单元MCU等等。显示设备901包括但不限于待测VR设备。拍摄单元902包括但不限于摄像头等。例如，PC电脑连接待测VR设备以控制待测VR设备的显示内容，与摄像头连接以接收摄像头拍摄的图像。
待测VR设备显示的内容可由控制器903控制，摄像头用于拍摄待测VR设备显示的图像并发送至控制器903。在实际测量过程中，需尽量确保摄像头中心、透镜中心和显示屏中心在一条直线上。
本公开一实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存 储计算机程序(指令)，所述计算机程序(指令)被处理器执行时使处理器执行本公开实施例中所述的任一种畸变参数测量方法的步骤。
本公开实施例提供了一种畸变参数测量方法、装置、测量设备和计算机可读介质，用于测量显示设备的畸变参数，所述显示设备包括显示屏以及位于所述显示屏出光侧的透镜，其中，所述畸变参数测量方法包括：获取初始图像经过所述透镜后产生的畸变图像，所述初始图像为所述显示屏显示的图像，所述初始图像包括多个第一角点，所述畸变图像包括分别与所述多个第一角点匹配的多个第二角点；以及根据所述多个第二角点中的至少一个第二角点与跟所述至少一个第二角点匹配的第一角点的位置关系，确定所述显示设备的畸变参数。根据畸变图像上满足预设条件的第二角点以及对应初始图像上的第一角点，确定显示设备的畸变参数，这种畸变参数测量方法可以不需要人工盲调，使畸变参数的测量更加简便，并且这种测量方法可以准确计算出显示设备上多个点的畸变参数，提高测量效率，进而可以提高畸变校正的准确度。进一步地，本实施例提供的技术方案可以计算出符合预设条件的第二角点(像面点)、与之对应的第一角点(物面点)之间的关系，通过调整第一角点(物面点)，最终计算出第二角点(像面点)都“横平竖直”时，两者的对应关系以及畸变参数。测量过程中不需要人工盲调，并且可自动直接计算出准确的大范围的实际的畸变参数，可以大大提高软件的开发效率。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上对本公开所提供的一种畸变参数测量方法、装置及虚拟现实设备进行了详细介绍，本文中应用了具体个例对本公开的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本公开的方法及其构思，而不应理解为对本公开的限制。

Claims (20)

  1. 一种测量显示设备的畸变参数的方法，所述显示设备包括显示屏以及位于所述显示屏出光侧的透镜，所述方法包括：
    获取初始图像经过所述透镜后产生的畸变图像，所述初始图像为所述显示屏显示的图像，所述初始图像包括多个第一角点，所述畸变图像包括分别与所述多个第一角点匹配的多个第二角点；以及
    根据所述多个第二角点中的至少一个第二角点与跟所述至少一个第二角点匹配的第一角点的位置关系，确定所述显示设备的畸变参数。
  2. 根据权利要求1所述的方法，其中，所述畸变图像是通过使用拍摄单元经由所述透镜拍摄所述初始图像来产生的，所述测量方法还包括：
    根据所述拍摄单元的参数，对所述畸变图像进行校正。
  3. 根据权利要求1所述的方法，其中，在所述根据所述多个第二角点中的至少一个第二角点与跟所述至少一个第二角点匹配的第一角点的位置关系确定所述显示设备的畸变参数之前，还包括：
    判断所述畸变图像中的所述多个第二角点的位置是否满足预设条件，如果是，则执行所述根据所述多个第二角点中的至少一个第二角点与跟所述至少一个第二角点匹配的第一角点的位置关系确定所述显示设备的畸变参数的步骤。
  4. 根据权利要求1所述的方法，其中，所述第一角点排布成第一阵列，所述第二角点排布成第二阵列，所述测量方法还包括：
    确定所述多个第一角点在所述第一阵列中的位置以及所述多个第二角点在所述第二阵列中的位置；以及
    针对每个第一角点，确定在所述第二阵列中的位置与该第一角点在所述第一阵列中的位置相同的第二角点，作为与该第一角点匹配的第二角点。
  5. 根据权利要求4所述的方法，其中，所述确定所述多个第一角点在所述第一阵列中的位置以及所述多个第二角点在所述第二阵列中的位置包括：
    将所述多个第一角点中的至少一个第一角点确定为第一参考角点，所述第一参考角点的属性信息与除所述第一参考角点之外的第一角点的属性信息不同，所述属性信息包括以下至少一种：角点颜色和角点面积；
    根据所述属性信息，将所述多个第二角点中的至少一个第二角点确定为与所述第一参考角点匹配的第二参考角点；以及
    根据所述第一参考角点与其他第一角点之间的位置关系，确定所述多个第一角点在所述第一阵列中的位置，并根据所述第二参考角点与其他第二角点之间的位置关系，确定所述多个第二角点在所述第二阵列中的位置。
  6. 根据权利要求5所述的方法，其中，所述初始图像为桶形图像，包括排布成所述第一阵列的所述多个第一角点，所述第一参考角点包括中心角点，所述中心角点为位于所述第一阵列中心的第一角点，所述中心角点的面积与除所述中心角点之外的第一角点的面积不相同。
  7. 根据权利要求6所述的方法，其中，所述根据所述属性信息，将所述多个第二角点中的至少一个第二角点确定为与所述第一参考角点匹配的第二参考角点包括：将所述第二阵列中面积与其他第二角点的面积不相同的第二角点确定为与所述第一阵列中的中心角点匹配的第二参考角点。
  8. 根据权利要求6所述的方法，其中，所述第一参考角点还包括：横向角点和纵向角点，所述横向角点为与所述中心角点同行的第一角点，所述纵向角点为与所述中心角点同列的第一角点，所述横向角点具有第一颜色，所述纵向角点具有第二颜色，并且除所述横向角点和所述纵向角点之外的第一角点具有第三颜色，所述第一颜色、第二颜色和第三颜色互不相同。
  9. 根据权利要求8所述的方法，其中，所述根据所述属性信息，将所述多个第二角点中的至少一个第二角点确定为与所述第一参考角点匹配的第二参考角点包括：将所述第二阵列中具有第一颜色的第二角点确定为与所述第一阵列中的横向角点匹配的第二参考角点，将所述第二阵列中具有第二颜色的第二角点确定为与所述第一阵列中的纵向角点匹配的第二参考角点。
  10. 根据权利要求3所述的方法，其中，所述判断所述畸变图像中的所述多个第二角点的位置是否满足预设条件包括：
    计算所述畸变图像中每个第二角点的位置与针对所述第二角点的预设参考位置之间的距离；以及
    当所述距离小于或等于预设阈值时，判定所述第二角点满足所述预设条件。
  11. 根据权利要求3所述的方法，其中，所述测量方法还包括：如果所述畸变图像中的所述多个第二角点中的至少一个第二角点的位置不满足所述预设条件，则调整与位置不满足所述预设条件的第二角点相匹配的第一角点在所述初始图像中的位置，并返回执行所述获取初始图像经过所述透镜后产生的畸变图像的步骤，直到所述畸变 图像中的所述多个第二角点均满足所述预设条件。
  12. 一种用于测量显示设备的畸变参数的装置，所述显示设备包括显示屏以及位于所述显示屏出光侧的透镜，其中，所述装置包括：
    图像获取模块，被配置为获取初始图像经过所述透镜后产生的畸变图像，所述初始图像为所述显示屏显示的图像，所述初始图像包括多个第一角点，所述畸变图像包括分别与所述多个第一角点匹配的多个第二角点；
    参数确定模块，被配置为根据所述多个第二角点中的至少一个第二角点与跟所述至少一个第二角点匹配的第一角点的位置关系，确定所述显示设备的畸变参数。
  13. 根据权利要求12所述的装置，其中，所述畸变图像是通过拍摄单元经由所述透镜拍摄所述初始图像来产生的，所述测量装置还包括：
    矫正模块，被配置为根据所述拍摄单元的参数，对所述畸变图像进行校正。
  14. 根据权利要求12所述的装置，其中，所述第一角点排布成第一阵列，所述第二角点排布成第二阵列，所述测量装置还包括：
    角点匹配模块，被配置为确定所述多个第一角点在所述第一阵列中的位置以及所述多个第二角点在所述第二阵列中的位置，并针对每个第一角点，确定在所述第二阵列中的位置与该第一角点在所述第一阵列中的位置相同的第二角点，作为与该第一角点匹配的第二角点。
  15. 根据权利要求14所述的装置，其中，所述角点匹配模块包括：
    第一参考角点单元，被配置为将所述多个第一角点中的至少一个第一角点确定为第一参考角点，所述第一参考角点的属性信息与除所述第一参考角点之外的第一角点的属性信息不同，所述属性信息包括以下至少一种：角点颜色和角点面积；
    第二参考角点单元，被配置为根据所述属性信息，将所述多个第二角点中的至少一个第二角点确定为与所述第一参考角点匹配的第二参考角点；以及
    位置信息确定单元，被配置为根据所述第一参考角点与其他第一角点之间的位置关系，确定所述多个第一角点在所述第一阵列中的位置，并根据所述第二参考角点与其他第二角点之间的位置关系，确定所述多个第二角点在所述第二阵列中的位置；以及
    对应关系建立单元，被配置为针对每个第一角点，确定在所述第二阵列中的位置与该第一角点在所述第一阵列中的位置相同的第二角点，作为与该第一角点匹配的第二角点。
  16. 根据权利要求15所述的装置，其中，所述初始图像为桶形图像，包括排布成所述第一阵列的所述多个第一角点，所述第一参考角点包括中心角点，所述中心角点为位于所述第一阵列中心的第一角点，所述中心角点的面积与除所述中心角点之外的第一角点的面积不相同。
  17. 根据权利要求12所述的装置，其中，所述测量装置还包括：角点判断模块，被配置为判断所述畸变图像中的所述多个第二角点的位置是否满足预设条件，如果是，则触发所述参数确定模块工作，其中所述角点判断模块包括：
    距离计算单元单元，被配置为计算所述畸变图像中每个第二角点的位置与针对所述第二角点的预设参考位置之间的距离；以及
    预设条件判定单元，被配置为当所述距离小于或等于预设阈值时，判定所述第二角点满足所述预设条件，并触发所述参数确定模块工作。
  18. 根据权利要求17所述的装置，其中，所述测量装置还包括：
    角点调整模块，被配置为在所述畸变图像中的所述多个第二角点中的至少一个第二角点的位置不满足所述预设条件的情况下，调整与位置不满足所述预设条件的第二角点相匹配的第一角点在所述初始图像中的位置，并触发图像获取模块再次执行所述获取初始图像经过所述透镜后产生的畸变图像的步骤，直到所述畸变图像中的所述多个第二角点均满足所述预设条件。
  19. 一种用于测量显示设备的畸变参数的测量设备，所述显示设备包括显示屏以及位于所述显示屏出光侧的透镜，所述测量设备包括：
    拍摄单元，位于所述透镜背离所述显示屏的一侧，用于经由所述透镜来拍摄所述显示设备上显示的初始图像，以得到畸变图像；以及
    控制器，与所述显示设备的显示屏以及所述拍摄单元连接，所述控制器被配置为执行根据权利要求1至11中任一项权利要求所述的方法。
  20. 一种计算机可读介质，其上存储有指令，所述指令在由处理器执行时使所述处理器执行根据权利要求1至11中任一项权利要求所述的方法。
PCT/CN2019/108233 2018-10-10 2019-09-26 用于测量显示设备的畸变参数的方法、装置和测量设备以及计算机可读介质 WO2020073816A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/760,560 US11403745B2 (en) 2018-10-10 2019-09-26 Method, apparatus and measurement device for measuring distortion parameters of a display device, and computer-readable medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201811178302.2A CN109191374B (zh) 2018-10-10 2018-10-10 一种畸变参数测量方法、装置及系统
CN201811178302.2 2018-10-10

Publications (1)

Publication Number Publication Date
WO2020073816A1 true WO2020073816A1 (zh) 2020-04-16

Family

ID=64947730

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/108233 WO2020073816A1 (zh) 2018-10-10 2019-09-26 用于测量显示设备的畸变参数的方法、装置和测量设备以及计算机可读介质

Country Status (3)

Country Link
US (1) US11403745B2 (zh)
CN (1) CN109191374B (zh)
WO (1) WO2020073816A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109191374B (zh) 2018-10-10 2020-05-08 京东方科技集团股份有限公司 一种畸变参数测量方法、装置及系统
CN109799073B (zh) * 2019-02-13 2021-10-22 京东方科技集团股份有限公司 一种光学畸变测量装置及方法、图像处理系统、电子设备和显示设备
CN111402344A (zh) * 2020-04-23 2020-07-10 Oppo广东移动通信有限公司 标定方法、标定装置和非易失性计算机可读存储介质
CN113115017B (zh) * 2021-03-05 2022-03-18 上海炬佑智能科技有限公司 3d成像模组参数检验方法以及3d成像装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103679166A (zh) * 2013-11-22 2014-03-26 江西好帮手电子科技有限公司 一种快速获取设备中鱼眼镜头中心偏移量的方法及系统
CN105447871A (zh) * 2015-12-04 2016-03-30 北京和众视野科技有限公司 定焦成像系统的畸变校正算法
CN105869142A (zh) * 2015-12-21 2016-08-17 乐视致新电子科技（天津）有限公司 虚拟现实头盔的成像畸变测试方法及装置
CN106815823A (zh) * 2017-02-22 2017-06-09 广东工业大学 一种透镜畸变标定校正方法及其装置
US20170199099A1 (en) * 2014-06-27 2017-07-13 Qingdao Goertek Technology Co.,Ltd. Method and system for measuring lens distortion
CN108510549A (zh) * 2018-03-27 2018-09-07 京东方科技集团股份有限公司 虚拟现实设备的畸变参数测量方法及其装置、测量系统
CN109191374A (zh) * 2018-10-10 2019-01-11 京东方科技集团股份有限公司 一种畸变参数测量方法、装置及系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6208772B1 (en) * 1997-10-17 2001-03-27 Acuity Imaging, Llc Data processing system for logically adjacent data samples such as image data in a machine vision system
US8818132B2 (en) * 2010-11-29 2014-08-26 Microsoft Corporation Camera calibration with lens distortion from low-rank textures
CN104240216A (zh) * 2013-06-07 2014-12-24 光宝电子(广州)有限公司 图像校正方法、模块及其电子装置
CN104299218B (zh) * 2013-07-17 2017-02-22 南京邮电大学 基于镜头畸变规律的投影仪标定方法
US10445860B2 (en) * 2015-12-08 2019-10-15 Facebook Technologies, Llc Autofocus virtual reality headset
CN105701776B (zh) * 2016-01-07 2018-07-03 武汉精测电子集团股份有限公司 一种用于自动光学检测的镜头畸变矫正方法及系统
CN107993263B (zh) * 2017-10-27 2021-07-06 深圳市易成自动驾驶技术有限公司 环视系统自动标定方法、汽车、标定装置及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103679166A (zh) * 2013-11-22 2014-03-26 江西好帮手电子科技有限公司 一种快速获取设备中鱼眼镜头中心偏移量的方法及系统
US20170199099A1 (en) * 2014-06-27 2017-07-13 Qingdao Goertek Technology Co.,Ltd. Method and system for measuring lens distortion
CN105447871A (zh) * 2015-12-04 2016-03-30 北京和众视野科技有限公司 定焦成像系统的畸变校正算法
CN105869142A (zh) * 2015-12-21 2016-08-17 乐视致新电子科技（天津）有限公司 虚拟现实头盔的成像畸变测试方法及装置
CN106815823A (zh) * 2017-02-22 2017-06-09 广东工业大学 一种透镜畸变标定校正方法及其装置
CN108510549A (zh) * 2018-03-27 2018-09-07 京东方科技集团股份有限公司 虚拟现实设备的畸变参数测量方法及其装置、测量系统
CN109191374A (zh) * 2018-10-10 2019-01-11 京东方科技集团股份有限公司 一种畸变参数测量方法、装置及系统

Also Published As

Publication number Publication date
CN109191374B (zh) 2020-05-08
US11403745B2 (en) 2022-08-02
CN109191374A (zh) 2019-01-11
US20200342583A1 (en) 2020-10-29

Similar Documents

Publication Publication Date Title
WO2020073816A1 (zh) 用于测量显示设备的畸变参数的方法、装置和测量设备以及计算机可读介质
WO2021259151A1 (zh) 一种激光标定系统的标定方法、装置以及激光标定系统
US20170347079A1 (en) Non-planar surface projecting system, auto-calibration method thereof, and auto-calibration device thereof
CN111862224B (zh) 确定相机与激光雷达之间外参的方法和装置
CN110232885A (zh) 一种显示屏亮度测量方法、系统及终端
US10276075B1 (en) Device, system and method for automatic calibration of image devices
WO2021031781A1 (zh) 投影图像校准方法、装置及投影设备
CN110099267A (zh) 梯形校正系统、方法以及投影仪
CN109410140B (zh) 一种畸变校正方法、装置、系统及计算机可读存储介质
JP2017511038A (ja) ２つの投影手段の改良された位置合わせ方法
CN106780589A (zh) 一种获取目标深度图像的方法
TWI552598B (zh) 一種攝影機之自動校正系統及其自動校正方法
US9736468B2 (en) Calibration method of an image capture system
WO2019184410A1 (zh) 虚拟现实设备的畸变参数测量方法及装置、测量系统
CN112734860A (zh) 一种基于弧形幕先验信息的逐像素映射投影几何校正方法
CN112102387B (zh) 一种基于深度相机深度估计性能的测试方法与测试系统
WO2022257794A1 (zh) 可见光图像和红外图像的处理方法及装置
CN115830103A (zh) 一种基于单目彩色的透明物体定位方法、装置及存储介质
WO2021238070A1 (zh) 三维图像的生成方法、装置及计算机设备
US11284052B2 (en) Method for automatically restoring a calibrated state of a projection system
CN109308472B (zh) 一种基于虹膜投影匹配函数的三维视线估计方法
CN107967078B (zh) 一种拼接屏触控点的标定方法
CN109323691B (zh) 一种定位系统以及定位方法
CN106791736B (zh) 一种梯形校正方法和投影机
KR101703715B1 (ko) 카메라 광중심 측정을 위한 영상 처리 장치 및 그 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19871796

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19871796

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 19871796

Country of ref document: EP

Kind code of ref document: A1

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 28.09.2021)

122 Ep: pct application non-entry in european phase

Ref document number: 19871796

Country of ref document: EP

Kind code of ref document: A1