WO2014110906A1 - 一种全景图像合成和显示的方法及装置 - Google Patents
一种全景图像合成和显示的方法及装置 Download PDFInfo
- Publication number
- WO2014110906A1 WO2014110906A1 PCT/CN2013/083224 CN2013083224W WO2014110906A1 WO 2014110906 A1 WO2014110906 A1 WO 2014110906A1 CN 2013083224 W CN2013083224 W CN 2013083224W WO 2014110906 A1 WO2014110906 A1 WO 2014110906A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- road surface
- coordinates
- calibration
- image
- pixel
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
Definitions
- an embodiment of the present invention provides a method for synthesizing and displaying a panoramic image, including:
- a calculation module configured to calculate a corresponding road surface coordinate according to the pixel point coordinates of the actual road surface image
- a coloring module configured to assign a color value of the pixel point of the actual road surface image to a pixel point coordinate of the actual road surface image Corresponding road coordinates
- the center of the car can be used as the origin, and the forward direction of the car is the positive direction of the vertical axis, and the horizontal direction is the positive direction of the horizontal axis, and the actual roads collected by the cameras in the four directions simultaneously
- the pixel coordinates of the surface image can be calculated by calculating the corresponding road surface coordinates on the coordinate axis, and the original four actual road surface images can be converted into a virtual road surface image and displayed.
- FIG. 2 is a schematic flowchart diagram of a second embodiment of a method for synthesizing and displaying panoramic images according to an embodiment of the present invention. As shown in FIG. 2, the method of the embodiment of the present invention includes the following steps:
- the camera when receiving the calibration request of the user, the camera is controlled to collect a calibration reference image, and the camera is at least four cameras, which are respectively installed on the front, rear, left, and right sides of the automobile, and mark the calibration reference image.
- a calibration area and a background area of the calibration reference image acquiring pixel coordinates of a vertex angle of the calibration area of the calibration reference image, and calculating corresponding road coordinates according to pixel coordinates of a vertex angle of the calibration area, if The road coordinates are within the set threshold range, and a calibration success signal is issued.
- separating the coordinates of the pixel points on the boundary of the calibration area can be accomplished by the following methods:
- the image display device pre-stores four standard coordinate values, wherein the standard coordinate values are four apex coordinate values of the calibration area of the corresponding reference device, and the standard coordinate of one of the apex angles is assumed to be M ( 3 ⁇ 4, y M ) , the projection relationship of the corresponding ' (u M , V m ), M and M' scanned and calculated by the image display device to the calibration reference image is Equation 1:
- Equation 4 The image system is Equation 4:
- the calibration success signal is sent, and the calibration completion signal includes a sound signal and light. a signal, the sound signal controls the buzzer to emit a "calibration completed” sound, and the optical signal controls the calibration success indicator to blink.
- the image display device controls the camera to collect an actual road surface image of the environment in which the target object is located.
- the pixel point coordinates are substituted into the formula 4 in step S201 according to the obtained pixel point coordinates of the actual road surface image.
- the road surface coordinates corresponding to the actual road surface image can be obtained.
- the color value of the pixel point of the actual road surface image is given to the road surface coordinate corresponding to the pixel point coordinate of the actual road surface image;
- the camera may be subjected to one-time calibration and calibration before the actual road image is acquired, thereby improving the accuracy of the acquired image, and processing the acquired actual road image into a virtual road image, and
- the road image is displayed, and the road surface coordinates without color are colored by taking the neighboring points, and the obtained actual road images in four directions are seamlessly combined into one virtual
- the road image can give the driver a more intuitive road condition, so that the driver can clearly see the surrounding environment of the car.
- the corresponding treatment can be made in time, which improves the user experience and improves the safety of the device. Sexuality makes the device more humane.
- FIG. 3 is a schematic structural diagram of a main component module of a device for synthesizing and displaying a panoramic image according to an embodiment of the present invention. As shown in FIG. 3, the device 1 includes:
- the obtaining module 10 is configured to obtain pixel point coordinates of the actual road surface image and color values of pixel points of the actual road surface image according to an actual road surface image of the collected target object environment;
- the calculating module 20 is configured to calculate a corresponding road surface coordinate according to the pixel point coordinates of the actual road surface image; [0071] In a specific implementation, the calculating module 20 calculates a correspondence according to the obtained pixel point coordinates of the actual road surface image. Road coordinates.
- a coloring module 30 configured to assign a color value of a pixel point of the actual road surface image to a road surface coordinate corresponding to a pixel point coordinate of the actual road surface image;
- the coloring module 30 assigns the color value to the road surface coordinate corresponding to the pixel point coordinate of the actual road surface image according to the color value of the pixel point of the obtained actual road surface image.
- the average value can be assigned to the roadside coordinates by calculating an average of the color values of adjacent road coordinates.
- a display module 40 configured to display a virtual road surface image synthesized by the road surface coordinates
- the display module 40 displays a virtual road surface image synthesized by all road surface coordinates.
- the center of the car can be taken as the origin
- the forward direction of the car is the positive direction of the vertical axis
- the horizontal direction is the positive direction of the horizontal axis
- the pixel coordinates of the actual road surface image collected by the four cameras are described.
- the corresponding road surface coordinates can be found on the coordinate axis by calculation, and the image display device 1 can convert the original four actual road surface images into a virtual road surface image and display it.
- the driver by processing the acquired plurality of actual road surface images into a virtual road image, and displaying the virtual road image, the driver can provide a more intuitive road condition.
- the driver can clearly see the surrounding environment of the car.
- the driver can make corresponding treatments in time, improve the user experience, improve the safety and intelligence of the device, and make the device more humanized.
- the device 1 of the embodiment of the present invention includes an obtaining module 10, a calculating module 20, a coloring module 30, and a display module 40, and further includes a calibration module 50 and an acquisition module 60.
- the coloring module 30, and the display module 40 reference may be made to the related description of the embodiment shown in FIG. 3, and details are not described herein.
- the calibration module 50 is configured to perform calibration calibration on the camera
- the camera when the calibration module 50 receives the calibration request of the user, the camera is controlled to collect the calibration reference image, and the camera is at least four cameras, which are respectively installed on the front, back, left, and right sides of the automobile.
- the calibration module 50 marks a calibration area of the calibration reference image and a background area of the calibration reference image, and acquires pixel coordinates of a vertex angle of the calibration area of the calibration reference image, according to a vertex angle of the calibration area
- the pixel coordinates are used to calculate the corresponding road coordinates, and if the road coordinates are within the set threshold range, a calibration success signal is issued.
- FIG. 5 is a schematic structural diagram of a calibration module according to an embodiment of the present invention.
- the calibration module 50 includes:
- the collecting unit 51 is configured to: when receiving the calibration request of the user, control the camera to collect the calibration reference image;
- the calibration can first correct the car wheel, and the four reference devices are respectively placed on the front, rear, left and right sides of the car, and ensure that one side of each reference device is pressed against the side by side. Under the wheel, it can be photographed by the camera on the same side.
- the reference device can be made of flat material such as cloth, paper, wood board, steel, etc., and the reference device can be rectangular in shape.
- the acquisition unit 51 controls the camera to automatically scan the reference devices located in the four directions of the car, and converts the scanned reference device image into a calibration reference image.
- a marking unit 52 configured to mark a calibration area of the calibration reference image and a background area of the calibration reference image
- the calibration reference image includes a calibration area and a background area
- the marking unit 52 may perform a binarization process on the calibration reference image to calibrate the calibration area to a first color. Color, calibrating the background area to a second color.
- the reference device includes a calibration area and a background area
- the calibration area is an area sprayed on the reference device in advance
- the remaining area is a background area
- the color of the sprayed background area and the color of the sprayed calibration area are greatly different.
- the device for facilitating image display distinguishes between the calibration area and the background area
- the calibration area of the reference device corresponds to the calibration area of the calibration reference image
- the background area of the reference device corresponds to the background area of the calibration reference image.
- the obtaining unit 53 is configured to acquire the pixel point coordinates of the apex angle of the calibration area of the calibration reference image.
- the following processing is performed: the obtaining unit 53 performs calibration on the calibration
- the reference image is scanned, and the coordinates of the pixel points on the boundary of the calibration area are separated, and the distance of the pixel coordinates on the boundary of the calibration area to the four vertex coordinates of the background area is calculated by using a straight line distance calculation formula, respectively Finding the coordinates of the pixel points on the boundary of the four calibration areas with the shortest four coordinate angles of the background area, and calibrating the coordinates of the four pixel points as the pixel coordinates of the apex angle of the calibration area.
- the obtaining unit 53 separates the pixel point coordinates on the boundary of the calibration area by using the following method:
- the pixel directly above the pixel is the first color, and the pixel directly below the pixel is the second color, marking the pixel as a pixel on the boundary of the calibration area; If the pixel directly below the pixel is the first color, and the pixel directly above the pixel is the second color, marking the pixel as a pixel on the boundary of the calibration area; If the left pixel of the pixel is the first color, and the right pixel of the pixel is the second color, marking the pixel as a pixel on the boundary of the calibration area;
- the pixel is marked as a pixel on the boundary of the calibration area.
- the calculating unit 54 is configured to calculate corresponding road coordinates according to pixel coordinates of a vertex angle of the calibration area;
- the calculating unit 54 calculates a projection relationship matrix according to pixel coordinates of the apex angle of the calibration area and a preset standard coordinate value, and calculates an inverse of the projection relationship matrix by using the projection relationship matrix. a matrix; the calculation unit 54 calculates the road coordinates corresponding to the pixel point coordinates of the apex angle of the calibration area according to the pixel point coordinates of the apex angle of the calibration area and the inverse matrix.
- FIG. 6 is a schematic structural diagram of a computing unit according to an embodiment of the present invention. As shown in FIG. 6, the calculating unit 54 includes:
- a matrix calculation sub-unit 541 configured to calculate a projection relationship matrix according to pixel coordinates of a vertex angle of the calibration area and a preset standard coordinate value, and calculate an inverse matrix of the projection relationship matrix;
- the device 1 for image display pre-stores four standard coordinate values, where the standard coordinate values are four apex coordinate values of a calibration area of a corresponding reference device, assuming one of the apex angles
- the standard coordinate is M (3 ⁇ 4, y M )
- the pixel coordinates of the corresponding apex angle scanned and calculated by the acquiring unit 53 are M ' (u M , V m ), M and M '
- Equation 1 Equation 1
- the matrix calculation sub-unit 541 substitutes the coordinate values of M and M' into the above formula 1, and can separately obtain the values of bi, Ci , ei , fi, gi , hi, thereby obtaining the road coordinates to the coordinates of the pixel points.
- Formula 2 of Projection Off Image :
- a coordinate calculation sub-unit 542 configured to calculate the road coordinates corresponding to the pixel point coordinates of the apex angle of the calibration area according to the pixel point coordinates of the apex angle of the calibration area and the inverse matrix;
- the coordinate calculation sub-unit 542 obtains the relationship between the road coordinates of the matrix calculation sub-unit 541 as Equation 4:
- the coordinate calculation sub-unit 542 substitutes the pixel coordinates of the four apex angles of the calibration area into Equation 4 to obtain the corresponding four road coordinates.
- the determining unit 55 is configured to issue a calibration success if the road coordinate is within a set threshold range Signal
- the determining unit 55 determines whether the obtained deviation between the four road coordinates and the four standard coordinates stored in advance by the corresponding on-board calibration device is within a set threshold range, and if the determination is yes, The calibration success signal is sent, and the calibration success signal may include a sound signal and an optical signal, and the sound signal is used to control the buzzer to emit a "calibration completed" sound, and the light signal is used to control the calibration success indicator light to blink; if the determination is negative, the calibration failure is issued. a signal, the calibration failure signal includes an optical signal and a sound signal, and the optical signal controls the calibration failure indicator to blink,
- the sound signal controls the buzzer to sound a "calibration failed".
- the acquisition module 60 is configured to control an actual road surface image of the environment in which the target object is collected by the camera. In the specific implementation, after the calibration is completed, the acquisition module 60 controls the camera to collect an actual road surface image of the environment where the target object is located.
- the calculation module 20 calculates the actual road surface image according to the pixel point coordinates of the actual road surface image acquired by the acquisition module 10 and the inverse matrix calculated by the matrix calculation subunit 541.
- the pixel point coordinates are substituted into the above formula 4, and the road surface coordinates corresponding to the pixel point coordinates of the actual road surface image are calculated.
- the camera may be subjected to one-time calibration and calibration before the actual road image is acquired, thereby improving the accuracy of the acquired image, and processing the acquired actual road image into a virtual road image, and
- the road image is displayed, and the road coordinates without color are colored by taking the neighboring points, and the obtained actual road image in four directions is seamlessly combined into a virtual road image, which can give the driver a more intuitive road condition, so that the driver can Clearly see the surrounding environment of the car.
- it can make corresponding treatment in time, improve the user experience, improve the safety and intelligence of the device, and make the device more humanized.
- the storage medium may be a magnetic disk, an optical disk, a read-only memory (ROM), or a random access memory (RAM).
Abstract
本发明实施例公开一种全景图像合成和显示的方法及装置，其中方法包括如下歩骤：根据采集到的目标物体所在环境的实际路面图像，获取所述实际路面图像的像素点坐标和所述实际路面图像的像素点的颜色值；根据所述实际路面图像的像素点坐标计算对应的路面坐标；将所述实际路面图像的像素点的颜色值赋予与所述实际路面图像的像素点坐标对应的路面坐标；显示由所述路面坐标合成的虚拟路面图像。通过将获取的多幅实际路面图像进行处理合成为一幅虚拟道路图像，并对虚拟道路图像进行显示，可以给司机更加直观的路面全景状况。
Description
一种全景图像合成和显示的方法及装置 相关申请的交叉引用
本专利申请要求于 2013年 1月 18日提交的、 申请号为 201310019868. 1、 发明名称为 "一种全景图像合成和显示的方法及装置" 的中国专利申请的优先 权， 该申请的全文以引用的方式并入本申请中。
技术领域
本发明涉及汽车智能安全驾驶领域， 尤其涉及一种全景图像合成和显示的 方法及装置。 背景技术
随着社会的发展， 汽车日益成为人们在工作和生活中不可或缺的交通工 具， 随着私家车的普及， 汽车也成为了人们的重要消费品之一， 因此， 汽车的 安全性就成为了一个不容忽视的问题。 当前， 汽车过分依赖司机来实现安全驾 驶， 虽然汽车的机动性比较高， 但是一旦司机出现任何差错， 都有可能导致人 员伤亡， 所以为汽车加入智能安全系统将成为汽车业发展的一个趋势。
由于汽车司机无法同时看到汽车周边的情况， 所以， 现如今在汽车中加入 了感应装置， 以感应到汽车周围是否有物体靠近， 并且根据汽车离物体的远近 发出不同的警告声， 但司机并不能清楚看到是什么物体或者并不能看到汽车离 物体的距离， 影响了用户的体验， 降低了装置的安全智能性。 发明内容
本发明提供一种全景图像合成和显示的方法及装置， 可以通过从不同角度 获取汽车周边的实际图像并合成为一幅虚拟路面图像， 从而提升了用户体验， 并提高了装置的安全智能性。
为了解决上述技术问题， 本发明实施例提供了一种全景图像合成和显示的 方法， 包括：
根据采集到的目标物体所在环境的实际路面图像， 获取所述实际路面图像 的像素点坐标和所述实际路面图像的像素点的颜色值；
根据所述实际路面图像的像素点坐标计算对应的路面坐标；
将所述实际路面图像的像素点的颜色值赋予与所述实际路面图像的像素点 坐标对应的路面坐标；
显示由所述路面坐标合成的虚拟路面图像。
相应地， 本发明实施例还提供了一种全景图像合成和显示的装置， 包括： 获取模块， 用于根据采集到的目标物体所在环境的实际路面图像， 获取所 述实际路面图像的像素点坐标和所述实际路面图像的像素点的颜色值；
计算模块， 用于根据所述实际路面图像的像素点坐标计算对应的路面坐标； 上色模块， 用于将所述实际路面图像的像素点的颜色值赋予与所述实际路 面图像的像素点坐标对应的路面坐标；
显示模块， 用于显示由所述路面坐标合成的虚拟路面图像。
实施本发明实施例， 具有如下有益效果：
通过将获取的多幅实际路面图像进行处理合成为一幅虚拟道路图像， 并对 虚拟道路图像进行显示， 可以给司机更加直观的路面全景状况， 使得司机可以 清楚的看到汽车的周边环境， 当有紧急情况时， 可以及时的做出相应的处理， 提升了用户体验， 提高了装置的安全智能性， 使得装置更加具备人性化的特点。 附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案， 下面将对实施 例或现有技术描述中所需要使用的附图作简单地介绍， 显而易见地， 下面描述 中的附图仅仅是本发明的一些实施例， 对于本领域普通技术人员来讲， 在不付 出创造性劳动的前提下， 还可以根据这些附图获得其他的附图。
图 1 是本发明的一种全景图像合成和显示的方法的第一实施例流程示意 图；
图 2 是本发明的一种全景图像合成和显示的方法的第二实施例流程示意 图；
图 3 是本发明实施例的一种全景图像合成和显示的装置的主要组成模块的 结构示意图；
图 4 是本发明实施例的一种全景图像合成和显示的装置的结构示意图； 图 5 是本发明实施例的标定模块的结构示意图；
图 6 是本发明实施例的计算单元的结构示意图。 具体实施方式
下面将结合本发明实施例中的附图， 对本发明实施例中的技术方案进行清 楚、 完整地描述， 显然， 所描述的实施例仅仅是本发明一部分实施例， 而不是 全部的实施例。 基于本发明中的实施例， 本领域普通技术人员在没有作出创造 性劳动前提下所获得的所有其他实施例， 都属于本发明保护的范围。
请参见图 1，为本发明实施例提供一种全景图像合成和显示的方法的第一实 施例流程示意图。 如图 1 所示， 本发明实施例的所述方法包括以下歩骤：
5101 , 根据采集到的目标物体所在环境的实际路面图像， 获取所述实际路 面图像的像素点坐标和所述实际路面图像的像素点的颜色值；
具体的， 可以根据摄像头采集所述目标物体所在环境的实际路面图像， 所 述目标物体可以为汽车， 优选的， 将至少四个摄像头分别安装在汽车的前、 后、 左、 右四侧， 根据所述摄像头同时采集到的以汽车为中心的四周的实际路面图 像， 获取所述实际路面图像的像素点坐标和所述实际路面图像的像素点的颜色 值。
5102 , 根据所述实际路面图像的像素点坐标计算对应的路面坐标； 具体的， 根据获取到的所述实际路面图像的像素点坐标， 计算对应的路面 坐标。
5103 , 将所述实际路面图像的像素点的颜色值赋予与所述实际路面图像的 像素点坐标对应的路面坐标；
具体的， 根据获取到的实际路面图像的像素点的颜色值， 将所述颜色值赋 予与所述实际路面图像的像素点坐标对应的路面坐标， 需要说明的是， 对于没 有被赋予颜色值的路面坐标， 可以通过计算相邻的路面坐标的颜色值的平均值， 将所述平均值赋予该路边坐标。
5104, 显示由所述路面坐标合成的虚拟路面图像；
具体的， 显示由所有路面坐标合成的虚拟路面图像。
需要说明的是， 可以以汽车的中心为原点， 以汽车的前进方向为纵轴的正 方向， 水平向右为横轴的正方向， 所述四个方向的摄像头同时采集到的实际路
面图像的像素点坐标都可以通过计算在该坐标轴上找到相应的路面坐标， 可以 将原来的四幅实际路面图像转化成的一幅虚拟路面图像， 并进行显示。
在本发明实施例中， 通过将获取的实际路面图像进行处理合成为虚拟道路 图像， 并对虚拟道路图像进行显示， 可以给司机更加直观的路面全景状况， 使 得司机可以清楚的看到汽车的周边环境， 当有紧急情况时， 可以及时的做出相 应的处理， 提升了用户体验， 提高了装置的安全智能性， 使得装置更加具备人 性化的特点。
请参见图 2，为本发明实施例提供一种全景图像合成和显示的方法的第二实 施例流程示意图。 如图 2 所示， 本发明实施例的所述方法包括如下歩骤：
S201 , 对摄像头进行标定校准；
具体的， 接收到用户的标定请求时， 控制所述摄像头采集标定参考图像， 所述摄像头至少为四个摄像头， 分别安装在汽车的前、 后、 左、 右四侧， 标记 所述标定参考图像的标定区域和所述标定参考图像的背景区域， 获取所述标定 参考图像的标定区域的顶角的像素点坐标， 根据所述标定区域的顶角的像素点 坐标计算对应的道路坐标， 如果所述道路坐标在设定的阈值范围内， 发出标定 成功信号。
进行标定时可先把汽车车轮打正， 将四个参考设备分别置于汽车的前、 后、 左、 右四侧， 并且保证每个参考设备的一边都压在并排的两个轮子下， 可以被 所在同一侧的摄像头拍摄到， 所述参考设备可以采用布料、 纸张、 木板、 钢铁 等平面材料， 所述参考设备的形状可为矩形。 当用户打开标定开关时， 控制摄 像头自动扫描位于汽车四个方位的参考设备， 并将扫描到的参考设备图像转换 为标定参考图像。
所述标定参考图像包括标定区域和背景区域， 可以通过对所述标定参考图 像进行二值化处理， 标定所述标定区域为第一颜色， 标定所述背景区域为第二 颜色。
本发明实施例中， 参考设备包括标定区域和背景区域， 标定区域为预先在 参考设备上喷涂好的区域， 其余的区域为背景区域， 喷涂背景区域的颜色与喷 涂标定区域的颜色相差较大， 便于图像显示的装置区分标定区域和背景区域， 所述参考设备的标定区域对应所述标定参考图像的标定区域， 所述参考设备的
背景区域对应所述标定参考图像的背景区域。
针对任一个摄像头获取的标定参考图像， 进行下述处理：
通过对标定参考图像进行扫描， 分离出标定区域边界上的像素点坐标， 优 选的利用直线距离计算公式计算出所述标定区域边界上的像素点坐标到所述背 景区域的四个顶角坐标的距离， 分别找出到所述背景区域的四个顶角坐标距离 最短的四个标定区域边界上的像素点坐标， 标定这四个像素点坐标为所述标定 区域的顶角的像素点坐标。
本发明实施例中， 分离出标定区域边界上的像素点坐标可以通过以下方法 完成：
如果所述像素点的正上方像素点为所述第一颜色， 所述像素点的正下方像 素点为所述第二颜色， 则标记所述像素点为所述标定区域边界上的像素点； 如果所述像素点的正下方像素点为所述第一颜色， 所述像素点的正上方像 素点为所述第二颜色， 则标记所述像素点为所述标定区域边界上的像素点； 如果所述像素点的左方像素点为所述第一颜色， 所述像素点的右方像素点 为所述第二颜色， 则标记所述像素点为所述标定区域边界上的像素点；
如果所述像素点的右方像素点为所述第一颜色， 所述像素点的左方像素点 为所述第二颜色， 则标记所述像素点为所述标定区域边界上的像素点。
优选的， 所述图像显示的装置预先存储了四个标准坐标值， 所述标准坐标 值为对应的参考设备的标定区域的四个顶角坐标值， 假设其中一个顶角的标准 坐标为 M ( ¾， yM) ， 通过图像显示的装置对标定参考图像扫描并计算得出的对 应的 ' (uM， Vm)， M 和 M' 的投影关系为公式 1 ：
将 M和 M' 的坐标值代入上述公式 1， 可以分别求出 、 bi、 Ci、 、 ei、 f gi、 的值， 从而得出道路坐标到像素点坐标的投影关系矩阵 ROIi ( Road To Image ) 的公式 2 ：
对上述公式 2 进行求逆得到像素点坐标到道路坐标的投影关系矩阵 凰（Image To Road)的公式 3 : 凰= ( ）—
出像 系为公式 4 ：
将所述标定区域的四个顶角的像素点坐标分别代入公式 4， 求出对应的四个 道路坐标。
如果求出的所述四个道路坐标与对应的所述图像显示的装置预先存储的四 个标准坐标的偏差在设定的阈值范围内， 发出标定成功信号， 所述标定完成信 号包括声音信号和光信号， 所述声音信号控制蜂鸣器发出 "标定完成" 的声音， 所述光信号控制标定成功指示灯闪烁。
5202 , 控制所述摄像头采集目标物体所在环境的实际路面图像；
具体的， 标定完成后， 所述图像显示的装置控制所述摄像头采集目标物体 所在环境的实际路面图像。
5203 , 根据采集到的目标物体所在环境的实际路面图像， 获取所述实际路 面图像的像素点坐标和所述实际路面图像的像素点的颜色值；
5204, 根据所述实际路面图像的像素点坐标计算对应的路面坐标； 具体的， 根据获取到的所述实际路面图像的像素点坐标， 将所述像素点坐 标代入歩骤 S201 中的公式 4， 可以得到与所述实际路面图像对应的所述路面坐 标。
5205 , 将所述实际路面图像的像素点的颜色值赋予与所述实际路面图像的 像素点坐标对应的路面坐标；
5206 , 显示由所述路面坐标合成的虚拟路面图像。
其中， 歩骤 S203、 S205 和 S206 可以分别参见图 1 所示实施例的歩骤 S 101、 S103 和 S104, 在此不进行赘述。
在本发明实施例中， 在采集实际路面图像前可以先对摄像头进行一次性的 标定校准， 提高了采集图像的精准度， 通过将获取的实际路面图像进行处理合 成为虚拟道路图像， 并对虚拟道路图像进行显示， 对于没有颜色的路面坐标通 过取其邻居点进行上色， 将获得的四个方向的实际路面图像无缝合成一幅虚拟
路面图像， 可以给司机更加直观的路面状况， 使得司机可以清楚的看到汽车的 周边环境， 当有紧急情况时， 可以及时的做出相应的处理， 提升了用户体验， 提高了装置的安全智能性， 使得装置更加具备人性化的特点。
请参见图 3，为本发明实施例提供一种全景图像合成和显示的装置的主要组 成模块的结构示意图。 如图 3 所示， 所述装置 1 包括：
获取模块 10， 用于根据采集到的目标物体所在环境的实际路面图像， 获取 所述实际路面图像的像素点坐标和所述实际路面图像的像素点的颜色值；
具体实现中，所述获取模块 10 可以根据摄像头采集所述目标物体所在环境 的实际路面图像，所述目标物体可以为汽车，优选的，将至少四个摄像头分别 安 装在汽车的前、 后、 左、 右四侧， 所述获取模块 10 根据所述摄像头采集到的以 汽车为中心的四周的实际路面图像， 获取所述实际路面图像的像素点坐标和所 述实际路面图像的像素点的颜色值。
计算模块 20， 用于根据所述实际路面图像的像素点坐标计算对应的路面坐 标； [0071] 具体实现中， 所述计算模块 20 根据获取到的所述实际路面图像的 像素点坐标， 计算对应的路面坐标。
上色模块 30， 用于将所述实际路面图像的像素点的颜色值赋予与所述实际 路面图像的像素点坐标对应的路面坐标；
具体实现中，所述上色模块 30 根据获取到的实际路面图像的像素点的颜色 值， 将所述颜色值赋予与所述实际路面图像的像素点坐标对应的路面坐标， 需 要说明的是， 对于没有被赋予颜色值的路面坐标， 可以通过计算相邻的路面坐 标的颜色值的平均值， 将所述平均值赋予该路边坐标。
显示模块 40， 用于显示由所述路面坐标合成的虚拟路面图像；
具体实现中， 所述显示模块 40 显示由所有路面坐标合成的虚拟路面图像。 需要说明的是， 可以以汽车的中心为原点， 以汽车的前进方向为纵轴的正 方向， 水平向右为横轴的正方向， 所述四个摄像头采集到的实际路面图像的像 素点坐标都可以通过计算在该坐标轴上找到相应的路面坐标，图像显示的装置 1 可以将原来的四幅实际路面图像转化成的一幅虚拟路面图像， 并进行显示。
在本发明实施例中， 通过将获取的多幅实际路面图像进行处理合成为一幅 虚拟道路图像， 并对虚拟道路图像进行显示， 可以给司机更加直观的路面状况，
使得司机可以清楚的看到汽车的周边环境， 当有紧急情况时， 可以及时的做出 相应的处理， 提升了用户体验， 提高了装置的安全智能性， 使得装置更加具备 人性化的特点。
请参见图 4，为本发明实施例提供一种全景图像合成和显示的装置的结构示 意图。 如图 4 所示， 本发明实施例的所述装置 1 包括获取模块 10、 计算模块 20、 上色模块 30 和显示模块 40， 还包括标定模块 50 和采集模块 60 ； 其中， 获取模块 10、计算模块 20、上色模块 30和显示模块 40 的结构可以参见图 3 所 示实施例的相关描述， 在此不进行赘述。
标定模块 50， 用于对摄像头进行标定校准；
具体实现中， 所述标定模块 50 接收到用户的标定请求时， 控制所述摄像头 采集标定参考图像， 所述摄像头至少为四个摄像头， 分别安装在汽车的前、 后、 左、右四侧， 所述标定模块 50 标记所述标定参考图像的标定区域和所述标定参 考图像的背景区域， 获取所述标定参考图像的标定区域的顶角的像素点坐标， 根据所述标定区域的顶角的像素点坐标计算对应的道路坐标， 如果所述道路坐 标在设定的阈值范围内， 发出标定成功信号。
具体的， 请一并参见图 5， 为本发明实施例提供标定模块的结构示意图。 如 图 5 所示， 所述标定模块 50 包括：
采集单元 51， 用于接收到用户的标定请求时， 控制所述摄像头采集标定参 考图像；
具体实现中， 进行标定时可先把汽车车轮打正， 将四个参考设备分别置于 汽车的前、 后、 左、 右四侧， 并且保证每个参考设备的一边都压在并排的两个 轮子下， 可以被所在同一侧的摄像头拍摄到， 所述参考设备可以采用布料、 纸 张、 木板、 钢铁等平面材料， 所述参考设备的形状可为矩形。 当用户打开标定 开关时， 所述采集单元 51 控制摄像头自动扫描位于汽车四个方位的参考设备， 并将扫描到的参考设备图像转换为标定参考图像。
标记单元 52， 用于标记所述标定参考图像的标定区域和所述标定参考图像 的背景区域；
具体实现中， 所述标定参考图像包括标定区域和背景区域， 所述标记单元 52 可以通过对所述标定参考图像进行二值化处理， 标定所述标定区域为第一颜
色， 标定所述背景区域为第二颜色。
本发明实施例中， 参考设备包括标定区域和背景区域， 标定区域为预先在 参考设备上喷涂好的区域， 其余的区域为背景区域， 喷涂背景区域的颜色与喷 涂标定区域的颜色相差较大， 便于图像显示的装置区分标定区域和背景区域， 所述参考设备的标定区域对应所述标定参考图像的标定区域， 所述参考设备的 背景区域对应所述标定参考图像的背景区域。
获取单元 53，用于获取所述标定参考图像的标定区域的顶角的像素点坐标; 具体实现中， 针对任一个摄像头获取的标定参考图像， 进行下述处理： 所述获取单元 53 通过对标定参考图像进行扫描，分离出标定区域边界上的 像素点坐标， 优选的利用直线距离计算公式计算出所述标定区域边界上的像素 点坐标到所述背景区域的四个顶角坐标的距离， 分别找出到所述背景区域的四 个顶角坐标距离最短的四个标定区域边界上的像素点坐标， 标定这四个像素点 坐标为所述标定区域的顶角的像素点坐标。
本发明实施例中，所述获取单元 53 分离出标定区域边界上的像素点坐标可 以通过以下方法完成：
如果所述像素点的正上方像素点为所述第一颜色， 所述像素点的正下方像 素点为所述第二颜色， 则标记所述像素点为所述标定区域边界上的像素点； 如果所述像素点的正下方像素点为所述第一颜色， 所述像素点的正上方像 素点为所述第二颜色， 则标记所述像素点为所述标定区域边界上的像素点； 如果所述像素点的左方像素点为所述第一颜色， 所述像素点的右方像素点 为所述第二颜色， 则标记所述像素点为所述标定区域边界上的像素点；
如果所述像素点的右方像素点为所述第一颜色， 所述像素点的左方像素点 为所述第二颜色， 则标记所述像素点为所述标定区域边界上的像素点。
计算单元 54， 用于根据所述标定区域的顶角的像素点坐标计算对应的道路 坐标；
具体实现中，所述计算单元 54 根据所述标定区域的顶角的像素点坐标和预 先设定的标准坐标值计算出投影关系矩阵， 再通过所述投影关系矩阵计算所述 投影关系矩阵的逆矩阵；所述计算单元 54 根据所述标定区域的顶角的像素点坐 标和所述逆矩阵计算所述标定区域的顶角的像素点坐标对应的所述道路坐标。
具体的， 请一并参见图 6， 为本发明实施例提供计算单元的结构示意图。 如 图 6 所示， 所述计算单元 54 包括：
矩阵计算子单元 541，用于根据所述标定区域的顶角的像素点坐标和预先设 定的标准坐标值计算出投影关系矩阵， 计算所述投影关系矩阵的逆矩阵；
具体实现中， 优选的， 所述图像显示的装置 1 预先存储了四个标准坐标值， 所述标准坐标值为对应的参考设备的标定区域的四个顶角坐标值， 假设其中一 个顶角的标准坐标为 M ( ¾， yM)， 通过所述获取单元 53 对标定参考图像扫描并 计算得出的对应的顶角的像素点坐标为 M ' (uM， Vm)， M和 M ' 的投影关系为公 式 1
所述矩阵计算子单元 541 将 M 和 M ' 的坐标值代入上述公式 1， 可以分别 求出 、 bi、 Ci、 、 ei、 fi、 gi、 hi 的值， 从而得出道路坐标到像素点坐标的投 影关 Image ) 的公式 2 ：
所述矩阵计算子单元 541 对上述公式 2 进行求逆得到像素点坐标到道路坐 标的投影关系矩阵 IORi ( Image To Road ) 的公式 3 : = ( 0 )
坐标计算子单元 542，用于根据所述标定区域的顶角的像素点坐标和所述逆 矩阵计算所述标定区域的顶角的像素点坐标对应的所述道路坐标；
具体实现中， 优选的， 所述坐标计算子单元 542 得到所述矩阵计算子单元 541 应的道路坐标的关系为公式 4 ：
所述坐标计算子单元 542 将所述标定区域的四个顶角的像素点坐标分别代 入公式 4， 求出对应的四个道路坐标。
判断单元 55， 用于如果所述道路坐标在设定的阈值范围内， 发出标定成功
信号；
具体实现中，所述判断单元 55 判断求出的所述四个道路坐标与对应的所述 车载标定设备预先存储的四个标准坐标的偏差是否在设定的阈值范围内， 如果 判断为是， 发出标定成功信号， 所述标定成功信号可以包括声音信号和光信号， 利用声音信号控制蜂鸣器发出 "标定完成" 的声音， 利用光信号控制标定成功 指示灯闪烁； 如果判断为否， 发出标定失败信号， 所述标定失败信号包括光信 号和声音信号， 所述光信号控制标定失败指示灯闪烁，
所述声音信号控制蜂鸣器发出 "标定失败" 的声音。
采集模块 60，用于控制所述摄像头采集目标物体所在环境的实际路面图像; 具体实现中， 标定完成后， 所述采集模块 60 控制所述摄像头采集目标物体 所在环境的实际路面图像。
需要说明的是， 所述计算模块 20 根据所述获取模块 10 获取的所述实际路 面图像的像素点坐标和所述矩阵计算子单元 541 计算得到的所述逆矩阵， 将所 述实际路面图像的像素点坐标代入至上述公式 4，计算出所述实际路面图像的像 素点坐标对应的所述路面坐标。
在本发明实施例中， 在采集实际路面图像前可以先对摄像头进行一次性的 标定校准， 提高了采集图像的精准度， 通过将获取的实际路面图像进行处理合 成为虚拟道路图像， 并对虚拟道路图像进行显示， 对于没有颜色的路面坐标通 过取其邻居点进行上色， 将获得的四个方向的实际路面图像无缝合成一幅虚拟 路面图像， 可以给司机更加直观的路面状况， 使得司机可以清楚的看到汽车的 周边环境， 当有紧急情况时， 可以及时的做出相应的处理， 提升了用户体验， 提高了装置的安全智能性， 使得装置更加具备人性化的特点。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程， 是可以通过计算机程序来指令相关的硬件来完成， 所述的程序可存储于一计算 机可读取存储介质中， 该程序在执行时， 可包括如上述各方法的实施例的流程。 其中， 所述的存储介质可为磁碟、 光盘、 只读存储记忆体 （Read-Only Memory, ROM) 或随机存储记忆体 ( Random Access Memory , RAM) 等。
以上所揭露的仅为本发明较佳实施例而已， 当然不能以此来限定本发明之 权利范围， 因此依本发明权利要求所作的等同变化， 仍属本发明所涵盖的范围。
Claims
1. 一种全景图像合成和显示的方法， 其特征在于， 包括：
根据采集到的目标物体所在环境的实际路面图像， 获取所述实际路面图像 的像素点坐标和所述实际路面图像的像素点的颜色值；
根据所述实际路面图像的像素点坐标计算对应的路面坐标；
将所述实际路面图像的像素点的颜色值赋予与所述实际路面图像的像素点 坐标对应的路面坐标；
显示由所述路面坐标合成的虚拟路面图像。
2. 根据权利要求 1 所述的方法， 其特征在于， 所述根据采集到的目标物体 所在环境的路面图像， 获取所述路面图像的像素点坐标和所述路面图像的像素 点的颜色值之前， 包括：
对摄像头进行标定校准；
控制所述摄像头采集目标物体所在环境的实际路面图像。
3. 根据权利要求 2 所述的方法， 其特征在于， 所述对所述摄像头进行标定 校准， 包括：
接收到用户的标定请求时， 控制所述摄像头采集标定参考图像；
标记所述标定参考图像的标定区域和所述标定参考图像的背景区域； 获取所述标定参考图像的标定区域的顶角的像素点坐标；
根据所述标定区域的顶角的像素点坐标计算对应的道路坐标；
如果所述道路坐标在设定的阈值范围内， 发出标定成功信号。
4. 根据权利要求 3 所述的方法， 其特征在于， 所述根据所述标定区域的顶 角的像素点坐标计算对应的道路坐标， 包括：
根据所述标定区域的顶角的像素点坐标和预先设定的标准坐标值计算出投 影关系矩阵， 计算所述投影关系矩阵的逆矩阵；
根据所述标定区域的顶角的像素点坐标和所述逆矩阵计算所述标定区域的 顶角的像素点坐标对应的所述道路坐标。
5. 根据权利要求 4 所述的方法， 其特征在于， 所述根据所述路面图像的像 素点坐标计算对应的路面坐标， 包括：
根据所述实际图像的像素点坐标和所述逆矩阵计算所述实际路面图像的像 素点坐标对应的所述路面坐标。
6. 一种全景图像合成和显示的装置， 其特征在于， 包括：
获取模块， 用于根据采集到的目标物体所在环境的实际路面图像， 获取所 述实际路面图像的像素点坐标和所述实际路面图像的像素点的颜色值；
计算模块， 用于根据所述实际路面图像的像素点坐标计算对应的路面坐标; 上色模块， 用于将所述实际路面图像的像素点的颜色值赋予与所述实际路 面图像的像素点坐标对应的路面坐标；
显示模块， 用于显示由所述路面坐标合成的虚拟路面图像。
7. 根据权利要求 6 所述的装置， 其特征在于， 还包括：
标定模块， 用于对摄像头进行标定校准；
采集模块， 用于控制所述摄像头采集目标物体所在环境的实际路面图像。
8. 根据权利要求 7 所述的装置， 其特征在于， 所述标定模块包括： 采集单元， 用于接收到用户的标定请求时， 控制所述摄像头采集标定参考 图像；
标记单元， 用于标记所述标定参考图像的标定区域和所述标定参考图像的 背景区域；
获取单元， 用于获取所述标定参考图像的标定区域的顶角的像素点坐标； 计算单元， 用于根据所述标定区域的顶角的像素点坐标计算对应的道路坐 标；
判断单元， 用于如果所述道路坐标在设定的阈值范围内， 发出标定成功信 号。
9. 根据权利要求 8 所述的装置， 其特征在于， 所述计算单元包括： 矩阵计算子单元， 用于根据所述标定区域的顶角的像素点坐标和预先设定 的标准坐标值计算出投影关系矩阵， 计算所述投影关系矩阵的逆矩阵；
坐标计算子单元， 用于根据所述标定区域的顶角的像素点坐标和所述逆矩 阵计算所述标定区域的顶角的像素点坐标对应的所述道路坐标。
10. 根据权利要求 9 所述的装置， 其特征在于， 所述计算模块具体用于根 据所述获取模块获取的所述实际路面图像的像素点坐标和所述矩阵计算子单元 计算得到的所述逆矩阵计算所述实际路面图像的像素点坐标对应的所述路面坐 标。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310019868.1A CN103106674B (zh) | 2013-01-18 | 2013-01-18 | 一种全景图像合成和显示的方法及装置 |
| CN201310019868.1 | 2013-01-18 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2014110906A1 true WO2014110906A1 (zh) | 2014-07-24 |
Family
ID=48314501
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/CN2013/083224 WO2014110906A1 (zh) | 2013-01-18 | 2013-09-10 | 一种全景图像合成和显示的方法及装置 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN103106674B (zh) |
| WO (1) | WO2014110906A1 (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103106674B (zh) * | 2013-01-18 | 2016-02-10 | 昆山市智汽电子科技有限公司 | 一种全景图像合成和显示的方法及装置 |
| CN103546680B (zh) * | 2013-07-08 | 2018-06-08 | 上海智汽电子科技有限公司 | 一种无变形的全方位鱼眼摄像装置及实现方法 |
| CN110956585B (zh) * | 2019-11-29 | 2020-09-15 | 深圳市英博超算科技有限公司 | 全景图像拼接方法、装置以及计算机可读存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007114142A (ja) * | 2005-10-24 | 2007-05-10 | Asia Air Survey Co Ltd | 路面標示自動計測システム、装置及び方法 |
| CN101689296A (zh) * | 2007-04-19 | 2010-03-31 | 电子地图有限公司 | 用于产生道路信息的方法及设备 |
| CN102521817A (zh) * | 2011-11-22 | 2012-06-27 | 广州致远电子有限公司 | 一种用于全景泊车系统的图像融合方法 |
| CN102842127A (zh) * | 2011-05-10 | 2012-12-26 | 哈曼贝克自动系统股份有限公司 | 环景显示系统摄像机仅对外参数的自动标定 |
| CN103106674A (zh) * | 2013-01-18 | 2013-05-15 | 昆山市智汽电子科技有限公司 | 一种全景图像合成和显示的方法及装置 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101425181B (zh) * | 2008-12-15 | 2012-05-09 | 浙江大学 | 一种全景视觉辅助泊车系统的标定方法 |
| CN102510475A (zh) * | 2011-10-21 | 2012-06-20 | 上海交通大学 | 基于红外标定的汽车全景成像装置及方法 |
-
2013
- 2013-01-18 CN CN201310019868.1A patent/CN103106674B/zh active Active
- 2013-09-10 WO PCT/CN2013/083224 patent/WO2014110906A1/zh active Application Filing
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007114142A (ja) * | 2005-10-24 | 2007-05-10 | Asia Air Survey Co Ltd | 路面標示自動計測システム、装置及び方法 |
| CN101689296A (zh) * | 2007-04-19 | 2010-03-31 | 电子地图有限公司 | 用于产生道路信息的方法及设备 |
| CN102842127A (zh) * | 2011-05-10 | 2012-12-26 | 哈曼贝克自动系统股份有限公司 | 环景显示系统摄像机仅对外参数的自动标定 |
| CN102521817A (zh) * | 2011-11-22 | 2012-06-27 | 广州致远电子有限公司 | 一种用于全景泊车系统的图像融合方法 |
| CN103106674A (zh) * | 2013-01-18 | 2013-05-15 | 昆山市智汽电子科技有限公司 | 一种全景图像合成和显示的方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103106674A (zh) | 2013-05-15 |
| CN103106674B (zh) | 2016-02-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7056540B2 (ja) | センサ校正方法およびセンサ校正装置 | |
| JP5944687B2 (ja) | 外因パラメータのみのサラウンドビューカメラ自動較正 | |
| JP6828501B2 (ja) | 駐車支援装置 | |
| JP6860348B2 (ja) | 車両の車両周辺部の歪無い表示のための方法、並びに、装置 | |
| JP5455124B2 (ja) | カメラ姿勢パラメータ推定装置 | |
| WO2011090163A1 (ja) | パラメータ決定装置、パラメータ決定システム、パラメータ決定方法、及び記録媒体 | |
| JP2012105158A (ja) | 連結車両用鳥瞰図表示システム | |
| US20170352176A1 (en) | Image processing device for vehicle | |
| US9798936B2 (en) | System and method for detecting obstacles using a single camera | |
| US20150256815A1 (en) | 3d camera calibration | |
| US9162621B2 (en) | Parking support apparatus | |
| US20170341582A1 (en) | Method and device for the distortion-free display of an area surrounding a vehicle | |
| JP2011155393A (ja) | 車両周辺画像表示装置及び車両周辺画像表示方法 | |
| JP2013196387A (ja) | 画像処理装置、及び画像処理方法 | |
| TW201327500A (zh) | 車輛監控系統和車輛監控方法 | |
| WO2022134518A1 (zh) | 摄像设备标定方法、装置、电子设备及存储介质 | |
| JP2018533098A (ja) | パネル変換 | |
| JP4466963B2 (ja) | 車両前方画像表示装置及び方法 | |
| WO2014110906A1 (zh) | 一种全景图像合成和显示的方法及装置 | |
| WO2018198512A1 (ja) | 駐車支援装置 | |
| WO2015182771A1 (ja) | 撮像装置、画像処理装置、画像処理方法およびコンピュータプログラム | |
| JP2020126304A (ja) | 車外物体検出装置 | |
| JP2010003014A (ja) | 車両周辺表示装置およびその表示方法 | |
| JP6855254B2 (ja) | 画像処理装置、画像処理システム、及び、画像処理方法 | |
| KR20130045658A (ko) | 차량 그림자를 이용한 차간 거리 검출방법 및 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 13871980 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 13871980 Country of ref document: EP Kind code of ref document: A1 |