WO2015043507A1 - 用于汽车的图像处理方法与装置、生成汽车环视图像的方法和汽车环视系统 - Google Patents

用于汽车的图像处理方法与装置、生成汽车环视图像的方法和汽车环视系统 Download PDF

Info

Publication number
WO2015043507A1
WO2015043507A1 PCT/CN2014/087554 CN2014087554W WO2015043507A1 WO 2015043507 A1 WO2015043507 A1 WO 2015043507A1 CN 2014087554 W CN2014087554 W CN 2014087554W WO 2015043507 A1 WO2015043507 A1 WO 2015043507A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
camera
images
view
view camera
Prior art date
Application number
PCT/CN2014/087554
Other languages
English (en)
French (fr)
Inventor
郑天强
徐波
杨青
Original Assignee
比亚迪股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 比亚迪股份有限公司 filed Critical 比亚迪股份有限公司
Publication of WO2015043507A1 publication Critical patent/WO2015043507A1/zh

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing

Definitions

  • the invention relates to the field of automobile assisted parking technology, in particular to an image processing method and device for a car, a method for generating a car eye view image and a car eye view system.
  • the ideal driving assistance system for eliminating blind spots on the market is the four-camera panoramic parking system (also known as the surround vision system).
  • the system is equipped with four cameras mounted on the front grille, the trunk lid and the left and right exterior mirrors.
  • the image captured by the camera is corrected and spliced to form a final aerial view of the vehicle body (ie, a viewing image).
  • this system requires a fisheye camera with a large angle of view (usually a 180-degree panoramic fisheye camera).
  • the large angle of view causes serious image distortion, and the image
  • the effect after correction is also unsatisfactory, resulting in severe image distortion, and the cost of the fisheye camera with a large angle of view is high, which limits the popularity of the product.
  • the technical problem to be solved by the present invention is to provide a method for generating a car eye view image, which is directed to the conventional four-camera panoramic parking system, which has severe distortion of the viewing image and a high cost of the fisheye camera with a large angle of view.
  • Car surround system
  • the technical solution adopted by the present invention to solve the above technical problem is to provide an image processing method for a vehicle, comprising the steps of: respectively collecting front, rear, left front, and left sides of a vehicle body through six cameras disposed on a vehicle body. Images in six orientations of the rear, right front, and right rear; calculating pixel points on the look-around interface corresponding to the pixels on the image in the six orientations to generate pixel points on the look-around interface and the six The correspondence of pixels on the image in the orientation.
  • pixel points on the look-around interface corresponding to the pixel points on the image in the six orientations are calculated to generate pixels on the look-around interface and pixels on the image in the six orientations.
  • the corresponding relationship of the points includes: correcting the images in the six orientations to obtain six corrected images; and using the optical parameters of each camera, respectively fitting a polynomial representing a functional relationship between the ideal image height and the distortion coefficient, And represent the actual image height and distortion coefficient a polynomial of a function relationship; setting four calibration points in each camera shooting area and determining a coordinate position of each calibration point on the image acquired by the camera, and solving each polynomial according to the function relationship between the actual image height and the distortion coefficient
  • the coordinate position of the pixel; the coordinate position of the four calibration points in the camera view area in the look-around interface is calculated by scaling, according to the coordinate position of the four calibration points on the look-around interface and after correction
  • the pixel position is collected by the camera on the coordinate position of the image, and a second mapping relationship table is generated, wherein x0 and y0 are ideal image coordinates, and x and y are actual image coordinates;
  • Corresponding relationships of six pixel points on the image in the six orientations collected from the pixel points on the look-around interface to the six cameras are established according to the generated second mapping relationship table.
  • the embodiment of the invention further provides a method for generating a car view image, comprising the steps of: respectively collecting six front and rear sides, a left front side, a left rear side, a right front side and a right rear side of the automobile body by six cameras disposed on the automobile body.
  • An image in azimuth; six top-view images are generated according to the acquired images in six orientations; the generated six-view images are image-spliced and combined with a top view image of the automobile body to obtain a look-around image.
  • the method for generating a car view image further comprises: displaying the look-around image in a look-around interface area of the car.
  • generating six top view images according to the collected images in six orientations includes: correspondingly obtaining pixel points on the look-around interface according to the corresponding relationship obtained in the automobile image processing method provided by the present invention To the pixel points in the images in the six orientations acquired by the six cameras, thereby generating six top view images representing six orientations, respectively.
  • performing image splicing on the generated six top-view images includes: performing image fusion on a region where two adjacent images of the six top-view images overlap by using a fusion template to implement the six top views Seamless stitching of images.
  • images of six directions of the front, the rear, the left front, the left rear, the right front, and the right rear of the automobile body are respectively collected by the six cameras, according to the images of the six orientations collected.
  • Health Six images are viewed from the top, and the six images of the generated top view are image-spliced, and the panoramic image of the vehicle body is combined to obtain a ring-shaped image.
  • the angle of view of the required camera angle can be reduced, and the angle of view of the camera is used instead.
  • the small camera can effectively reduce the manufacturing cost of the viewing system, which is beneficial to the popularity of the viewing system, and at the same time, can reduce the distortion of the image.
  • the embodiment of the invention further provides a processing device for an image, comprising: an image capturing device, wherein the image capturing device comprises a front view camera, a rear view camera, a left front view camera, and a left rear view camera mounted on the automobile body. , a right front view camera and a right rear view camera for respectively capturing images in six directions of front, rear, left front, left rear, right front and right rear of the vehicle body; computing device, the computing device is used for calculating and Pixels on the look-up interface corresponding to the pixel points on the image in the six orientations are generated to generate a correspondence relationship between the pixel points on the look-around interface and the pixel points on the images in the six orientations.
  • the front view camera, the rear view camera, the left front view camera, the left rear view camera, the right front view camera, and the right rear view camera are all cameras with a 130 degree field of view.
  • the front view camera is mounted on the front grille, and the rear view camera is installed in the trunk. Covered, the left front view camera is mounted on the left exterior rear view mirror and faces forward, the left rear view camera is mounted on the left exterior rear view mirror and faces rearward, and the right front view camera is mounted on the right outer rear view mirror Up and facing forward, the right rear view camera is mounted on the right exterior mirror and faces rearward.
  • the embodiment of the invention further provides an automobile surround view system, comprising: an image capture device, wherein the image capture device comprises a front view camera, a rear view camera, a left front view camera, a left rear view camera, and a right front view mounted on the automobile body. a camera and a right rear view camera for respectively capturing images in six directions of the front, the rear, the left front, the left rear, the right front, and the right rear of the automobile body; the image processing device, the image processing device is configured to collect the The images in the six orientations generate six top-view images, and the generated six-view images are image-spliced and combined with the top view image of the vehicle body to obtain a look-around image.
  • an image capture device comprises a front view camera, a rear view camera, a left front view camera, a left rear view camera, and a right front view mounted on the automobile body.
  • a camera and a right rear view camera for respectively capturing images in six directions of the front, the rear, the left front, the left rear,
  • the car surround system further includes an image display device, and the image display device has a look-around interface for displaying the look-around image.
  • the image processing device correspondingly obtains the pixel points on the look-around interface to the six captured by the six cameras according to the corresponding relationship obtained in the image processing apparatus for the automobile provided by the embodiment of the present invention. Pixels in the image in the azimuth, thereby generating six top view images representing six orientations, respectively.
  • the image processing device performs image fusion on the overlapping regions of the two adjacent images in the six overhead images by using the fusion template to achieve seamless mosaic of the six top views.
  • the front view camera, the rear view camera, the left front view camera, the left rear view camera, the right front view camera, and the right rear view camera are all cameras with a 130 degree field of view.
  • the front view camera is mounted on a front grille
  • the rear view camera is mounted on a trunk cover
  • the left front view camera is mounted on a left outer rear view mirror and faces forward.
  • the left rear view camera is mounted on the left exterior rear view mirror and is oriented rearward
  • the right front view camera is mounted on the right exterior rear view mirror and faces forward
  • the right rear view camera is mounted on the right exterior rear view mirror and facing rearward .
  • the front view camera, the rear view camera, the left front view camera, the left rear view camera, the right front view camera, and the right rear view camera mounted on the vehicle body respectively collect the front, the rear, and the left front of the automobile body.
  • the images in the six directions of the left rear, the right front and the right rear generate six top-view images based on the acquired images in the six orientations, and image the six top-view images generated, and obtain a look-around image by combining the top view images of the vehicle body.
  • the angle of view of the required camera can be reduced, and the camera with a smaller angle of view can be used instead, thereby effectively reducing the manufacturing cost of the viewing system, facilitating the popularity of the viewing system, and at the same time, enabling It plays a role in reducing the degree of distortion of the image.
  • FIG. 1 is a flow chart of an image processing method for a car according to an embodiment of the present invention
  • FIG. 2 is a flow chart of a method of generating a car view image in accordance with an embodiment of the present invention
  • FIG. 3 is a schematic diagram of a look-around image generated in a method of generating a car view image according to an embodiment of the invention
  • FIG. 4 is a schematic diagram of an image processing apparatus for a car according to an embodiment of the present invention.
  • Figure 5 is a schematic illustration of a car eye view system in accordance with an embodiment of the present invention.
  • an embodiment of the present invention provides an image processing method for a car, including the following steps:
  • step S12 further includes the following steps:
  • distortion correction is performed on the images in the six orientations collected by the camera, and the optical parameters of the camera itself, such as the correspondence between the actual image height and the distortion coefficient, are used in the matlab software.
  • the polyfit(x, y, n) function fits a polynomial representing the relationship between the actual image height and the distortion coefficient, and the polynomial representing the actual image height as a function of the distortion coefficient is as follows:
  • d is the camera distortion coefficient
  • h is the actual image height, that is, the linear distance between the point on the camera image and the image center point
  • a0 to a8 are polynomial coefficients.
  • the perspective transform coefficients c1-c8 are obtained by the least squares method, and the same operation is performed on the six cameras to establish a mapping relationship table of the six loop-view interfaces to the corrected image, that is, six first mapping relationships. table.
  • a polyfit (x, y, n) function in matlab is used to fit a polynomial representing a functional relationship between the ideal image height and the distortion coefficient.
  • the polynomial that represents the functional relationship between the ideal image height and the distortion coefficient has the following form:
  • d is the distortion coefficient of the camera
  • H is the ideal image height, that is, the linear distance between the point and the image center point on the corrected image
  • b0 to b8 are polynomial coefficients.
  • the present invention also provides a method for generating a car view image, comprising the following steps:
  • the six correspondences of the pixel points on the look-around interface obtained in the image processing method for the automobile disclosed in the above-mentioned embodiments of the present invention to the pixels on the six orientations acquired by the six cameras will be
  • the pixels on the look-around interface correspond to the pixels in the images in the six orientations acquired by the respective cameras, thereby generating six top-view images representing six orientations, respectively.
  • six top view images can also be obtained directly by distortion correction and perspective transformation.
  • the fusion template is used in the six top view images.
  • the image in which the adjacent two images overlap is image-fused to achieve seamless mosaic of the six top-view images.
  • the look-around image is composed of a body image CS and six top-view images around the body image CS.
  • the body image CS may be a real picture or a rendered effect picture; wherein F indicates the front In the top view image, B is the rear view image, LF is the left front view image, LB is the left rear view image, RF is the right front view image, RB is the right rear view image, and the hatched line is the adjacent two The area CH of the image overlap; according to the round-view image area division shown in FIG. 2, the advantages of the two cameras on the left and right are fully utilized, and the area that the front and rear cameras need to display is reduced, thereby reducing the total angle of view required by the six cameras as a whole. There is a significant improvement in image quality and cost reduction.
  • a pixel point on the ring view interface is generated to correspond to a pixel point on the image in six directions acquired by the six cameras. Relationships, and the generated correspondences are stored in the memory of the look-around system.
  • the corresponding points are used to map the pixels on the image collected by the camera one by one to the look-around interface, and then adjacent When the two images overlap, the image is merged to form a circular image, which reduces the repetitive work and reduces the response time of the surround system.
  • images of six directions of front, rear, left front, left rear, right front, and right rear of the automobile body are respectively collected by six cameras, according to the collected six directions.
  • the image on the top generates six top-view images, and the image is spliced to the six top-view images generated, and the eye-view image is obtained by combining the top view image of the vehicle body, thereby reducing the angle of view of the required camera. Therefore, the angle of view can be smaller.
  • the camera effectively reduces the manufacturing cost of the viewing system, which is beneficial to the popularity of the viewing system, and at the same time, can reduce the distortion of the image.
  • an embodiment of the present invention further provides an image processing apparatus for an automobile, comprising: an image collection device 1 and a computing device 2.
  • the image capturing device 1 includes a front view camera 11 , a rear view camera 12 , a left front view camera 13 , a left rear view camera 14 , a right front view camera 15 , and a right rear view camera 16 mounted on the vehicle body for respectively collecting the car. Images in six orientations of the front, rear, left front, left rear, right front, and right rear of the body.
  • the computing device 2 is configured to calculate pixel points on a look-around interface corresponding to pixels on the image in the six orientations to generate pixels on the look-around interface and pixels on the image in the six orientations The correspondence of points.
  • the front view camera 11, the rear view camera 12, the left front view camera 13, the left rear view camera 14, the right front view camera 115, and the right rear view camera 16 are cameras with a 130 degree field of view.
  • the front view camera 11 is mounted on the front grille
  • the rear view camera 12 is mounted on the trunk lid
  • the left front view camera 13 is mounted on the left outer rear view mirror and faces forward
  • the camera 14 is mounted on the left On the rear view mirror, which is mounted on the right exterior rear view mirror and facing forward
  • the right front view camera 15 is mounted on the right exterior rear view mirror and faces rearward.
  • the coordinate position of the pixel on the image, c1-c8 is the perspective transformation coefficient; according to the first mapping relationship table, the distortion coefficient of each pixel on the corrected image is calculated by using a polynomial representing a functional relationship between the ideal image height and the distortion coefficient.
  • a coordinate mapping position wherein a second mapping relationship table is generated, wherein x0 and y0 are ideal image coordinates, and x and y are actual image coordinates; and six pixel points from the viewing interface are established according to the generated second mapping relationship table. The correspondence between the pixel points on the images in the six orientations collected by the six cameras.
  • the computing device 2 separately corrects the distortion of the images in the six orientations collected by the camera, and uses the optical parameters of the camera itself, such as the correspondence between the actual image height and the distortion coefficient, and the like.
  • a polynomial representing a functional relationship between the actual image height and the distortion coefficient is fitted by a polyfit(x, y, n) function in the matlab software, and the polynomial representing the relationship between the actual image height and the distortion coefficient is as follows:
  • d is the camera distortion coefficient
  • h is the actual image height, that is, the linear distance between the point on the camera image and the image center point
  • a0 to a8 are polynomial coefficients.
  • the computing device 2 sets four calibration points in each camera shooting area and determines a coordinate position of each calibration point on the image captured by the camera, and solves each polynomial according to the function relationship between the actual image height and the distortion coefficient.
  • the coordinate position of the pixel; where x and y are the actual image coordinates, x0, Y0 is the ideal image coordinate.
  • the computing device 2 calculates coordinate positions of the four calibration points in the camera viewing area in the viewing interface, and according to the coordinate positions of the four calibration points on the viewing interface and after correction The coordinate position of the pixel on the image, using the perspective transformation model shown below:
  • a polyfit (x, y, n) function in matlab is used to fit a polynomial representing a functional relationship between the ideal image height and the distortion coefficient, which represents the ideal image height and distortion coefficient.
  • the polynomial of the function relationship is as follows:
  • d is the distortion coefficient of the camera
  • H is the ideal image height, that is, the linear distance between the point and the image center point on the corrected image
  • b0 ⁇ b8 are polynomial coefficients.
  • Table where x0 and y0 are ideal image coordinates, and x and y are actual image coordinates.
  • the computing device 2 directly establishes a correspondence relationship between the pixel points on the six look-around interfaces to the pixel points on the images in the six orientations acquired by the six cameras according to the generated second mapping table.
  • an embodiment of the present invention further provides an automobile surround view system, including an image capture device 10, an image processing device 20, and an image display device 30.
  • the image capturing device 10 includes a front view camera 11, a rear view camera 12, a left front view camera 13, a left rear view camera 14, a right front view camera 15, and a right rear view camera 16 mounted on the vehicle body for respectively collecting the front of the car body. Images in six orientations, rear, left front, left rear, right front, and right rear.
  • the front view camera 11, the rear view camera 12, the left front view camera 13, the left rear view camera 14, the right front view camera 15, and the right rear view camera 16 are all 130 degree field of view. camera. Relative The existing 180 degree panoramic fisheye camera can greatly reduce the manufacturing cost and facilitate the popularization of the surround system.
  • the front view camera 11 is mounted on a front grille
  • the rear view camera 12 is mounted on a trunk cover
  • the left front view camera 13 is mounted on the left outer rear view mirror and faces forward
  • the camera 14 is mounted on the left exterior mirror and is oriented rearward
  • the right front camera 15 is mounted on the right exterior mirror and facing forward
  • the right rear view camera 16 being mounted on the right exterior mirror and facing rear.
  • the image processing device 20 is configured to generate six top view images according to the collected images in the six orientations, perform image stitching on the generated six top view images, and obtain a look-around image by combining the top view images of the vehicle body.
  • the image processing device 20 is configured to correspondingly obtain the pixel points on the look-around interface to the six positions collected by the six cameras according to the corresponding relationship obtained in the image processing apparatus for an automobile provided by the above-mentioned embodiments of the present invention.
  • the image processing device 20 is configured to correspondingly obtain the pixel points on the look-around interface to the six positions collected by the six cameras according to the corresponding relationship obtained in the image processing apparatus for an automobile provided by the above-mentioned embodiments of the present invention.
  • six top view images representing six orientations are generated.
  • the image display device 30 has a look-around interface for displaying the look-around image.
  • the image processing apparatus 20 is further configured to perform image fusion on a region where two adjacent images of the six overhead images overlap by using a fusion template to implement the six top images. Stitching.
  • the look-around image is composed of a body image CS and six top-view images around the body image CS.
  • the body image CS may be a real picture or a rendered effect picture; wherein F indicates the front In the top view image, B is the rear view image, LF is the left front view image, LB is the left rear view image, RF is the right front view image, RB is the right rear view image, and the hatched line is the adjacent two The area CH where the images coincide.
  • the image display device 30 is a car DVD
  • the look-around interface is an entire display area or a partial display area of the car DVD liquid crystal display.
  • the car surround system further includes a control input module for controlling opening and closing of the look-around system.
  • the control input module can be a button integrated on the steering wheel. When the button is pressed, the control input module issues a ring system opening and closing command through the vehicle CAN bus.
  • the front view camera, the rear view camera, the left front view camera, the left rear view camera, the right front view camera, and the right rear view camera mounted on the vehicle body respectively collect the front, the rear, and the left front of the automobile body.
  • the images in the six directions of the left rear, the right front and the right rear generate six top-view images based on the acquired images in the six orientations, and image the six top-view images generated, and look at the top view of the vehicle body to obtain a look-around image.
  • the image reduces the required angle of view of the camera. Therefore, a camera with a small field of view can be used, which effectively reduces the manufacturing cost of the viewing system, facilitates the popularity of the viewing system, and reduces image distortion. degree.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

一种用于汽车的图像处理方法、生成汽车环视图像的方法、用于汽车的图像处理装置及汽车环视系统，其中生成汽车环视图像的方法包括：通过设置在汽车车身上的六个摄像头（11-16）分别采集汽车车身前方、后方、左前方、左后方、右前方及右后方六个方位上的图像；根据采集到的六个方位上的图像生成六幅俯视图像；对生成的六幅俯视图像进行图像拼接并结合汽车车身的俯视图像得到环视图像。根据本发明的汽车环视图像生成方法，降低了所需摄像头视场角的大小，因此，可以采用视场角较小的摄像头，从而有效的降低环视系统的制造成本，有利于环视系统的普及，同时，还能够减少图像的失真程度。

Description

用于汽车的图像处理方法与装置、生成汽车环视图像的方法和汽车环视系统 技术领域
本发明涉及汽车辅助泊车技术领域，特别是涉及一种用于汽车的图像处理方法与装置、一种生成汽车环视图像的方法和一种汽车环视系统。
背景技术
汽车驾驶者在驾驶的过程中存在很多盲区，如车身前方被遮挡处、左右后视镜盲区以及车后的盲区，这些盲区往往会给汽车的驾驶带来很多不便，甚至会给驾驶者的生命财产带来重大损失。因此，如何最大限度的消除盲区安全隐患成了大家共同关注的问题。
目前市场上消除盲区比较理想的行车辅助系统是四摄像头的全景泊车系统(也称环视系统)，该系统通过安装在车身前格栅、后备箱盖以及左右外后视镜上的四个摄像头，将摄像头采集来的图像进行矫正拼接，形成最终的车身鸟瞰图(即环视图像)。由于安装位置及摄像头数量上的限制，这种系统就需要采用视场角很大的鱼眼摄像头(通常采用180度全景鱼眼摄像头)，大视场角会带来图像畸变严重的问题，图像矫正后的效果也不理想，导致图像严重失真，而且大视场角的鱼眼摄像头成本较高，限制了产品的普及。
发明内容
本发明所要解决的技术问题是针对现有的四摄像头的全景泊车系统环视图像严重失真且采用的大视场角的鱼眼摄像头较高成本的缺陷，提供一种生成汽车环视图像的方法及汽车环视系统。
本发明解决上述技术问题所采用的技术方案为，提供一种用于汽车的图像处理方法，包括以下步骤：通过设置在汽车车身上的六个摄像头分别采集汽车车身前方、后方、左前方、左后方、右前方及右后方六个方位上的图像；计算与所述六个方位上的图像上的像素点对应的环视界面上的像素点，以生成环视界面上的像素点与所述六个方位上的图像上的像素点的对应关系。
在本发明实施例中，计算与所述六个方位上的图像上的像素点对应的环视界面上的像素点，以生成环视界面上的像素点与所述六个方位上的图像上的像素点的对应关系包括：对所述六个方位上的图像进行矫正以获得六个矫正后图像；利用每个摄像头的光学参数，分别拟合出表示理想像高与畸变系数的函数关系的多项式，和表示实际像高与畸变系数的 函数关系的多项式；在每个摄像头拍摄区域内设置四个标定点并确定每个标定点在摄像头采集图像上的坐标位置，根据所述表示实际像高与畸变系数的函数关系的多项式求解出每个标定点的畸变系数d值，并根据公式x0＝x/(1+d)、y0＝y/(1+d)确定每个摄像头拍摄区域内的所述四个标定点在矫正后图像上的像素点的坐标位置；通过比例换算，计算出每个摄像头拍摄区域内的所述四个标定点在环视界面中的坐标位置，根据四个标定点在环视界面上的坐标位置以及在矫正后图像上的像素点的坐标位置，利用透视变换模型X＝(c1*x1+c2*y1+c3)/(c7*x1+c8*y1+1)，Y＝(c4*x1+c5*y1+c6)/(c7*x1+c8*y1+1)，求解出系数c1～c8，再利用所述透视变换模型计算出所述环视界面上的每个点在矫正后图像上的像素点的坐标位置，以生成第一映射关系表，其中x1，y1为标定点在环视界面上的坐标位置，X，Y为标定点在矫正后图像上的像素点坐标位置，c1-c8为透视变换系数；根据第一映射关系表，利用表示理想像高与畸变系数的函数关系的多项式计算出矫正后图像上的每个像素点的畸变系数d值，结合公式x＝x0*(1+d)、y＝y0*(1+d)，求解出第一映射关系表中位于矫正后图像上所有坐标位置的像素点在摄像头采集图像上的坐标位置，生成第二映射关系表，其中，x0、y0为理想图像坐标，x、y为实际图像坐标；
根据生成的第二映射关系表建立六个从所述环视界面上的像素点到所述六个摄像头采集到的六个方位上的图像上的像素点的对应关系。本发明实施例还提供了一种生成汽车环视图像的方法，包括以下步骤：通过设置在汽车车身上的六个摄像头分别采集汽车车身前方、后方、左前方、左后方、右前方及右后方六个方位上的图像；根据采集到的六个方位上的图像生成六幅俯视图像；对生成的六幅俯视图像进行图像拼接并结合汽车车身的俯视图像得到环视图像。
在本发明实施例中，所述生成汽车环视图像的方法进一步包括：在所述汽车的环视界面区域显示所述环视图像。
在本发明实施例中，根据采集到的六个方位上的图像生成六幅俯视图像包括：根据本发明所提供的用于汽车图像处理方法中得到的对应关系将环视界面上的像素点分别对应到所述六个摄像头采集的六个方位上的图像中的像素点上，从而生成分别表示六个方位的六幅俯视图像。
在本发明实施例中，对生成的六幅俯视图像进行图像拼接包括：运用融合模板对所述六幅俯视图像中的相邻两幅图像重合的区域进行图像融合，以实现所述六幅俯视图像的无缝拼接。
根据本发明的汽车环视图像生成方法，通过六个摄像头分别采集汽车车身前方、后方、左前方、左后方、右前方及右后方六个方位上的图像，根据采集到的六个方位上的图像生 成六幅俯视图像，对生成的六幅俯视图像进行图像拼接，结合车身的俯视图像得到环视图像，与现有技术相比，可以降低所需摄像头视场角的大小，改用视场角较小的摄像头，从而有效的降低环视系统的制造成本，有利于环视系统的普及，同时，还能够起到减少图像的失真程度的作用。
本发明实施例还提供了一种用于图像的处理装置，包括：图像采集设备，所述图像采集设备包括安装在汽车车身上的前视摄像头、后视摄像头、左前视摄像头、左后视摄像头、右前视摄像头及右后视摄像头，用于分别采集汽车车身前方、后方、左前方、左后方、右前方及右后方六个方位上的图像；计算设备，所述计算设备用于计算与所述六个方位上的图像上的像素点对应的环视界面上的像素点，以生成环视界面上的像素点与所述六个方位上的图像上的像素点的对应关系。
在本发明实施例中，所述计算设备用于：对所述六个方位上的图像进行矫正以获得六个矫正后图像；利用每个摄像头的光学参数，分别拟合出表示理想像高与畸变系数的函数关系的多项式，和表示实际像高与畸变系数的函数关系的多项式；在每个摄像头拍摄区域内设置四个标定点并确定每个标定点在摄像头采集图像上的坐标位置，根据所述表示实际像高与畸变系数的函数关系的多项式求解出每个标定点的畸变系数d值，并根据公式x0＝x/(1+d)、y0＝y/(1+d)确定每个摄像头拍摄区域内的所述四个标定点在矫正后图像上的像素点的坐标位置；通过比例换算，计算出每个摄像头拍摄区域内的所述四个标定点在环视界面中的坐标位置，根据四个标定点在环视界面上的坐标位置以及在矫正后图像上的像素点的坐标位置，利用透视变换模型X＝(c1*x1+c2*y1+c3)/(c7*x1+c8*y1+1)，Y＝(c4*x1+c5*y1+c6)/(c7*x1+c8*y1+1)求解出系数c1～c8，再利用所述透视变换模型计算出所述环视界面上的每个点在矫正后图像上的像素点的坐标位置，以生成第一映射关系表，其中x1，y1为标定点在环视界面上的坐标位置，X，Y为标定点在矫正后图像上的像素点坐标位置，c1-c8为透视变换系数；根据第一映射关系表，利用表示理想像高与畸变系数的函数关系的多项式计算出矫正后图像上的每个像素点的畸变系数d值，结合公式x＝x0*(1+d)、y＝y0*(1+d)，求解出第一映射关系表中位于矫正后图像上所有坐标位置的像素点在摄像头采集图像上的坐标位置，生成第二映射关系表，其中，x0、y0为理想图像坐标，x、y为实际图像坐标；根据生成的第二映射关系表建立六个从所述环视界面上的像素点到所述六个摄像头采集到的六个方位上的图像上的像素点的对应关系。
在本发明实施例中，所述前视摄像头、后视摄像头、左前视摄像头、左后视摄像头、右前视摄像头及右后视摄像头均为130度视场角的摄像头。
在本发明实施例中，所述前视摄像头安装在前格栅上，所述后视摄像头安装在后备箱 盖上，所述左前视摄像头安装在左外后视镜上并朝向前方，所述左后视摄像头安装在左外后视镜上并朝向后方，所述右前视摄像头安装在右外后视镜上并朝向前方，所述右后视摄像头安装在右外后视镜上并朝向后方。
本发明实施例还提供了一种汽车环视系统，包括：图像采集设备，所述图像采集设备包括安装在汽车车身上的前视摄像头、后视摄像头、左前视摄像头、左后视摄像头、右前视摄像头及右后视摄像头，用于分别采集汽车车身前方、后方、左前方、左后方、右前方及右后方六个方位上的图像；图像处理设备，所述图像处理设备用于根据采集到的所述六个方位上的图像生成六幅俯视图像，对生成的六幅俯视图像进行图像拼接并结合车身的俯视图像得到环视图像。
在本发明实施例中，所述汽车环视系统还包括图像显示设备，所述图像显示设备具有环视界面，用于显示所述环视图像。
在本发明实施例中，所述图像处理设备根据本发明实施例所提供的用于汽车的图像处理装置中得到的对应关系将环视界面上的像素点分别对应到所述六个摄像头采集的六个方位上的图像中的像素点上，从而生成分别表示六个方位的六幅俯视图像。
在本发明实施例中，所述图像处理设备运用融合模板对所述六幅俯视图像中的相邻两幅图像重合的区域进行图像融合，以实现所述六幅俯视图像的无缝拼接。
在本发明实施例中，所述前视摄像头、后视摄像头、左前视摄像头、左后视摄像头、右前视摄像头及右后视摄像头均为130度视场角的摄像头。
在本发明实施例中，所述前视摄像头安装在前格栅上，所述后视摄像头安装在后备箱盖上，所述左前视摄像头安装在左外后视镜上并朝向前方，所述左后视摄像头安装在左外后视镜上并朝向后方，所述右前视摄像头安装在右外后视镜上并朝向前方，所述右后视摄像头安装在右外后视镜上并朝向后方。
根据本发明的汽车环视系统，通过安装在车身上的前视摄像头、后视摄像头、左前视摄像头、左后视摄像头、右前视摄像头及右后视摄像头分别采集汽车车身前方、后方、左前方、左后方、右前方及右后方六个方位上的图像，根据采集到的六个方位上的图像生成六幅俯视图像，对生成的六幅俯视图像进行图像拼接，结合车身的俯视图像得到环视图像，与现有技术相比，可以降低所需摄像头视场角的大小，改用视场角较小的摄像头，从而有效的降低环视系统的制造成本，有利于环视系统的普及，同时，还能够起到减少图像的失真程度的作用。
附图说明
图1是根据本发明一实施例的用于汽车的图像处理方法的流程图；
图2是根据本发明一实施例的生成汽车环视图像的方法的流程图；
图3是根据本发明一实施例的生成汽车环视图像的方法中生成的环视图像的示意图；
图4是根据本发明一实施例的用于汽车的图像处理装置的示意图；和
图5是根据本发明一实施例的汽车环视系统的示意图。
具体实施方式
为了使本发明所解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所示，本发明实施例提供了一种用于汽车的图像处理方法，包括以下步骤：
S11、通过设置在汽车车身上的六个摄像头分别采集汽车车身前方、后方、左前方、左后方、右前方及右后方六个方位上的图像。
S12、计算与所述六个方位上的图像上的像素点对应的环视界面上的像素点，以生成环视界面上的像素点与所述六个方位上的图像上的像素点的对应关系。
在本发明实施例中，步骤S12进一步包括以下步骤：
S121、对所述六个方位上的图像进行矫正以获得六个矫正后图像；
S122、利用每个摄像头的光学参数，分别拟合出表示理想像高与畸变系数的函数关系的多项式，和表示实际像高与畸变系数的函数关系的多项式；
在本发明的一个实施例中，对摄像头采集的六个方位上的图像分别进行畸变矫正，利用摄像头本身的光学参数，例如实际像高和畸变系数之间的对应关系等，通过matlab软件中的polyfit(x，y，n)函数，拟合出表示实际像高与畸变系数的函数关系的多项式，所述表示实际像高与畸变系数的函数关系的多项式如下所示：
d＝a0+a1*h+a2*h2+a3*h3+a4*h4+a5*h5+a6*h6+a7*h7+a8*h8；
其中d为摄像头畸变系数，h为实际像高，即摄像头图像上该点与图像中心点的直线距离，a0～a8为多项式系数。
S123、在每个摄像头拍摄区域内的区域内设置四个标定点并确定每个标定点的坐标位置，根据所述表示实际像高与畸变系数的函数关系的多项式求解出每个标定点的畸变系数d值，并根据公式x0＝x/(1+d)、y0＝y/(1+d)，确定每个摄像头拍摄区域内的所述四个标定点在矫正后图像上的像素点的坐标位置；
S124、通过比例换算，计算出每个摄像头拍摄区域内的所述四个标定点在环视界面中 的坐标位置，根据四个标定点在环视界面上的坐标位置以及在矫正后图像上的像素点的坐标位置，利用透视变换模型X＝(c1*x1+c2*y1+c3)/(c7*x1+c8*y1+1)，Y＝(c4*x1+c5*y1+c6)/(c7*x1+c8*y1+1)求解出系数c1～c8，再利用所述透视变换模型计算出所述环视界面上的每个点在矫正后图像上的像素点的坐标位置，以生成第一映射关系表，其中x1，y1为标定点在环视界面上的坐标位置，X，Y为标定点在矫正后图像上的像素点坐标位置，c1-c8为透视变换系数；
具体地，利用最小二乘法求出透视变换系数c1-c8，并对六个摄像头都进行相同的上述操作，以建立六个环视界面到矫正后图像的映射关系表，即六个第一映射关系表。
进一步地，在本发明的一个实施例中，结合摄像头的光学系统参数，利用matlab中的polyfit(x,y,n)函数，拟合出表示理想像高和畸变系数的函数关系的多项式，所述表示理想像高和畸变系数的函数关系的多项式其形式如下：
d＝b0+b1*H+b2*H2+b3*H3+b4*H4+b5*H5+b6*H6+b7*H7+b8*H8；
其中，d为摄像头的畸变系数，H为理想像高，即矫正后图像上该点与图像中心点的直线距离，b0～b8为多项式系数。
S125、根据第一映射关系表，利用上述表示理想像高与畸变系数的函数关系的多项式计算出矫正后图像上的每个像素点的畸变系数d值，结合公式x＝x0*(1+d)、y＝y0*(1+d)，求解出第一映射关系表中位于矫正后图像上所有坐标位置的像素点在摄像头采集图像上的坐标位置，生成第二映射关系表，其中，x0、y0为理想图像坐标，x、y为实际图像坐标；
S126、根据生成的第二映射关系表建立六个从所述环视界面上的像素点到所述六个摄像头采集到的六个方位上的图像上的像素点的对应关系。
如图2所示，本发明还提供了一种生成汽车环视图像的方法，包括以下步骤：
S21、通过设置在汽车车身上的六个摄像头分别采集汽车车身前方、后方、左前方、左后方、右前方及右后方六个方位上的图像；
S22、根据采集到的六个方位上的图像生成六幅俯视图像；
具体地，根据本发明上述实施例所公开的用于汽车的图像处理方法中得到的环视界面上的像素点到六个摄像头采集的六个方位上的图像上的像素点的六个对应关系将环视界面上的像素点对应到各个摄像头采集的六个方位上的图像中的像素点，从而生成分别表示六个方位的六幅俯视图像。当然，在本发明的其它实施例中，也可以直接通过畸变矫正和透视变换得到六幅俯视图像。
S23、对生成的六幅俯视图像进行图像拼接并结合汽车车身的俯视图像得到环视图像；
具体地，根据步骤S22中生成的六幅俯视图像，运用融合模板对所述六幅俯视图像中 的相邻两幅图像重合的区域进行图像融合，以实现所述六幅俯视图像无缝拼接。
如图3所示，环视图像由车身图像CS和围绕车身图像CS周围的六幅俯视图像组成，车身图像CS可以是真实的拍照图片，也可以是渲染的效果图；其中，图中F表示前方俯视图像，B表示后方俯视图像，LF表示左前方俯视图像，LB表示左后方俯视图像，RF表示右前方俯视图像，RB表示右后方俯视图像，图中剖面线表示的部分为相邻的两幅图像重合的区域CH；按照图2所示的环视图像区域划分，充分利用左右各两个摄像头的优势，减少了前后摄像头需要显示的区域，从而整体的降低六个摄像头所需的视场角，在图像质量和成本降低上都有一个很明显的提升。
S24、在环视界面区域显示所述环视图像。
根据本发明实施例所提供的生成汽车环视图像的方法，在标定六个摄像头进行的过程中，生成环视界面上的像素点到六个摄像头采集的六个方位上的图像上的像素点的对应关系，并将生成的对应关系存储在环视系统的存储器中，在后续系统工作时，只需利用对应关系，将摄像头采集来的图像上的像素点一一对应到环视界面上，再将相邻两幅图像重合的地方进行图像融合，即可形成环视图像，减少了重复工作，减少了环视系统的响应时间。
根据本发明实施例的生成汽车环视图像的方法，通过六个摄像头分别采集汽车车身前方、后方、左前方、左后方、右前方及右后方六个方位上的图像，根据采集到的六个方位上的图像生成六幅俯视图像，对生成的六幅俯视图像进行图像拼接，并结合车身的俯视图像得到环视图像，降低了所需摄像头视场角的大小，因此，可以采用视场角较小的摄像头，从而有效地降低环视系统的制造成本，有利于环视系统的普及，同时，还能够减少图像的失真程度。
另外，如图4所示，本发明实施例还提供了一种用于汽车的图像处理装置，包括：图像采集设备1和计算设备2。
所述图像采集设备1包括安装在汽车车身上的前视摄像头11、后视摄像头12、左前视摄像头13、左后视摄像头14、右前视摄像头15及右后视摄像头16，用于分别采集汽车车身前方、后方、左前方、左后方、右前方及右后方六个方位上的图像。所述计算设备2用于计算与所述六个方位上的图像上的像素点对应的环视界面上的像素点，以生成环视界面上的像素点与所述六个方位上的图像上的像素点的对应关系。
在本发明实施例中，所述前视摄像头11、后视摄像头12、左前视摄像头13、左后视摄像头14、右前视摄像头115及右后视摄像头16均为130度视场角的摄像头。
并且，所述前视摄像头11安装在前格栅上，所述后视摄像头12安装在后备箱盖上，所述左前视摄像头13安装在左外后视镜上并朝向前方，所述左后视摄像头14安装在左外 后视镜上并朝向后方，所述右前视摄像头15安装在右外后视镜上并朝向前方，所述右后视摄像头16安装在右外后视镜上并朝向后方。
在本发明实施例中，所述计算设备2还用于：对所述六个方位上的图像进行矫正以获得六个矫正后图像；利用每个摄像头的光学参数，分别拟合出表示理想像高与畸变系数的函数关系的多项式，和表示实际像高与畸变系数的函数关系的多项式；在每个摄像头拍摄区域内设置四个标定点并确定每个标定点在摄像头采集图像上的坐标位置，根据所述表示实际像高与畸变系数的函数关系的多项式求解出每个标定点的畸变系数d值，并根据公式x0＝x/(1+d)、y0＝y/(1+d)确定每个摄像头拍摄区域内的所述四个标定点在矫正后图像上的像素点的坐标位置；通过比例换算，计算出每个摄像头拍摄区域内的所述四个标定点在环视界面中的坐标位置，根据四个标定点在环视界面上的坐标位置以及在矫正后图像上的像素点的坐标位置，利用透视变换模型X＝(c1*x1+c2*y1+c3)/(c7*x1+c8*y1+1)，Y＝(c4*x1+c5*y1+c6)/(c7*x1+c8*y1+1)，求解出系数c1～c8，再利用所述透视变换模型计算出所述环视界面上的每个点在矫正后图像上的像素点的坐标位置，以生成第一映射关系表，其中x1，y1为标定点在环视界面上的坐标位置，X，Y为标定点在矫正后图像上的像素点坐标位置，c1-c8为透视变换系数；根据第一映射关系表，利用表示理想像高与畸变系数的函数关系的多项式计算出矫正后图像上的每个像素点的畸变系数d值，结合公式x＝x0*(1+d)、y＝y0*(1+d)，求解出第一映射关系表中位于矫正后图像上所有坐标位置的像素点在摄像头采集图像上的坐标位置，生成第二映射关系表，其中，x0、y0为理想图像坐标，x、y为实际图像坐标；根据生成的第二映射关系表建立六个从所述环视界面上的像素点到所述六个摄像头采集到的六个方位上的图像上的像素点的对应关系。
具体地，在本发明的一个实施例中，计算设备2对摄像头采集的六个方位上的图像分别进行畸变矫正，利用摄像头本身的光学参数，例如实际像高和畸变系数之间的对应关系等，通过matlab软件中的polyfit(x，y，n)函数，拟合出表示实际像高与畸变系数的函数关系的多项式，所述表示实际像高与畸变系数的函数关系的多项式如下所示：
d＝a0+a1*h+a2*h2+a3*h3+a4*h4+a5*h5+a6*h6+a7*h7+a8*h8；
其中d为摄像头畸变系数，h为实际像高，即摄像头图像上该点与图像中心点的直线距离，a0～a8为多项式系数。
所述计算设备2在每个摄像头拍摄区域内设置四个标定点并确定每个标定点在摄像头采集图像上的坐标位置，根据所述表示实际像高与畸变系数的函数关系的多项式求解出每个标定点的畸变系数d值，并结合公式：x0＝x/(1+d)、y0＝y/(1+d)，确定每个摄像头拍摄区域内的四个标定点在矫正后图像上的像素点的坐标位置；其中，x、y为实际图像坐标，x0、 y0为理想图像坐标。
进一步地，通过比例换算，所述计算设备2计算出每个摄像头拍摄区域内的四个标定点在环视界面中的坐标位置，并根据四个标定点在环视界面上的坐标位置以及在矫正后图像上的像素点的坐标位置，利用如下所示的透视变换模型：
X＝(c1*x1+c2*y1+c3)/(c7*x1+c8*y1+1)；
Y＝(c4*x1+c5*y1+c6)/(c7*x1+c8*y1+1)；
运用最小二乘法计算出c1～c8这8个系数，再利用该透视变换模型计算出所述环视界面上的每个点在矫正后图像上的像素点的坐标位置，以生成第一映射关系表，其中x1，y1为标定点在环视界面上的坐标位置，X，Y为标定点在矫正后图像上的像素点坐标位置，c1-c8为透视变换系数。此外，对六个摄像头都进行相同的上述操作，以建立六个环视界面到矫正后图像的映射关系表，即六个第一映射关系表。
进一步地，结合摄像头的光学系统参数，利用matlab中的polyfit(x,y,n)函数，拟合出表示理想像高和畸变系数的函数关系的多项式，所述表示理想像高和畸变系数的函数关系的多项式如下：
d＝b0+b1*H+b2*H2+b3*H3+b4*H4+b5*H5+b6*H6+b7*H7+b8*H8；
其中，d为摄像头的畸变系数，H为理想像高，即矫正后图像上该点与图像中心点的直线距离，b0～b8为多项式系数
所述计算设备2根据第一映射关系表，并利用上述表示理想像高与畸变系数的函数关系的多项式计算出矫正后图像上的每个像素点的畸变系数d值，以及结合公式x＝x0*(1+d)、y＝y0*(1+d)，求解出第一映射关系表中位于矫正后图像上所有坐标位置的像素点在摄像头采集图像上的坐标位置，以生成第二映射表，其中，x0、y0为理想图像坐标，x、y为实际图像坐标，
最后，计算设备2直接根据生成的第二映射表建立六个环视界面上的像素点到六个摄像头采集的六个方位上的图像上的像素点的对应关系。
如图5所述，本发明实施例还提供了一种汽车环视系统，包括图像采集设备10、图像处理设备20和图像显示设备30。
图像采集设备10包括安装在汽车车身上的前视摄像头11、后视摄像头12、左前视摄像头13、左后视摄像头14、右前视摄像头15及右后视摄像头16，用于分别采集汽车车身前方、后方、左前方、左后方、右前方及右后方六个方位上的图像。
在本发明的一个实施例中，所述前视摄像头11、后视摄像头12、左前视摄像头13、左后视摄像头14、右前视摄像头15及右后视摄像头16均为130度视场角的摄像头。相对 于现有的180度全景鱼眼摄像头，可以大大降低制造成本，有利于环视系统的普及。
此外，所述前视摄像头11安装在前格栅上，所述后视摄像头12安装在后备箱盖上，所述左前视摄像头13安装在左外后视镜上并朝向前方，所述左后视摄像头14安装在左外后视镜上并朝向后方，所述右前视摄像头15安装在右外后视镜上并朝向前方，所述右后视摄像头16安装在右外后视镜上并朝向后方。
图像处理设备20用于根据采集到的所述六个方位上的图像生成六幅俯视图像，对生成的六幅俯视图像进行图像拼接并结合车身的俯视图像得到环视图像。
具体地，图像处理设备20用于根据本发明上述实施例所提供的用于汽车的图像处理装置中得到的对应关系将环视界面上的像素点分别对应到所述六个摄像头采集的六个方位上的图像中的像素点上，从而生成分别表示六个方位的六幅俯视图像。
所述图像显示设备30，具有环视界面，用于显示所述环视图像。
在本发明的一个实施例中，图像处理设备20还用于运用融合模板对所述六幅俯视图像中的相邻两幅图像重合的区域进行图像融合，以实现所述六幅俯视图像的无缝拼接。如图3所示，环视图像由车身图像CS和围绕车身图像CS周围的六幅俯视图像组成，车身图像CS可以是真实的拍照图片，也可以是渲染的效果图；其中，图中F表示前方俯视图像，B表示后方俯视图像，LF表示左前方俯视图像，LB表示左后方俯视图像，RF表示右前方俯视图像，RB表示右后方俯视图像，图中剖面线表示的部分为相邻的两幅图像重合的区域CH。
在该实施例中，图像显示设备30为车载DVD，环视界面为车载DVD液晶显示屏的全部显示区域或部分显示区域。
在本发明的一个实施例中，所述汽车环视系统还包括控制输入模块，所述控制输入模块用于控制环视系统的开启和关闭。控制输入模块可以是集成在方向盘上的按键，当按下按键时，控制输入模块通过整车CAN总线发出环视系统开启和关闭命令。
根据本发明的汽车环视系统，通过安装在车身上的前视摄像头、后视摄像头、左前视摄像头、左后视摄像头、右前视摄像头及右后视摄像头分别采集汽车车身前方、后方、左前方、左后方、右前方及右后方六个方位上的图像，根据采集到的六个方位上的图像生成六幅俯视图像，对生成的六幅俯视图像进行图像拼接，并结合车身的俯视图像得到环视图像，降低了所需摄像头视场角的大小，因此，可以采用视场角较小的摄像头，从而有效地降低环视系统的制造成本，有利于环视系统的普及，同时，还能够减少图像的失真程度。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者 特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (16)

  1. 一种用于汽车的图像处理方法，包括以下步骤：
    通过设置在汽车车身上的六个摄像头分别采集汽车车身前方、后方、左前方、左后方、右前方及右后方六个方位上的图像；
    计算与所述六个方位上的图像上的像素点对应的环视界面上的像素点，以生成环视界面上的像素点与所述六个方位上的图像上的像素点的对应关系。
  2. 根据权利要求1所述的用于汽车的图像处理方法，其中，计算与所述六个方位上的图像上的像素点对应的环视界面上的像素点，以生成环视界面上的像素点与所述六个方位上的图像上的像素点的对应关系包括：
    对所述六个方位上的图像进行矫正以获得六个矫正后图像；
    利用每个摄像头的光学参数，分别拟合出表示理想像高与畸变系数的函数关系的多项式，和表示实际像高与畸变系数的函数关系的多项式；
    在每个摄像头拍摄区域内设置四个标定点并确定每个标定点在摄像头采集图像上的坐标位置，根据所述表示实际像高与畸变系数的函数关系的多项式求解出每个标定点的畸变系数d值，并根据公式x0＝x/(1+d)、y0＝y/(1+d)确定每个摄像头拍摄区域内的所述四个标定点在矫正后图像上的像素点的坐标位置；
    通过比例换算，计算出每个摄像头拍摄区域内的所述四个标定点在环视界面中的坐标位置，根据四个标定点在环视界面上的坐标位置以及在矫正后图像上的像素点的坐标位置，利用透视变换模型X＝(c1*x1+c2*y1+c3)/(c7*x1+c8*y1+1)，Y＝(c4*x1+c5*y1+c6)/(c7*x1+c8*y1+1)，求解出系数c1～c8，再利用所述透视变换模型计算出所述环视界面上的每个点在矫正后图像上的像素点的坐标位置，以生成第一映射关系表，其中x1，y1为标定点在环视界面上的坐标位置，X，Y为标定点在矫正后图像上的像素点坐标位置，c1-c8为透视变换系数；
    根据第一映射关系表，利用表示理想像高与畸变系数的函数关系的多项式计算出矫正后图像上的每个像素点的畸变系数d值，结合公式x＝x0*(1+d)、y＝y0*(1+d)，求解出第一映射关系表中位于矫正后图像上所有坐标位置的像素点在摄像头采集图像上的坐标位置，以生成第二映射关系表，其中，x0、y0为理想图像坐标，x、y为实际图像坐标；
    根据生成的第二映射关系表建立六个从所述环视界面上的像素点到所述六个摄像头采集到的六个方位上的图像上的像素点的对应关系。
  3. 一种生成汽车环视图像的方法，包括以下步骤：
    通过设置在汽车车身上的六个摄像头分别采集汽车车身前方、后方、左前方、左后方、 右前方及右后方六个方位上的图像；
    根据采集到的六个方位上的图像生成六幅俯视图像；
    对生成的六幅俯视图像进行图像拼接并结合汽车车身的俯视图像得到环视图像。
  4. 根据权利要求3所述的生成汽车环视图像的方法，其中，进一步包括：
    在所述汽车的环视界面区域显示所述环视图像。
  5. 根据权利要求3或4所述的生成汽车环视图像的方法，其中，根据采集到的六个方位上的图像生成六幅俯视图像包括：
    根据权利要求1或2中的对应关系将环视界面上的像素点分别对应到所述六个摄像头采集的六个方位上的图像中的像素点上，从而生成分别表示六个方位的六幅俯视图像。
  6. 根据权利要求3至5中任一项所述的生成汽车环视图像的方法，其中，对生成的六幅俯视图像进行图像拼接包括：
    运用融合模板对所述六幅俯视图像中的相邻两幅图像重合的区域进行图像融合，以实现所述六幅俯视图像的无缝拼接。
  7. 一种用于汽车的图像处理装置，包括：
    图像采集设备，所述图像采集设备包括安装在汽车车身上的前视摄像头、后视摄像头、左前视摄像头、左后视摄像头、右前视摄像头及右后视摄像头，用于分别采集汽车车身前方、后方、左前方、左后方、右前方及右后方六个方位上的图像；
    计算设备，所述计算设备用于计算与所述六个方位上的图像上的像素点对应的环视界面上的像素点，以生成环视界面上的像素点与所述六个方位上的图像上的像素点的对应关系。
  8. 根据权利要求7所述的用于汽车的图像处理装置，其中，所述计算设备用于：
    对所述六个方位上的图像进行矫正以获得六个矫正后图像；
    利用每个摄像头的光学参数，分别拟合出表示理想像高与畸变系数的函数关系的多项式，和表示实际像高与畸变系数的函数关系的多项式；
    在每个摄像头拍摄区域内设置四个标定点并确定每个标定点在摄像头采集图像上的坐标位置，根据所述表示实际像高与畸变系数的函数关系的多项式求解出每个标定点的畸变系数d值，并根据公式x0＝x/(1+d)、y0＝y/(1+d)确定每个摄像头拍摄区域内的所述四个标定点在矫正后图像上的像素点的坐标位置，其中，x、y为实际图像坐标，x0、y0为理想图像坐标；
    通过比例换算，计算出每个摄像头拍摄区域内的所述四个标定点在环视界面中的坐标位置，根据四个标定点在环视界面上的坐标位置以及在矫正后图像上的像素点的坐标位置， 利用透视变换模型X＝(c1*x1+c2*y1+c3)/(c7*x1+c8*y1+1)，Y＝(c4*x1+c5*y1+c6)/(c7*x1+c8*y1+1)，求解出系数c1～c8，再利用所述透视变换模型计算出所述环视界面上的每个点在矫正后图像上的像素点的坐标位置，以生成第一映射关系表，其中x1，y1为标定点在环视界面上的坐标位置，X，Y为标定点在矫正后图像上的像素点坐标位置，c1-c8为透视变换系数；
    根据第一映射关系表，利用表示理想像高与畸变系数的函数关系的多项式计算出矫正后图像上的每个像素点的畸变系数d值，结合公式x＝x0*(1+d)、y＝y0*(1+d)，求解出第一映射关系表中位于矫正后图像上所有坐标位置的像素点在摄像头采集图像上的坐标位置，以生成第二映射关系表，其中，x0、y0为理想图像坐标，x、y为实际图像坐标；
    根据生成的第二映射关系表建立六个从所述环视界面上的像素点到所述六个摄像头采集到的六个方位上的图像上的像素点的对应关系。
  9. 根据权利要求7或8所述的用于汽车的图像处理装置，其中所述前视摄像头、后视摄像头、左前视摄像头、左后视摄像头、右前视摄像头及右后视摄像头均为130度视场角的摄像头。
  10. 根据权利要求7至9中任一项所述的用于汽车的图像处理装置，其中，所述前视摄像头安装在前格栅上，所述后视摄像头安装在后备箱盖上，所述左前视摄像头安装在左外后视镜上并朝向前方，所述左后视摄像头安装在左外后视镜上并朝向后方，所述右前视摄像头安装在右外后视镜上并朝向前方，所述右后视摄像头安装在右外后视镜上并朝向后方。
  11. 一种汽车环视系统，包括；
    图像采集设备，所述图像采集设备包括安装在汽车车身上的前视摄像头、后视摄像头、左前视摄像头、左后视摄像头、右前视摄像头及右后视摄像头，用于分别采集汽车车身前方、后方、左前方、左后方、右前方及右后方六个方位上的图像；
    图像处理设备，所述图像处理设备用于根据采集到的所述六个方位上的图像生成六幅俯视图像，对生成的六幅俯视图像进行图像拼接并结合车身的俯视图像得到环视图像。
  12. 根据权利要求11所述的汽车环视系统，进一步包括：
    图像显示设备，所述图像显示设备具有环视界面，用于显示所述环视图像。
  13. 根据权利要求11或12所述的汽车环视系统，其中，所述图像处理设备根据权利要求8或9中的对应关系将环视界面上的像素点分别对应到所述六个摄像头采集的六个方位上的图像中的像素点上，从而生成分别表示六个方位的六幅俯视图像。
  14. 根据权利要求11至13中任一项所述的汽车环视系统，其中，所述图像处理设备 运用融合模板对所述六幅俯视图像中的相邻两幅图像重合的区域进行图像融合，以实现所述六幅俯视图像的无缝拼接。
  15. 根据权利要求11至14中任一项所述的汽车环视系统，其特征在于，所述前视摄像头、后视摄像头、左前视摄像头、左后视摄像头、右前视摄像头及右后视摄像头均为130度视场角的摄像头。
  16. 根据权利要求11至15中任一项所述的汽车环视系统，其中，所述前视摄像头安装在前格栅上，所述后视摄像头安装在后备箱盖上，所述左前视摄像头安装在左外后视镜上并朝向前方，所述左后视摄像头安装在左外后视镜上并朝向后方，所述右前视摄像头安装在右外后视镜上并朝向前方，所述右后视摄像头安装在右外后视镜上并朝向后方。
PCT/CN2014/087554 2013-09-27 2014-09-26 用于汽车的图像处理方法与装置、生成汽车环视图像的方法和汽车环视系统 WO2015043507A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201310450345.2A CN104512328B (zh) 2013-09-27 2013-09-27 汽车环视图像生成方法及汽车环视系统
CN201310450345.2 2013-09-27

Publications (1)

Publication Number Publication Date
WO2015043507A1 true WO2015043507A1 (zh) 2015-04-02

Family

ID=52742082

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2014/087554 WO2015043507A1 (zh) 2013-09-27 2014-09-26 用于汽车的图像处理方法与装置、生成汽车环视图像的方法和汽车环视系统

Country Status (2)

Country Link
CN (1) CN104512328B (zh)
WO (1) WO2015043507A1 (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106851201A (zh) * 2017-02-09 2017-06-13 苏州慧景光电科技有限公司 基于光纤传像技术的车载全景影像系统及其标定方法
CN109285120A (zh) * 2018-11-21 2019-01-29 北京汽车研究总院有限公司 一种图像拼接、图像标定方法、车辆及标定设备
CN109278641A (zh) * 2018-05-30 2019-01-29 惠州市德赛西威汽车电子股份有限公司 一种基于摄像头消除汽车盲区的高清智能装置及其方法
CN110576794A (zh) * 2018-06-07 2019-12-17 奥特润株式会社 Avm系统及其操作方法
CN110910311A (zh) * 2019-10-30 2020-03-24 同济大学 一种基于二维码的多路环视相机自动拼接方法
CN111311693A (zh) * 2020-03-16 2020-06-19 威海经济技术开发区天智创新技术研究院 一种多目摄像头的在线标定方法及系统
CN111369439A (zh) * 2020-02-29 2020-07-03 华南理工大学 基于环视的自动泊车车位识别全景环视图像实时拼接方法
CN112465693A (zh) * 2020-11-26 2021-03-09 江苏国和智能科技有限公司 一种360°环视水下视觉成像方法及系统
CN113065999A (zh) * 2019-12-16 2021-07-02 杭州海康威视数字技术股份有限公司 车载全景图生成方法、装置、图像处理设备及存储介质
CN113099219A (zh) * 2021-04-12 2021-07-09 上海网车科技有限公司 一种环视摄像头布置位置匹配标定系统及方法
CN113221833A (zh) * 2021-06-01 2021-08-06 深圳市天双科技有限公司 一种后视摄像头实现全景泊车的方法
CN113345074A (zh) * 2021-06-07 2021-09-03 苏州易航远智智能科技有限公司 一种车载3d环视影像显示方法
CN113538283A (zh) * 2021-07-22 2021-10-22 浙江赫千电子科技有限公司 一种冗余鱼眼摄像头拍摄图像的畸变矫正方法
CN113947551A (zh) * 2021-11-16 2022-01-18 深圳市锐思华创技术有限公司 一种抬头显示器畸变矫正系统及其矫正方法
CN114827491A (zh) * 2022-04-18 2022-07-29 鹰驾科技（深圳）有限公司 一种无线传输全景环视拼接技术
CN115412676A (zh) * 2022-09-13 2022-11-29 清华大学 一种基于权重掩膜的全景环视系统及全景图像融合方法
CN115426440A (zh) * 2022-07-27 2022-12-02 深圳市富中奇科技有限公司 车辆环视系统的实现方法、装置、设备及计算机存储介质
CN115994952A (zh) * 2023-02-01 2023-04-21 镁佳(北京)科技有限公司 环视影像系统的标定方法、装置、计算机设备及存储介质
CN116229426A (zh) * 2023-05-09 2023-06-06 华东交通大学 基于全景环视图像的无人驾驶泊车停车位检测方法

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106296642A (zh) * 2015-06-09 2017-01-04 汪浩 车载环视系统摄像头内外参数一次性标定的方法
CN106274684A (zh) * 2015-06-24 2017-01-04 张烂熳 一种小角度摄像头实现的汽车全景环视系统
KR101766077B1 (ko) * 2015-12-08 2017-08-07 현대자동차주식회사 차량 주변 영상 정보 제공 시스템 및 방법
CN105574863B (zh) * 2015-12-14 2018-03-27 宁波裕兰信息科技有限公司 一种360度环视系统在线自动标定系统
CN106355553B (zh) * 2016-09-06 2019-08-27 深圳格兰泰克汽车电子有限公司 一种360环视拼接方法及装置
CN108629732B (zh) * 2017-03-15 2021-05-14 比亚迪股份有限公司 车辆环视全景图像生成方法、装置和车辆
CN107423667A (zh) * 2017-04-12 2017-12-01 杭州奥腾电子股份有限公司 一种车体上的预测障碍物的方法
CN107424116B (zh) * 2017-07-03 2020-06-19 浙江零跑科技有限公司 基于侧环视相机的泊车位检测方法
CN107554472A (zh) * 2017-08-23 2018-01-09 中国科学院自动化研究所 一种车辆碰撞警示系统和方法
CN108327719A (zh) * 2018-01-31 2018-07-27 京东方科技集团股份有限公司 辅助车辆行驶的方法及装置
CN110944107B (zh) * 2019-12-29 2021-06-04 徐书诚 一种实现环视网络摄像机组单屏还原显示计算机系统
CN111757057B (zh) * 2020-06-17 2022-06-17 广州市泰睿科技有限公司 一种全景环视显示方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1921621A (zh) * 2006-09-18 2007-02-28 李博航 全景可视驾驶辅助设备
TWM392773U (en) * 2010-05-21 2010-11-21 Fortune Prec Technology Co Ltd Auxiliary apparatus with panoramic viewing and recording for car driving
CN102111610A (zh) * 2010-05-21 2011-06-29 深圳安科智能视频技术有限公司 用于辅助驾驶的全景式影像生成方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5128566B2 (ja) * 2009-09-28 2013-01-23 住友重機械工業株式会社 周囲画像提示装置及び操作支援システム
JP5302227B2 (ja) * 2010-01-19 2013-10-02 富士通テン株式会社 画像処理装置、画像処理システム、および、画像処理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1921621A (zh) * 2006-09-18 2007-02-28 李博航 全景可视驾驶辅助设备
TWM392773U (en) * 2010-05-21 2010-11-21 Fortune Prec Technology Co Ltd Auxiliary apparatus with panoramic viewing and recording for car driving
CN102111610A (zh) * 2010-05-21 2011-06-29 深圳安科智能视频技术有限公司 用于辅助驾驶的全景式影像生成方法

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106851201A (zh) * 2017-02-09 2017-06-13 苏州慧景光电科技有限公司 基于光纤传像技术的车载全景影像系统及其标定方法
CN109278641A (zh) * 2018-05-30 2019-01-29 惠州市德赛西威汽车电子股份有限公司 一种基于摄像头消除汽车盲区的高清智能装置及其方法
WO2019227666A1 (zh) * 2018-05-30 2019-12-05 惠州市德赛西威汽车电子股份有限公司 一种基于摄像头消除汽车盲区的高清智能装置及其方法
CN110576794B (zh) * 2018-06-07 2023-01-31 现代摩比斯株式会社 Avm系统及其操作方法
CN110576794A (zh) * 2018-06-07 2019-12-17 奥特润株式会社 Avm系统及其操作方法
CN109285120A (zh) * 2018-11-21 2019-01-29 北京汽车研究总院有限公司 一种图像拼接、图像标定方法、车辆及标定设备
CN110910311A (zh) * 2019-10-30 2020-03-24 同济大学 一种基于二维码的多路环视相机自动拼接方法
CN110910311B (zh) * 2019-10-30 2023-09-26 同济大学 一种基于二维码的多路环视相机自动拼接方法
CN113065999B (zh) * 2019-12-16 2023-03-10 杭州海康威视数字技术股份有限公司 车载全景图生成方法、装置、图像处理设备及存储介质
CN113065999A (zh) * 2019-12-16 2021-07-02 杭州海康威视数字技术股份有限公司 车载全景图生成方法、装置、图像处理设备及存储介质
CN111369439B (zh) * 2020-02-29 2023-05-23 华南理工大学 基于环视的自动泊车车位识别全景环视图像实时拼接方法
CN111369439A (zh) * 2020-02-29 2020-07-03 华南理工大学 基于环视的自动泊车车位识别全景环视图像实时拼接方法
CN111311693B (zh) * 2020-03-16 2023-11-14 威海经济技术开发区天智创新技术研究院 一种多目摄像头的在线标定方法及系统
CN111311693A (zh) * 2020-03-16 2020-06-19 威海经济技术开发区天智创新技术研究院 一种多目摄像头的在线标定方法及系统
CN112465693A (zh) * 2020-11-26 2021-03-09 江苏国和智能科技有限公司 一种360°环视水下视觉成像方法及系统
CN113099219A (zh) * 2021-04-12 2021-07-09 上海网车科技有限公司 一种环视摄像头布置位置匹配标定系统及方法
CN113221833B (zh) * 2021-06-01 2023-05-26 深圳市天双科技有限公司 一种后视摄像头实现全景泊车的方法
CN113221833A (zh) * 2021-06-01 2021-08-06 深圳市天双科技有限公司 一种后视摄像头实现全景泊车的方法
CN113345074A (zh) * 2021-06-07 2021-09-03 苏州易航远智智能科技有限公司 一种车载3d环视影像显示方法
CN113538283A (zh) * 2021-07-22 2021-10-22 浙江赫千电子科技有限公司 一种冗余鱼眼摄像头拍摄图像的畸变矫正方法
CN113538283B (zh) * 2021-07-22 2024-04-30 浙江赫千电子科技有限公司 一种冗余鱼眼摄像头拍摄图像的畸变矫正方法
CN113947551A (zh) * 2021-11-16 2022-01-18 深圳市锐思华创技术有限公司 一种抬头显示器畸变矫正系统及其矫正方法
CN114827491A (zh) * 2022-04-18 2022-07-29 鹰驾科技（深圳）有限公司 一种无线传输全景环视拼接技术
CN115426440A (zh) * 2022-07-27 2022-12-02 深圳市富中奇科技有限公司 车辆环视系统的实现方法、装置、设备及计算机存储介质
CN115426440B (zh) * 2022-07-27 2024-03-15 深圳市富中奇科技有限公司 车辆环视系统的实现方法、装置、设备及计算机存储介质
CN115412676A (zh) * 2022-09-13 2022-11-29 清华大学 一种基于权重掩膜的全景环视系统及全景图像融合方法
CN115994952A (zh) * 2023-02-01 2023-04-21 镁佳(北京)科技有限公司 环视影像系统的标定方法、装置、计算机设备及存储介质
CN115994952B (zh) * 2023-02-01 2024-01-30 镁佳(北京)科技有限公司 环视影像系统的标定方法、装置、计算机设备及存储介质
CN116229426A (zh) * 2023-05-09 2023-06-06 华东交通大学 基于全景环视图像的无人驾驶泊车停车位检测方法

Also Published As

Publication number Publication date
CN104512328B (zh) 2016-11-09
CN104512328A (zh) 2015-04-15

Similar Documents

Publication Publication Date Title
WO2015043507A1 (zh) 用于汽车的图像处理方法与装置、生成汽车环视图像的方法和汽车环视系统
CN104851076B (zh) 用于商用车的全景环视泊车辅助系统及摄像头安装方法
WO2019192359A1 (zh) 一种车载全景视频显示系统、方法及车载控制器
JP5222597B2 (ja) 画像処理装置及び方法、運転支援システム、車両
US20160098815A1 (en) Imaging surface modeling for camera modeling and virtual view synthesis
TWI578271B (zh) 動態影像處理方法以及動態影像處理系統
WO2010137265A1 (ja) 車両周囲監視装置
WO2013047012A1 (ja) 車両周辺監視装置
JP2012105158A (ja) 連結車両用鳥瞰図表示システム
JP2010246088A (ja) 車載カメラ装置の画像調整装置及び方法、並びに車載カメラ装置
JP2011182236A (ja) カメラキャリブレーション装置
CN105472317B (zh) 周边监视装置及周边监视系统
JP2008149878A (ja) 運転支援装置
CN104477097A (zh) 一种新型电子后视系统及控制逻辑
JP2015097335A (ja) 俯瞰画像生成装置
CN111798375A (zh) 环视图像拼接方法、系统、装置、存储介质和搅拌车
CN110651295A (zh) 图像处理设备、图像处理方法和程序
KR101393918B1 (ko) 차량 전방위 감시 시스템
JP5861871B2 (ja) 俯瞰画像提示装置
KR102053099B1 (ko) 어라운드 뷰 모니터링 시스템 및 그것의 동작 방법
CN204367998U (zh) 一种新型电子后视系统
KR101488636B1 (ko) 투시변환을 이용한 탑뷰 주차 지원 시스템 및 그 방법
CN111626227B (zh) 一种基于双目视觉车底透视全景系统的实现方法
JP5305750B2 (ja) 車両周辺表示装置およびその表示方法
US11373282B2 (en) Image processing apparatus and method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14848025

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14848025

Country of ref document: EP

Kind code of ref document: A1