WO2010137265A1 - 車両周囲監視装置 - Google Patents

車両周囲監視装置 Download PDF

Info

Publication number
WO2010137265A1
WO2010137265A1 PCT/JP2010/003405 JP2010003405W WO2010137265A1 WO 2010137265 A1 WO2010137265 A1 WO 2010137265A1 JP 2010003405 W JP2010003405 W JP 2010003405W WO 2010137265 A1 WO2010137265 A1 WO 2010137265A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
vehicle
images
camera
overhead
Prior art date
Application number
PCT/JP2010/003405
Other languages
English (en)
French (fr)
Inventor
望月亮
岡本修作
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to US13/322,488 priority Critical patent/US20120069153A1/en
Priority to EP10780226.6A priority patent/EP2437494B1/en
Priority to JP2011515870A priority patent/JP5444338B2/ja
Publication of WO2010137265A1 publication Critical patent/WO2010137265A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/168—Driving aids for parking, e.g. acoustic or visual feedback on parking space

Definitions

  • the present invention relates to a vehicle surrounding monitoring apparatus that is mounted on a vehicle and synthesizes a plurality of captured images around the vehicle, and provides the synthesized image to a driver or the like.
  • Patent Document 1 As a conventional vehicle periphery monitoring device, for example, there is one described in Patent Document 1.
  • processing is performed on an image around a vehicle photographed via a wide-angle lens by a plurality of in-vehicle cameras (hereinafter referred to simply as “cameras”) arranged so that a part of the photographing range overlaps. Is given.
  • the photographed image is converted into an overhead image that is an image of an object on the road surface as viewed from the viewpoint of the driver or the viewpoint from above.
  • the bird's-eye view image generated by the conversion is displayed on the monitor, and is presented to the vehicle occupant, particularly the driver.
  • a plurality of images taken by a plurality of cameras attached at different positions are converted into a plurality of overhead images, and the plurality of overhead images are combined to form a composite image. Is generated.
  • image processing methods for overlapping areas when a bird's-eye view image is synthesized a method is known in which the luminance of a pixel is determined by adding pixels of each overhead view image in the overlapping area with weights.
  • Patent Document 2 proposes a method for determining the weight of a pixel according to the distance between the camera and a point corresponding to the target pixel. For this reason, an image having a short distance from the camera is preferentially used in the overlapping region, and an image with little deterioration in image quality can be generated.
  • the distortion of the three-dimensional object included in the bird's-eye view image is related to the viewpoint (projection plane) set for generating the bird's-eye view image, and the mounting state (position and orientation) of the actually captured camera on the vehicle. . Therefore, without quantifying these pieces of information, the magnitude of distortion cannot be considered only by the distance between the camera and the point corresponding to the target pixel. That is, when weighting is performed according to the distance from the actual camera to the point corresponding to the target pixel as in Patent Document 2, the roughness of the pixel is considered in the synthesis weight, but the distortion of the three-dimensional object being photographed is considered. The size cannot be taken into consideration, and pixels of the overhead view image including a larger distortion are used preferentially (for example, given a higher weight).
  • An object of the present invention is to provide a vehicle periphery monitoring device that can reduce distortion of a three-dimensional object that appears in a composite image when an output image of a monitor is obtained by combining overhead images based on images captured by a plurality of cameras. It is to be.
  • the vehicle surrounding monitoring apparatus is a vehicle surrounding monitoring apparatus used together with a plurality of photographing means for photographing a region around the vehicle, and obtains data indicating a plurality of images photographed by the plurality of photographing means.
  • combining means for obtaining an output image by combining a plurality of overhead images generated based on the acquired data, wherein the combining means overlaps different overhead images corresponding to different photographing means In the region, the pixels of the different bird's-eye view images are combined based on the ratio determined according to the angle at which the point corresponding to the pixel is looked down from the different photographing means.
  • a monitor output image is obtained by synthesizing overhead images based on images taken by a plurality of cameras, distortion of a three-dimensional object appearing in the synthesized image can be reduced.
  • the figure which shows the example of the attachment position of the camera to the vehicle body in Embodiment 1 of this invention The figure which shows the example of an image image
  • generation example of the bird's-eye view image by the mapping in Embodiment 1 of this invention The figure which shows the example of a synthesis
  • the figure which shows the example which represented the blend rate table defined about one bird's-eye view image among the two bird's-eye view images of composition object by the numerical value The figure which shows the example which represented the blend rate table defined about the other bird's-eye view image among the two bird's-eye view images of composition object by the numerical value in Embodiment 1 of the present invention.
  • region of the vehicle front right The figure which shows the example of the state which looked down at the solid thing from the camera of the front side of vehicles.
  • the figure which shows the example of the state which looked down at the solid object from the camera on the right side of the vehicle The figure for demonstrating the angle which looks down the position on the ground of the point corresponding to the pixel of composition object from Embodiment 1 in Embodiment 1 of this invention.
  • FIG. 1 is a block diagram showing an overall configuration of a vehicle surrounding monitoring apparatus according to Embodiment 1 of the present invention.
  • the photographing unit 1 has a plurality of (N) cameras 11 of a color or monochrome type having a solid-state imaging device such as a CCD or CMOS device as photographing means.
  • the plurality of cameras 11 are all installed in a vehicle and used, for example, so that a wide range can be photographed with a high viewing angle lens such as a fisheye lens.
  • FIG. 2 shows an example in which four cameras 11a to 11d are installed in the vehicle so that the entire periphery of the vehicle can be visually confirmed on the image.
  • the cameras 11a and 11b are installed on a side mirror on the side of the vehicle
  • the camera 11c is installed on the rear side of the vehicle
  • the camera 11d is installed near a bumper on the front side of the vehicle.
  • Images actually taken by the cameras 11a to 11d are images as indicated by 301, 302, 303, and 304 in FIG.
  • each camera is installed at the front, rear, left, and right positions of the vehicle. However, each camera can be placed at any position as long as the surroundings of the vehicle (not necessarily the entire circumference) can be appropriately captured. May be installed.
  • the image processing unit 2 inputs captured images (hereinafter also referred to as “camera images”) from each camera 11, processes these captured images, and outputs the processed images to the display unit 3.
  • the processing is an operation of creating a viewpoint conversion image and synthesizing an illustration image with an overhead image.
  • the image processing unit 2 has an interface (not shown) connected to each camera 11 as an acquisition unit in order to acquire data indicating a camera image.
  • the calculation in the image processing unit 2 includes a computer such as a CPU (Central Processing Unit) that executes a program for the calculation, and a storage device that stores information such as a table necessary for the calculation. It is realized by.
  • the vehicle surrounding monitoring apparatus according to the present embodiment is mainly configured by the image processing unit 2.
  • a display device such as a liquid crystal display or a plasma display is used.
  • the display here may be shared with a vehicle-mounted GPS (Global Positioning System) terminal display (a display of a so-called car navigation system).
  • GPS Global Positioning System
  • the overhead image conversion unit 21 serving as a conversion unit performs signal processing for converting a camera image captured from the camera 11 into an image viewed from the designated virtual viewpoint with the ground as a projection plane.
  • the bird's-eye view image is, for example, an image looking down perpendicularly to the ground from the virtual viewpoint position.
  • the process of converting the camera image into a bird's-eye view image from the virtual viewpoint is performed with reference to the mapping table 23.
  • the mapping table 23 defines a correspondence relationship between input (pixel coordinates of a camera image) and output (pixel coordinates of an overhead image) in advance, and will be described in detail later.
  • FIG. 4 is an example in which the camera images 301, 302, 303, and 304 in FIG. 3 are converted into bird's-eye views 401, 402, 403, and 404 viewed from above the vehicle.
  • the bird's-eye view image synthesizing unit 22 as a synthesizing unit generates a single output image by synthesizing the plurality of bird's-eye images generated by the bird's-eye view image conversion unit 21, and outputs the output image to the display unit 3.
  • FIG. 5 is an example of one output image (composite image) 405 generated from the overhead images 401, 402, 403, and 404 in FIG.
  • overlapping areas 411a, 411c, 412a, 412d, 413b, 413c, 414b, and 414d are areas (overlapping areas) where two overhead images overlap.
  • the region 411a of the overhead image 401 corresponding to the camera 11a on the vehicle side surface and the region 411c of the overhead image 403 corresponding to the camera 11c on the vehicle rear side overlap.
  • the region 413c of the overhead image 403 corresponding to the camera 11c behind the vehicle and the region 413b of the overhead image 402 corresponding to the camera 11b on the side of the vehicle overlap.
  • the region 414b of the overhead image 402 corresponding to the camera 11b on the vehicle side surface and the region 414d of the overhead image 404 corresponding to the camera 11d in front of the vehicle overlap.
  • the overlapping area is synthesized by weighted addition of the overhead images. The weight applied to each overhead image is obtained by referring to a blend rate table 24 described later.
  • the mapping table 23 is a table in which the relationship between the camera image and the overhead image is associated.
  • the pixel coordinates of each camera image and the corresponding pixel coordinates of the overhead image are described as a pair.
  • FIG. 6 is a diagram illustrating a method for acquiring pixel coordinates of a camera image with reference to a mapping table.
  • the mapping table 501 is a table in which the coordinates of the overhead image 502 and the coordinates of the camera image 503 are associated one by one.
  • a mapping table is created for each of a plurality of cameras.
  • the mapping table is stored in, for example, a ROM or a RAM in order to perform a composite image generation process at high speed.
  • the blend rate table 24 is a table showing how many pixels of which bird's-eye image are used when two output images are superimposed to synthesize one output image.
  • FIG. 7 shows an example in which overlapping regions of two overhead images are synthesized. 7 is realized by calculating the luminance of each pixel according to equation (1).
  • the composite image 621 is an image obtained by combining the overhead images 601 and 602.
  • a weight table is used as a method for synthesizing overlapping regions using a blend rate table will be described.
  • the weight applied to the bird's-eye view images 601 and 602 at the time of composition in the overlapping area is obtained by referring to the weight tables 611 and 612 having the same size as the overlapping area.
  • FIG. 7 shows an example in which overlapping regions of two overhead images are synthesized. 7 is realized by calculating the luminance of each pixel according to equation (1).
  • the composite image 621 is an image obtained by combining the overhead images 601 and 602.
  • a weight table is used as
  • the magnitudes of the weights for each pixel determined in the weight tables 611 and 612 are expressed by color shading (that is, larger weights are expressed by darker colors).
  • 8A and 8B are examples in which the weight tables 611 and 612 in FIG. 7 are represented by numerical values. Each value in the weight table of FIGS. 8A and 8B corresponds to each pixel, and the weight is set within a range of 0% or more and 100% or less. Further, the relationship of Expression (2) is established with respect to the weight of each pixel.
  • FIGS. 9A, 9B, and 9C an example in which an overlapping region including the periphery of the three-dimensional object is combined is illustrated in FIGS. 9A, 9B, and 9C. Will be described with reference to FIG.
  • the camera 11d in front of the vehicle is installed at a height h1 from the ground
  • the camera 11b on the right side of the vehicle is installed at a height h2 (> h1) from the ground.
  • the cameras 11b and 11d photograph a three-dimensional object 701 having a height h3 ( ⁇ h1) located at a point P in the vehicle surrounding area 900
  • the three-dimensional object 701 extends in the respective projection directions in the camera image. Appear as projected solid objects 911 and 912 projected on the ground.
  • the projected three-dimensional object 911 in the captured image of the camera 11d is larger than the projected three-dimensional object 912 in the captured image of the camera 11b.
  • the pixels of the overhead image with a short distance from the camera are preferentially used. become. That is, in this conventional example, the weight is derived from the distance. For this reason, a problem may occur when the distances d1 and d2 between the cameras 11d and 11b and the point P are equal. Generally, the mounting positions of the cameras 11b and 11d are actually different, and the heights h1 and h2 are different even if the distances d1 and d2 are the same.
  • the projection solid objects 711 and 712 generated from the solid object 701 located at the point P are different in size (elongation).
  • the weights w1 and w2 are derived from the equal distances d1 and d2, and thus become equal.
  • weighting that can reduce distortion in the projection direction of a three-dimensional object is performed in consideration of the camera attachment position, particularly the attachment height.
  • the weight setting method in the present embodiment will be described with reference to FIG. In FIG. 10, the distance between the point P1 at which the perpendicular line drawn from the camera 11d located at the height h1 intersects the ground and the point P is t1, and the perpendicular line drawn from the camera 11b located at the height h2 in the ground direction.
  • the distance between the point that intersects the ground and the point P is t2.
  • the bird's-eye view image is an image projected on the ground in the present embodiment, and is preferably an image looking down directly from the virtual viewpoint as much as possible.
  • the proposed weight setting method focuses on the angles ⁇ 1 and ⁇ 2 at which the cameras 11d and 11b look down at the point P, not the distances d1 and d2 from the cameras 11d and 11b to the point P. That is, since the overhead image corresponding to the camera whose angle looking down at the point P is relatively acute is relatively close to the image looking down directly below, the weight of such an overhead image is set high.
  • the weighting reflecting this is expressed by the following formulas (5), (6), (7), and (8).
  • the three-dimensional object distortion (elongation in the projection direction) at the point P has the same length, so that the weights w1 and w2 at the point P are equal.
  • the weight w2 of the overhead view image corresponding to the camera 11b located at a more acute angle becomes larger. That is, in the synthesis of the pixel corresponding to the point P, the pixel of the overhead image corresponding to the camera 11b that is installed at a high position and has a small distortion of the three-dimensional object is preferentially used.
  • the projected three-dimensional object 711 having a large distortion because it corresponds to the camera 11d at a relatively low position has an influence from the overhead image corresponding to the other camera 11b. As a result, it becomes inconspicuous in the composite image.
  • the projection three-dimensional object 712 having a small distortion because it corresponds to the camera 11b at a relatively high position is not so strongly affected by the overhead image corresponding to the other camera 11d, and as a result, the projection three-dimensional object 711 in the composite image. Appears more conspicuous than.
  • the weight setting method a case where the most focused height is set as a parameter according to how high the distortion of the three-dimensional object is focused will be described.
  • the positions of the cameras 11d and 11b are represented by the heights h1 and h2 from the ground, and the distances between the point P and the point where the perpendicular line dropped from the cameras 11d and 11b to the ground intersects the ground are t1 and t2.
  • the height H at which distortion is to be reduced is newly set as a parameter.
  • the actual setting of the height H is about 50-80cm, although it depends on the camera mounting height. This height needs to be set lower than the actual camera mounting position. Further, the height H of interest is constant regardless of whether or not an object exists at the point P, and the weight is calculated. That is, the weight setting process in the present embodiment does not require object detection, and is performed uniformly based on a predetermined height H regardless of the presence or absence of an object. When there is no object, that is, when the ground is displayed in the overhead view image, the ground at the same position is captured in the overlapping region, and thus weighting assuming the height H of interest has an adverse effect on the composite image. Absent.
  • FIG. 12 is a flowchart showing an operation example of the overhead image conversion unit 21 that generates an overhead image at a certain timing when the input of the camera image is confirmed.
  • step S001 the mapping table 23 is referred to in order to obtain the coordinates of the camera image corresponding to the coordinates xt, yt of the overhead image. Since the mapping table 23 lists the coordinates of the camera image corresponding to the coordinates xt, yt of the overhead view image, the coordinates xi, yi of the corresponding camera image can be acquired.
  • step S002 the pixel value at the coordinates xi, yi of the camera image is acquired, and this pixel value is used as the pixel value at the coordinates xt, yt of the overhead image.
  • step S003 the process of steps S001 and S002 is repeatedly performed until all the pixel values of the overhead view pixels are acquired by determining whether or not all the pixels necessary for generating the overhead image are acquired.
  • the overhead image conversion unit 21 repeats the process of FIG. 12 until all the overhead images at a certain timing are generated.
  • FIG. 13 is a flowchart illustrating an operation example of the overhead image synthesis unit 22 that synthesizes these overhead images and generates an output image at a timing when a plurality of overhead images are generated.
  • step S011 an overhead image having pixel values of coordinates xo and yo of the output image to be finally synthesized is selected.
  • step S012 it is determined whether or not there are a plurality of bird's-eye view images that combine the pixels of the coordinates xo and yo of the output image. If there is one corresponding bird's-eye view image, the process proceeds to step S015. If there are two overhead images, it is determined as an overlapping region, and the process proceeds to step S013.
  • step S013 the pixel values of the two overhead images corresponding to the coordinates xo and yo of the output image are acquired.
  • step S014 a weight for synthesizing the pixel values of the overhead view image acquired in step S013 is acquired from the blend rate table 24.
  • step S015 the pixels of the coordinates xo and yo of the output image are synthesized. If the corresponding pixels are present in the two overhead images, they are synthesized by equation (1) based on the weight obtained in step S014. If it exists in only one bird's-eye view image, the pixels of the coordinates xo and yo of that bird's-eye view image are used as they are.
  • step S016 it is determined whether or not all the pixel values necessary for generating the output image have been acquired, and the processes from step S011 to step S015 are repeatedly performed until all the pixel values are acquired.
  • This embodiment is different from the first embodiment in that a three-dimensional space model is used in the conversion process from a camera image to a bird's-eye view image, and this point will be mainly described.
  • This three-dimensional space model is an omnidirectional curved surface model having a curved surface that rises in a complete bowl shape so as to surround all azimuths of the vehicle in a world coordinate system based on the vehicle.
  • the area on the vehicle rear side is a plane projection area 1401 in which the projection surface forms a horizontal plane, while the area on the vehicle front side is projected.
  • a curved surface projection area 1402 whose surface has a bowl shape is assumed.
  • the vehicle surrounding area 1400 is divided by a boundary B into a plane projection area 1401 and a curved surface projection area 1402.
  • the pixels of the camera image are mapped onto the horizontal projection plane 1501 of the front curved surface model 1500 if they are within the plane projection region 1401, and are mapped onto the bowl-shaped projection plane 1502 of the front curved surface model 1500 if they are within the curved projection region 1402.
  • the front curved surface model 1500 includes only the horizontal projection surface 1501 at the rear of the vehicle, and includes the saddle-shaped projection surface 1502 that curves and rises from the horizontal projection surface 1501 at the front of the vehicle. Stipulated.
  • the camera image is mapped to the front curved surface model 1500 as shown in FIG.
  • the length L3 of the projected three-dimensional object 1600 on the front curved surface model 1500 as a result of the projection of the tip of the three-dimensional object 701 on the curved surface portion (the saddle-shaped projection surface 1502 in FIG. 15) It becomes shorter than the length L1 of the projection three-dimensional object 911 (FIG. 9B).
  • the projected three-dimensional object (not shown) that appears in the overhead image generated from the mapping image in the present embodiment is replaced with the projected three-dimensional object that appears in the overhead image directly generated from the camera image in the first embodiment. It can be shorter than 711 (FIG. 9A).
  • the present embodiment it is possible to further reduce the distortion of the three-dimensional object in the overhead view image in front of the vehicle.
  • the three-dimensional object 1710 in front of the vehicle is elongated compared to the output image 1702 obtained through the simple planar projection. It is suppressed and distortion is reduced.
  • the output image 1801 obtained through the front curved projection as in the present embodiment has a wider field of view in the vehicle rear region 1810 than the output image 1802 obtained through the simple planar projection. It can be seen that is secured.
  • an output image is formed through a planar projection that allows the distance sense to be easily understood at the rear of the vehicle, and is output through a curved projection that facilitates confirmation of the surroundings at the front of the vehicle.
  • An image is formed.
  • the composite image is displayed when, for example, the vehicle is moved backward to put the vehicle in a parking lot. Therefore, at the rear of the vehicle, which is the traveling direction of the vehicle, it is more necessary to faithfully reproduce the positional relationship between the vehicle and an object located in the vicinity thereof than to ensure a wide field of view.
  • the opposite is true in front of the vehicle or on the side of the vehicle that is not the direction of travel of the vehicle. In the present embodiment, these requirements can be satisfied simultaneously.
  • the vehicle surrounding monitoring apparatus is useful as a vehicle surrounding monitoring apparatus or the like that is mounted on a vehicle and combines a plurality of captured images around the vehicle and provides the combined image to a driver or the like. It is.

Abstract

複数のカメラの撮影画像に基づく俯瞰画像を合成することによりモニタの出力画像を得る場合に、合成画像に現れる立体物の歪を軽減することができる車両周囲監視装置を提供する。車両周囲監視装置は、車両周囲の領域を撮影する複数のカメラ（１１）とともに用いられる。画像処理部（２）は、複数のカメラ（１１）により撮影された複数の画像を示すデータを取得し、取得されたデータに基づいて生成された複数の俯瞰画像を合成することにより、出力画像を得る。画像処理部（２）において、俯瞰画像合成部（２２）は、異なるカメラ（１１）に対応する異なる俯瞰画像の重複領域において、当該異なる俯瞰画像の画素を、当該異なるカメラ（１１）から当該画素に対応する地点を見下ろす角度に応じて決定された比率に基づいて、合成する。

Description

車両周囲監視装置
　本発明は、車両に搭載され、撮影された車両周囲の複数の画像を合成し、その合成画像を運転者等に提供する車両周囲監視装置に関する。
　従来の車両周囲監視装置として、例えば特許文献１に記載されたものがある。この装置では、撮影範囲の一部が重複するように配置された複数の車載カメラ（以下、車載カメラを単に「カメラ」という）により広角レンズを介して撮影された車両周囲の画像に対して処理が施される。この処理により、撮影画像は、路面上の物体を運転者の視点または上方からの視点から見た画像である俯瞰画像へと変換される。変換により生成された俯瞰画像は、モニタに表示されることにより、車両の搭乗者、特に運転者に提示される。
　この種の車両周囲監視装置では通常、異なる位置に取り付けられた複数のカメラで撮影された複数の画像を、複数の俯瞰画像へと変換して、これら複数の俯瞰画像を合成することで合成画像を生成している。俯瞰画像を合成する際、重複領域に対する画像処理方法の１つとして、重複領域におけるそれぞれの俯瞰画像の画素を重み付きで加算することにより、画素の輝度を決定する方法が知られている。具体的には、対象画素の輝度（ｐ）は、重複領域を形成するそれぞれの俯瞰画像の輝度（ｐ１、ｐ２）と重み（ｗ１、ｗ２）とによって、以下の式（１）、（２）で定義される。
　ｐ　＝　ｐ１　×　ｗ１＋　ｐ２　×　ｗ２　・・・（１）
　ｗ１　＋　ｗ２　＝　１　・・・（２）
　特許文献２では、カメラと対象画素に対応する地点との距離に応じて当該画素における重みを決定する方法が提案されている。このため重複領域内ではカメラからの距離が近い画像が優先して使われるようになり、画質としては劣化の少ない画像を生成することが可能である。
特開２００５－１６７３０９号公報 特開２００７－２７４３７７号公報 特許第３２８６３０６号公報
　しかしながら、俯瞰画像内に含まれる立体物の歪は、俯瞰画像を生成するために設定した視点、投影面、および実際に撮影したカメラの車両への取り付け状態（位置、向き）に関係している。よって、これらの情報を定量化することなく、カメラと対象画素に対応する地点との距離だけで、歪の大きさを考慮することができない。すなわち特許文献２のように実際のカメラから対象画素に対応する地点までの距離によって重み付けを行った場合、合成の重みに画素の粗さは考慮されるものの、撮影されている立体物の歪の大きさを考慮することができず、より大きな歪を含む俯瞰画像の画素が優先して（例えば、より大きな重みを付与されて）使われてしまう。
　本発明の目的は、複数のカメラの撮影画像に基づく俯瞰画像を合成することによりモニタの出力画像を得る場合に、合成画像に現れる立体物の歪を軽減することができる車両周囲監視装置を提供することである。
　本発明の車両周囲監視装置は、車両周囲の領域を撮影する複数の撮影手段とともに用いる車両周囲監視装置であって、前記複数の撮影手段により撮影された複数の画像を示すデータを取得する取得手段と、取得されたデータに基づいて生成された複数の俯瞰画像を合成することにより、出力画像を得る合成手段と、を有し、前記合成手段は、異なる撮影手段に対応する異なる俯瞰画像の重複領域において、当該異なる俯瞰画像の画素を、当該画素に対応する地点を前記異なる撮影手段から見下ろす角度に応じて決定された比率に基づいて、合成する。
　本発明によれば、複数のカメラの撮影画像に基づく俯瞰画像を合成することによりモニタの出力画像を得る場合に、合成画像に現れる立体物の歪を軽減することができる。
本発明の実施の形態１における車両周囲監視装置の全体構成を示す図 本発明の実施の形態１における車体へのカメラの取り付け位置例を示す図 図２に示す各カメラにより撮影した画像例を示す図 図３に示す撮影画像から得られる、重複領域を持つ複数の俯瞰画像例を示す図 図４に示す俯瞰画像を合成した例を示す図 本発明の実施の形態１におけるマッピングによる俯瞰画像の生成例を示す図 本発明の実施の形態１における重み付けによる俯瞰画像の合成例を示す図 本発明の実施の形態１において、合成対象の２つの俯瞰画像のうち一方の俯瞰画像について定められたブレンド率テーブルを数値で表した例を示す図 本発明の実施の形態１において、合成対象の２つの俯瞰画像のうち他方の俯瞰画像について定められたブレンド率テーブルを数値で表した例を示す図 車両の右前方の重複領域の重み付け合成例を示す図 車両の前側のカメラから立体物を見下ろした状態の例を示す図 車両の右側のカメラから立体物を見下ろした状態の例を示す図 本発明の実施の形態１において、合成対象の画素に対応する地点の地面上の位置を各カメラから見下ろす角度について説明するための図 本発明の実施の形態１において、合成対象の画素に対応する地点の地面から所定の高さの位置を各カメラから見下ろす角度について説明するための図 本発明の実施の形態１において、カメラ画像から俯瞰画像を生成する動作を示したフロー図 本発明の実施の形態１において、俯瞰画像から出力画像を生成する動作を示したフロー図 本発明の実施の形態２における３次元空間モデルを説明するための、平面投影領域と曲面投影領域とを示す図 本発明の実施の形態２における３次元空間モデルの断面を概略的に示す図 本発明の実施の形態２における３次元空間モデルに撮影画像をマッピングした例を示す図 出力画像における立体物の伸びに関する、本発明の実施の形態２の効果を説明するための図 出力画像の視野に関する、本発明の実施の形態２の効果を説明するための図
　以下、本発明の実施の形態について、図面を参照して説明する。
　（実施の形態１）
　図１は、本発明の実施の形態１に係る車両周囲監視装置の全体構成を示すブロック図である。撮影部１は、ＣＣＤまたはＣＭＯＳデバイス等の固体撮像素子を有するカラーまたはモノクロのタイプの複数（Ｎ個）のカメラ１１を撮影手段として有する。これら複数のカメラ１１はいずれも車両に設置して使用されるものであり、例えば魚眼レンズ等の高視野角のレンズにより広範囲を撮影できるよう構成されている。
　図２は、４つのカメラ１１ａ～１１ｄを車両に設置することにより、車両の全周囲を画像上で視認できるようにした例である。この例では、カメラ１１ａ、１１ｂは車両側方のサイドミラーに設置され、カメラ１１ｃは車両後方に設置され、カメラ１１ｄは車両前方のバンパー付近に設置されている。各カメラ１１ａ～１１ｄで実際に撮影された画像は図３の３０１、３０２、３０３、３０４に示すような画像となる。
　なお、本実施の形態では、４つのカメラが設置されているが、設置するカメラの個数は４つに限定されるものではなく、２つ以上であればよい。また、本実施の形態では、車両の前後左右の位置に各カメラが設置されているが、車両周囲（必ずしも全周囲でなくてもよい）を適切に撮影可能であれば任意の位置に各カメラを設置してよい。
　画像処理部２は、各カメラ１１からの撮影画像（以下「カメラ画像」ともいう）を入力し、これらの撮影画像を加工して、加工後の画像を表示部３へ出力する。ここでの加工は、視点変換画像の作成およびイラスト画像を俯瞰画像と合成する演算である。
　すなわち、画像処理部２は、カメラ画像を示すデータを取得するために各カメラ１１と接続されるインタフェース（図示せず）を取得手段として有する。また、画像処理部２における上記演算は、上記演算のためのプログラムを実行するＣＰＵ（Central Processing Unit）等のコンピュータと、上記演算に必要なテーブル等の情報を記憶する記憶装置と、を含む構成によって、実現される。本実施の形態の車両周囲監視装置は、主として画像処理部２により構成される。
　表示部３としては、液晶ディスプレイまたはプラズマディスプレイ等の表示デバイスが用いられる。ここでいうディスプレイは、車両搭載型のＧＰＳ（Global Positioning System）端末ディスプレイ（いわゆるカーナビゲーションシステムのディスプレイ）と共用したものであってもよい。
　変換手段としての俯瞰画像変換部２１は、カメラ１１から取り込んだカメラ画像を、指定された仮想視点から地面を投影面として俯瞰した画像に変換する信号処理を行う。俯瞰画像は例えば、仮想視点位置から地面に対して垂直に見下ろした画像となる。カメラ画像を仮想視点からの俯瞰画像に変換する処理は、マッピングテーブル２３を参照して行われる。マッピングテーブル２３は、予め入力（カメラ画像の画素座標）と出力（俯瞰画像の画素座標）との対応関係を定義したものであり、より詳しくは後述する。俯瞰画像変換部２１は、俯瞰画像を生成する際、俯瞰画像の各画素における輝度値を、対応するカメラ画像の画素から獲得する。本実施の形態では複数のカメラ入力が存在するので、各カメラ画像に対して別々に俯瞰画像変換処理が行われる。図４は、図３のカメラ画像３０１、３０２、３０３、３０４を車両の上方から見下ろした俯瞰画像４０１、４０２、４０３、４０４に変換した例である。
　合成手段としての俯瞰画像合成部２２は、俯瞰画像変換部２１で生成した複数の俯瞰画像を合成することにより１つの出力画像を生成し、この出力画像を表示部３に対して出力する信号処理を行う。図５は、図４の俯瞰画像４０１、４０２、４０３、４０４から生成された１つの出力画像（合成画像）４０５の例である。
　ここで、図４において、重複領域４１１ａ、４１１ｃ、４１２ａ、４１２ｄ、４１３ｂ、４１３ｃ、４１４ｂ、４１４ｄは、２つの俯瞰画像が重なる領域（重複領域）である。例えば、車両側面のカメラ１１ａに対応する俯瞰画像４０１の領域４１１ａと、車両後方のカメラ１１ｃに対応する俯瞰画像４０３の領域４１１ｃとは、重なり合う。また、車両後方のカメラ１１ｃに対応する俯瞰画像４０３の領域４１３ｃと、車両側面のカメラ１１ｂに対応する俯瞰画像４０２の領域４１３ｂとは、重なり合う。また、車両側面のカメラ１１ｂに対応する俯瞰画像４０２の領域４１４ｂと、車両前方のカメラ１１ｄに対応する俯瞰画像４０４の領域４１４ｄとは、重なり合う。また、車両前方のカメラ１１ｄに対応する俯瞰画像４０４の領域４１２ｄと、車両側面のカメラ１１ａに対応する俯瞰画像４０１の領域４１２ａとは、重なり合う。重複領域の合成は、それぞれの俯瞰画像の重み付け加算によって実現される。各俯瞰画像に掛かる重みは、後述するブレンド率テーブル２４を参照することで得られるようになっている。
　マッピングテーブル２３は、カメラ画像と俯瞰画像との関係を対応付けたテーブルである。各カメラ画像の画素座標と対応する俯瞰画像の画素座標とが１対となり記述されている。図６はマッピングテーブルを参照してカメラ画像の画素座標を獲得する方法を示した図である。図６において、マッピングテーブル５０１は俯瞰画像５０２の座標とカメラ画像５０３の座標が１対１で対応付けられたテーブルである。俯瞰画像５０２のある座標５１１に対応するカメラ画像５０３の座標５１２を知りたい場合は、マッピングテーブル５０１の俯瞰画像座標一覧の中から座標５１１を探し、該当するカメラ画像５０３の座標５１２を獲得する。本実施の形態では複数のカメラに対して、それぞれマッピングテーブルが作成される。マッピングテーブルは、合成画像の生成処理を高速に行うために、例えばＲＯＭ、またはＲＡＭに格納されている。
　ブレンド率テーブル２４は、２つの俯瞰画像を重ね合わせて１つの出力画像を合成する際に、どちらの俯瞰画像の画素をどれだけ使うかを示したテーブルである。図７は２つの俯瞰画像の重複領域を合成する例である。図７における重複領域の合成は、各画素の輝度を式（１）によって計算することで実現される。合成画像６２１は、俯瞰画像６０１、６０２を合成して得られた画像である。ここでブレンド率テーブルを用いた重複領域の合成方法として、重みテーブルを用いた例を示す。重複領域における合成の際、俯瞰画像６０１、６０２に掛かる重みは、重複領域と同じ大きさの重みテーブル６１１、６１２を参照することで得られる。なお、図７では、重みテーブル６１１、６１２において定められた画素毎の重みの大小が、色の濃淡によって表現されている（つまり、より大きな重みがより濃い色で表現されている）。図８Ａおよび図８Ｂは、図７の重みテーブル６１１、６１２を数値で表した例である。図８Ａおよび図８Ｂの重みテーブルにおける個々の値が各画素に対応し、重みは０％以上且つ１００％以下の範囲内で設定されている。また各画素の重みに関しては式（２）の関係が成り立つ。
　ここで、俯瞰画像の合成について、車両の右前方の地点に立体物が存在することを前提として、その立体物周辺を含む重複領域を合成する場合を例にとって、図９Ａ、図９Ｂおよび図９Ｃを参照しながら説明する。
　車両前方のカメラ１１ｄは、本実施の形態では地面から高さｈ１の位置に設置されており、車両右側のカメラ１１ｂは、地面から高さｈ２（＞ｈ１）の位置に設置されている。車両周囲領域９００内の点Ｐに位置する高さｈ３（＜ｈ１）の立体物７０１を各カメラ１１ｂ、１１ｄが撮影すると、カメラ画像においては、立体物７０１は、それぞれの投影方向に伸びた状態で地面に投影された投影立体物９１１、９１２として現れる。この例では、カメラ１１ｂよりもカメラ１１ｄのほうが低い位置に設置されているため、カメラ１１ｂの撮影画像内の投影立体物９１２に比べて、カメラ１１ｄの撮影画像内の投影立体物９１１のほうが大きく伸びた状態となる（Ｌ１＞Ｌ２）。視点変換によってカメラ画像から俯瞰画像への変換が行われると、画像上に現れる投影立体物の長さが変わることになるが、通常は、変換前の投影立体物９１１、９１２の長さの大小関係と変換後の投影立体物７１１、７１２の長さの大小関係とは同じである。つまり、立体物７０１の歪は、より低い位置に設置されているカメラ１１ｄに対応する俯瞰画像において、より大きくなる。
　特許文献２記載の従来例では、カメラ１１ｄ、１１ｂと点Ｐとの距離ｄ１、ｄ２が与えられたとき、点Ｐにおける俯瞰画像の重みｗ１、ｗ２は、以下の式（３）、（４）で与えられる。なお、距離ｄ１は、カメラ１１ｄの世界座標（ｗｏｒｌｄ　ｃｏｏｒｄｉｎａｔｅ　ｓｙｓｔｅｍ）位置と、カメラ１１ｄの地面からの高さと、点Ｐの世界座標位置とから算出することができる。距離ｄ２も同様である。
　ｗ１　＝　ｄ２　／　（ｄ１　＋　ｄ２）　・・・（３）
　ｗ２　＝　ｄ１　／　（ｄ１　＋　ｄ２）　・・・（４）
　この従来例では、上述の式（３）、（４）で重みｗ１、ｗ２を与えることにより、２つの俯瞰画像のうち、カメラからの距離が近い俯瞰画像の画素が優先して利用されることになる。すなわち、この従来例では、距離から重みを導出している。このため、各カメラ１１ｄ、１１ｂと点Ｐとの距離ｄ１、ｄ２が等しい場合に、問題が生じ得る。一般的に、実際はカメラ１１ｂ、１１ｄの取り付け位置は異なり、たとえ距離ｄ１、ｄ２が同じであっても、高さｈ１、ｈ２が異なる。よって、前述のとおり、点Ｐに位置する立体物７０１から生じる投影立体物７１１、７１２の大きさ（伸び）が異なる。ここで重複領域の合成画像を生成する場合、出力画像における歪を軽減する目的では、できるだけ伸びが少ない方、すなわちより高い位置にあるカメラ１１ｂの画像を優先することが望ましい。ところが、従来例では、重みｗ１、ｗ２は、等しい距離ｄ１、ｄ２から導出されるので、等しくなってしまう。このようにカメラ１１ｄ、１１ｂからの距離ｄ１、ｄ２から俯瞰画像の重みｗ１、ｗ２を決定した場合、立体物７０１の投影方向への歪（伸び）まで考慮することができず、２つの俯瞰画像のそれぞれにおいて点Ｐに対応する画素は、同じ重みｗ１、ｗ２で合成されることになる。
　これに対して、本実施の形態では、カメラ取り付け位置、特に取り付けの高さを考慮して、立体物の投影方向への歪を軽減し得る重み付けを行う。本実施の形態における重み設定方法について、図１０を用いて説明する。図１０において、高さｈ１に位置するカメラ１１ｄから地面方向に下ろした垂線が地面と交わる点と点Ｐとの距離をｔ１とし、高さｈ２に位置するカメラ１１ｂから地面方向に下ろした垂線が地面と交わる点と点Ｐとの距離をｔ２とする。俯瞰画像は、本実施の形態では地面に投影した画像であり、望ましくは、仮想視点から可能な限り真下を見下ろした画像である。そこで提案する重み設定方法では、カメラ１１ｄ、１１ｂから点Ｐまでの距離ｄ１、ｄ２ではなく、カメラ１１ｄ、１１ｂが点Ｐを見下ろす角度θ１、θ２に着目する。すなわち、点Ｐを見下ろす角度が相対的に鋭角であるカメラに対応する俯瞰画像が、真下を見下ろす画像に相対的に近いため、このような俯瞰画像の重みを高く設定するようにする。このことを反映した重み付けは、以下の式（５）、（６）、（７）、（８）で表される。
　ｗ１　＝　θ２　／　（θ１　＋　θ２）　・・・（５）
　ｗ２　＝　θ１　／　（θ１　＋　θ２）　・・・（６）
　θ１　＝　ａｒｃｔａｎ（　ｔ１　／　ｈ１　）　・・・（７）
　θ２　＝　ａｒｃｔａｎ（　ｔ２　／　ｈ２　）　・・・（８）
　仮にθ１＝θ２であれば、点Ｐにおける立体物の歪（投影方向の伸び）は同じ長さとなるため、点Ｐにおける重みｗ１、ｗ２は等しくなる。この例ではθ１＞θ２であるため、合成の対象となる画素に対応する地点（点Ｐ）がカメラ１１ｂ、１１ｄから等距離（ｄ１＝ｄ２）であるにもかかわらず、点Ｐを見下ろす角度がより鋭角になる位置にあるカメラ１１ｂに対応する俯瞰画像の重みｗ２がより大きくなる。すなわち、点Ｐに対応する画素の合成においては、高い位置に設置されていて立体物の歪が小さいカメラ１１ｂに対応する俯瞰画像の画素が、優先して利用されることとなる。
　なお、上記の例では点Ｐのみに着目しているが、点Ｐ近傍の地点における諸条件（距離および角度など）は、点Ｐにおける諸条件と近似するので、点Ｐ近傍の地点に着目した場合も、点Ｐに着目した場合と同様の結論を得ることができる。
　すなわち、図９Ａに示されている投影立体物７１１、７１２のうち、比較的低い位置のカメラ１１ｄに対応するため歪が大きい投影立体物７１１は、他方のカメラ１１ｂに対応する俯瞰画像からの影響を強く受け、その結果、合成画像においては目立たなくなる。一方、比較的高い位置のカメラ１１ｂに対応するため歪が小さい投影立体物７１２は、他方のカメラ１１ｄに対応する俯瞰画像からの影響をあまり強く受けず、その結果、合成画像において投影立体物７１１よりも目立って現れる。このように、本実施の形態によれば、重複領域における歪が軽減された合成画像を得ることができる。
　続いて、本実施の形態における重み設定方法において、どのくらいの高さの立体物の歪低減に着目するかに応じ、最も着目する高さをパラメータとして設定する場合について、説明する。図１１において、カメラ１１ｄ、１１ｂの位置を地面からの高さｈ１、ｈ２で表し、カメラ１１ｄ、１１ｂから地面方向に下ろした垂線が地面と交わる点と点Ｐとの距離をｔ１、ｔ２とする。ここで、歪を低減させたい高さＨをパラメータとして新たに設定する。点Ｐにおいて着目する高さＨの物体の歪（投影方向の伸び）を抑制することを考慮すると、カメラ１１ｄ、１１ｂから点Ｐを見下ろす角度は、以下の式（９）、（１０）で定式化される。
θ１　＝　ａｒｃｔａｎ（　ｔ１　／　（ｈ１　－　Ｈ））・・・（９）
θ２　＝　ａｒｃｔａｎ（　ｔ２　／　（ｈ２　－　Ｈ））・・・（１０）
　このθ１、θ２を用いて、点Ｐにおける重み付けは式（５）、（６）で表される。
　実際に着目する高さＨの設定はカメラの取り付け高さにもよるが、５０－８０ｃｍくらいに設定する。この高さは実際のカメラの取り付け位置より低く設定する必要がある。また、着目する高さＨは、点Ｐに物体が存在するかどうかの有無に関わらずに一定とし、重みを算出する。すなわち本実施の形態における重み設定処理は、物体検出を必要とするわけではなく、物体の有無に関わらず予め定められた高さＨに基づいて一様に行われる。物体が存在しない場合、すなわち俯瞰画像に地面が表示される場合は、重複領域に同じ位置の地面が撮影されているため、着目する高さＨを仮定した重み付けが合成画像に悪影響を与えることはない。
　図１２は、カメラ画像の入力が確定したあるタイミングにおいて、俯瞰画像を生成する俯瞰画像変換部２１の動作例を示したフロー図である。
　ステップＳ００１では、俯瞰画像の座標ｘｔ，ｙｔと対応したカメラ画像の座標を獲得するためにマッピングテーブル２３を参照する。マッピングテーブル２３には俯瞰画像の座標ｘｔ，ｙｔに対応するカメラ画像の座標がリスト化されているので、対応するカメラ画像の座標ｘｉ，ｙｉが獲得できる。
　ステップＳ００２では、カメラ画像の座標ｘｉ，ｙｉにおける画素値を取得し、この画素値を俯瞰画像の座標ｘｔ，ｙｔにおける画素値として利用する。
　ステップＳ００３では、俯瞰画像を生成するのに必要なすべての画素を獲得したかどうかを判別する処理で、俯瞰画素のすべての画素値を獲得するまでステップＳ００１、ステップＳ００２の処理を繰り返し行う。
　俯瞰画像変換部２１ではあるタイミングにおけるすべての俯瞰画像を生成するまで、図１２の処理を繰り返し行う。
　続いて、図１３は、複数の俯瞰画像が生成されたタイミングにおいて、これらの俯瞰画像を合成して出力画像を生成する俯瞰画像合成部２２の動作例を示したフロー図である。
　ステップＳ０１１では、最終的に合成する出力画像の座標ｘｏ，ｙｏの画素値を持つ俯瞰画像を選択する。
　ステップＳ０１２では、出力画像の座標ｘｏ，ｙｏの画素を合成する俯瞰画像が複数存在するかどうか判断し、もし対応する俯瞰画像が１つの場合は、ステップＳ０１５へ進む。もし２つの俯瞰画像が存在する場合は、重複領域と判定し、ステップＳ０１３へ進む。
　ステップＳ０１３では、出力画像の座標ｘｏ，ｙｏに対応する２つの俯瞰画像の画素値を取得する。
　ステップＳ０１４では、ステップＳ０１３で獲得した俯瞰画像の画素値を合成するための重みをブレンド率テーブル２４から獲得する。
　ステップＳ０１５では、出力画像の座標ｘｏ，ｙｏの画素を合成する。対応する画素が２つの俯瞰画像に存在する場合はステップＳ０１４で獲得した重みに基づいて、式（１）によって合成する。１つの俯瞰画像にのみ存在する場合は、その俯瞰画像の座標ｘｏ，ｙｏの画素をそのまま用いる。
　ステップＳ０１６では、出力画像を生成するのに必要なすべての画素値を獲得したかどうかを判別する処理で、すべての画素値を獲得するまでステップＳ０１１からステップＳ０１５の処理を繰り返し行う。
　上述の出力画像の合成処理を例えば３０フレーム／秒で実現することにより、一般的な動画に対しても提案する合成を実現することができる。
　このような動作により、本発明では俯瞰画像が重なり合う重複領域において歪の少ない画像の合成が可能な車両周囲監視装置を提供することができる。
　（実施の形態２）
　以下、本発明の実施の形態２について説明する。本実施の形態における車両周囲監視装置の基本構成は実施の形態１と同様であるため、詳細な構成についての説明は省略する。
　本実施の形態は、カメラ画像から俯瞰画像への変換処理において３次元空間モデルを利用する点で、実施の形態１と相違するので、この点を中心に説明する。
　従来の３次元空間モデルとしては、例えば特許文献３の図２８（ｃ）に示されたものがある。この３次元空間モデルは、車両を基準とする世界座標系において、車両の全方位を囲むように完全な椀状に湾曲して立ち上がる曲面を持つ全方位曲面モデルである。
　これに対して、本実施の形態では、図１４および図１５に示すように、車両後方側の領域を、投影面が水平面をなす平面投影領域１４０１とする一方、車両前方側の領域を、投影面が椀形をなす曲面投影領域１４０２とする。車両周囲領域１４００は、境界Ｂにより、平面投影領域１４０１と曲面投影領域１４０２とに区切られている。カメラ画像の画素は、平面投影領域１４０１内にあれば前方曲面モデル１５００の水平投影面１５０１上にマッピングされ、曲面投影領域１４０２内にあれば前方曲面モデル１５００の椀状投影面１５０２上にマッピングされる。すなわち、本実施の形態における前方曲面モデル１５００は、車両後方では水平投影面１５０１のみを含み、且つ、車両前方では水平投影面１５０１から椀状に湾曲して立ち上がる椀状投影面１５０２を含むように、定められている。
　上記前方曲面モデル１５００を用いる本実施の形態では、カメラ画像から俯瞰画像への変換処理として、各カメラ画像を前方曲面モデル１５００にマッピングする処理と、マッピングされた各画像に対して視点変換とともに地面（水平面）への再投影を行う処理と、が含まれる。
　立体物７０１が位置する点Ｐを含む領域がカメラ１１ｄにより撮影されると、そのカメラ画像は、図１６に示すように、前方曲面モデル１５００にマッピングされる。この例では、立体物７０１の先端部分が曲面部分（図１５の椀状投影面１５０２）に投影された結果として、前方曲面モデル１５００上の投影立体物１６００の長さＬ３が、カメラ画像上の投影立体物９１１（図９Ｂ）の長さＬ１よりも、短くなる。このため、本実施の形態においてこのマッピング画像から生成される俯瞰画像に現れる投影立体物（図示せず）を、実施の形態１においてカメラ画像から直接的に生成される俯瞰画像に現れる投影立体物７１１（図９Ａ）よりも、短くすることができる。
　したがって、本実施の形態によれば、車両前方の俯瞰画像については、立体物の歪を一層軽減させることができる。図１７を参照すると、本実施の形態のように前方曲面投影を介して得られる出力画像１７０１では、単なる平面投影を介して得られる出力画像１７０２に比べて、車両前方の立体物１７１０の伸びが抑制され、歪が軽減されていることが分かる。
　さらに、図１８を参照すると、本実施の形態のように前方曲面投影を介して得られる出力画像１８０１では、単なる平面投影を介して得られる出力画像１８０２に比べて、車両後方領域１８１０に広視野が確保されていることが分かる。
　このように、本実施の形態によれば、車両後方においては、距離感覚が分かりやすい平面投影を介して出力画像が形成され、車両前方においては、周囲の確認が行いやすい曲面投影を介して出力画像が形成される。一般に、合成画像が表示されるのは、例えば駐車場に車両を入れるために車両を後退させているときである。よって、車両の進行方向である車両後方においては、広い視野が確保されることよりも、車両とその近傍に位置する物体との位置関係が忠実に再現されることのほうが、必要性が高い。一方で、車両の進行方向ではない車両前方あるいは車両側方においては、逆のことがいえる。本実施の形態では、これらの要求を同時に満たすことができる。
　以上、本発明の各実施の形態について説明した。上記の実施の形態は、種々変更して実施することができる。また、上記の実施の形態は、適宜組み合わせて実施してもよい。
　２００９年５月２５日出願の特願２００９－１２４８７７の日本出願に含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。
　以上のように、本発明に係る車両周囲監視装置は、車両に搭載され、撮影された車両周辺の複数の画像を合成し、その合成画像を運転者等に提供する車両周囲監視装置等として有用である。
　１　撮影部
　２　画像処理部
　３　表示部
　１１、１１ａ、１１ｂ、１１ｃ、１１ｄ　カメラ
　２１　俯瞰画像変換部
　２２　俯瞰画像合成部
　２３、５０１　マッピングテーブル
　２４　ブレンド率テーブル
　３０１、３０２、３０３、３０４、５０３　カメラ画像
　４０１、４０２、４０３、４０４、５０２、６０１、６０２　俯瞰画像
　４０５、６２１　合成画像
　４１１ａ、４１１ｃ　重複領域
　４１２ａ、４１２ｄ　重複領域
　４１３ｂ、４１３ｃ　重複領域
　４１４ｂ、４１４ｄ　重複領域
　５１１、５１２　座標
　６１１、６１２　重みテーブル
　７０１　立体物
　７１０　投影面
　７１１、７１２、９１１、９１２、１６００　投影立体物
　９００、１４００　車両周囲領域
　１４０１　平面投影領域
　１４０２　曲面投影領域
　１５００　前方曲面モデル
　１５０１　水平投影面
　１５０２　椀状投影面
 
 

Claims (5)

  1. 　車両周囲の領域を撮影する複数の撮影手段とともに用いる車両周囲監視装置であって、
    　前記複数の撮影手段により撮影された複数の画像を示すデータを取得する取得手段と、
    　取得されたデータに基づいて生成された複数の俯瞰画像を合成することにより、出力画像を得る合成手段と、を有し、
    　前記合成手段は、
    　異なる撮影手段に対応する異なる俯瞰画像の重複領域において、当該異なる俯瞰画像の画素を、当該画素に対応する地点を前記異なる撮影手段から見下ろす角度に応じて決定された比率に基づいて、合成する、
    　車両周囲監視装置。
  2. 　前記角度は、前記異なる撮影手段から前記地点の地面上の位置を見下ろす角度である、
    　請求項１記載の車両周囲監視装置。
  3. 　前記角度は、前記異なる撮影手段から前記地点の地面から所定の高さの位置を見下ろす角度である、
    　請求項１記載の車両周囲監視装置。
  4. 　前記角度は、前記異なる撮影手段の車両への取り付け位置から地面に向けて延びる垂線と、前記異なる撮影手段の車両への取り付け位置から前記地点に向けて延びる直線とが成す角度である、
    　請求項１記載の車両周囲監視装置。
  5. 　取得されたデータに基づいて複数の俯瞰画像を生成する変換手段をさらに有し、
    　前記変換手段は、
    　取得されたデータに示された複数の画像をそれぞれ３次元空間モデルにマッピングすることにより、複数の俯瞰画像を生成し、
    　前記３次元空間モデルは、車両後方では水平面のみを含み、且つ、車両前方では水平面から椀状に湾曲して立ち上がる曲面を含むように、定められる、
    　請求項１記載の車両周囲監視装置。
     
     
PCT/JP2010/003405 2009-05-25 2010-05-20 車両周囲監視装置 WO2010137265A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US13/322,488 US20120069153A1 (en) 2009-05-25 2010-05-20 Device for monitoring area around vehicle
EP10780226.6A EP2437494B1 (en) 2009-05-25 2010-05-20 Device for monitoring area around vehicle
JP2011515870A JP5444338B2 (ja) 2009-05-25 2010-05-20 車両周囲監視装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009124877 2009-05-25
JP2009-124877 2009-05-25

Publications (1)

Publication Number Publication Date
WO2010137265A1 true WO2010137265A1 (ja) 2010-12-02

Family

ID=43222393

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/003405 WO2010137265A1 (ja) 2009-05-25 2010-05-20 車両周囲監視装置

Country Status (4)

Country Link
US (1) US20120069153A1 (ja)
EP (1) EP2437494B1 (ja)
JP (1) JP5444338B2 (ja)
WO (1) WO2010137265A1 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012169353A1 (ja) * 2011-06-07 2012-12-13 株式会社小松製作所 作業車両の周辺監視装置
WO2013053589A1 (de) * 2011-10-14 2013-04-18 Robert Bosch Gmbh Verfahren zur darstellung eines fahrzeugumfeldes
CN103959341A (zh) * 2011-12-07 2014-07-30 罗伯特·博世有限公司 用于呈现车辆环境的方法
WO2014174884A1 (ja) * 2013-04-24 2014-10-30 住友重機械工業株式会社 処理対象画像生成装置、処理対象画像生成方法、及び操作支援システム
WO2015133367A1 (ja) * 2014-03-07 2015-09-11 日立建機株式会社 作業機械の周辺監視装置
WO2017022497A1 (ja) * 2015-08-04 2017-02-09 株式会社デンソー 運転者に支援画像を提示する装置及びその方法
WO2017077650A1 (ja) * 2015-11-06 2017-05-11 三菱電機株式会社 画像処理装置、画像処理方法及び画像処理プログラム
JP2019185381A (ja) * 2018-04-10 2019-10-24 クラリオン株式会社 車両周囲画像生成装置
JP2019191853A (ja) * 2018-04-24 2019-10-31 クラリオン株式会社 画像処理装置及び画像処理方法

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9105128B2 (en) 2011-08-26 2015-08-11 Skybox Imaging, Inc. Adaptive image acquisition and processing with image analysis feedback
US8873842B2 (en) 2011-08-26 2014-10-28 Skybox Imaging, Inc. Using human intelligence tasks for precise image analysis
WO2013032823A1 (en) 2011-08-26 2013-03-07 Skybox Imaging, Inc. Adaptive image acquisition and processing with image analysis feedback
EP2620917B1 (en) * 2012-01-30 2019-08-28 Harman Becker Automotive Systems GmbH Viewing system and method for displaying an environment of a vehicle
EP2831621B1 (en) * 2012-03-26 2016-07-13 Robert Bosch GmbH Multi-surface model-based tracking
JP5669791B2 (ja) * 2012-08-07 2015-02-18 本田技研工業株式会社 移動体の周辺画像表示装置
DE102012018325A1 (de) * 2012-09-15 2014-03-20 DSP-Weuffen GmbH Verfahren und Vorrichtung für ein bildgebendes Fahrerassistenzsystem mit adaptiver Umsichtdarstellung
US9262868B2 (en) * 2012-09-19 2016-02-16 Google Inc. Method for transforming mapping data associated with different view planes into an arbitrary view plane
JP6079131B2 (ja) * 2012-10-25 2017-02-15 富士通株式会社 画像処理装置、方法、及びプログラム
JP6084434B2 (ja) * 2012-10-31 2017-02-22 クラリオン株式会社 画像処理システム及び画像処理方法
US9674490B2 (en) * 2013-04-18 2017-06-06 Magna Electronics Inc. Vision system for vehicle with adjustable cameras
TW201445440A (zh) * 2013-05-30 2014-12-01 Hon Hai Prec Ind Co Ltd 集裝箱資料中心移動系統
KR101573576B1 (ko) * 2013-10-08 2015-12-01 현대자동차주식회사 Avm 시스템의 이미지 처리 방법
JP6330383B2 (ja) * 2014-03-12 2018-05-30 株式会社デンソー 合成画像生成装置、および合成画像生成プログラム
US10442355B2 (en) * 2014-09-17 2019-10-15 Intel Corporation Object visualization in bowl-shaped imaging systems
US20160150189A1 (en) * 2014-11-20 2016-05-26 Caterpillar Inc. Image processing system and method
DE102014225883A1 (de) * 2014-12-15 2016-06-16 Robert Bosch Gmbh Kamerasystem und Verfahren zum Visualisieren mindestens eines Fahrzeugumfeldbereiches einesFahrzeugumfeldes eines Fahrzeuges
KR102270677B1 (ko) * 2015-01-13 2021-06-29 현대모비스 주식회사 차량 안전 주행 장치
DE102015205507B3 (de) * 2015-03-26 2016-09-29 Zf Friedrichshafen Ag Rundsichtsystem für ein Fahrzeug
EP3086279A1 (en) * 2015-04-24 2016-10-26 KNORR-BREMSE Systeme für Nutzfahrzeuge GmbH Image synthesizer for a driver assisting system
DE102015204214A1 (de) 2015-05-07 2016-11-10 Robert Bosch Gmbh Verfahren zur Darstellung einer Fahrzeugumgebung eines Fahrzeuges
US9787951B2 (en) * 2015-12-18 2017-10-10 Serge Kannon Vehicle proximity warning system
JP6868805B2 (ja) * 2016-06-07 2021-05-12 パナソニックＩｐマネジメント株式会社 画像生成装置、画像生成方法、およびプログラム
DE102016225073A1 (de) * 2016-12-15 2018-06-21 Conti Temic Microelectronic Gmbh Vorrichtung zur bereitstellung einer verbesserten hinderniserkennung
DE102016124978A1 (de) 2016-12-20 2018-06-21 Connaught Electronics Ltd. Virtuelle Repräsentation einer Umgebung eines Kraftfahrzeugs in einem Fahrerassistenzsystem mit mehreren Projektionsflächen
DE102016124989A1 (de) 2016-12-20 2018-06-21 Bayerische Motoren Werke Aktiengesellschaft Bordsteinrepräsentation mit einem dreidimensionalen Körper in einem Fahrerassistenzsystem für ein Kraftfahrzeug
JP6962372B2 (ja) * 2017-08-25 2021-11-05 株式会社ソシオネクスト 補正装置、補正プログラム及び記録媒体
FR3071333B1 (fr) * 2017-09-15 2021-06-11 Renault Sas Procede d’affichage sur un ecran d’un environnement d’un vehicule automobile, et vehicule automobile dans lequel un tel procede est mis en œuvre
JP7115300B2 (ja) * 2018-12-26 2022-08-09 株式会社デンソー 画像生成装置及び画像表示システム
KR20210030523A (ko) * 2019-09-09 2021-03-18 현대자동차주식회사 차량 및 그 제어 방법
WO2021054797A1 (ko) * 2019-09-19 2021-03-25 주식회사 윌러스표준기술연구소 스케일링 프로세스를 사용하는 비디오 신호 처리 방법 및 장치
US11037328B1 (en) 2019-12-31 2021-06-15 Lyft, Inc. Overhead view image generation
CN111968184B (zh) * 2020-08-24 2024-04-02 北京茵沃汽车科技有限公司 一种在全景环视系统中实现视图随动的方法、装置及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3286306B2 (ja) 1998-07-31 2002-05-27 松下電器産業株式会社 画像生成装置、画像生成方法
JP2005167309A (ja) 2003-11-28 2005-06-23 Nippon Soken Inc 運転支援装置
JP2007274377A (ja) 2006-03-31 2007-10-18 Denso Corp 周辺監視装置、プログラム
JP2008048317A (ja) * 2006-08-21 2008-02-28 Sanyo Electric Co Ltd 画像処理装置並びに視界支援装置及び方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020033816A (ko) * 2000-07-19 2002-05-07 마츠시타 덴끼 산교 가부시키가이샤 감시시스템
DE10059313A1 (de) * 2000-11-29 2002-06-13 Bosch Gmbh Robert Anordnung und Verfahren zur Überwachung des Umfelds eines Fahrzeugs
JP4766841B2 (ja) * 2003-09-08 2011-09-07 株式会社オートネットワーク技術研究所 車両に搭載されるカメラ装置及び車両周辺監視装置
JP2005333565A (ja) * 2004-05-21 2005-12-02 Auto Network Gijutsu Kenkyusho:Kk 監視装置
JP4780385B2 (ja) * 2005-11-17 2011-09-28 アイシン精機株式会社 周辺監視システム
JP4969269B2 (ja) * 2007-02-21 2012-07-04 アルパイン株式会社 画像処理装置
JP5120880B2 (ja) * 2007-10-15 2013-01-16 アルパイン株式会社 画像処理装置及び画像処理方法
JP5132249B2 (ja) * 2007-10-23 2013-01-30 アルパイン株式会社 車載用撮像装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3286306B2 (ja) 1998-07-31 2002-05-27 松下電器産業株式会社 画像生成装置、画像生成方法
JP2005167309A (ja) 2003-11-28 2005-06-23 Nippon Soken Inc 運転支援装置
JP2007274377A (ja) 2006-03-31 2007-10-18 Denso Corp 周辺監視装置、プログラム
JP2008048317A (ja) * 2006-08-21 2008-02-28 Sanyo Electric Co Ltd 画像処理装置並びに視界支援装置及び方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2437494A4

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8982212B2 (en) 2011-06-07 2015-03-17 Komatsu Ltd. Surrounding area monitoring device for work vehicle
JP2012256960A (ja) * 2011-06-07 2012-12-27 Komatsu Ltd 作業車両の周辺監視装置
CN103155552A (zh) * 2011-06-07 2013-06-12 株式会社小松制作所 作业车辆的周边监视装置
WO2012169353A1 (ja) * 2011-06-07 2012-12-13 株式会社小松製作所 作業車両の周辺監視装置
WO2013053589A1 (de) * 2011-10-14 2013-04-18 Robert Bosch Gmbh Verfahren zur darstellung eines fahrzeugumfeldes
CN103959341A (zh) * 2011-12-07 2014-07-30 罗伯特·博世有限公司 用于呈现车辆环境的方法
JP2014216797A (ja) * 2013-04-24 2014-11-17 住友重機械工業株式会社 処理対象画像生成装置、処理対象画像生成方法、及び操作支援システム
WO2014174884A1 (ja) * 2013-04-24 2014-10-30 住友重機械工業株式会社 処理対象画像生成装置、処理対象画像生成方法、及び操作支援システム
US10621743B2 (en) 2013-04-24 2020-04-14 Sumitomo Heavy Industries, Ltd. Processing-target image creating device, processing-target image creating method, and operation assisting system
KR101752613B1 (ko) 2014-03-07 2017-06-29 히다찌 겐끼 가부시키가이샤 작업 기계의 주변 감시 장치
WO2015133367A1 (ja) * 2014-03-07 2015-09-11 日立建機株式会社 作業機械の周辺監視装置
JP2015171013A (ja) * 2014-03-07 2015-09-28 日立建機株式会社 作業機械の周辺監視装置
US10044933B2 (en) 2014-03-07 2018-08-07 Hitachi Construction Machinery Co., Ltd. Periphery monitoring device for work machine
WO2017022497A1 (ja) * 2015-08-04 2017-02-09 株式会社デンソー 運転者に支援画像を提示する装置及びその方法
JP2017033402A (ja) * 2015-08-04 2017-02-09 株式会社デンソー 車載表示制御装置、車載表示制御方法
JP6239205B2 (ja) * 2015-11-06 2017-11-29 三菱電機株式会社 画像処理装置、画像処理方法及び画像処理プログラム
JPWO2017077650A1 (ja) * 2015-11-06 2017-12-07 三菱電機株式会社 画像処理装置、画像処理方法及び画像処理プログラム
GB2556797A (en) * 2015-11-06 2018-06-06 Mitsubishi Electric Corp Image processing apparatus, image processing method, and image processing program
WO2017077650A1 (ja) * 2015-11-06 2017-05-11 三菱電機株式会社 画像処理装置、画像処理方法及び画像処理プログラム
GB2556797B (en) * 2015-11-06 2018-10-24 Mitsubishi Electric Corp Image processing apparatus, image processing method, and image processing program
JP2019185381A (ja) * 2018-04-10 2019-10-24 クラリオン株式会社 車両周囲画像生成装置
JP2019191853A (ja) * 2018-04-24 2019-10-31 クラリオン株式会社 画像処理装置及び画像処理方法
WO2019208278A1 (ja) * 2018-04-24 2019-10-31 クラリオン株式会社 画像処理装置及び画像処理方法

Also Published As

Publication number Publication date
EP2437494A4 (en) 2016-09-28
EP2437494A1 (en) 2012-04-04
JPWO2010137265A1 (ja) 2012-11-12
JP5444338B2 (ja) 2014-03-19
US20120069153A1 (en) 2012-03-22
EP2437494B1 (en) 2017-10-11

Similar Documents

Publication Publication Date Title
JP5444338B2 (ja) 車両周囲監視装置
JP6310652B2 (ja) 映像表示システム、映像合成装置及び映像合成方法
EP3160138B1 (en) Image synthesis system, image synthesis device therefor, and image synthesis method
JP4879031B2 (ja) 運転支援システム、画像処理装置及びずれ検出方法
WO2013047012A1 (ja) 車両周辺監視装置
WO2019192359A1 (zh) 一种车载全景视频显示系统、方法及车载控制器
JP3652678B2 (ja) 車両周囲監視装置およびその調整方法
JP4248570B2 (ja) 画像処理装置並びに視界支援装置及び方法
WO2009116327A1 (ja) 画像処理装置及び方法、運転支援システム、車両
JP4315968B2 (ja) 画像処理装置並びに視界支援装置及び方法
JP2006287892A (ja) 運転支援システム
JP5003395B2 (ja) 車両周辺画像処理装置及び車両周辺状況提示方法
JP5516998B2 (ja) 画像生成装置
JP2009239754A (ja) 画像処理装置、画像処理プログラム、画像処理システム及び画像処理方法
JP2013207637A (ja) 画像処理装置及び方法、並びにコンピュータプログラム
WO2017043331A1 (ja) 画像処理装置、及び、画像処理方法
KR101278654B1 (ko) 차량의 주변 영상 디스플레이 장치 및 방법
JP5271186B2 (ja) 車両用画像表示装置
JP2013137698A (ja) 俯瞰画像提示装置
JP2008034964A (ja) 画像表示装置
JP2003346189A (ja) 車両用映像表示装置
JP5305750B2 (ja) 車両周辺表示装置およびその表示方法
JP2008294616A (ja) 運転支援システム及び車両
WO2023095340A1 (ja) 画像処理方法、画像表示方法、画像処理装置、及び画像表示装置
JP6007773B2 (ja) 画像データ変換装置並びにナビゲーションシステムおよびカメラ装置並びに車両

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10780226

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2011515870

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

REEP Request for entry into the european phase

Ref document number: 2010780226

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 13322488

Country of ref document: US

Ref document number: 2010780226

Country of ref document: EP