JPWO2020233755A5 - - Google Patents

Download PDF

Info

Publication number
JPWO2020233755A5
JPWO2020233755A5 JP2021564734A JP2021564734A JPWO2020233755A5 JP WO2020233755 A5 JPWO2020233755 A5 JP WO2020233755A5 JP 2021564734 A JP2021564734 A JP 2021564734A JP 2021564734 A JP2021564734 A JP 2021564734A JP WO2020233755 A5 JPWO2020233755 A5 JP WO2020233755A5
Authority
JP
Japan
Prior art keywords
camera
image
area
vehicle
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021564734A
Other languages
Japanese (ja)
Other versions
JP2022532867A (en
JP7332716B2 (en
Publication date
Priority claimed from DE102019207415.4A external-priority patent/DE102019207415A1/en
Application filed filed Critical
Publication of JP2022532867A publication Critical patent/JP2022532867A/en
Publication of JPWO2020233755A5 publication Critical patent/JPWO2020233755A5/ja
Application granted granted Critical
Publication of JP7332716B2 publication Critical patent/JP7332716B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

本発明は、車両周辺部の画像を生成する方法及び装置に関する。 The present invention relates to a method and apparatus for generating images of vehicle surroundings.

車両には、運転手運転操作を実施する場合において支援するドライバーアシスタントシステムが、ますます、装備されるようになってきている。これらドライバーアシスタントシステムの中には、車両の運転手に車両周辺部を示すことを可能にするカメラサラウンドビーシステムを包含しているものがある。この様なカメラサラウンドビーシステムは、特に、カメラサラウンドビューシステムのデータ処理ユニットによって、車両周辺部の周辺画像に統合される車両周辺部の複数のリアル画像を供給する一台の、は、複数台の車載カメラを備える。さらに、車両周辺部の画像は、有利には、表示ユニット上で運転手に表示される。この様にすることで、車両操作、例えば、車両のバック走行や駐車操作において運転手支援できる。 Vehicles are increasingly being equipped with driver assistance systems that assist the driver in carrying out driving maneuvers . Some of these driver assistance systems include camera surround view systems that allow the driver of the vehicle to be shown the surroundings of the vehicle. Such a camera surround view system provides in particular a plurality of real images of the vehicle surroundings which are integrated into the surrounding image of the vehicle surroundings by a data processing unit of the camera surround view system . Alternatively , a plurality of in-vehicle cameras are provided . Furthermore, the image of the vehicle surroundings is advantageously displayed to the driver on the display unit. In this manner, the driver can be assisted in vehicle operations such as backing up and parking the vehicle.

り合う車載カメラから供給されるカメラ画像は、重複領域において重なり合っている。車載カメラが車両の異なる側に配置されている場合、異なる車載カメラ光の条件が異なることが起こり得る。例えば、太陽光が、車両周辺部を片側から照らしていることがある。更に、走行している道路に沿って、異なる車載カメラ、光の条件が異なることも起こり得る。例えば、車両が車両用のトンネルに進入すると、前方の車載カメラの周りは、急激に暗くなるが、その間も後方の車載カメラの周りは、自然光によってまだ良好に照らし出されている。よって、従来のサラウンドビーシステムでは、合成された統合画像又はサラウンドビュー画像内において、それぞれの車載カメラ毎に異なる光の条件に起因する画像アーティファクト、特に、統合画像内の輝度ムラが発生する。 Camera images supplied from adjacent on-board cameras overlap in the overlap region . If the on-board cameras are placed on different sides of the vehicle , different on-board cameras may have different lighting conditions. For example, sunlight may illuminate the vehicle perimeter from one side . Furthermore, along the road on which one is traveling, different on-board cameras may have different lighting conditions. For example, when a vehicle enters a tunnel for vehicles, the area around the front on-board camera suddenly becomes dark, while the area around the rear on-board camera is still well illuminated by natural light. Therefore, in the conventional surround view system, image artifacts, especially brightness unevenness in the integrated image, caused by different light conditions for each vehicle-mounted camera in the synthesized integrated image or surround view image. Occur.

これに基づいて、本発明の課題は、隣り合う車載カメラ間の輝度の差異に起因する問題を解消できる方法、又は、装置を提供することである。 Based on this, it is an object of the present invention to provide a method or a device with which the problems caused by differences in brightness between neighboring on-board cameras can be eliminated .

この課題は、独立請求項1記載の特徴を持つ方法によって達成される。装置は、並列独立請求項の対象である。好ましい実施形態は、従属請求項の対象である。 This task is achieved by a method with the features of independent claim 1 . The device is subject matter of a parallel independent claim. Preferred embodiments are subject matter of the dependent claims.

第一アスペクトによれば本発明は、車両周辺部の画像を生成する方法に関するものであり、この方法が以下のステップ、即ち、
- 特に、車両の車体に配置されている複数の車載カメラによって車両周辺部を把握するステップ、
- 複数の車載カメラによってカメラ画像を生成するステップであって、隣り合う車載カメラのカメラ画像は、重なり合っている画像領域(以後、重複画像領域)を備える、カメラ画像を生成するステップ、
仮想三次元空間における周辺部の仮想表現を生成するステップであってこの生成の際には、カメラ画像の三次元仮想空間内の仮想投影面上への投影が行われる、仮想表現を生成するステップ、
仮想空間内において非固定の仮想カメラを提供するステップかつ仮想カメラの位置及び/仮想カメラの向き決定するステップ
仮想カメラの視野領域に応じて、第一重複画像領域内の仮想投影面上第一選択領域を配置するステップ、
- 第一選択領域において、第一車載カメラの少なくとも一つの画像パラメータを算出するステップ、
第一選択領域において、第二車載カメラの少なくとも一つの画像パラメータを、第一車載カメラの少なくとも一つの画像パラメータに適合するステップ
を備える
According to a first aspect , the invention relates to a method for generating an image of a vehicle surroundings, the method comprising the steps of:
- in particular, capturing the vehicle's surroundings by means of a plurality of on-board cameras arranged on the body of the vehicle;
- generating camera images by means of a plurality of on-board cameras, the camera images of neighboring on-board cameras comprising overlapping image regions (hereinafter overlapping image regions) ;
- generating a virtual representation of the periphery in the virtual three-dimensional space, the generation of which involves projection of the camera image onto a virtual projection plane in the three-dimensional virtual space; step to
- providing a non-fixed virtual camera in the virtual space and determining the position and/ or orientation of the virtual camera ;
- placing the first selected area on the virtual projection plane within the first overlapping image area according to the field of view of the virtual camera;
- calculating at least one image parameter of the first on-board camera in the first selected area;
- Fitting at least one image parameter of the second vehicle-mounted camera to at least one image parameter of the first vehicle-mounted camera in the first selection area ;
Prepare .

特に、本発明にる方法は、サラウンドビューの三次元の仮想表現における画像クオリティを、可視領域内において改善することができる。更に、本発明にる方法は、隣り合うカメラ間の輝度差を排除できる。 In particular, the method according to the invention can improve the image quality in the three-dimensional virtual representation of the surround view within the visibility region . Furthermore, the method according to the invention can eliminate brightness differences between neighboring cameras.

特に、方法ステップは、されている順番に実施される。 In particular, method steps are performed in the order presented .

り合う車載カメラ、少なくとも部分的に同じ領域を把握することにより、隣り合う車載カメラのカメラ画像又はり合うカメラ画像は、その結果として、重複画像領域を有している。言い換えれば、隣り合う車載カメラの視野領域少なくとも部分的に重ねることにより、隣り合う車載カメラは、結的に、重複領域を有している。 Adjacent on-board cameras see at least partially the same area, so that the camera images of adjacent on- board cameras or adjacent camera images consequently have overlapping image areas. In other words, by at least partially overlapping the viewing areas of adjacent onboard cameras, adjacent onboard cameras consequently have overlapping areas.

仮想三次元空間における周辺部の仮想表現は、好ましくは、計算ユニットによって生成される。この場合、仮想表現は、特に、周辺部の三次元の表現である又は周辺部の三次元の表現を備える。 A virtual representation of the perimeter in virtual three-dimensional space is preferably generated by a computing unit. In this case the virtual representation is in particular a three-dimensional representation of the periphery or comprises a three-dimensional representation of the periphery .

ましい実施形態において、仮想投影面は、湾曲し仮想投影面を備え又はそのように構成してもよい。投影面は、部分的又は全体が湾曲してもよい。有利には、仮想投影面、椀成されている。特に、成された仮想投影面は、実質的に平な底を有る。好ましくは、実質的にな底は、湾曲した側壁へ移行する In a preferred embodiment, the virtual projection surface may comprise or be configured as a curved virtual projection surface. The projection plane may be partially or fully curved . Advantageously, the virtual projection surface is bowl -shaped . In particular, the bowl- shaped virtual projection surface has a substantially flat bottom . Preferably, the substantially flat bottom transitions into curved sidewalls.

本発明の目的では、選択領域は一画素とすることができる。しかしながら、領域又は複数の画素であってもよい。領域は、可能な限り小さく選択されると有利である。これにより、可能な限り良好な画質実現することができる。更に、品質は、領域内に又はより狭い領域内に、複数の測定点が選択される改善できる。 For purposes of the present invention, the selected area may be one pixel . However, it may also be a region or a plurality of pixels. Advantageously , the area is chosen to be as small as possible. This makes it possible to achieve the best possible image quality . Furthermore, quality can be improved if multiple measurement points are selected within a region or within a narrower region.

載カメラは、好ましくは、サラウンドビーシステムのカメラである。特に、カメラは四台あり、このカメラは、理想的には車両の異なる側に配置されている。好ましくは、一台の車載カメラが車両の前側と、後側と、左側と、右側とに配置されている。車載カメラは、魚眼カメラとして構成ることができる。複数の車載カメラが、同じ構成であることは、有利である。 The onboard camera is preferably a surround view system camera. In particular, there are four cameras, which are ideally placed on different sides of the vehicle . Preferably, one vehicle-mounted camera is arranged on the front, rear, left and right sides of the vehicle . The onboard camera can be configured as a fisheye camera . Advantageously, the on - board cameras have the same configuration.

本発明の好ましい実施形態は、仮想カメラの視野領域に応じて、第二重複画像領域内に、仮想投影面上第二選択領域が配置される。更なるステップでは、更なる車載カメラのカメラ画像が第二重複画像領域を有している、第二選択領域において更なる車載カメラの少なくとも一つの画像パラメータが、算出される。更る車載カメラは、好ましくは、第三車載カメラである。しかしながら、車載カメラは、第二車載カメラであることも可能である。次のステップでは、同様に更なる車載カメラのカメラ画像が第二重複画像領域を有している、更なる車載カメラの少なくとも一つの画像パラメータが、第二選択領域において、更なる車載カメラの少なくとも一つの画像パラメータに適合される。他の車載カメラは、好ましくは、第二車載カメラである。しかしながら、他の車載カメラは、第三車載カメラであってもよい In a preferred embodiment of the invention, a second selection area is arranged on the virtual projection plane within the second overlapping image area according to the viewing area of the virtual camera . In a further step at least one image parameter of the further on-board camera is calculated in a second selected area, the camera image of the further on-board camera comprising a second overlapping image area . The further on-board camera is preferably a third on-board camera . However , the on-board camera can also be a second on-board camera. In a next step, the camera image of the further on-board camera likewise has a second overlapping image area , wherein at least one image parameter of the further on-board camera is determined in the second selection area by at least It is adapted to one image parameter . The other vehicle-mounted camera is preferably the second vehicle-mounted camera . However , the other vehicle-mounted camera may be the third vehicle-mounted camera.

好ましくは、選択領域、に、第一又は第二選択領域は、他の領域の位置とは独立している。特に、第一及び第二選択領域は、異なる軸及び/は異なる高さに位置。選択領域は、特に、同じ座標軸上には位置しない。仮想三次元空間を観察すると、二つの選択領域は、特に、仮想三次元空間内の異なる面又は高さに位置る。 Preferably, the selection area, in particular the first or second selection area, is independent of the position of the other areas. In particular, the first and second selected areas are located at different axes and/ or different heights . In particular, the selected areas are not located on the same coordinate axis . When viewing the virtual three-dimensional space, the two selected areas are located , in particular, at different planes or heights within the virtual three-dimensional space.

有利には、第一及び第二重複画像領域を備える車載カメラの画像及び/は画像パラメータの適合は、第一及び第二選択領域の間において、(局所的な)補間又は補間関数によって行われる。加えて、特に、割出された画像パラメータは、選択領域内において考慮される。車載カメラは、好ましくは、第二車載カメラである。補間により、選択領域間の視覚的な移行を特に滑らかにできる。 Advantageously, the image and / or the adaptation of the image parameters of the on-board camera with the first and second overlapping image areas is ( locally ) interpolated or interpolated between the first and second selected areas. done by a function. In addition, among other things , the determined image parameters are considered within the selected area . The vehicle-mounted camera is preferably a second vehicle-mounted camera . Interpolation allows for particularly smooth visual transitions between selected regions.

実施形態では、線形補間を使用してもよくその際、式は、「(1-alpha)*a+alpha*b」であってもよい。alphaは、0から1の範囲でもよくかつ選択領域aと選択領域b間の距離を記述しその際、その距離は、3Dベクトルによって記述できる。 In one embodiment, linear interpolation may be used , where the formula may be "(1-alpha)*a+alpha*b". alpha can range from 0 to 1 and describes the distance between selection area a and selection area b, where the distance can be described by a 3D vector.

本発明の実施形態では、補間の際に、選択領域の位置又は複数の選択領域の位置が、考慮される。好ましくは、選択領域の三次元の位置又は複数の選択領域の三次元の位置が考慮される。追加的に又は代替的に、特に、第一及び第二選択領域との間にある現在レンダリングされている点のX座標値と、Y座標値と、Z座標値が、考慮される。好ましくは、選択領域が、同じ座標軸線上及び/又は同じ座標軸に沿って配置されない場合は、複数の座標値が考慮される。したがって特に、X座標値のみならず、Y座標値及び/はZ座標値も考慮される。これにより、より柔軟で、より適応能力が高い調和値の用を達成できる。既知の方法においては、輝度差の補間は、一本の軸、例えば、x軸線に沿ってのみ適用され、他の値、例えば、y値とz値は考慮されない。 In one embodiment of the invention, the position of the selection area or the positions of multiple selection areas is considered during the interpolation. Preferably, the three-dimensional position of the selection area or the three-dimensional positions of a plurality of selection areas are considered. Additionally or alternatively , in particular the X , Y and Z coordinates of the currently rendered point between the first and second selection areas are taken into account. Preferably, multiple coordinate values are considered if the selection areas are not located on and/ or along the same coordinate axis . Thus , in particular, not only the X-coordinate values but also the Y- and/ or Z-coordinate values are taken into account . This makes it possible to achieve a more flexible and more adaptive application of the harmonic values. In the known method, the interpolation of luminance differences is applied only along one axis , eg the x-axis, and other values, eg y and z values are not considered .

ましい実施形態は、選択領域、特に、第一及び/は第二選択領域の配置は、第一ステップにおいて、選択領域が、重なり合っている画像領域内の位置に配置されることによって実施される。画像領域は、第一重複画像領域でも、第二重複画像領域でもよい。更なるステップ又はその後のステップでは、選択領域が、位置で仮想カメラで見えるか否かがチェックされる。例えば、選択領域が、仮想カメラの視野の外、特に、Field of View(視外にある場合、選択領域は仮想カメラからは、見えない。他の理由としては、仮想三次元空間に、仮想投影面に囲まれている仮想車両モデルが、挿入されている場合を挙げることができる。この場合、車両モデルは、特に、基本的に仮想カメラの位置と選択領域との間に位置する。 In a preferred embodiment the positioning of the selection area, in particular the first and/ or the second selection area, is such that in a first step the selection area is positioned at a reference position within the overlapping image area. It is implemented by being The image area may be the first overlapping image area or the second overlapping image area. In a further or subsequent step it is checked whether the selected area is visible with the virtual camera at the reference position. For example, if the selection area is outside the virtual camera 's field of view, in particular outside the Field of View , the selection area will not be visible to the virtual camera. Another reason is that a virtual vehicle model surrounded by a virtual projection plane is inserted into the virtual three-dimensional space. In this case , the vehicle model, in particular, essentially lies between the position of the virtual camera and the selection area.

択領域が、仮想カメラに対して視認可能である場合は、選択領域は、好ましくは位置のままであ。選択領域が、仮想カメラに対して視認可能でない場合、重複画像領域内の仮想投影面上のその選択領域は、移動することができる。特に、選択領域は、仮想カメラに対して視認可能な様になるまで移動る。 If the selection area is visible to the virtual camera, the selection area preferably remains in the reference position . If the selection area is not visible to the virtual camera, the selection area on the virtual projection plane within the overlapping image area can be moved . Specifically, the selection area is moved until it becomes visible to the virtual camera.

位置は、メモリに保存してもよい。本発明にる方法の実施形態では、選択領域を先ずは、位置に配置することが有利である。 The reference position may be stored in memory. In an embodiment of the method according to the invention, it is advantageous to first place the selection area in a reference position .

択領域は、仮想カメラに対して視認可能であ重複画像領域内に選択領域がないと、チェック中に判明した場合には、位置上に配置することができる又は再配置ることができる。したがって、基位置は、特に、回位置又は回帰位置としても利用することができる The selection area can be placed on the reference position or repositioned if during the check it is found that no selection area is within the overlapping image area visible to the virtual camera. can Therefore, the reference position can in particular also be used as an avoidance position or a return position .

本発明の有利な一実施形態は、一台の車両モデルのパラメータが提供れ、その際、パラメータは、好ましくは、仮想三次元空間内に挿入される。「パラメータ」は、少なくとも車両の高さ、及び/又は車両の長さ、及び/又は車両の幅である。しかし、パラメータは、仮想車両モデルであることも考えられる。好ましくは、パラメータは、モデルメモリ内に保存されている。 In one advantageous embodiment of the invention, parameters of a vehicle model are provided , the parameters being preferably inserted into the virtual three-dimensional space . A " parameter" is at least vehicle height and/ or vehicle length and/ or vehicle width . However, it is also conceivable that the parameters are virtual vehicle models. Preferably the parameters are stored in the model memory.

好ましくは仮想投影面は、仮想空間内車両モデルのパラメータを取り囲仮想投影面が、椀に形成され、基本的に平な椀型のを有している場合は、車両モデル又は仮想車両モデルのパラメータ底部上に配置されている。特に好ましくは、車両モデル又は仮想車両モデルのパラメータ底部基本的に中央に配置されている。 Preferably , the virtual projection plane surrounds the parameters of the vehicle model in virtual space. If the virtual projection surface is bowl -shaped and has an essentially flat bowl -shaped bottom , the vehicle model or the parameters of the virtual vehicle model are arranged on the bottom . Particularly preferably , the parameters of the vehicle model or virtual vehicle model are arranged essentially centrally on the bottom .

好ましくは、画像パラメータ、画像の明るさ、画像コントラスト、画像の色、画像の鮮明さ色の飽和度、及び/又はテクスチャ周波である。 Preferably, the image parameters are image brightness , image contrast, image color , image sharpness , color saturation and/ or texture frequency .

有利な一実施形態では、第一車載カメラは、前方の車載カメラである。第一車載カメラは、基本的には、車両前方の領域を把握する視野領域を有している。第一車載カメラが、前方の車載カメラである場合、好ましくは、第三カメラ後方の車載カメラである。後方車載カメラは、基本的には、車両後方の領域を把握する視野領域を有している。前方と後方の車載カメラは、好ましくは、対向する方向を向いている、及び/又は好ましくは、同一の光軸を有る。しかし、第一車載カメラが後方の車載カメラであり、及び/又はは、第三車載カメラが前方の車載カメラであることも考えられる。 In one advantageous embodiment , the first vehicle-mounted camera is a front vehicle-mounted camera . The first vehicle- mounted camera basically has a field of view that captures the area in front of the vehicle . When the first vehicle-mounted camera is a front vehicle-mounted camera, preferably the third camera is a rear vehicle-mounted camera. A rear vehicle- mounted camera basically has a field of view that captures the area behind the vehicle . The front and rear on-board cameras preferably point in opposite directions and/ or preferably have the same optical axis. However, it is also conceivable that the first vehicle-mounted camera is the rear vehicle-mounted camera and/ or the third vehicle-mounted camera is the front vehicle-mounted camera.

本発明の好ましい実施形態、第二車載カメラは、一台の側方の車載カメラである。車載カメラは、基本的に車両の横の領域を把握する視野領域を有している。特に好ましくは、第二車載カメラは、左側又は右側の車載カメラである。第二車載カメラは、車両の外装ミラーに配置されていてもよい In a preferred embodiment of the invention , the second vehicle-mounted camera is a side vehicle-mounted camera . An on-board camera basically has a field of view that captures the lateral area of the vehicle. Particularly preferably , the second vehicle-mounted camera is a left or right vehicle-mounted camera . The second vehicle-mounted camera may be arranged on the exterior mirror of the vehicle.

本方法の特に有利な一実施形態は、左側及び/は右側の車載カメラの画像パラメータ、特に、左側及び/は右のカメラ画像の明るさ、前方及び/は後方の車載カメラの画像パラメータ、特に、前側及び/又は後側のカメラ画像の明るさ適合される。これにより、左及び/は右の車載カメラの画像パラメータは、特に、接続部での前方及び/は後方の車載カメラの画像パラメータに対応る。本発明によれば、これは、第一車載カメラが前方の車載カメラであり、更なる車載カメラが後方の車載カメラであり、第二車載カメラと他の車載カメラが同一の車載カメラであり、かつ一台の側方の車載カメラに対応することにより達成される。更にこれは、第一車載カメラが後方の車載カメラである、更なる車載カメラが前方の車載カメラである、第二車載カメラと他の車載カメラが同一の車載カメラであかつ一台の側方の車載カメラに対応することにより達成される。 In one particularly advantageous embodiment of the method, the image parameters of the left and / or right on-board camera, in particular the brightness of the left and / or right camera image , are adjusted to the front and/ or is adapted to the image parameters of the rear on-board camera, in particular the brightness of the front and/or rear camera image . The image parameters of the left and/ or right vehicle-mounted camera thereby correspond in particular to the image parameters of the front and/ or rear vehicle-mounted camera at the junction . According to the invention, this means that the first on-board camera is the front on-board camera, the further on-board camera is the rear on-board camera, and the second on-board camera and the other on-board camera are the same on-board camera. , and is achieved by supporting one side vehicle-mounted camera. Further , the first vehicle-mounted camera is a rear vehicle-mounted camera, the further vehicle-mounted camera is a front vehicle-mounted camera, the second vehicle-mounted camera and the other vehicle-mounted camera are the same vehicle-mounted camera, and This is achieved by accommodating one side-mounted vehicle camera.

のアスペクトによれば、本発明は、車両周辺部の画像を生成する装置に関するもので、この装置は、
- 車両周辺部を把握し、カメラ画像を生成するための複数の車載カメラであって、隣り合う車載カメラのカメラ画像が、重複画像領域を備え、かつ車載カメラ、特に、車両の車に取付けられている、複数の車載カメラと、
- 周辺部の仮想表現を三次元空間内に生成するように構成されている計算ユニットであって、生する場合には、カメラ画像三次元仮想空間内の仮想投影面上影される、計算ユニットと、並びに、
非固定の仮想カメラと、
備え
当該装置において
算ユニットは、
仮想カメラの視野領域に応じて、第一重複画像領域内に、仮想投影面上第一選択領域を配置し、かつ
第一選択領域内において、第一車載カメラの少なくとも一つの画像パラメータを算出し、かつ
第一選択領域内において、第二車載カメラの少なくとも一つの画像パラメータを、第一車載カメラの少なくとも一つの画像パラメータに適合するように、さらに構成されていることを特徴とする装置である。
According to a second aspect, the invention relates to a device for generating an image of the vehicle surroundings, the device comprising:
- a plurality of on-board cameras for capturing the vehicle surroundings and generating camera images , the camera images of adjacent on-board cameras comprising overlapping image areas, and the on-board cameras , in particular the body of the vehicle; a plurality of in-vehicle cameras attached to the
- a computing unit configured to generate a virtual representation of the perimeter in three-dimensional space, where the camera image is projected onto a virtual projection plane in the three-dimensional virtual space; a computing unit, and
- a non-fixed virtual camera ;
comprising _
in the device,
The computing unit is
locating a first selected area on the virtual projection plane within the first overlapping image area according to the viewing area of the virtual camera; and
calculating at least one image parameter of the first vehicle-mounted camera within the first selected area; and
The apparatus further configured to match at least one image parameter of the second vehicle-mounted camera to at least one image parameter of the first vehicle-mounted camera within the first selected area. is.

特に、装置は、本発明にる方法を実施することに適している。 In particular the device is suitable for carrying out the method according to the invention.

仮想カメラは、仮想三次元空間内で、自由に移動することができる、又は自由に移動可能である。また、仮想カメラの向きを自由に動かすことができる。したがって特に、車載カメラによって把握される車両の周辺部における各領域、観察することができる。 The virtual camera can or can move freely within the virtual three-dimensional space. Also, the orientation of the virtual camera can be freely moved. Thus , in particular, regions in the vehicle 's periphery that are captured by the on-board camera can be observed.

本発明にる装置の好ましい実施形態、計ユニットは、仮想カメラの視野領域に応じて、第二重複画像領域内に、仮想影面上第二選択領域を配置し、第二選択領域において、更なる車載カメラのカメラ画像が第二重複画像領域を有る更なる車載カメラの少なくとも一つの画像パラメータを、算出し、そして、第二選択領域において、他の車載カメラのカメラ画像が第二重複領域を同様に有する他の車載カメラの少なくとも一つの画像パラメータを、更なる車載カメラの少なくとも一つの画像パラメータに適合る様に構成されている。更に、計算ユニットは、第一及び第二重複画像領域を有る、又は、第一及び第二選択領域を有る車載カメラの画像パラメータの適合を、第一及び第二選択領域の間で、補間によって行うように構成されていてもよい。 In a preferred embodiment of the device according to the invention , the computing unit arranges the second selection area on the virtual shadow plane within the second overlapping image area according to the field of view of the virtual camera . and calculating, in a second selection area, at least one image parameter of the further on-board camera, the camera image of the further on-board camera having a second overlapping image area, and in the second selection area , the camera image of the other on-board camera adapts at least one image parameter of the other on-board camera also having a second overlap region to at least one image parameter of the further on-board camera. there is Furthermore , the calculation unit is adapted to adapt the image parameters of the on-board camera with the first and second overlapping image areas or with the first and second selection areas to the first and second selection areas. may be configured to perform by interpolation between .

本発明の更なる有利な実施形態は、図面によって示される。 Further advantageous embodiments of the invention are illustrated by the drawings.

一実施形態における本発明にる方法のフローチャートの概略図である。 1 is a schematic diagram of a flow chart of a method according to the invention in one embodiment; FIG. 実施形態における本発明にる装置の概略図である。 1 is a schematic illustration of a device according to the invention in one embodiment; FIG. 車両周辺部の仮想表現を示す概略的な平面図である。 1 is a schematic plan view showing a virtual representation of a vehicle periphery; FIG . 仮想カメラの概略図である。1 is a schematic diagram of a virtual camera; FIG.

図1は、車両周辺部の画像を生成する本発明にる方法の実施形態におけるフローチャートの概略図を示している。 FIG. 1 shows a schematic diagram of a flow chart of an embodiment of the method according to the invention for generating an image of the vehicle surroundings.

第一プロセスステップS1では、車両周辺部が、複数の車載カメラ12,14,16,18によって把握される。車載カメラ12,14,16,18は、特に、車両の車に配置されている。ステップS2では、カメラ画像が、複数の車載カメラ12,14,16,18によってカメラ画像が生成され、その際、り合う車載カメラ12,14,16,18のカメラ画像は、重複画像領域40,42,44,46を備える。 In a first process step S1, the vehicle surroundings are captured by a plurality of on-board cameras 12, 14, 16, 18. On-board cameras 12, 14, 16, 18 are arranged in particular on the body of the vehicle. In step S2, camera images are generated by a plurality of vehicle-mounted cameras 12, 14, 16, 18. At that time, camera images of adjacent vehicle-mounted cameras 12, 14, 16, 18 overlap image areas. 40, 42, 44, 46 .

続いて第三ステップS3では、仮想三次元空間60内において周辺部の仮想表現が生成される。この場合仮想投影面62上へのカメラ画像の投影が行われる。第四ステップS4では、非固定の仮想カメラ48が、仮想空間60内において提供される。更に、仮想カメラの位置及び/仮想カメラの向きも算出される。 Subsequently, in a third step S3, a virtual representation of the periphery is generated within the virtual three-dimensional space 60. FIG. In this case , the camera image is projected onto the virtual projection plane 62 . In a fourth step S4 a non-fixed virtual camera 48 is provided within the virtual space 60 . Furthermore , the position of the virtual camera and/ or the orientation of the virtual camera are also calculated.

加えて、好ましい実施形態によれば、車両モデルのパラメータ又はそのような車両モデルも提供することができその際、パラメータ又は車両モデルは、好ましくは、仮想三次元空間に挿入される。 In addition, according to a preferred embodiment , parameters of a vehicle model or such a vehicle model can also be provided , wherein the parameters or vehicle model are preferably inserted into the virtual three-dimensional space.

第五ステップS5では、第一重複画像領域40内の仮想投影面62上の第一選択領域56が、仮想カメラ48の視野領域50に応じて決定される。特に、第一選択領域56の決定、第一ステップにおいて、選択領域56‘が、重複画像領域内の位置に配置されることによって行われる。これに続くステップでは、選択領域56‘が、位置の仮想カメラ48で視認可能か否かが確認される。選択領域が、仮想カメラ48で視認可能な場合は、選択領域、好ましくは位置で維持される。選択領域56‘が、仮想カメラ48で視認可能ではない場合、これが、重複画像領域40内で、仮想投影面62上で移動される。 In a fifth step S<b>5 , a first selected area 56 on the virtual projection plane 62 within the first overlapping image area 40 is determined according to the viewing area 50 of the virtual camera 48 . In particular, the determination of the first selection area 56 is performed in a first step by placing the selection area 56' at a reference position within the overlapping image area. In a subsequent step, it is checked whether the selected area 56' is visible with the virtual camera 48 at the reference position . If the selection area is visible to the virtual camera 48, the selection area is preferably maintained at the reference position . If the selection area 56 ′ is not visible to the virtual camera 48 , it is moved on the virtual projection plane 62 within the overlap image area 40 .

第一選択領域56が決定された場合、続いて、第六ステップS6において、第一選択領域56内の第一車載カメラ12の少なくとも一つの画像パラメータが決定される。第七ステップS7では、次に、第二車載カメラ14の少なくとも一つの画像パラメータ、第一選択領域56内の第一車載カメラ12の少なくとも一つの画像パラメータに適合さる。 If the first selection area 56 has been determined , then at least one image parameter of the first onboard camera 12 within the first selection area 56 is determined in a sixth step S6. In a seventh step S<b>7 , at least one image parameter of the second onboard camera 14 is then adapted to at least one image parameter of the first onboard camera 12 within the first selection area 56 .

図1に描写されているように、第一選択領域の決定に加え、他の選択領域も決定することができる。のために、特に、第八ステップS8において、第二重複画像領域42内で、仮想投影面62上の第二選択領域58が、仮想カメラ48の視野領域50に応じて決定される。第二選択領域58の決定は、第一選択領域56の決定と同じように行ってもよい。第二選択領域58配置された場合、好ましくは、第九ステップS9において、第二選択領域58内において、更なる一台の車載カメラのカメラ画像が第二重複画像領域42を有している更なる一台の車載カメラ16の少なくとも一つの画像パラメータが、算出される。そしてステップS10では、好ましくは、第二選択領域58において、一台の他の車載カメラ14のカメラ画像が第二重複画像領域42を同様に有している一台のの車載カメラ14の少なくとも一つの画像パラメータが、更なる車載カメラ16の少なくとも一つの画像パラメータに適合される。そして、ステップS11では、第一重複画像領域40第二重複画像領域42を有する車載カメラ14の画像パラメータが、第一選択領域56と第二選択領域58との間、補間により算出できる。 In addition to determining the first selection area, as depicted in FIG. 1, other selection areas can also be determined . For this , in particular, in an eighth step S8, within the second overlapping image area 42 , a second selected area 58 on the virtual projection plane 62 is determined according to the viewing area 50 of the virtual camera 48. FIG. Determination of the second selection area 58 may be performed in the same manner as determination of the first selection area 56 . When the second selection area 58 is arranged , preferably in the ninth step S9 , the camera image of the additional vehicle-mounted camera has the second overlapping image area 42 in the second selection area 58 . At least one image parameter of a further on-board camera 16 is calculated . Then, in step S10, preferably, in the second selection area 58, the camera image of the other vehicle camera 14 also has the second overlap image area 42 of the other vehicle camera 14. At least one image parameter is adapted to at least one image parameter of the further on-board camera 16 . Then , in step S11, the image parameters of the vehicle-mounted camera 14 having the first overlapping image area 40 and the second overlapping image area 42 are calculated by interpolation between the first selected area 56 and the second selected area 58. can.

図2は、一実施形態における本発明にる装置38の概略図を示している。装置38は、車両周辺部を把握するためのかつカメラ画像を生成するための複数の車載カメラ12,14,16,18を備える。隣り合う車載カメラ12,14,16,18の視野領域20,22,24,26は、少なくとも部分的に重なり合う。その結果、り合う車載カメラ12,14,16,18は、重複領域28,30,32,34を有る。さらに、これにより、隣り合う車載カメラ12,14,16,18のカメラ画像は、重複画像領域40,42,44,46を有することができる。 FIG. 2 shows a schematic diagram of an apparatus 38 according to the invention in one embodiment . The device 38 comprises a plurality of onboard cameras 12, 14, 16, 18 for capturing the vehicle surroundings and for generating camera images. The viewing areas 20, 22, 24, 26 of adjacent onboard cameras 12, 14, 16, 18 at least partially overlap . As a result, adjacent onboard cameras 12, 14, 16, 18 have overlapping areas 28, 30, 32, 34. FIG. Furthermore, this allows the camera images of adjacent on-board cameras 12, 14, 16, 18 to have overlapping image areas 40, 42, 44, 46. FIG.

図2から明らかな様に、装置38は更に、非固定の仮想カメラ48を備えてもよい。更に装置38は、計算ユニット36も備え。計算ユニット36は、仮想三次元空間60における周辺部の仮想表現を生成できる様に構成されていて、その際、生成の際には、カメラ画像の三次元仮想空間60内の仮想投影面62上への投影が行われる。更に、計算ユニット36は、仮想カメラ48の視野領域50に応じて、第一重複画像領域56内に、仮想投影面62上に第一選択領域56を配置し、第一選択領域において第一車載カメラ12の少なくとも一つの画像パラメータを算出し、第一選択領域56において第二車載カメラ14の少なくとも一つの画像パラメータを、第一車載カメラ12の少なくとも一つの画像パラメータに適合させることができる様に構成されている。有利には、車載カメラ12,14,16,18は、サラウンドビーシステムのカメラであその際、合計四台のカメラがり、かつ車載カメラ12が車両の前方に、車載カメラ16が車両の後方に、車載カメラ14が車両の左側方に、車載カメラ18が車両の右側方に配置されている。 As can be seen from FIG. 2, device 38 may further comprise a non-fixed virtual camera 48 . Furthermore, the device 38 also comprises a computing unit 36 . The computing unit 36 is adapted to generate a virtual representation of the perimeter in the virtual three-dimensional space 60 , the virtual projection plane 62 in the three-dimensional virtual space 60 of the camera image being generated. An upward projection is performed . Further , the calculation unit 36 places the first selected area 56 on the virtual projection plane 62 within the first overlapping image area 56 according to the viewing area 50 of the virtual camera 48 , and the first selected area in the first selected area. At least one image parameter of the on-board camera 12 is calculated so that in the first selection area 56 at least one image parameter of the second on-board camera 14 can be adapted to at least one image parameter of the first on-board camera 12 . is configured to Advantageously, the on-board cameras 12, 14, 16, 18 are cameras of a surround view system, whereby there are four cameras in total and the on-board camera 12 is positioned in front of the vehicle , An on-board camera 16 is arranged on the rear side of the vehicle , an on-board camera 14 is arranged on the left side of the vehicle , and an on-board camera 18 is arranged on the right side of the vehicle .

図3は、車両周辺部の仮想表現を示す概略的な平面図を示している。カメラ画像の画像領域は、点棒線によって表されていその際、り合うカメラ画像は、重複画像領域40,42,44,46を有する。車両モデル54は、仮想表現に挿入されている。更に、図3には、仮想カメラ48がされている。仮想カメラ48は、車両モデル54の右脇に配置されていてかつ基本的に右下から左上を指して、車両モデル54(破線によって表されている)を含む視野領域50を備えその際、車両モデル54は、仮想カメラ48に対して仮想表現の領域52を覆い隠している。 FIG. 3 shows a schematic plan view showing a virtual representation of the vehicle periphery. The image areas of the camera images are represented by dashed lines, with adjacent camera images having overlapping image areas 40 , 42 , 44 , 46 . A vehicle model 54 has been inserted into the virtual representation. Also shown in FIG. 3 is a virtual camera 48 . The virtual camera 48 is positioned to the right of a vehicle model 54 and has a viewing area 50 pointing essentially from lower right to upper left and containing the vehicle model 54 (represented by the dashed line), wherein , the vehicle model 54 obscures an area 52 of virtual representation with respect to the virtual camera 48 .

第一及び第二車載カメラの重複画像領域40内に、第一選択領域56‘が配置されている。本発明によれば選択領域56‘は、第一ステップにおいて、好ましくは、位置に配置され、に、選択領域56‘が、仮想カメラ48では視認可能であるか否かがチェックされる。視認可能ではない場合、選択領域は、好ましくは、重複画像領域40内において移動される。図3に示されているように、選択領域56‘は、覆い隠されている領域52内にあり、その結果として仮想カメラ48からは視認不可能であるしたがって、第一選択領域56‘は、移動され、例えば、選択領域56‘‘が得られる。 A first selection area 56' is located within the overlapping image area 40 of the first and second onboard cameras. According to the invention , the selection area 56' is preferably placed in a reference position in a first step and then it is checked whether the selection area 56' is visible in the virtual camera 48. be. If not visible , the selection area is preferably moved within the overlap image area 40 . As shown in FIG. 3, selection area 56 ′ is within occluded area 52 and as a result is not visible to virtual camera 48 . Accordingly, the first selected area 56' is moved to obtain, for example, a selected area 56''.

図4は、仮想カメラの概略的な図を示うす。仮想三次元空間60には、車両モデル54が挿入されている。車両モデル54は、仮想投影面62に取り囲まれていて、仮想投影面62は、基本的に、椀成され、基本的に平な底を有していて、車両モデル54は、好ましくはの上に配置されている。
仮想カメラは、車両モデル54の後方の右側に配置されていて、前方の重複画像領域40の方向を示している。
FIG. 4 shows a schematic diagram of a virtual camera. A vehicle model 54 is inserted in the virtual three-dimensional space 60 . A vehicle model 54 is surrounded by a virtual projection plane 62 , which is basically bowl- shaped and has a basically flat bottom so that the vehicle model 54 is preferably located on the bottom .
The virtual camera is positioned to the rear right of the vehicle model 54 and points to the forward left overlapping image region 40 .

重複画像領域40内には、選択領域56が、配置されている。選択領域56は、投影面62の壁領域に配置されている。特に、選択領域56は、底部上にはない又は選択領域56は、x軸及びy軸線の上方に配置されている。従来の技術において基本的に行われている如く、選択領域56が、重複画像領域40内においてx軸上にるとすると、これは、仮想カメラ48では視認不可能である。更に図4には、第二及び第三車載カメラの重複画像領域42内に配置されている第二選択領域間58が示されている。選択領域58は、仮想投影面62の底上に配置されており、それは従って、特に、z座標値は、0である。従って、選択領域56,58は、同じ座標軸上には、配置されておらず、好ましくは、3つの座標軸において異なる値を有している。選択領域56,58内において、対応する重なり合っている画像領域を有している車載カメラの少なくとも一つの画像パラメータが算出され、続いて、同じ重なり合っている画像領域を有している車載カメラの少なくとも一つの画像パラメータがそれに適合される。好ましくは、一台の側方の車載カメラの少なくとも一つの画像パラメータは、前方及び/は後方の車載カメラの少なくとも一つの画像パラメータに適合される。これは、図4に関して言えば、以下のことを意味している:選択領域56内において前方の車載カメラ20の一つの画像パラメータが算出され、続いて、左側の車載カメラ22の一つの画像パラメータが、適合される。選択領域58内において後方の車載カメラ24の一つの画像パラメータが算出され、続いて、左側の車載カメラ22の一つの画像パラメータが適合される。双方の選択領域56,58を備える車載カメラでは、選択領域56,58の間の画像パラメータの適合好ましくは補間によって実施される。これは、図4では、選択領域56,58をつないでいる線又は曲線によって表されている。従来の技術より既知な方法とは異なり、この線は、一の軸線に沿ってのみ延びるものでは無い。特に、補間の際には、選択領域56,58の位置、及び、現在レンダリングされている点のx座標値、y座標値及び/はz座標値も考慮される。 A selection area 56 is positioned within the overlap image area 40 . The selection area 56 is arranged in the wall area of the projection plane 62 . In particular, the selected area 56 is not on the bottom or the selected area 56 is located above the x- axis and the y- axis . If the selection area 56 were to lie on the x- axis within the overlapped image area 40, as is generally done in the prior art, it would not be visible to the virtual camera 48. FIG. Also shown in FIG. 4 is a second selection area 58 located within the overlapping image area 42 of the second and third vehicle mounted cameras . The selection area 58 is located on the bottom surface of the virtual projection plane 62, and therefore , in particular, has a z-coordinate value of zero. Therefore, the selection areas 56, 58 are not located on the same coordinate axis , and preferably have different values on the three coordinate axes . Within the selection areas 56, 58, at least one image parameter of the vehicle-mounted camera having corresponding overlapping image areas is calculated, followed by the determination of the vehicle-mounted camera having the same overlapping image areas. At least one image parameter is fitted to it. Preferably , at least one image parameter of one side vehicle-mounted camera is adapted to at least one image parameter of the front and/ or rear vehicle-mounted camera . With respect to FIG. 4, this means that in the selection area 56 one image parameter of the front on-board camera 20 is calculated, followed by one image parameter of the left-hand on-board camera 22 . is adapted. An image parameter of the rear vehicle-mounted camera 24 is calculated in the selection area 58 and then an image parameter of the left-side vehicle-mounted camera 22 is adapted. In an on-board camera with both selection areas 56, 58, the adaptation of the image parameters between the selection areas 56, 58 is preferably performed by interpolation . This is represented in FIG. 4 by the line or curve connecting the selected areas 56,58. Unlike methods known from the prior art, this line does not extend only along a single axis. In particular, the positions of the selection regions 56, 58 and the x, y and/ or z coordinates of the currently rendered point are also considered during interpolation.

本発明は、上記実施例によって説明された。しかしながら、特許請求項に定義されている請求範囲を逸脱することなく、数多くの変更やヴァリエーションが可能であることは、言うまでも無いことである。尚、様々な実施例の組み合わせも可能である。 The invention has been illustrated by the above examples. However, it should be understood that many modifications and variations are possible without departing from the scope as defined in the claims. Combinations of the various embodiments are also possible.

12 第一車載カメラ
14 第二車載カメラ
16 第三車載カメラ
18 第四車載カメラ
20 第一車載カメラの視野領域
22 第二車載カメラの視野領域
24 第三車載カメラの視野領域
26 第四車載カメラの視野領域
28 第一/第二車載カメラの重複領域
30 第二/第三車載カメラの重複領域
32 第三/第四車載カメラの重複領域
34 第四/第一車載カメラの重複領域
36 計算ユニット
38 装置
40 第一/第二車載カメラの重なり合っている画像領域
42 第二/第三車載カメラの重なり合っている画像領域
44 第三/第四車載カメラの重なり合っている画像領域
46 第四/第一車載カメラの重なり合っている画像領域
48 仮想カメラ
50 仮想カメラの視野領域
52 仮想カメラにとって覆い隠されている領域
54 車両モデル
56(‘)/(‘‘) 第一選択領域
58 第二選択領域
60 仮想三次元空間
62 仮想投影面
S1-S11 プロセスステップ
12 First onboard camera 14 Second onboard camera 16 Third onboard camera 18 Fourth onboard camera 20 Field of view area 22 of first onboard camera Viewing area of second onboard camera 24 Viewing area of third onboard camera 26 Field of view area 26 of fourth onboard camera Field of view area 28 First/second onboard camera overlap area 30 Second/third onboard camera overlap area 32 Third/fourth onboard camera overlap area 34 Fourth/first onboard camera overlap area 36 Calculation unit 38 Apparatus 40 Overlapping image area 42 of first/second onboard camera Overlapping image area 44 of second/third onboard camera Overlapping image area 46 of third/fourth onboard camera Fourth/first onboard camera Camera Overlapping Image Area 48 Virtual Camera 50 Virtual Camera View Area 52 Obscured Area for Virtual Camera 54 Vehicle Model 56 (')/('') First Selected Area 58 Second Selected Area 60 Virtual Cubic Original space 62 virtual projection surface S1-S11 process steps

Claims (12)

両周辺部の画像を生成する方法であって、
この方法が以下のステップ、即ち、
- 特に、車両の車体に配置されている複数の車載カメラ(12141618)によって車両周辺部を把握するステップ(S1)、
- 複数の車載カメラ(12141618)によってカメラ画像を生成するステップ(S2)であって、隣り合う車載カメラ(12141618)のカメラ画像は、重複画像領域(40424446)を備える、カメラ画像を生成するステップ(S2)、
仮想三次元空間(60)における周辺部の仮想表現を生成するステップ(S3)であってこの生成の際には、カメラ画像の三次元仮想空間(60)内の仮想投影面(62)上への投影が行われる、仮想表現を生成するステップ(S3)、
仮想空間(60)内において非固定の仮想カメラ(48)を提供し、かつ仮想カメラの位置及び/仮想カメラの向き決定するステップ(S4)、
仮想カメラ(48)の視野領域(50)に応じて、第一重複画像領域(40)内の仮想投影面(62)上第一選択領域(56)を配置するステップ(S5)
- 第一選択領域(56)において、第一車載カメラ(12)の少なくとも一つの画像パラメータを算出するステップ(S6)、
第一選択領域(56)において、第二車載カメラ(14)の少なくとも一つの画像パラメータを、第一車載カメラ(12)の少なくとも一つの画像パラメータに適合するステップ(S7)
を備えることを特徴とする方法
A method for generating an image of a vehicle periphery , comprising:
The method includes the following steps:
- capturing (S1) the vehicle surroundings , in particular by means of a plurality of on-board cameras (12 , 14 , 16 , 18) arranged on the body of the vehicle;
- a step (S2) of generating camera images by a plurality of on-board cameras (12 , 14 , 16 , 18), wherein the camera images of adjacent on -board cameras (12 , 14 , 16 , 18) overlap image areas; generating a camera image (S2) , comprising (40 , 42 , 44 , 46);
- a step (S3) of generating a virtual representation of the periphery in the virtual three-dimensional space (60), during which generation a virtual projection plane (62) in the three-dimensional virtual space (60) of the camera image; generating a virtual representation (S3), which is projected upwards;
- providing a non-fixed virtual camera (48) in the virtual space (60) and determining the position and/ or orientation of the virtual camera (S4);
- placing (S5) the first selected area (56) on the virtual projection plane (62) within the first overlapping image area (40) according to the field of view (50) of the virtual camera (48) ;
- calculating (S6) at least one image parameter of the first on-board camera (12) in the first selection area (56);
- in the first selection area (56), the step (S7) of matching at least one image parameter of the second on-board camera (14) to at least one image parameter of the first on-board camera (12) ;
A method comprising :
以下のステップ、即ち、
仮想カメラ(48)の視野領域(50)に応じて、第二重複画像領域(42)内に、仮想投影面(62)上に第二選択領域(58)を配置するステップ(S8)
二選択領域(58)において、更なる車載カメラ(16)の少なくとも一つの画像パラメータを、算出するステップ(S9)であってこの更なる車載カメラ(16)のカメラ画像が第二重複画像領域(42)を有する、ステップ(S9)、
二選択領域(58)において、他の車載カメラ(14)の少なくとも一つの画像パラメータを、前記更なる車載カメラ(16)の少なくとも一つの画像パラメータに適合するステップ(S10)であって、この他の車載カメラ(14)のカメラ画像が第二重複画像領域(42)を同様に有する、ステップ(S10)、
を備えることを特徴とする請求項1に記載の方法
the following steps :
- placing (S8) a second selected area (58) on a virtual projection plane (62) within a second overlapping image area (42) according to the viewing area (50) of the virtual camera (48) ;
- calculating (S9) in a second selection area (58) at least one image parameter of a further on-board camera (16) , the camera image of this further on-board camera (16) being a second step (S9), with an overlapping image area (42);
- adapting (S10) at least one image parameter of another on-board camera (14) to at least one image parameter of said further on-board camera (16) in a second selection area (58), step (S10), wherein the camera image of this other vehicle-mounted camera (14) also has a second overlapping image area (42);
2. The method of claim 1, comprising :
第一選択領域(56)と第二選択領域(58)との間における、第一重複画像領域(40)と第二重複画像領域(42)を有する車載カメラ(14)の画像パラメータを適合するステップ(S11)、補間によって行われることを特徴とする請求項2に記載の方法。 adapting the image parameters of an on-board camera (14) having a first overlapping image area (40) and a second overlapping image area (42) between a first selected area (56) and a second selected area (58) 3. Method according to claim 2, characterized in that the step (S11) of determining is performed by interpolation. 補間の際、選択領域(5658)の位置若しくは複数の選択領域(5658)の位置及び/現在レンダリングされている点のX座標値と、Y座標値と、Z座標値とが考慮されることを特徴とする請求項3に記載の方法。 During interpolation, the X, Y and Z coordinates of the position of the selection area (56 , 58) or of a plurality of selection areas (56 , 58) and / or the currently rendered point. 4. A method according to claim 3, characterized in that is considered . 選択領域(5658)の配置、以下のステップ、即ち、
- 選択領域(56‘)を、重複画像領域(40424446)のうちの一つ(40)の中の基準位置に配置するステップ、かつ
- 選択領域(56‘)が、基準位置で仮想カメラ(48)から視認可能かどうかチェックするステップであって、選択領域(56‘)が仮想カメラ(48)から視認不可能である場合、選択領域(56‘)を重複画像領域(40)内で、仮想投影面(62)上で移動させることができる、ステップ
を備えることを特徴とする先行請求項のいずれか一項に記載の方法
The placement of the selection areas (56 , 58) involves the following steps:
- positioning the selected area (56') at a reference position in one (40) of the overlapping image areas (40 , 42 , 44 , 46) ;
- checking if the selected area (56') is visible from the virtual camera (48) at the reference position , if the selected area (56') is not visible from the virtual camera (48), allowing the selection area (56 ' ) to be moved within the overlap image area (40) and on the virtual projection plane (62)
A method according to any one of the preceding claims, characterized in that it comprises :
仮想カメラ(48)に対して視認可能な選択領域が確定できない場合、基準位置が、位置として使用されることを特徴とする請求項5に記載の方法。 6. Method according to claim 5, characterized in that a reference position is used as an avoidance position if no selection area visible to the virtual camera (48) can be determined . 車両モデル(54)のパラメータが提供されパラメータが仮想三次元空間(60)に挿入されることを特徴とする先行請求項のいずれか一項に記載の方法。 Method according to any one of the preceding claims, characterized in that parameters of the vehicle model (54) are provided and the parameters are inserted into the virtual three-dimensional space (60). 像パラメータ、画像の明るさ、画像コントラスト、画像の色、画像の鮮明さ、色の飽和度、及び/又はテクスチャ周波であることを特徴とする先行請求項のいずれか一項に記載の方法。 6. Any one of the preceding claims, characterized in that the image parameters are image brightness , image contrast, image color , image sharpness, color saturation and/ or texture frequency . The method described in . 一車載カメラ(12)が前方の車載カメラであ及び/又は第三車載カメラ(16)が後方の車載カメラである、或いは
第一車載カメラが後方の車載カメラであ及び/又は第三車載カメラが前方の車載カメラであ
ことを特徴とする先行請求項のいずれか一項に記載の方法。
The first vehicle camera (12) is a front vehicle camera and/ or the third vehicle camera (16) is a rear vehicle camera, or
The first vehicle camera is a rear vehicle camera and/ or the third vehicle camera is a front vehicle camera
A method according to any one of the preceding claims, characterized in that
二車載カメラ(14)、側方の車載カメラ、に、左側の車載カメラ又は右側の車載カメラであることを特徴とする先行請求項のいずれか一項に記載の方法。 The method according to any one of the preceding claims, characterized in that the second vehicle-mounted camera (14) is a lateral vehicle-mounted camera, in particular a left-side vehicle-mounted camera or a right-side vehicle-mounted camera. 車両周辺部の画像を生成する装置(38)であって、
- 車両周辺部を把握し、カメラ画像を生成するための複数の車載カメラ(12141618)であって、隣り合う車載カメラ(12141618)のカメラ画像が、重複画像領域(40424446)を備え、かつ車載カメラ(12141618)、特に、車両の車に取付けられている、複数の車載カメラ(12、14、16、18)と、
- 周辺部の仮想表現を三次元空間(60)内に生成するように構成されている計算ユニット(36)であって、生する際には、カメラ画像三次元仮想空間(60)内の仮想投影面(62)上影される、計算ユニット(36)と、
並びに、
非固定の仮想カメラ(48)と、
備え、当該装置(38)において、
計算ユニット(36)は、
仮想カメラ(48)の視野領域(50)に応じて、第一重複画像領域(56)内に、仮想投影面(62)上第一選択領域(56)を配置し、かつ
第一選択領域にいて、第一車載カメラ(12)の少なくとも一つの画像パラメータを算出し、かつ
第一選択領域(56)において、第二車載カメラ(14)の少なくとも一つの画像パラメータを、第一車載カメラ(12)の少なくとも一つの画像パラメータに適合するように、さらに構成されていることを特徴とする装置(38)。
A device (38) for generating an image of a vehicle periphery, comprising:
a plurality of on-board cameras (12 , 14 , 16 , 18) for capturing the vehicle surroundings and generating camera images , the camera images of adjacent on-board cameras (12 , 14 , 16 , 18) being: Multiple on-board cameras (12, 14) with overlapping image areas (40 , 42 , 44 , 46) and on- board cameras (12 , 14 , 16 , 18), in particular mounted on the body of the vehicle , 16, 18) and
- a computing unit (36) adapted to generate a virtual representation of the perimeter in the three-dimensional space (60), wherein the camera images are generated in the three-dimensional virtual space (60); a computing unit (36) projected onto a virtual projection plane (62) of
and,
- a non-fixed virtual camera (48) ;
in the device (38) comprising
The computing unit (36)
locating a first selected area (56) on a virtual projection plane (62) within a first overlapping image area (56) according to a field of view (50) of a virtual camera (48); and
calculating at least one image parameter of the first onboard camera (12) in the first selected area ; and
wherein the first selection area (56) is further configured to match at least one image parameter of the second on-board camera (14) with at least one image parameter of the first on-board camera (12). A device (38) characterized by:
計算ユニット(36)は、
仮想カメラ(48)の視野領域(50)に応じて、第二重複画像領域(42)内に、仮想投影面(62)上第二選択領域(58)を配置し、かつ
二選択領域(58)において、更なる車載カメラ(16)の少なくとも一つの画像パラメータを算出し、この更なる車載カメラ(16)のカメラ画像が第二重複画像領域(42)を有しかつ
二選択領域(58)において、他の車載カメラ(14)の少なくとも一つの画像パラメータを、前記更なる車載カメラ(16)の少なくとも一つの画像パラメータに適合し、この他の車載カメラ(14)のカメラ画像が第二重複画像領域(42)を同様に有する、
ように構成されていることを特徴とする請求項11に記載の装置(38)。
The computing unit (36)
locating a second selected area (58) on a virtual projection plane (62) within the second overlapping image area (42) according to the field of view (50) of the virtual camera (48 ) ; and
calculating at least one image parameter of a further on-board camera (16) in a second selection area (58), the camera image of this further on-board camera (16) having a second overlapping image area (42); and
in a second selection area (58) at least one image parameter of another on-board camera (14) is adapted to at least one image parameter of said further on- board camera (16); the camera image of also has a second overlapping image area (42),
12. The device (38) of claim 11, wherein the device (38) is configured to:
JP2021564734A 2019-05-21 2020-05-12 Method for generating images of vehicle surroundings and apparatus for generating images of vehicle surroundings Active JP7332716B2 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102019207415.4 2019-05-21
DE102019207415.4A DE102019207415A1 (en) 2019-05-21 2019-05-21 Method for generating an image of a vehicle environment and device for generating an image of a vehicle environment
PCT/DE2020/200034 WO2020233755A1 (en) 2019-05-21 2020-05-12 Method for generating an image of vehicle surroundings, and apparatus for generating an image of vehicle surroundings

Publications (3)

Publication Number Publication Date
JP2022532867A JP2022532867A (en) 2022-07-20
JPWO2020233755A5 true JPWO2020233755A5 (en) 2023-04-25
JP7332716B2 JP7332716B2 (en) 2023-08-23

Family

ID=70918166

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021564734A Active JP7332716B2 (en) 2019-05-21 2020-05-12 Method for generating images of vehicle surroundings and apparatus for generating images of vehicle surroundings

Country Status (6)

Country Link
US (1) US20220222947A1 (en)
EP (1) EP3973511A1 (en)
JP (1) JP7332716B2 (en)
CN (1) CN113840755A (en)
DE (1) DE102019207415A1 (en)
WO (1) WO2020233755A1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102023002809A1 (en) 2023-07-10 2023-09-07 Mercedes-Benz Group AG Process for improving the image quality of a multi-camera system

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101265711B1 (en) * 2011-11-30 2013-05-20 주식회사 이미지넥스트 3d vehicle around view generating method and apparatus
TWI578268B (en) 2012-02-22 2017-04-11 能晶科技股份有限公司 Bird view system and compensating method thereof
JP5959264B2 (en) 2012-03-29 2016-08-02 三菱電機株式会社 Image processing apparatus and method, and computer program
CN103802725B (en) * 2012-11-06 2016-03-09 无锡维森智能传感技术有限公司 A kind of new vehicle carried driving assistant images generation method
JP6115104B2 (en) 2012-12-04 2017-04-19 アイシン精機株式会社 VEHICLE CONTROL DEVICE AND CONTROL METHOD
US9886636B2 (en) * 2013-05-23 2018-02-06 GM Global Technology Operations LLC Enhanced top-down view generation in a front curb viewing system
DE102013211650A1 (en) * 2013-06-20 2014-12-24 Continental Automotive Gmbh Method and apparatus for adjusting an image parameter
DE102014207897A1 (en) * 2014-04-28 2015-10-29 Robert Bosch Gmbh Method for generating a display image
DE102014210323A1 (en) * 2014-06-02 2015-12-03 Conti Temic Microelectronic Gmbh Apparatus and method for adaptive image correction of at least one image parameter
US10442355B2 (en) * 2014-09-17 2019-10-15 Intel Corporation Object visualization in bowl-shaped imaging systems
DE102016124989A1 (en) * 2016-12-20 2018-06-21 Bayerische Motoren Werke Aktiengesellschaft Curb representation with a three-dimensional body in a driver assistance system for a motor vehicle
DE102016124978A1 (en) * 2016-12-20 2018-06-21 Connaught Electronics Ltd. Virtual representation of an environment of a motor vehicle in a driver assistance system with a plurality of projection surfaces
DE102016226299A1 (en) * 2016-12-29 2018-07-05 Robert Bosch Gmbh Method and device for representing an environment of a vehicle
DE102017123452A1 (en) * 2017-10-10 2019-04-11 Connaught Electronics Ltd. Method for generating an output image, camera system and motor vehicle showing a motor vehicle and a surrounding area of the motor vehicle in a predetermined target view
CN111194549B (en) 2017-10-13 2022-01-28 三菱电机株式会社 Image synthesizing apparatus and image synthesizing method
CN108876719B (en) * 2018-03-29 2022-07-26 广州大学 Vehicle panoramic image splicing external parameter estimation method based on virtual camera model

Similar Documents

Publication Publication Date Title
TWI600559B (en) System and method for image processing
JP7245295B2 (en) METHOD AND DEVICE FOR DISPLAYING SURROUNDING SCENE OF VEHICLE-TOUCHED VEHICLE COMBINATION
CN112224132B (en) Vehicle panoramic all-around obstacle early warning method
US7554573B2 (en) Drive assisting system
US8514282B2 (en) Vehicle periphery display device and method for vehicle periphery image
JP3286306B2 (en) Image generation device and image generation method
US7365653B2 (en) Driving support system
JP4248570B2 (en) Image processing apparatus and visibility support apparatus and method
US20090174775A1 (en) Monitoring System
JP2009044730A (en) Method and apparatus for distortion correction and image enhancing of vehicle rear viewing system
CN111095921B (en) Display control device
US11528453B2 (en) Sensor fusion based perceptually enhanced surround view
CN112215747A (en) Method and device for generating vehicle-mounted panoramic picture without vehicle bottom blind area and storage medium
JP7332716B2 (en) Method for generating images of vehicle surroundings and apparatus for generating images of vehicle surroundings
JP5861871B2 (en) Overhead image presentation device
JP2012138876A (en) Image generating apparatus, image display system, and image display method
JP7314518B2 (en) Perimeter monitoring device
CN108713216B (en) Method for perspective transformation and output of image content, head-up display and output system, and vehicle
JP5305750B2 (en) Vehicle periphery display device and display method thereof
JPWO2020233755A5 (en)
JP2002251632A (en) Operation supporting device
CN118004035A (en) Auxiliary driving method and device based on vehicle-mounted projector and electronic equipment