JP6999239B2 - Image processing device and image processing method - Google Patents
Image processing device and image processing method Download PDFInfo
- Publication number
- JP6999239B2 JP6999239B2 JP2018101250A JP2018101250A JP6999239B2 JP 6999239 B2 JP6999239 B2 JP 6999239B2 JP 2018101250 A JP2018101250 A JP 2018101250A JP 2018101250 A JP2018101250 A JP 2018101250A JP 6999239 B2 JP6999239 B2 JP 6999239B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- vehicle
- road
- image processing
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims description 3
- 239000002131 composite material Substances 0.000 claims description 59
- 238000001514 detection method Methods 0.000 claims description 41
- 230000000295 complement effect Effects 0.000 claims description 33
- 238000006243 chemical reaction Methods 0.000 claims description 11
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 238000000034 method Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 5
- 238000009434 installation Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 230000009194 climbing Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Landscapes
- Instructional Devices (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
Description
本発明は、画像処理装置および画像処理方法に関し、特に、サイドカメラの撮影結果に基づく画像と、リアカメラの撮影結果に基づく画像とを合成して表示する画像処理装置および当該画像処理装置による画像処理方法に用いて好適なものである。 The present invention relates to an image processing device and an image processing method, and in particular, an image processing device and an image by the image processing device that combine and display an image based on a shooting result of a side camera and an image based on a shooting result of a rear camera. It is suitable for use in the treatment method.
従来、撮影範囲に車両の車体の一部が含まれた状態で撮影を行うサイドカメラの撮影結果に基づく画像と、サイドカメラの撮影範囲のうち車体により死角となる範囲を撮影範囲に含んだ状態で撮影を行うリアカメラの撮影結果基づく画像とを合成することによって、サイドカメラの死角がリアカメラの撮影結果によって補われた合成画像を生成し、生成した合成画像を表示する画像処理装置が知られている。ユーザーは、表示装置に表示された合成画像を視認することによって、サイドミラーを視認したときに確認できる風景と同等の風景を確認することができ、さらに、サイドミラーを視認した場合には車体が死角となって視認できない部分も確認することができる。 Conventionally, the image based on the shooting result of the side camera that shoots with a part of the vehicle body included in the shooting range, and the shooting range of the side camera that is a blind spot due to the vehicle body are included in the shooting range. The image processing device that displays the generated composite image is known to generate a composite image in which the blind spot of the side camera is supplemented by the shooting result of the rear camera by synthesizing the image based on the shooting result of the rear camera that shoots with. Has been done. By visually recognizing the composite image displayed on the display device, the user can confirm the scenery equivalent to the scenery that can be confirmed when the side mirror is visually recognized, and further, when the side mirror is visually recognized, the vehicle body can be confirmed. You can also see the parts that are blind spots and cannot be seen.
なお、特許文献１には、地図ＤＢ１１に記憶された地図情報や、ＧＰＳ受信機１２を利用した自車位置情報、カメラ１３が生成する画像情報等に基づいて、道路測量データを分析し、分析後の道路測量データと地図情報とを比較し、比較結果に応じて地図情報を適宜更新する車載情報処理装置１０について記載されている。また、特許文献２には、地図データや、メッシュ標高データ、道路設計基準データ等に基づいて、道路の勾配および標高を推測する道路情報推測装置２０について記載されている。
In
上述した合成画像を生成し、表示する従来の画像処理装置では、合成画像が示す風景に、車両の後方に位置する相対傾斜道路（上り坂または下り坂の道路）が含まれる場合に、以下の問題があった。すなわち、サイドカメラとリアカメラはそれぞれ、車両の異なる位置に設けられる。この各カメラの設置位置の相違に起因して、合成画像におけるサイドカメラの撮影結果に基づく画像とリアカメラの撮影結果に基づく画像との境界で、相対傾斜道路の画像にズレが生じてしまうという問題があった。境界において相対傾斜道路の画像にズレが生じるとは、境界の左右で相対傾斜道路の終端を示す画像や、始端を示す画像、相対傾斜道路に描画された道路標示の画像等にズレが生じることを意味する。 In the conventional image processing device that generates and displays the above-mentioned composite image, when the landscape shown by the composite image includes a relative inclined road (uphill or downhill road) located behind the vehicle, the following There was a problem. That is, the side camera and the rear camera are provided at different positions of the vehicle. Due to the difference in the installation position of each camera, the image of the relative slope road will be misaligned at the boundary between the image based on the shooting result of the side camera and the image based on the shooting result of the rear camera in the composite image. There was a problem. Misalignment of the image of the relative slope road at the boundary means that the image showing the end of the relative slope road, the image showing the start end, the image of the road marking drawn on the relative slope road, etc. are shifted on the left and right of the boundary. Means.
本発明は、このような問題を解決するために成されたものであり、サイドカメラの撮影画像とリアカメラの撮影画像とに基づいて、サイドカメラの死角がリアカメラの撮影結果によって補われた合成画像を生成する画像処理装置について、車両の後方に相対傾斜道路がある場合に、合成画像の境界における相対傾斜道路の画像のズレを抑制できるようにすることを目的とする。 The present invention has been made to solve such a problem, and the blind spot of the side camera is supplemented by the image taken by the rear camera based on the image taken by the side camera and the image taken by the rear camera. It is an object of the image processing device that generates a composite image to be able to suppress the deviation of the image of the relative slope road at the boundary of the composite image when there is a relative slope road behind the vehicle.
上記した課題を解決するために、本発明では、リアカメラのリアカメラ撮影画像を画像変換することによって補完画像を生成し、サイドカメラ撮影画像の死角領域に補完画像を合成して合成画像を生成し、合成画像を表示装置に表示する。そして、本発明では、補完画像の生成に際し、車両の後方の相対傾斜道路に沿った投影面を用いてリアカメラ撮影画像を画像変換するようにしている。 In order to solve the above-mentioned problems, in the present invention, a complementary image is generated by converting the image taken by the rear camera of the rear camera into an image, and the complementary image is combined with the blind spot area of the image taken by the side camera to generate a composite image. Then, the composite image is displayed on the display device. Then, in the present invention, when the complementary image is generated, the image taken by the rear camera is converted into an image by using the projection plane along the relative inclined road behind the vehicle.
上記のように構成した本発明によれば、車両の後方の相対傾斜道路に沿った投影面を用いてリアカメラ撮影画像が画像変換されて補完画像が生成されるため、始端から終端に至る相対傾斜道路の表面の全域が、相対傾斜道路に沿って投影面上に位置した状態で画像変換が行われることになる。このため、合成画像に記録される相対傾斜道路の画像については、サイドカメラ撮影画像と補完画像との境界における連続性が保たれた状態となり、合成画像の境界における相対傾斜道路の画像のズレを抑制できる。 According to the present invention configured as described above, the image taken by the rear camera is image-converted using the projection plane along the relative inclined road behind the vehicle to generate a complementary image, so that the relative image from the start to the end is generated. Image conversion will be performed with the entire surface of the sloping road located on the projection plane along the relative sloping road. For this reason, the image of the relative sloped road recorded in the composite image is in a state where continuity is maintained at the boundary between the side camera captured image and the complementary image, and the image of the relative sloped road at the boundary of the composite image is displaced. It can be suppressed.
以下、本発明の一実施形態を図面に基づいて説明する。図１は、本実施形態に係る画像処理装置１の機能構成例を示すブロック図である。画像処理装置１は、運転手が車両の右サイドミラーＭＲまたは左サイドミラーＭＬを視認したときに確認できる風景と同等の風景を、これらミラーを視認したときには車体により遮蔽されて確認できない部分も含めて表示することが可能な装置である。
Hereinafter, an embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing a functional configuration example of the
図１に示すように、画像処理装置１には、右モニター２Ｒ、左モニター２Ｌ、リアカメラ３、右サイドカメラ４Ｒおよび左サイドカメラ４Ｌ、記憶装置５および自車位置検出装置６が接続されている。以下、画像処理装置１が搭載された車両を「自車両」という。
As shown in FIG. 1, the
右モニター２Ｒは、自車両のダッシュボードの右端部（車内において右サイドミラーＭＲに近い位置）に設けられた表示パネル（例えば、液晶表示パネルや、有機ＥＬ表示パネル等）である。左モニター２Ｌは、自車両のダッシュボードの左端部（車内において左サイドミラーＭＬに近い位置）に設けられた表示パネルである。右モニター２Ｒおよび左モニター２Ｌは、特許請求の範囲の「表示装置」に相当する。
The right monitor 2R is a display panel (for example, a liquid crystal display panel, an organic EL display panel, etc.) provided at the right end of the dashboard of the own vehicle (position close to the right side mirror MR in the vehicle). The
リアカメラ３は、自車両の後部に設けられた撮影装置である。右サイドカメラ４Ｒは、自車両の前部座席の右サイドドアの右サイドミラーＭＲに設けられた撮影装置である。左サイドカメラ４Ｌは、自車両の前部座席の左サイドドアの左サイドミラーＭＬに設けられた撮影装置である。
The
図２は、リアカメラ３および右サイドカメラ４Ｒの設置位置および撮影範囲を説明するための図である。以下の説明では、右サイドカメラ４Ｒと左サイドカメラ４Ｌとを区別しない場合は「サイドカメラ４Ｒ，４Ｌ」と表現し、右サイドカメラ４Ｒの撮影画像と左サイドカメラ４Ｌの撮影画像とを区別しない場合は「サイドカメラ撮影画像」と表現する。
FIG. 2 is a diagram for explaining the installation position and shooting range of the
図２に示すように、リアカメラ３は、自車両の後端において、自車両の幅方向の中央に設けられており、自車両の後方に向かう方向を撮影方向（光軸の方向）として撮影を実行する。図２において、符号ＨＢは、リアカメラ３の撮影範囲を模式的に示している。以下、リアカメラ３の撮影範囲を「リアカメラ撮影範囲ＨＢ」という。リアカメラ３は、魚眼レンズを有する魚眼カメラにより構成されている。リアカメラ３は、所定の周期で撮影を実行して撮影画像を生成し、出力する。以下、リアカメラ３が生成し、出力する撮影画像を「リアカメラ撮影画像」という。図３（Ａ）は、リアカメラ撮影画像の一例を示している。
As shown in FIG. 2, the
図２に示すように、右サイドカメラ４Ｒは、車両の後方に対して、後方に向かうに従って右側に向かうように少しだけ傾いた方向を撮影方向（光軸の方向）として撮影を実行する。図２において、符号ＨＲは、右サイドカメラ４Ｒの撮影範囲を模式的に示している。右サイドカメラ４Ｒは、標準レンズにより撮影を実行する撮影装置であり、その撮影範囲の水平画角は、リアカメラ撮影範囲ＨＢの水平画角よりも小さい。以下、右サイドカメラ４Ｒの撮影範囲を「右サイドカメラ撮影範囲ＨＲ」という。
As shown in FIG. 2, the right-
図２に示すように、右サイドカメラ４Ｒの撮影範囲には、車両の車体に遮蔽された死角範囲ＤＨが形成される。死角範囲ＤＨについては、車体が遮蔽物となり、風景が撮影されない。リアカメラ３のリアカメラ撮影範囲ＨＢには、死角範囲ＤＨが含まれている。つまり、リアカメラ３は、死角範囲ＤＨの風景を撮影可能である。右サイドカメラ４Ｒは、所定の周期で撮影を実行して撮影画像を生成し、出力する。以下、右サイドカメラ４Ｒが生成し、出力する撮影画像を「右サイドカメラ撮影画像」という。
As shown in FIG. 2, a blind spot range DH shielded by the vehicle body is formed in the shooting range of the
図３（Ｂ）は、図３（Ａ）のリアカメラ撮影画像が生成されたときの環境と同じ環境で右サイドカメラ４Ｒが生成する右サイドカメラ撮影画像の一例を示す図である。図３（Ｂ）に示すように、右サイドカメラ撮影画像の左端部には、自車両の車体の画像ＪＳｒが記録された死角領域ＤＲが形成されている。死角領域ＤＲは、右サイドカメラ４Ｒの右サイドカメラ撮影範囲ＨＲの死角範囲ＤＨ（図２参照）に対応する領域である。右サイドカメラ４Ｒは、車両の特定の位置に固定的に設けられるため、右サイドカメラ撮影画像の全領域における死角領域ＤＲの態様（位置、形状）は一定である。
FIG. 3B is a diagram showing an example of an image captured by the right side camera generated by the
左サイドカメラ４Ｌは、右サイドカメラ４Ｒと同一の性能の撮影装置であり、前部座席の左サイドドアに取り付けられた左サイドミラーＭＬに、右サイドカメラ４Ｒと同様の態様で設置されている。左サイドカメラ４Ｌは、所定の周期で撮影を実行して撮影画像を生成し、出力する。以下、左サイドカメラ４Ｌが生成し、出力する撮影画像を「左サイドカメラ撮影画像」という。
The
記憶装置５は、各種情報を記憶可能なメモリーを有する装置である。記憶装置５は、道路情報５ａを記憶している。道路情報５ａは、道路網の結節点を示すノードごとにノード情報を有し、ノードとノードとの間の道路区間を示すリンクごとにリンク情報を有する。リンク情報は、リンクＩＤの他、対応する道路の道幅や、道路が延びる方角、道路種別、両端の地図上の位置等を示す情報を含んでいる。特に本実施形態では、リンク情報は、対応する道路が坂道を含む場合、その坂道の上り始めの端部の地図上の位置（高度を含む）、および、上り終わりの端部の地図上の位置（高度を含む）を示す情報を含んでいる。坂道に係るリンク情報に基づいて、坂道は、上り始めの端部と、上り終わりの端部との間で延在する道路として認識できる。
The
自車位置検出装置６は、図示しないＧＰＳユニット、ジャイロセンサー、加速度センサー、車速センサー等の各種センサーの検出値や、記憶装置５が記憶する道路情報５ａに基づいて、既存の技術により自車両の現在位置（以下、「自車位置」という）を所定の周期で検出し、出力する。
The own vehicle
図１に示すように、画像処理装置１は、機能構成として、撮影画像取得部１０、相対傾斜道路態様検出部１１、画像処理部１２および表示制御部１３を備えている。上記各機能ブロック１０～１３は、ハードウェア、ＤＳＰ（Digital Signal Processor）、ソフトウェアの何れによっても構成することが可能である。例えばソフトウェアによって構成する場合、上記各機能ブロック１０～１３は、実際にはコンピュータのＣＰＵ、ＲＡＭ、ＲＯＭ等を備えて構成され、ＲＡＭやＲＯＭ、ハードディスクまたは半導体メモリー等の記録媒体に記憶されたプログラムが動作することによって実現される。また、図１に示すように、画像処理装置１は、記憶手段として、ルックアップテーブル記憶部１５を備えている。ルックアップテーブル記憶部１５は、後述するように、各種ルックアップテーブルを記憶する。
As shown in FIG. 1, the
撮影画像取得部１０は、リアカメラ３からリアカメラ撮影画像を所定の周期で入力する。また、撮影画像取得部１０は、右サイドカメラ４Ｒから右サイドカメラ撮影画像を所定の周期で入力する。また、撮影画像取得部１０は、左サイドカメラ４Ｌから左サイドカメラ撮影画像を所定の周期で入力する。撮影画像取得部１０は、リアカメラ撮影画像、右サイドカメラ撮影画像および左サイドカメラ撮影画像を所定の周期で画像処理部１２に出力する。
The captured
相対傾斜道路態様検出部１１は、自車両の後方に相対傾斜道路が存在するか否かを所定の周期で検出する。相対傾斜道路態様検出部１１は、自車両の後方に相対傾斜道路が存在する場合には、その相対傾斜道路の態様を検出する。相対傾斜道路とは、自車両が現在走行している路面を水平面としたときに、自車両から後方に向かって、その水平面に対して上り坂または下り坂となっている道路を意味する。図４の各図は、相対傾斜道路の例を示している。図４（Ａ）の道路Ｄ１、図４（Ｂ）の道路Ｄ２および図４（Ｃ）の道路Ｄ３はそれぞれ、相対傾斜道路である。以下、相対傾斜道路態様検出部１１の処理について詳述する。
The relative inclined road
相対傾斜道路態様検出部１１は、自車両の後方に相対傾斜道路が存在するか否かの検出に関して、以下の処理を実行する。すなわち、相対傾斜道路態様検出部１１は、自車両が走行している道路において、自車両の後方であって、自車両を中心とする所定範囲内に相対傾斜道路がある場合、自車両の後方に相対傾斜道路が存在すると判定し、ない場合は存在しないと判定する。所定範囲は、後述する合成画像を表示したときに、ユーザーが明確に相対傾斜道路を認識し得る程度に相対傾斜道路の画像が現れるかどうかという観点から事前に適切に定められる。
The relative inclined road
相対傾斜道路態様検出部１１は、記憶装置５が記憶する道路情報５ａおよび自車位置検出装置６により検出された自車位置に基づいて、自車両が走行する道路のリンクを特定し、特定したリンクのリンク情報を取得する。更に、相対傾斜道路態様検出部１１は、自車両が走行する道路に後続する道路（後方に向かって連続する複数の道路であってもよい）のリンクを特定し、特定したリンクのリンク情報を取得する。そして、相対傾斜道路態様検出部１１は、自車両が走行する道路のリンク情報、および、当該道路に後続する道路のリンク情報に基づいて、自車両が走行する道路と、後続する道路との相対的な位置関係および各道路の坂道の状況を認識し、所定範囲内に相対傾斜道路が存在するか否かを判定する。例えば、自車両が坂道を下り終えた直後（または上り終えた直後）から、自車両が直進するしばらくの期間は、自車両の後方に相対傾斜道路が存在する状況となる。
The relative inclined road
また、相対傾斜道路態様検出部１１は、相対傾斜道路の態様の検出について、以下の処理を実行する。すなわち、相対傾斜道路態様検出部１１は、自車位置検出部１１により検出された自車位置と、記憶装置５が記憶する道路情報５ａとに基づいて、相対傾斜道路を含む道路のリンクを特定し、特定したリンクのリンク情報を取得する。次いで、相対傾斜道路態様検出部１１は、取得したリンク情報に基づいて、「相対傾斜道路の始端の地図上の位置（高度を含む）」および「相対傾斜道路の終端の地図上の位置（高度を含む）」を認識する。相対傾斜道路の始端は、相対傾斜道路の両端のうち自車両に近い側の端を意味し、相対傾斜道路の終端は、自車両から遠い側の端を意味する。なお、図４（Ｂ）に示すように、自車両が坂道を上っており、坂道を有さない道路が相対傾斜道路となっている場合、相対傾斜道路態様検出部１１は、相対傾斜道路に相当する道路の端のうち、自車両から遠い側の端（図４（Ｂ）の端ＳＴ）を、相対傾斜道路の終端とする。
Further, the relative inclined road
相対傾斜道路の始端の位置、および、相対傾斜道路の終端の位置により、相対傾斜道路の始端から終端に至るまでの形状は定まる。これを踏まえ、本実施形態では、相対傾斜道路の始端の位置、および、相対傾斜道路の終端を認識することが、相対傾斜道路の態様を検出することに相当する。 The shape from the start to the end of the relative slope is determined by the position of the start of the relative slope and the position of the end of the relative slope. Based on this, in the present embodiment, recognizing the position of the start end of the relative inclined road and the end of the relative inclined road corresponds to detecting the aspect of the relative inclined road.
なお、相対傾斜道路の態様が、相対傾斜道路の始端および終端の位置によって特定されるのではなく、相対傾斜道路の傾斜角度や、相対傾斜道路の高さ（始端の高度と終端の高度との差）等用いて特定される構成でもよい。また、相対傾斜道路態様検出部１１が相対傾斜道路の態様を検出する方法は、例示した方法に限られない。
It should be noted that the mode of the relative inclined road is not specified by the positions of the start and end of the relative inclined road, but the inclination angle of the relative inclined road and the height of the relative inclined road (the altitude of the beginning and the altitude of the end). The configuration may be specified by using (difference) or the like. Further, the method in which the relative inclined road
例えば、以下の構成でもよい。すなわち、走行軌跡情報が記憶装置５に記憶される。走行軌跡情報は、高度も加味した３次元座標系で、所定の周期毎の自車両の位置がプロットされた情報である。走行軌跡情報は、自車両の走行に応じて随時更新される。そして、相対傾斜道路態様検出部１１は、車両の走行軌跡に沿って道路の面が形成されているものとして、走行軌跡情報を分析し、相対傾斜道路の態様を検出する。なお、この場合、自車両の後方に相対傾斜道路が存在するか否かの検出についても、走行軌跡情報に基づいて行われる構成でもよい。
For example, the following configuration may be used. That is, the traveling locus information is stored in the
この他、自車両の後方における相対傾斜道路の有無および相対傾斜道路の態様の検出に際し、リアカメラ撮影画像およびサイドカメラ撮影画像の少なくとも一方を分析し、分析結果を利用するようにしてもよい。その他、リアカメラ３およびサイドカメラ４Ｒ，４Ｌ以外のカメラや、レーダー装置等の他の装置を利用して当該検出を行う構成でもよい。
In addition, at least one of the image taken by the rear camera and the image taken by the side camera may be analyzed and the analysis result may be used when detecting the presence or absence of the relative inclined road behind the own vehicle and the mode of the relative inclined road. In addition, a camera other than the
画像処理部１２は、撮影画像取得部１０から所定の周期でリアカメラ撮影画像およびサイドカメラ撮影画像を入力する度に、入力する撮影画像に基づいて合成画像生成処理を実行する。合成画像生成処理に関し、画像処理部１２は、相対傾斜道路態様検出部１１により自車両の後方に相対傾斜道路が存在しないと判定されている場合と存在すると判定されている場合とで異なる処理を実行する。以下、右サイドカメラ４Ｒの右サイドカメラ撮影画像およびリアカメラ３のリアカメラ撮影画像に基づいて、右側合成画像（合成画像）を生成する場合を例にして合成画像生成処理について詳述する。なお、画像処理部１２は、右側合成画像の生成と並行して、左サイドカメラ撮影画像およびリアカメラ撮影画像に基づいて左側合成画像を生成する。
The
＜自車両の後方に相対傾斜道路が存在しないと判定されている場合＞
相対傾斜道路態様検出部１１により自車両の後方に相対傾斜道路が存在しないと判定されている場合、合成画像生成処理において、まず、画像処理部１２は、ルックアップテーブル記憶部１５に記憶された右側ルックアップテーブルを用いて、撮影画像取得部１０から入力したリアカメラ撮影画像を補完画像に変換する。
<When it is determined that there is no relative slope behind the vehicle>
When it is determined by the relative inclined road
右側ルックアップテーブルとは、リアカメラ撮影画像を、「右側仮想カメラが、車体を透過した状態で死角範囲ＤＨを仮想的に撮影することによって生成される撮影画像（＝補完画像）」に変換するために用いられるマッピングテーブルである。右側仮想カメラとは、右サイドカメラ４Ｒと同じ撮影方向、撮影範囲の仮想的な撮影装置のことであり、所定の撮影画像を、右サイドカメラ４Ｒの視点に視点変換する際に概念的に用いられる。
The right look-up table converts the image taken by the rear camera into "a shot image (= complementary image) generated by the virtual camera on the right side virtually shooting the blind spot range DH while passing through the vehicle body". It is a mapping table used for. The right-hand virtual camera is a virtual shooting device having the same shooting direction and shooting range as the right-
右側ルックアップテーブルは、右側仮想カメラの仮想的な撮影画像の死角領域ＤＲを構成する全てのドットのドット位置と、リアカメラ撮影画像の対応する各ドットのドット位置とが一対一で対応付けられた対応関係情報を有する。なお、上述したように、右サイドカメラ撮影画像の全領域における死角領域ＤＲの態様（位置、形状）は一定であり、右側仮想カメラの仮想的な撮影画像の死角領域ＤＲを構成する全てのドットのドット位置は事前に特定されている。 In the right look-up table, the dot positions of all the dots constituting the blind spot area DR of the virtual captured image of the right virtual camera are associated with the dot positions of the corresponding dots of the rear camera captured image on a one-to-one basis. It has correspondence information. As described above, the mode (position, shape) of the blind spot region DR in the entire region of the image captured by the right side camera is constant, and all the dots constituting the blind spot region DR of the virtual captured image of the right virtual camera. The dot position of is specified in advance.
右側ルックアップテーブルの対応関係情報は、リアカメラ３の視点を右側仮想カメラの視点に変換するという観点の下、車両座標系におけるリアカメラ３および右側仮想カメラの配置位置および配置角度、リアカメラ３の仕様（投影方法や、画角、ディストーション（レンズの歪み）、解像度等）、右側仮想カメラの仕様、視点変換に用いる投影面の態様、その他の要素を反映して事前に適切に設定されている。なお、本実施形態では、自車両の後方に相対傾斜道路が存在しない場合に用いられる右側ルックアップテーブルにおいて、投影面は、路面に対応する投影面と、この路面投影面に対して垂直に起立し、リアカメラ３の光学原点から所定の位置に設けられた投影面とにより構成される。
The correspondence information of the right lookup table is the arrangement position and angle of the
画像処理部１２は、右側ルックアップテーブルを用いて、右側仮想カメラの仮想的な撮影画像の死角領域ＤＲを構成するドットの画素値が、リアカメラ撮影画像の対応するドットの画素値によって置き換えられた補完画像を生成する。補完画像の生成後、画像処理部１２は、右サイドカメラ撮影画像の死角領域ＤＲに、補完画像を合成し、右側合成画像を生成する。
Using the right lookup table, the
図５は、自車両の後方に相対傾斜道路が存在しない場合に、図３（Ａ）のリアカメラ撮影画像、および、図３（Ｂ）の右サイドカメラ撮影画像に基づいて生成される右側合成画像を示している。なお、図５では、右サイドカメラ撮影画像と補完画像との境界に破線を引いているが、この破線は、実際には表示されない。図５と図３（Ｂ）との比較で明らかな通り、右側合成画像では、死角領域ＤＲがリアカメラ撮影画像に基づいて生成された補完画像によって補われ、これにより死角範囲ＤＨの風景が表示された状態となる。 FIG. 5 shows a right-side composition generated based on the image taken by the rear camera of FIG. 3 (A) and the image taken by the right side camera of FIG. 3 (B) when there is no relative inclined road behind the own vehicle. The image is shown. In FIG. 5, a broken line is drawn at the boundary between the image taken by the right side camera and the complementary image, but this broken line is not actually displayed. As is clear from the comparison between FIGS. 5 and 3 (B), in the right composite image, the blind spot region DR is supplemented by the complementary image generated based on the image taken by the rear camera, thereby displaying the landscape of the blind spot range DH. It will be in the state of being done.
＜自車両の後方に相対傾斜道路が存在すると判定されている場合＞
相対傾斜道路態様検出部１１により自車両の後方に相対傾斜道路が存在すると判定されている場合、合成画像処理において、まず、画像処理部１２は、リアカメラ撮影画像を右側仮想カメラの視点に視点変換（画像変換）するときに用いる投影面を設定する。
<When it is determined that there is a relative inclined road behind the own vehicle>
When it is determined by the relative inclined road
図６（Ａ）は、自車両と相対傾斜道路との位置関係において設定される投影面を示す図である。図６（Ａ）では、自車両の後方に、自車両の後方に向かって上り坂となっている相対傾斜道路が存在している。 FIG. 6A is a diagram showing a projection plane set in the positional relationship between the own vehicle and the relative inclined road. In FIG. 6A, there is a relative inclined road behind the own vehicle, which is an uphill toward the rear of the own vehicle.
図６（Ａ）の例の場合、画像処理部１２は、相対傾斜道路の始端の位置Ｐ１から自車両が走行する路面に対して垂直に下方に向かって延在する第１投影面ＴＭ１と、相対傾斜道路に沿って始端の位置Ｐ１から終端の位置Ｐ２に至るまで傾斜角度αだけ傾いた状態で延在する第２投影面ＴＭ２と、終端の位置Ｐ２から上記路面に対して垂直に上方に向かって延在する第３投影面ＴＭ３とにより構成される投影面を設定する。以下、自車両の後方に相対傾斜道路が存在すると判定されている場合に設定される投影面（第１投影面ＴＭ１、第２投影面ＴＭ２および第３投影面ＴＭ３により構成される投影面）を「設定投影面」という。
In the case of the example of FIG. 6A, the
なお、画像処理部１２は、自車位置検出部１１により検出された自車位置と、相対傾斜道路態様検出部１１の検出結果とに基づいて、始端の位置Ｐ１および終端の位置Ｐ２を、自車両に対する相対的な位置として認識する。また、画像処理部１２は、始端の位置Ｐ１および終端の位置Ｐ２を、自車両の前後方向に対して直行する方向に延びる線分状の位置として認識する。また、画像処理部１２は、第２投影面ＴＭ２を、始端の位置Ｐ１から終点の位置Ｐ２に至るまで、傾斜角度αで傾く平面状の投影面として設定する。
The
設定投影面の設定後、画像処理部１２は、相対傾斜道路用ルックアップテーブルを生成する。相対傾斜道路用ルックアップテーブルは、右側ルックアップテーブルと同様、リアカメラ撮影画像を、「右側仮想カメラが、車体を透過した状態で死角範囲ＤＨを仮想的に撮影することによって生成される撮影画像（＝補完画像）」に変換するために用いられるマッピングテーブルである。特に、相対傾斜道路用ルックアップテーブルは、視点変換に用いる投影面が、設定投影面とされる。つまり、相対傾斜道路用ルックアップテーブルは、車両座標系におけるリアカメラ３の配置位置および配置角度と右側仮想カメラの配置位置および配置角度との相違を反映して、「設定投影面」を用いてリアカメラ３の視点を右側仮想カメラの視点に変更するためのマッピングテーブルである。相対傾斜道路用ルックアップテーブルでは、右側仮想カメラの仮想的な撮影画像の死角領域ＤＲを構成する全てのドットのドット位置と、リアカメラ撮影画像の対応する各ドットのドット位置とが一対一で対応付けられている。
After setting the setting projection plane, the
以下、相対傾斜道路用ルックアップテーブルを生成する処理について詳述する。ここで、本実施形態に係るルックアップテーブル記憶部１５は、異なる複数の「垂直投影面」の距離に対応する複数の右側特定ルックアップテーブルを記憶している。右側特定ルックアップテーブルは、リアカメラ撮影画像を、「右側仮想カメラが、車体を透過した状態で死角範囲ＤＨを仮想的に撮影することによって生成される撮影画像（＝補完画像）」に変換するために用いられるマッピングテーブルであり、右側仮想カメラの仮想的な撮影画像の死角領域ＤＲを構成する全てのドットのドット位置と、リアカメラ撮影画像の対応する各ドットのドット位置とが一対一で対応付けられた対応関係情報を有する。
Hereinafter, the process of generating the look-up table for the relative inclined road will be described in detail. Here, the look-up
特に、本実施形態では、右側特定ルックアップテーブルのそれぞれは、リアカメラ３の視点から右側仮想カメラの視点への視点変換に用いられる垂直投影面の距離が異なっている。図７は、垂直投影面を説明するため、自車両と後続車両とを横から見た様子を模式的に示す図である。図７に示すように、垂直投影面は、路面に対応する水平面に対して垂直に立ち上がった投影面のことを意味する。また、垂直投影面の距離は、リアカメラ３の光学原点から垂直投影面までの距離を意味する。
In particular, in the present embodiment, the distances of the vertical projection planes used for the viewpoint conversion from the viewpoint of the
本実施形態では、視点変換に用いられる垂直投影面の距離が「０．５メートル」、「１メートル」、「２メートル」、「３メートル」、「４メートル」、「５メートル」、「７メートル」、「１０メートル」、「２０メートル」、「３０メートル」の右側特定ルックアップテーブルがルックアップテーブル記憶部１５に記憶されている。
In this embodiment, the distances of the vertical projection planes used for viewpoint conversion are "0.5 meters", "1 meter", "2 meters", "3 meters", "4 meters", "5 meters", and "7". The right side specific lookup table of "meter", "10 meters", "20 meters", and "30 meters" is stored in the lookup
相対傾斜道路用ルックアップテーブルの生成に際し、画像処理部１２は、右側仮想カメラの仮想的な撮影画像の死角領域を構成するドットラインごとに以下の処理を行ってドットライン対応関係情報を生成する。ドットラインとは、左右方向に延びる１行分のドットのラインを意味する。図８（Ａ）は、右側仮想カメラの仮想的な撮影画像、および、当該画像における死角領域ＤＲを示す図である。以下、自車両と相対傾斜道路との関係が図６（Ａ）に示す状態であるものとして、死角領域ＤＲを構成するドットラインのうち、ある１つのドットラインＬ１（図８（Ａ）参照）について画像処理部１２が実行する処理を説明する。
When generating the look-up table for the relative inclined road, the
まず、画像処理部１２は、設定投影面（第１投影面ＴＭ１＋第２投影面ＴＭ２＋第３投影面ＴＭ３）において、ドットラインＬ１に対応するポイントＸ１（図６（Ａ）参照）を特定する。次いで、画像処理部１２は、ポイントＸ１における投影面の距離（＝リアカメラ３の光学原点からポイントＸ１までの距離）を算出する。画像処理部１２は、自車両に対する相対傾斜道路の相対的な形状に基づいて、ポイントＸ１における投影面の距離を算出する。図６の例では、ポイントＸ１における投影面の距離は、「４．２５メートル」であるものとする。
First, the
次いで、画像処理部１２は、ドットラインＬ１に含まれる全てのドットについて、各ドットのドット位置と、リアカメラ撮影画像の対応する各ドットのドット位置との対応関係が定義されたドットライン対応関係情報を生成する。
Next, the
ドットラインＬ１についてのドットライン対応関係情報を算出する処理について詳述する。上述の通り、ドットラインＬ１に対応するポイントＸ１の投影面の距離は「４．２５メートル」である。この場合において、まず、画像処理部１２は、右側特定ルックアップテーブルのうち、垂直投影面の距離が、ポイントＸ１の投影面の距離よりも小さく、ポイントＸ１の投影面の距離に最も近い距離である右側特定ルックアップテーブルを特定する。本例では、ポイントＸ１の投影面の距離は「４．２５メートル」であるため、画像処理部１２は、垂直投影面の距離が「４メートル」の右側特定ルックアップテーブルを特定する。以下、ここで特定された右側特定ルックアップテーブルを「小側ルックアップテーブル」という。
The process of calculating the dot line correspondence information for the dot line L1 will be described in detail. As described above, the distance of the projection plane of the point X1 corresponding to the dot line L1 is "4.25 meters". In this case, first, in the right side specific look-up table, the
次いで、画像処理部１２は、右側特定ルックアップテーブルのうち、垂直投影面の距離が、ポイントＸ１の投影面の距離よりも大きく、ポイントＸ１の投影面の距離に最も近い距離である右側ルックアップテーブルを特定する。本例では、ポイントＸ１の投影面の距離は「４．２５メートル」であるため、画像処理部１２は、垂直投影面の距離が「５メートル」の右側特定ルックアップテーブルを特定する。以下、ここで特定された右側特定ルックアップテーブルを「大側ルックアップテーブル」という。
Next, the
更に、画像処理部１２は、小側ルックアップテーブルに係る垂直投影面の距離およびドットラインＬ１に対応するポイントＸ１の投影面の距離の差Ｓ１（絶対値）と、大側ルックアップテーブルに係る垂直投影面の距離およびドットラインＬ１に対応するポイントＸ１の投影面の距離の差Ｓ２（絶対値）との比を算出する。本例では、「差Ｓ１：差Ｓ２」＝「１：３」である。
Further, the
「差Ｓ１：差Ｓ２」を算出した後、画像処理部１２は、小側ルックアップテーブルのドットライン対応関係情報に対する反映度と、大側ルックアップテーブルのドットライン対応関係情報に対する反映度との比が、「差Ｓ２：差Ｓ１」となるように、各テーブルを加工してドットライン対応関係情報を生成する。ドットライン対応関係情報は、ドットラインＬ１に含まれる全てのドットのドット位置と、リアカメラ撮影画像の対応する各ドットのドット位置とが一対一で対応付けられた情報である。
After calculating "difference S1: difference S2", the
ドットライン対応関係情報を生成する際に、ドットラインＬ１のある特定のドット（「特定ドットＤＸ」とする）について、リアカメラ撮影画像の対応するドット（「対応ドットＤＱ」とする）を特定する処理を、図８（Ａ）および図８（Ｂ）を用いて詳述する。図８（Ｂ）は、所定の座標系に展開したリアカメラ撮影画像の領域を模式的に示している。 When generating the dot line correspondence information, the corresponding dot (referred to as “corresponding dot DQ”) of the image taken by the rear camera is specified for a specific dot (referred to as “specific dot DX”) of the dot line L1. The process will be described in detail with reference to FIGS. 8 (A) and 8 (B). FIG. 8B schematically shows a region of a rear camera photographed image developed in a predetermined coordinate system.
図８（Ｂ）において、符号ＤＹのドット（「小側ドットＤＹ」とする）は、小側ルックアップテーブルにおいて、特定ドットＤＸと対応付けられているドットである。また、図８（Ｂ）において、符号ＤＺのドット（「大側ドットＤＺ」とする）は、大側ルックアップテーブルにおいて、特定ドットＤＸと対応付けられているドットである。以上の状況の下、画像処理部１２は、リアカメラ撮影画像において、小側ドットＤＹと大側ドットＤＺを結ぶ線分において、以下の式ＳＫ１を満たすドットを対応ドットＤＱとする。
［式ＳＫ１］ 小側ドットＤＹからの距離：大側ドットＤＺからの距離＝差Ｓ１：差Ｓ２
このようにして特定される対応ドットＤＱは、「小側ルックアップテーブルの反映度：大側ルックアップテーブルの反映度」＝「差Ｓ２：差Ｓ１」となる。なお、ドットライン対応関係情報を生成する方法は、本実施形態で例示する方法に限られない。ドットラインに対応する投影面の位置が適切に反映されて生成されればよい。
In FIG. 8B, the dots having the reference numeral DY (referred to as “small side dot DY”) are dots associated with the specific dot DX in the small side lookup table. Further, in FIG. 8B, the dots having the reference numeral DZ (referred to as “large side dot DZ”) are dots associated with the specific dot DX in the large side lookup table. Under the above circumstances, the
[Equation SK1] Distance from the small dot DY: Distance from the large dot DZ = difference S1: difference S2
The corresponding dot DQ specified in this way is "reflection degree of the small side lookup table: reflection degree of the large side lookup table" = "difference S2: difference S1". The method for generating dot line correspondence information is not limited to the method exemplified in this embodiment. It suffices if the position of the projection plane corresponding to the dot line is appropriately reflected and generated.
画像処理部１２は、画像処理部１２は、右側仮想カメラの仮想的な撮影画像の死角領域ＤＲを構成するドットラインごとにドットライン対応関係情報を生成する。ドットラインごとにドットライン対応関係情報を生成した後、画像処理部１２は、全てのドットラインのドットライン対応関係情報に基づいて、相対傾斜道路用ルックアップテーブルを生成する。なお、相対傾斜道路用ルックアップテーブルを生成する方法は、本実施形態で例示する方法に限られない。相対傾斜道路用ルックアップテーブルは、設定投影面の態様が適切に反映されるように生成されればよい。
The
画像処理部１２は、相対傾斜道路用ルックアップテーブルを用いて、右側仮想カメラの仮想的な撮影画像の死角領域ＤＲを構成するドットの画素値が、リアカメラ撮影画像の対応するドットの画素値によって置き換えられた補完画像を生成する。補完画像の生成後、画像処理部１２は、右サイドカメラ撮影画像の死角領域ＤＲに、補完画像を合成し、右側合成画像を生成する。
The
図９（Ａ）は、自車両の後方に相対傾斜道路が存在する場合に、合成画像生成処理によって生成される右側合成画像を示している。なお、図９（Ａ）では、右サイドカメラ撮影画像と補完画像との境界（以下、単に「境界」という）に破線を引いているが、この破線は、実際には表示されない。図９（Ａ）は、図６（Ａ）の環境で生成された右サイドカメラ撮影画像およびリアカメラ撮影画像に基づいて生成される右側合成画像を示している。図９（Ａ）において、符号ＧＤは、相対傾斜道路の始端を表す画像であり、符号ＧＵは、相対傾斜道路の終端を表す画像である。図９（Ａ）に示すように、自車両の後方に相対傾斜道路が存在する場合も、存在しない場合と同様、右側合成画像では、死角領域ＤＲがリアカメラ撮影画像に基づく補完画像によって補われ、死角範囲ＤＨの風景が表示された状態となる。 FIG. 9A shows a right-side composite image generated by the composite image generation process when a relative inclined road exists behind the own vehicle. In FIG. 9A, a broken line is drawn at the boundary between the image captured by the right side camera and the complementary image (hereinafter, simply referred to as “boundary”), but this broken line is not actually displayed. 9 (A) shows a right-side composite image generated based on the right-side camera-captured image and the rear-camera-captured image generated in the environment of FIG. 6 (A). In FIG. 9A, the reference numeral GD is an image showing the start end of the relative inclined road, and the reference numeral GU is an image showing the end of the relative inclined road. As shown in FIG. 9A, even when the relative inclined road exists behind the own vehicle, the blind spot region DR is supplemented by the complementary image based on the image taken by the rear camera in the right composite image as in the case where the relative inclined road does not exist. , The scenery of the blind spot range DH is displayed.
また、図９（Ａ）に示すように、右側合成画像では、境界において、相対傾斜道路の画像にズレが生じず、相対傾斜道路の画像の連続性が保たれた状態である。境界において相対傾斜道路の画像にズレが生じるとは、図９（Ｂ）に一例として示すように、境界の左右で、相対傾斜道路の終端を示す画像や、始端を示す画像等の相対傾斜道路の要素の画像に、ユーザーが違和感を覚える程度にズレが生じることを意味する。 Further, as shown in FIG. 9A, in the right composite image, the image of the relative inclined road is not displaced at the boundary, and the continuity of the image of the relative inclined road is maintained. As shown in FIG. 9B as an example, the fact that the image of the relative inclined road is displaced at the boundary is a relative inclined road such as an image showing the end of the relative inclined road and an image showing the beginning of the relative inclined road on the left and right of the boundary. It means that the image of the element of is misaligned to the extent that the user feels uncomfortable.
本実施形態で、合成画像の境界において、相対傾斜道路の画像にズレが生じず、相対傾斜道路の画像の連続性が保たれた状態となる理由は以下である。すなわち、本実施形態では、第２投影面ＴＭ２は、相対傾斜道路の始端から終端に至るまで相対傾斜道路に沿って延在する平面状の投影面であるため、始端および終端を含む相対傾斜道路の全域が、相対傾斜道路に沿った投影面上に位置する。つまり、相対傾斜道路に形成された要素（始端や、終端、相対傾斜道路に描画された道路標示等）は全て、相対傾斜道路に沿った投影面上に位置している。このため、「第２投影面ＴＭ２を含む設定投影面を用いた視点変換により生成された補完画像」が合成されて生成された合成画像において、相対傾斜道路の要素の画像の大きさおよび上下方向における位置は、補完画像と右サイドカメラ撮影画像とで基本的には一致し、相対傾斜道路に形成された要素の画像が境界を跨いでいる場合には、境界間でこれら画像のズレが生じない状態となる。 In the present embodiment, the reason why the image of the relative inclined road is not displaced at the boundary of the composite image and the continuity of the image of the relative inclined road is maintained is as follows. That is, in the present embodiment, since the second projection plane TM2 is a planar projection plane extending along the relative slope road from the start end to the end of the relative slope road, the relative slope road including the start end and the end. The entire area of is located on the projection plane along the relative sloping road. That is, all the elements formed on the relative slope road (starting end, end, road marking drawn on the relative slope road, etc.) are located on the projection plane along the relative slope road. Therefore, in the composite image generated by synthesizing the "complementary image generated by the viewpoint conversion using the set projection plane including the second projection plane TM2", the size and the vertical direction of the image of the element of the relative inclined road. The position in is basically the same between the complementary image and the image taken by the right side camera, and when the images of the elements formed on the relative sloping road straddle the boundary, the images are displaced between the boundaries. It will be in a non-existent state.
画像処理部１２は、以上の合成画像生成処理を所定の周期で行って合成画像（右側合成画像および左側合成画像）を生成する。画像処理部１２は、生成した合成画像を表示制御部１３に出力する。
The
表示制御部１３は、所定の周期で画像処理部１２から合成画像（右側合成画像および左側合成画像）を入力し、右側合成画像を右モニター２Ｒに表示し、左側合成画像を左モニター２Ｌに表示する。この結果、右モニター２Ｒには、リアカメラ３および右サイドカメラ４Ｒの撮影結果がリアルタイムに反映された動画として、車両の右サイドミラーＭＲを視認したときに確認できる風景と同等の風景が、右サイドミラーＭＲを視認したときには車体により遮蔽されて確認できない部分も含めて表示される。左モニター２Ｌについても同様である。
The
次に、本実施形態に係る画像処理装置１の動作例についてフローチャートを用いて説明する。図１０のフローチャートは、画像処理部１２が、リアカメラ撮影画像および右サイドカメラ撮影画像に基づいて右側合成画像を生成するときの合成画像生成処理の詳細を示すフローチャートである。上述したように、画像処理装置１の画像処理部１２は、所定の周期で合成画像生成処理を実行する。
Next, an operation example of the
図１０に示すように画像処理部１２は、相対傾斜道路態様検出部１１により自車両の後方に相対傾斜道路が存在しないと判定されたか、存在すると判定されたかを判定する（ステップＳＡ１）。相対傾斜道路態様検出部１１により自車両の後方に相対傾斜道路が存在しないと判定されている場合（ステップＳＡ１：「存在しない」）、画像処理部１２は、ルックアップテーブル記憶部１５に記憶された右側ルックアップテーブルを用いて、撮影画像取得部１０から入力したリアカメラ撮影画像を補完画像に変換する（ステップＳＡ２）。画像処理部１２は、ステップＳＡ２で生成した補完画像を右サイドカメラ撮影画像の死角領域ＤＲに合成し、右側合成画像を生成する（ステップＳＡ３）。ステップＳＡ３の処理後、画像処理部１２は合成画像生成処理を終了する。
As shown in FIG. 10, the
一方、相対傾斜道路態様検出部１１により自車両の後方に相対傾斜道路が存在すると判定した場合（ステップＳＡ１：「存在する」）、画像処理部１２は、設定投影面を設定する（ステップＳＡ４）。次いで、画像処理部１２は、ステップＳＡ４で設定した設定投影面を用いて視点変換を行う相対傾斜道路用ルックアップテーブルを生成する（ステップＳＡ５）。次いで、画像処理部１２は、ステップＳＡ５で生成した相対傾斜道路用ルックアップテーブルを用いて補完画像を生成する（ステップＳＡ６）。次いで、画像処理部１２は、ステップＳＡ６で生成した補完画像を右サイドカメラ撮影画像の死角領域ＤＲに合成し、右側合成画像を生成する（ステップＳＡ７）。ステップＳＡ７の処理後、画像処理部１２は合成画像生成処理を終了する。
On the other hand, when the relative inclined road
以上、本発明の実施形態を説明したが、上記実施形態は、本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、または、その主要な特徴から逸脱することなく、様々な形で実施することができる。 Although the embodiments of the present invention have been described above, the above-described embodiments are merely examples of the embodiment of the present invention, whereby the technical scope of the present invention is limitedly interpreted. It should not be. That is, the present invention can be implemented in various forms without departing from its gist or its main features.
例えば、上記実施形態では、道路情報５ａを外部の記憶装置５が記憶する構成であるが、これを画像処理装置１（自機）自体が記憶する構成としてもよい。また、記憶装置５は、自車両に設けられた装置（例えば、ナビゲーション装置に含まれる装置）であってもよく、ネットワークを介して通信可能な車外の装置（例えば、サーバー装置）であってもよい。
For example, in the above embodiment, the
例えば、上記実施形態では、図６（Ａ）に示すように、第１投影面ＴＭ１は、位置Ｐ１から垂直下方に延在する投影面であり、第３投影面ＴＭ３は位置Ｐ２から垂直情報に延在する投影面であった。この点に関し、図６（Ｂ）に示すように、第１投影面ＴＭ１を自車両が走行する路面に沿って延在する投影面とし、また、第３投影面ＴＭ３を位置Ｐ２よりも後方（例えば、無限遠に相当する位置）に位置する投影面としてもよい。 For example, in the above embodiment, as shown in FIG. 6A, the first projection plane TM1 is a projection plane extending vertically downward from the position P1, and the third projection plane TM3 is vertically information from the position P2. It was an extending projection plane. In this regard, as shown in FIG. 6B, the first projection surface TM1 is a projection surface extending along the road surface on which the own vehicle travels, and the third projection surface TM3 is behind the position P2 ( For example, it may be a projection plane located at a position corresponding to infinity).
また、上記実施形態では、第２投影面ＴＭ２は、位置Ｐ１から傾斜角度αで傾斜する平らな面という単純な形状であったが、第２投影面ＴＭ２の形状は上記実施形態で例示した形状に限らない。第２投影面ＴＭ２の形状が車両の進行方向に対して傾いたり、部分的に傾斜角度が異なるような複雑な形状の場合、例えば、第２投影面ＴＭ２を、所定の３次元座標系のポリゴンデータ（第２投影面を３次元座標権のドットの集合として表すデータ）とすることにより、第２投影面ＴＭ２の形状を適切に定義することが可能である。 Further, in the above embodiment, the second projection surface TM2 has a simple shape of a flat surface inclined at an inclination angle α from the position P1, but the shape of the second projection surface TM2 is the shape exemplified in the above embodiment. Not limited to. When the shape of the second projection surface TM2 is inclined with respect to the traveling direction of the vehicle or the inclination angle is partially different, for example, the second projection surface TM2 is a polygon of a predetermined three-dimensional coordinate system. By using data (data representing the second projection surface as a set of dots having three-dimensional coordinate rights), it is possible to appropriately define the shape of the second projection surface TM2.
また、上記実施形態では、リアカメラ３が魚眼カメラにより構成され、サイドカメラ４Ｒ，ＲＬが標準カメラにより構成されていたが、リアカメラ３やサイドカメラ４Ｒ，４Ｌをどのようなカメラにより構成するかは、実施形態の例に限定されない。
Further, in the above embodiment, the
また、上記実施形態では、合成画像を表示する表示装置は、右モニター２Ｒおよび左モニター２Ｌであった。しかしながら、合成画像を表示する表示装置は、右モニター２Ｒおよび左モニター２Ｌに限らず、自車両のダッシュボードの中央やセンターコンソール等に設けられた表示パネルや、右サイドミラーＭＲおよび左サイドミラーＭＬに設けられた表示パネル、バックミラーに設けられた表示パネル等であってもよい。自車両のダッシュボードの中央やセンターコンソール等に設けられた表示パネルへの表示に際しては、ユーザーの指示に応じて、右側合成画像と左側合成画像との何れか一方を表示する構成でもよく、表示領域を分割し各画像を同時に表示する構成でもよい。表示装置は、携帯端末であってもよい。
Further, in the above embodiment, the display devices for displaying the composite image are the right monitor 2R and the
また、サイドカメラ４Ｒ，４Ｌの自車両における設置位置は、上記実施形態で例示した位置に限られない。例えば、サイドカメラ４Ｒ，４Ｌは、車両の側面であって、車両の前端に近い位置に設けられてもよい。
Further, the installation position of the
１ 画像処理装置
２Ｒ 右モニター（表示装置）
２Ｌ 左モニター（表示装置）
３ リアカメラ
４Ｒ 右サイドカメラ（サイドカメラ）
４Ｌ 左サイドカメラ（サイドカメラ）
１０ 撮影画像取得部
１１ 相対傾斜道路態様検出部
１２ 画像処理部
１３ 表示制御部
1 Image processing device 2R Right monitor (display device)
2L left monitor (display device)
3
4L left side camera (side camera)
10 Captured
Claims (6)
前記撮影画像取得部により取得された前記リアカメラ撮影画像を画像変換することによって、前記撮影画像取得部により取得された前記サイドカメラ撮影画像における前記死角範囲に対応する死角領域を補完する補完画像を生成し、前記サイドカメラ撮影画像の前記死角領域に前記補完画像を合成して合成画像を生成する画像処理部と、
前記画像処理部により生成された前記合成画像を表示装置に表示する表示制御部と、
前記車両の後方に位置し、前記車両が走行中の路面を水平面としたときに、その水平面に対して傾斜する相対傾斜道路の態様を検出する相対傾斜道路態様検出部とを備え、
前記画像処理部は、
前記相対傾斜道路態様検出部により検出された前記相対傾斜道路の態様に基づいて、前記相対傾斜道路に沿った投影面を用いて前記リアカメラ撮影画像を画像変換し、前記補完画像を生成する
ことを特徴とする画像処理装置。 A side camera shot image of a side camera provided on the side surface of the vehicle and taken with a part of the vehicle body included in the shooting range, and a side camera shooting range provided on the rear side of the vehicle. Of these, a captured image acquisition unit that acquires a rear camera captured image of a rear camera that captures the rear of the vehicle with the blind spot range that becomes a blind spot due to the vehicle body included in the shooting range.
By converting the image captured by the rear camera acquired by the captured image acquisition unit into an image, a complementary image that complements the blind spot region corresponding to the blind spot range in the side camera captured image acquired by the captured image acquisition unit is obtained. An image processing unit that generates and synthesizes the complementary image with the blind spot region of the side camera captured image to generate a composite image.
A display control unit that displays the composite image generated by the image processing unit on a display device, and a display control unit.
It is provided with a relative inclined road aspect detection unit that is located behind the vehicle and detects an aspect of a relative inclined road that is inclined with respect to the horizontal plane when the road surface on which the vehicle is traveling is a horizontal plane.
The image processing unit
Based on the aspect of the relative inclined road detected by the relative inclined road aspect detection unit, the image taken by the rear camera is image-converted using the projection plane along the relative inclined road, and the complementary image is generated. An image processing device characterized by.
前記相対傾斜道路態様検出部により検出された前記相対傾斜道路の態様に基づいて、前記車両の後方の所定位置から所定角度で傾く平面な投影面を用いて前記リアカメラ撮影画像を画像変換し、前記補完画像を生成する
ことを特徴とする請求項１に記載の画像処理装置。 The image processing unit
Based on the aspect of the relative inclined road detected by the relative inclined road aspect detection unit, the image captured by the rear camera is image-converted using a flat projection surface inclined at a predetermined angle from a predetermined position behind the vehicle. The image processing apparatus according to claim 1, wherein the complementary image is generated.
前記相対傾斜道路態様検出部により検出された前記相対傾斜道路の態様に基づいて、前記相対傾斜道路に沿った投影面を用いた画像変換を行うためのルックアップテーブルを生成し、生成した前記ルックアップテーブルを用いて前記リアカメラ撮影画像を画像変換し、前記補完画像を生成する
ことを特徴とする請求項１または２に記載の画像処理装置。 The image processing unit
Based on the aspect of the relative inclined road detected by the relative inclined road aspect detection unit, a look-up table for performing image conversion using a projection plane along the relative inclined road is generated, and the generated look is generated. The image processing apparatus according to claim 1 or 2, wherein the image captured by the rear camera is image-converted using an up table to generate the complementary image.
自機または外部装置が記憶する道路情報５ａに基づいて、前記相対傾斜道路の態様を検出する
ことを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。 The relative inclined road mode detection unit is
The image processing device according to any one of claims 1 to 3, wherein the mode of the relative inclined road is detected based on the road information 5a stored by the own machine or an external device.
前記車両の走行軌跡に基づいて、前記相対傾斜道路の態様を検出する
ことを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。 The relative inclined road mode detection unit is
The image processing apparatus according to any one of claims 1 to 4, wherein the aspect of the relative inclined road is detected based on the traveling locus of the vehicle.
前記画像処理装置の画像処理部が、前記撮影画像取得部により取得された前記リアカメラ撮影画像を画像変換することによって、前記撮影画像取得部により取得された前記サイドカメラ撮影画像における前記死角範囲に対応する死角領域を補完する補完画像を生成し、前記サイドカメラ撮影画像の前記死角領域に前記補完画像を合成して合成画像を生成する第２のステップと、
前記画像処理装置の表示制御部が、前記画像処理部により生成された前記合成画像を表示装置に表示する第３のステップとを含み、
前記第２のステップにおいて、前記画像処理部は、前記車両の後方に位置し、前記車両が走行中の路面を水平面としたときに、その水平面に対して傾斜する相対傾斜道路の態様を検出する相対傾斜道路態様検出部により検出された前記相対傾斜道路の態様に基づいて、前記相対傾斜道路に沿った投影面を用いて前記リアカメラ撮影画像を画像変換し、前記補完画像を生成する
ことを特徴とする画像処理方法。 A captured image acquisition unit of the image processing device is provided on the side surface of the vehicle, and the side camera captured image of the side camera that captures the image while the photographing range includes a part of the vehicle body and the rear portion of the vehicle. The first step is to acquire a rear camera image taken by the rear camera, which is provided and takes a picture of the rear of the vehicle in a state where the blind spot range, which is a blind spot due to the vehicle body, is included in the shooting range of the side camera. ,
The image processing unit of the image processing device converts the image captured by the rear camera acquired by the captured image acquisition unit into an image, so that the blind spot range in the side camera captured image acquired by the captured image acquisition unit can be obtained. A second step of generating a complementary image that complements the corresponding blind spot region and synthesizing the complementary image with the blind spot region of the side camera captured image to generate a composite image.
The display control unit of the image processing unit includes a third step of displaying the composite image generated by the image processing unit on the display device.
In the second step, the image processing unit detects an aspect of a relative inclined road that is located behind the vehicle and is inclined with respect to the horizontal plane when the road surface on which the vehicle is traveling is a horizontal plane. Based on the aspect of the relative inclined road detected by the relative inclined road aspect detection unit, the image taken by the rear camera is image-converted using the projection plane along the relative inclined road, and the complementary image is generated. Characteristic image processing method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018101250A JP6999239B2 (en) | 2018-05-28 | 2018-05-28 | Image processing device and image processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018101250A JP6999239B2 (en) | 2018-05-28 | 2018-05-28 | Image processing device and image processing method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019207453A JP2019207453A (en) | 2019-12-05 |
| JP6999239B2 true JP6999239B2 (en) | 2022-02-04 |
Family
ID=68767815
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018101250A Active JP6999239B2 (en) | 2018-05-28 | 2018-05-28 | Image processing device and image processing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6999239B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111091595B (en) * | 2019-12-23 | 2023-06-02 | 吉林省广播电视研究所(吉林省广播电视局科技信息中心) | Strabismus three-dimensional mapping method and system |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005333565A (en) | 2004-05-21 | 2005-12-02 | Auto Network Gijutsu Kenkyusho:Kk | Monitoring equipment |
| JP2008033781A (en) | 2006-07-31 | 2008-02-14 | Toyota Motor Corp | Road surface gradient detection device and image display device |
| JP2010245821A (en) | 2009-04-06 | 2010-10-28 | Denso Corp | Image display for vehicle |
| JP2016175586A (en) | 2015-03-20 | 2016-10-06 | 株式会社デンソーアイティーラボラトリ | Vehicle periphery monitoring device, vehicle periphery monitoring method, and program |
| JP2018117320A (en) | 2017-01-20 | 2018-07-26 | 株式会社東芝 | Video synthesizer and video synthesis method for electron mirror |
-
2018
- 2018-05-28 JP JP2018101250A patent/JP6999239B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005333565A (en) | 2004-05-21 | 2005-12-02 | Auto Network Gijutsu Kenkyusho:Kk | Monitoring equipment |
| JP2008033781A (en) | 2006-07-31 | 2008-02-14 | Toyota Motor Corp | Road surface gradient detection device and image display device |
| JP2010245821A (en) | 2009-04-06 | 2010-10-28 | Denso Corp | Image display for vehicle |
| JP2016175586A (en) | 2015-03-20 | 2016-10-06 | 株式会社デンソーアイティーラボラトリ | Vehicle periphery monitoring device, vehicle periphery monitoring method, and program |
| JP2018117320A (en) | 2017-01-20 | 2018-07-26 | 株式会社東芝 | Video synthesizer and video synthesis method for electron mirror |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2019207453A (en) | 2019-12-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6091586B1 (en) | VEHICLE IMAGE PROCESSING DEVICE AND VEHICLE IMAGE PROCESSING SYSTEM | |
| JP4861574B2 (en) | Driving assistance device | |
| EP3160138B1 (en) | Image synthesis system, image synthesis device therefor, and image synthesis method | |
| JP5491235B2 (en) | Camera calibration device | |
| JP6603094B2 (en) | Calibration apparatus, calibration method, and calibration program | |
| JP3300340B2 (en) | Driving support device | |
| JP4193886B2 (en) | Image display device | |
| JP5341789B2 (en) | Parameter acquisition apparatus, parameter acquisition system, parameter acquisition method, and program | |
| US8576285B2 (en) | In-vehicle image processing method and image processing apparatus | |
| JP6392693B2 (en) | Vehicle periphery monitoring device, vehicle periphery monitoring method, and program | |
| JP4796676B2 (en) | Vehicle upper viewpoint image display device | |
| WO2005079060A1 (en) | Operation support device | |
| JP6586849B2 (en) | Information display device and information display method | |
| JP5959264B2 (en) | Image processing apparatus and method, and computer program | |
| JP2004240480A (en) | Operation support device | |
| JP5083443B2 (en) | Driving support device and method, and arithmetic device | |
| JP2011155393A (en) | Device and method for displaying image of vehicle surroundings | |
| JP2016149613A (en) | Camera parameter adjustment device | |
| JP2005269010A (en) | Image creating device, program and method | |
| JP6999239B2 (en) | Image processing device and image processing method | |
| JP4857159B2 (en) | Vehicle driving support device | |
| JP7029350B2 (en) | Image processing device and image processing method | |
| JP2019204393A (en) | Image processing device and image processing method | |
| JP4696825B2 (en) | Blind spot image display device for vehicles | |
| US20200231099A1 (en) | Image processing apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210108 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211208 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211221 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211221 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6999239 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |