JP6999239B2 - Image processing device and image processing method - Google Patents

Image processing device and image processing method Download PDF

Info

Publication number
JP6999239B2
JP6999239B2 JP2018101250A JP2018101250A JP6999239B2 JP 6999239 B2 JP6999239 B2 JP 6999239B2 JP 2018101250 A JP2018101250 A JP 2018101250A JP 2018101250 A JP2018101250 A JP 2018101250A JP 6999239 B2 JP6999239 B2 JP 6999239B2
Authority
JP
Japan
Prior art keywords
image
vehicle
road
image processing
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018101250A
Other languages
Japanese (ja)
Other versions
JP2019207453A (en
Inventor
耕太 山本
亮平 須田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alpine Electronics Inc
Original Assignee
Alpine Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alpine Electronics Inc filed Critical Alpine Electronics Inc
Priority to JP2018101250A priority Critical patent/JP6999239B2/en
Publication of JP2019207453A publication Critical patent/JP2019207453A/en
Application granted granted Critical
Publication of JP6999239B2 publication Critical patent/JP6999239B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Traffic Control Systems (AREA)
  • Instructional Devices (AREA)
  • Image Processing (AREA)

Description

本発明は、画像処理装置および画像処理方法に関し、特に、サイドカメラの撮影結果に基づく画像と、リアカメラの撮影結果に基づく画像とを合成して表示する画像処理装置および当該画像処理装置による画像処理方法に用いて好適なものである。 The present invention relates to an image processing device and an image processing method, and in particular, an image processing device and an image by the image processing device that combine and display an image based on a shooting result of a side camera and an image based on a shooting result of a rear camera. It is suitable for use in the treatment method.

従来、撮影範囲に車両の車体の一部が含まれた状態で撮影を行うサイドカメラの撮影結果に基づく画像と、サイドカメラの撮影範囲のうち車体により死角となる範囲を撮影範囲に含んだ状態で撮影を行うリアカメラの撮影結果基づく画像とを合成することによって、サイドカメラの死角がリアカメラの撮影結果によって補われた合成画像を生成し、生成した合成画像を表示する画像処理装置が知られている。ユーザーは、表示装置に表示された合成画像を視認することによって、サイドミラーを視認したときに確認できる風景と同等の風景を確認することができ、さらに、サイドミラーを視認した場合には車体が死角となって視認できない部分も確認することができる。 Conventionally, the image based on the shooting result of the side camera that shoots with a part of the vehicle body included in the shooting range, and the shooting range of the side camera that is a blind spot due to the vehicle body are included in the shooting range. The image processing device that displays the generated composite image is known to generate a composite image in which the blind spot of the side camera is supplemented by the shooting result of the rear camera by synthesizing the image based on the shooting result of the rear camera that shoots with. Has been done. By visually recognizing the composite image displayed on the display device, the user can confirm the scenery equivalent to the scenery that can be confirmed when the side mirror is visually recognized, and further, when the side mirror is visually recognized, the vehicle body can be confirmed. You can also see the parts that are blind spots and cannot be seen.

なお、特許文献1には、地図DB11に記憶された地図情報や、GPS受信機12を利用した自車位置情報、カメラ13が生成する画像情報等に基づいて、道路測量データを分析し、分析後の道路測量データと地図情報とを比較し、比較結果に応じて地図情報を適宜更新する車載情報処理装置10について記載されている。また、特許文献2には、地図データや、メッシュ標高データ、道路設計基準データ等に基づいて、道路の勾配および標高を推測する道路情報推測装置20について記載されている。 In Patent Document 1, the road survey data is analyzed and analyzed based on the map information stored in the map DB 11, the vehicle position information using the GPS receiver 12, the image information generated by the camera 13, and the like. Described is an in-vehicle information processing apparatus 10 that compares the subsequent road survey data with map information and appropriately updates the map information according to the comparison result. Further, Patent Document 2 describes a road information estimation device 20 that estimates the slope and altitude of a road based on map data, mesh elevation data, road design standard data, and the like.

特開2001-280975号公報Japanese Unexamined Patent Publication No. 2001-280975 特開2004-252152号公報Japanese Unexamined Patent Publication No. 2004-252152

上述した合成画像を生成し、表示する従来の画像処理装置では、合成画像が示す風景に、車両の後方に位置する相対傾斜道路(上り坂または下り坂の道路)が含まれる場合に、以下の問題があった。すなわち、サイドカメラとリアカメラはそれぞれ、車両の異なる位置に設けられる。この各カメラの設置位置の相違に起因して、合成画像におけるサイドカメラの撮影結果に基づく画像とリアカメラの撮影結果に基づく画像との境界で、相対傾斜道路の画像にズレが生じてしまうという問題があった。境界において相対傾斜道路の画像にズレが生じるとは、境界の左右で相対傾斜道路の終端を示す画像や、始端を示す画像、相対傾斜道路に描画された道路標示の画像等にズレが生じることを意味する。 In the conventional image processing device that generates and displays the above-mentioned composite image, when the landscape shown by the composite image includes a relative inclined road (uphill or downhill road) located behind the vehicle, the following There was a problem. That is, the side camera and the rear camera are provided at different positions of the vehicle. Due to the difference in the installation position of each camera, the image of the relative slope road will be misaligned at the boundary between the image based on the shooting result of the side camera and the image based on the shooting result of the rear camera in the composite image. There was a problem. Misalignment of the image of the relative slope road at the boundary means that the image showing the end of the relative slope road, the image showing the start end, the image of the road marking drawn on the relative slope road, etc. are shifted on the left and right of the boundary. Means.

本発明は、このような問題を解決するために成されたものであり、サイドカメラの撮影画像とリアカメラの撮影画像とに基づいて、サイドカメラの死角がリアカメラの撮影結果によって補われた合成画像を生成する画像処理装置について、車両の後方に相対傾斜道路がある場合に、合成画像の境界における相対傾斜道路の画像のズレを抑制できるようにすることを目的とする。 The present invention has been made to solve such a problem, and the blind spot of the side camera is supplemented by the image taken by the rear camera based on the image taken by the side camera and the image taken by the rear camera. It is an object of the image processing device that generates a composite image to be able to suppress the deviation of the image of the relative slope road at the boundary of the composite image when there is a relative slope road behind the vehicle.

上記した課題を解決するために、本発明では、リアカメラのリアカメラ撮影画像を画像変換することによって補完画像を生成し、サイドカメラ撮影画像の死角領域に補完画像を合成して合成画像を生成し、合成画像を表示装置に表示する。そして、本発明では、補完画像の生成に際し、車両の後方の相対傾斜道路に沿った投影面を用いてリアカメラ撮影画像を画像変換するようにしている。 In order to solve the above-mentioned problems, in the present invention, a complementary image is generated by converting the image taken by the rear camera of the rear camera into an image, and the complementary image is combined with the blind spot area of the image taken by the side camera to generate a composite image. Then, the composite image is displayed on the display device. Then, in the present invention, when the complementary image is generated, the image taken by the rear camera is converted into an image by using the projection plane along the relative inclined road behind the vehicle.

上記のように構成した本発明によれば、車両の後方の相対傾斜道路に沿った投影面を用いてリアカメラ撮影画像が画像変換されて補完画像が生成されるため、始端から終端に至る相対傾斜道路の表面の全域が、相対傾斜道路に沿って投影面上に位置した状態で画像変換が行われることになる。このため、合成画像に記録される相対傾斜道路の画像については、サイドカメラ撮影画像と補完画像との境界における連続性が保たれた状態となり、合成画像の境界における相対傾斜道路の画像のズレを抑制できる。 According to the present invention configured as described above, the image taken by the rear camera is image-converted using the projection plane along the relative inclined road behind the vehicle to generate a complementary image, so that the relative image from the start to the end is generated. Image conversion will be performed with the entire surface of the sloping road located on the projection plane along the relative sloping road. For this reason, the image of the relative sloped road recorded in the composite image is in a state where continuity is maintained at the boundary between the side camera captured image and the complementary image, and the image of the relative sloped road at the boundary of the composite image is displaced. It can be suppressed.

本発明の一実施形態に係る画像処理装置の機能構成例を示すブロック図である。It is a block diagram which shows the functional structure example of the image processing apparatus which concerns on one Embodiment of this invention. リアカメラおよび右サイドカメラの設置位置および撮影範囲を示す図である。It is a figure which shows the installation position and the shooting range of a rear camera and a right side camera. リアカメラ撮影画像およびサイドカメラ撮影画像を示す図である。It is a figure which shows the image taken by a rear camera and the image taken by a side camera. 相対傾斜道路の例を示す図である。It is a figure which shows the example of the relative inclined road. 自車両の後方に相対傾斜道路が存在しない場合に生成される右側合成画像を示す図である。It is a figure which shows the right side composite image generated when there is no relative slope road behind the own vehicle. 自車両と相対傾斜道路との位置関係において設定される投影面を示す図である。It is a figure which shows the projection plane which is set in the positional relationship between the own vehicle and a relative inclined road. 自車両および後続車両と共に垂直投影面を示す図である。It is a figure which shows the vertical projection plane together with own vehicle and the following vehicle. 右側仮想カメラの撮影画像およびリアカメラの撮影画像を示す図である。It is a figure which shows the image taken by the right virtual camera and the image taken by a rear camera. 自車両の後方に相対傾斜道路が存在する場合に生成される右側合成画像を示す図である。It is a figure which shows the right side composite image generated when the relative inclined road exists behind the own vehicle. 本発明の一実施形態に係る画像処理部の動作例を示すフローチャートである。It is a flowchart which shows the operation example of the image processing part which concerns on one Embodiment of this invention.

以下、本発明の一実施形態を図面に基づいて説明する。図1は、本実施形態に係る画像処理装置1の機能構成例を示すブロック図である。画像処理装置1は、運転手が車両の右サイドミラーMRまたは左サイドミラーMLを視認したときに確認できる風景と同等の風景を、これらミラーを視認したときには車体により遮蔽されて確認できない部分も含めて表示することが可能な装置である。 Hereinafter, an embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing a functional configuration example of the image processing apparatus 1 according to the present embodiment. The image processing device 1 includes a landscape equivalent to the landscape that can be confirmed when the driver visually recognizes the right side mirror MR or the left side mirror ML of the vehicle, including a portion that cannot be confirmed because it is shielded by the vehicle body when these mirrors are visually recognized. It is a device that can be displayed.

図1に示すように、画像処理装置1には、右モニター2R、左モニター2L、リアカメラ3、右サイドカメラ4Rおよび左サイドカメラ4L、記憶装置5および自車位置検出装置6が接続されている。以下、画像処理装置1が搭載された車両を「自車両」という。 As shown in FIG. 1, the image processing device 1 is connected to a right monitor 2R, a left monitor 2L, a rear camera 3, a right side camera 4R and a left side camera 4L, a storage device 5, and a vehicle position detection device 6. There is. Hereinafter, the vehicle equipped with the image processing device 1 is referred to as "own vehicle".

右モニター2Rは、自車両のダッシュボードの右端部(車内において右サイドミラーMRに近い位置)に設けられた表示パネル(例えば、液晶表示パネルや、有機EL表示パネル等)である。左モニター2Lは、自車両のダッシュボードの左端部(車内において左サイドミラーMLに近い位置)に設けられた表示パネルである。右モニター2Rおよび左モニター2Lは、特許請求の範囲の「表示装置」に相当する。 The right monitor 2R is a display panel (for example, a liquid crystal display panel, an organic EL display panel, etc.) provided at the right end of the dashboard of the own vehicle (position close to the right side mirror MR in the vehicle). The left monitor 2L is a display panel provided at the left end of the dashboard of the own vehicle (position close to the left side mirror ML in the vehicle). The right monitor 2R and the left monitor 2L correspond to the "display device" in the claims.

リアカメラ3は、自車両の後部に設けられた撮影装置である。右サイドカメラ4Rは、自車両の前部座席の右サイドドアの右サイドミラーMRに設けられた撮影装置である。左サイドカメラ4Lは、自車両の前部座席の左サイドドアの左サイドミラーMLに設けられた撮影装置である。 The rear camera 3 is a photographing device provided at the rear of the own vehicle. The right side camera 4R is a photographing device provided on the right side mirror MR of the right side door of the front seat of the own vehicle. The left side camera 4L is a photographing device provided on the left side mirror ML of the left side door of the front seat of the own vehicle.

図2は、リアカメラ3および右サイドカメラ4Rの設置位置および撮影範囲を説明するための図である。以下の説明では、右サイドカメラ4Rと左サイドカメラ4Lとを区別しない場合は「サイドカメラ4R,4L」と表現し、右サイドカメラ4Rの撮影画像と左サイドカメラ4Lの撮影画像とを区別しない場合は「サイドカメラ撮影画像」と表現する。 FIG. 2 is a diagram for explaining the installation position and shooting range of the rear camera 3 and the right side camera 4R. In the following explanation, when the right side camera 4R and the left side camera 4L are not distinguished, they are expressed as "side cameras 4R, 4L", and the captured image of the right side camera 4R and the captured image of the left side camera 4L are not distinguished. In this case, it is expressed as "side camera image".

図2に示すように、リアカメラ3は、自車両の後端において、自車両の幅方向の中央に設けられており、自車両の後方に向かう方向を撮影方向(光軸の方向)として撮影を実行する。図2において、符号HBは、リアカメラ3の撮影範囲を模式的に示している。以下、リアカメラ3の撮影範囲を「リアカメラ撮影範囲HB」という。リアカメラ3は、魚眼レンズを有する魚眼カメラにより構成されている。リアカメラ3は、所定の周期で撮影を実行して撮影画像を生成し、出力する。以下、リアカメラ3が生成し、出力する撮影画像を「リアカメラ撮影画像」という。図3(A)は、リアカメラ撮影画像の一例を示している。 As shown in FIG. 2, the rear camera 3 is provided at the rear end of the own vehicle at the center in the width direction of the own vehicle, and takes a picture in the direction toward the rear of the own vehicle as the shooting direction (direction of the optical axis). To execute. In FIG. 2, the reference numeral HB schematically indicates the shooting range of the rear camera 3. Hereinafter, the shooting range of the rear camera 3 is referred to as "rear camera shooting range HB". The rear camera 3 is composed of a fisheye camera having a fisheye lens. The rear camera 3 executes shooting at a predetermined cycle to generate and output a shot image. Hereinafter, the captured image generated and output by the rear camera 3 is referred to as a “rear camera captured image”. FIG. 3A shows an example of an image taken by the rear camera.

図2に示すように、右サイドカメラ4Rは、車両の後方に対して、後方に向かうに従って右側に向かうように少しだけ傾いた方向を撮影方向(光軸の方向)として撮影を実行する。図2において、符号HRは、右サイドカメラ4Rの撮影範囲を模式的に示している。右サイドカメラ4Rは、標準レンズにより撮影を実行する撮影装置であり、その撮影範囲の水平画角は、リアカメラ撮影範囲HBの水平画角よりも小さい。以下、右サイドカメラ4Rの撮影範囲を「右サイドカメラ撮影範囲HR」という。 As shown in FIG. 2, the right-side camera 4R performs shooting with the direction slightly tilted toward the right side toward the rear of the vehicle as the shooting direction (direction of the optical axis). In FIG. 2, the reference numeral HR schematically indicates the shooting range of the right side camera 4R. The right side camera 4R is a shooting device that performs shooting with a standard lens, and the horizontal angle of view of the shooting range is smaller than the horizontal angle of view of the rear camera shooting range HB. Hereinafter, the shooting range of the right side camera 4R is referred to as "right side camera shooting range HR".

図2に示すように、右サイドカメラ4Rの撮影範囲には、車両の車体に遮蔽された死角範囲DHが形成される。死角範囲DHについては、車体が遮蔽物となり、風景が撮影されない。リアカメラ3のリアカメラ撮影範囲HBには、死角範囲DHが含まれている。つまり、リアカメラ3は、死角範囲DHの風景を撮影可能である。右サイドカメラ4Rは、所定の周期で撮影を実行して撮影画像を生成し、出力する。以下、右サイドカメラ4Rが生成し、出力する撮影画像を「右サイドカメラ撮影画像」という。 As shown in FIG. 2, a blind spot range DH shielded by the vehicle body is formed in the shooting range of the right side camera 4R. As for the blind spot range DH, the vehicle body becomes a shield and the scenery is not photographed. The rear camera shooting range HB of the rear camera 3 includes a blind spot range DH. That is, the rear camera 3 can capture a landscape in the blind spot range DH. The right side camera 4R executes shooting at a predetermined cycle to generate and output a shot image. Hereinafter, the captured image generated and output by the right side camera 4R is referred to as a “right side camera captured image”.

図3(B)は、図3(A)のリアカメラ撮影画像が生成されたときの環境と同じ環境で右サイドカメラ4Rが生成する右サイドカメラ撮影画像の一例を示す図である。図3(B)に示すように、右サイドカメラ撮影画像の左端部には、自車両の車体の画像JSrが記録された死角領域DRが形成されている。死角領域DRは、右サイドカメラ4Rの右サイドカメラ撮影範囲HRの死角範囲DH(図2参照)に対応する領域である。右サイドカメラ4Rは、車両の特定の位置に固定的に設けられるため、右サイドカメラ撮影画像の全領域における死角領域DRの態様(位置、形状)は一定である。 FIG. 3B is a diagram showing an example of an image captured by the right side camera generated by the right side camera 4R in the same environment as the environment captured by the rear camera of FIG. 3A. As shown in FIG. 3B, a blind spot region DR in which the image JSr of the vehicle body of the own vehicle is recorded is formed at the left end portion of the image taken by the right side camera. The blind spot area DR is an area corresponding to the blind spot range DH (see FIG. 2) of the right side camera shooting range HR of the right side camera 4R. Since the right side camera 4R is fixedly provided at a specific position of the vehicle, the mode (position, shape) of the blind spot region DR in the entire region of the image captured by the right side camera is constant.

左サイドカメラ4Lは、右サイドカメラ4Rと同一の性能の撮影装置であり、前部座席の左サイドドアに取り付けられた左サイドミラーMLに、右サイドカメラ4Rと同様の態様で設置されている。左サイドカメラ4Lは、所定の周期で撮影を実行して撮影画像を生成し、出力する。以下、左サイドカメラ4Lが生成し、出力する撮影画像を「左サイドカメラ撮影画像」という。 The left side camera 4L is a photographing device having the same performance as the right side camera 4R, and is installed in the left side mirror ML attached to the left side door of the front seat in the same manner as the right side camera 4R. .. The left side camera 4L executes shooting at a predetermined cycle to generate and output a shot image. Hereinafter, the captured image generated and output by the left side camera 4L is referred to as a “left side camera captured image”.

記憶装置5は、各種情報を記憶可能なメモリーを有する装置である。記憶装置5は、道路情報5aを記憶している。道路情報5aは、道路網の結節点を示すノードごとにノード情報を有し、ノードとノードとの間の道路区間を示すリンクごとにリンク情報を有する。リンク情報は、リンクIDの他、対応する道路の道幅や、道路が延びる方角、道路種別、両端の地図上の位置等を示す情報を含んでいる。特に本実施形態では、リンク情報は、対応する道路が坂道を含む場合、その坂道の上り始めの端部の地図上の位置(高度を含む)、および、上り終わりの端部の地図上の位置(高度を含む)を示す情報を含んでいる。坂道に係るリンク情報に基づいて、坂道は、上り始めの端部と、上り終わりの端部との間で延在する道路として認識できる。 The storage device 5 is a device having a memory capable of storing various information. The storage device 5 stores the road information 5a. The road information 5a has node information for each node indicating a node of the road network, and has link information for each link indicating a road section between the nodes. In addition to the link ID, the link information includes information indicating the width of the corresponding road, the direction in which the road extends, the road type, the positions on the map at both ends, and the like. In particular, in the present embodiment, when the corresponding road includes a slope, the link information includes the position on the map (including altitude) of the end of the slope at the beginning of the climb and the position on the map of the end of the slope at the end of the slope. Contains information indicating (including altitude). Based on the link information related to the slope, the slope can be recognized as a road extending between the end at the beginning of the climb and the end at the end of the climb.

自車位置検出装置6は、図示しないGPSユニット、ジャイロセンサー、加速度センサー、車速センサー等の各種センサーの検出値や、記憶装置5が記憶する道路情報5aに基づいて、既存の技術により自車両の現在位置(以下、「自車位置」という)を所定の周期で検出し、出力する。 The own vehicle position detection device 6 is based on the detection values of various sensors such as a GPS unit, a gyro sensor, an acceleration sensor, and a vehicle speed sensor (not shown) and the road information 5a stored in the storage device 5, based on the existing technology of the own vehicle. The current position (hereinafter referred to as "own vehicle position") is detected and output at a predetermined cycle.

図1に示すように、画像処理装置1は、機能構成として、撮影画像取得部10、相対傾斜道路態様検出部11、画像処理部12および表示制御部13を備えている。上記各機能ブロック10~13は、ハードウェア、DSP(Digital Signal Processor)、ソフトウェアの何れによっても構成することが可能である。例えばソフトウェアによって構成する場合、上記各機能ブロック10~13は、実際にはコンピュータのCPU、RAM、ROM等を備えて構成され、RAMやROM、ハードディスクまたは半導体メモリー等の記録媒体に記憶されたプログラムが動作することによって実現される。また、図1に示すように、画像処理装置1は、記憶手段として、ルックアップテーブル記憶部15を備えている。ルックアップテーブル記憶部15は、後述するように、各種ルックアップテーブルを記憶する。 As shown in FIG. 1, the image processing device 1 includes a captured image acquisition unit 10, a relative inclined road mode detection unit 11, an image processing unit 12, and a display control unit 13 as functional configurations. Each of the above functional blocks 10 to 13 can be configured by any of hardware, DSP (Digital Signal Processor), and software. For example, when configured by software, each of the above functional blocks 10 to 13 is actually configured to include a computer CPU, RAM, ROM, etc., and is a program stored in a recording medium such as RAM, ROM, hard disk, or semiconductor memory. Is realized by the operation of. Further, as shown in FIG. 1, the image processing device 1 includes a look-up table storage unit 15 as a storage means. The look-up table storage unit 15 stores various look-up tables, as will be described later.

撮影画像取得部10は、リアカメラ3からリアカメラ撮影画像を所定の周期で入力する。また、撮影画像取得部10は、右サイドカメラ4Rから右サイドカメラ撮影画像を所定の周期で入力する。また、撮影画像取得部10は、左サイドカメラ4Lから左サイドカメラ撮影画像を所定の周期で入力する。撮影画像取得部10は、リアカメラ撮影画像、右サイドカメラ撮影画像および左サイドカメラ撮影画像を所定の周期で画像処理部12に出力する。 The captured image acquisition unit 10 inputs images captured by the rear camera from the rear camera 3 at a predetermined cycle. Further, the captured image acquisition unit 10 inputs images captured by the right side camera from the right side camera 4R at a predetermined cycle. Further, the captured image acquisition unit 10 inputs images captured by the left side camera from the left side camera 4L at a predetermined cycle. The captured image acquisition unit 10 outputs the rear camera captured image, the right side camera captured image, and the left side camera captured image to the image processing unit 12 at a predetermined cycle.

相対傾斜道路態様検出部11は、自車両の後方に相対傾斜道路が存在するか否かを所定の周期で検出する。相対傾斜道路態様検出部11は、自車両の後方に相対傾斜道路が存在する場合には、その相対傾斜道路の態様を検出する。相対傾斜道路とは、自車両が現在走行している路面を水平面としたときに、自車両から後方に向かって、その水平面に対して上り坂または下り坂となっている道路を意味する。図4の各図は、相対傾斜道路の例を示している。図4(A)の道路D1、図4(B)の道路D2および図4(C)の道路D3はそれぞれ、相対傾斜道路である。以下、相対傾斜道路態様検出部11の処理について詳述する。 The relative inclined road mode detection unit 11 detects whether or not a relative inclined road exists behind the own vehicle at a predetermined cycle. When the relative inclined road exists behind the own vehicle, the relative inclined road aspect detection unit 11 detects the aspect of the relative inclined road. The relative slope road means a road that is uphill or downhill with respect to the horizontal plane from the own vehicle toward the rear when the road surface on which the own vehicle is currently traveling is a horizontal plane. Each figure of FIG. 4 shows an example of a relative inclined road. The road D1 in FIG. 4A, the road D2 in FIG. 4B, and the road D3 in FIG. 4C are relative inclined roads, respectively. Hereinafter, the processing of the relative inclined road mode detection unit 11 will be described in detail.

相対傾斜道路態様検出部11は、自車両の後方に相対傾斜道路が存在するか否かの検出に関して、以下の処理を実行する。すなわち、相対傾斜道路態様検出部11は、自車両が走行している道路において、自車両の後方であって、自車両を中心とする所定範囲内に相対傾斜道路がある場合、自車両の後方に相対傾斜道路が存在すると判定し、ない場合は存在しないと判定する。所定範囲は、後述する合成画像を表示したときに、ユーザーが明確に相対傾斜道路を認識し得る程度に相対傾斜道路の画像が現れるかどうかという観点から事前に適切に定められる。 The relative inclined road mode detection unit 11 executes the following processing regarding the detection of whether or not the relative inclined road exists behind the own vehicle. That is, the relative inclined road mode detection unit 11 is behind the own vehicle on the road on which the own vehicle is traveling, and when the relative inclined road is within a predetermined range centered on the own vehicle, the relative inclined road mode detection unit 11 is behind the own vehicle. It is determined that the relative slope road exists in, and if it does not exist, it is determined that it does not exist. The predetermined range is appropriately determined in advance from the viewpoint of whether or not the image of the relative inclined road appears to the extent that the user can clearly recognize the relative inclined road when the composite image described later is displayed.

相対傾斜道路態様検出部11は、記憶装置5が記憶する道路情報5aおよび自車位置検出装置6により検出された自車位置に基づいて、自車両が走行する道路のリンクを特定し、特定したリンクのリンク情報を取得する。更に、相対傾斜道路態様検出部11は、自車両が走行する道路に後続する道路(後方に向かって連続する複数の道路であってもよい)のリンクを特定し、特定したリンクのリンク情報を取得する。そして、相対傾斜道路態様検出部11は、自車両が走行する道路のリンク情報、および、当該道路に後続する道路のリンク情報に基づいて、自車両が走行する道路と、後続する道路との相対的な位置関係および各道路の坂道の状況を認識し、所定範囲内に相対傾斜道路が存在するか否かを判定する。例えば、自車両が坂道を下り終えた直後(または上り終えた直後)から、自車両が直進するしばらくの期間は、自車両の後方に相対傾斜道路が存在する状況となる。 The relative inclined road mode detection unit 11 identifies and identifies the link of the road on which the own vehicle travels based on the road information 5a stored in the storage device 5 and the own vehicle position detected by the own vehicle position detection device 6. Get the link information of the link. Further, the relative inclined road mode detection unit 11 identifies a link of a road following the road on which the own vehicle travels (may be a plurality of continuous roads toward the rear), and obtains link information of the specified link. get. Then, the relative inclined road mode detection unit 11 is relative to the road on which the own vehicle travels and the following road based on the link information of the road on which the own vehicle travels and the link information of the road following the road. Recognize the positional relationship and the condition of the slope of each road, and determine whether or not there is a relative inclined road within a predetermined range. For example, there is a relative inclined road behind the own vehicle for a while from immediately after the own vehicle finishes descending the slope (or immediately after finishing climbing) to when the own vehicle goes straight.

また、相対傾斜道路態様検出部11は、相対傾斜道路の態様の検出について、以下の処理を実行する。すなわち、相対傾斜道路態様検出部11は、自車位置検出部11により検出された自車位置と、記憶装置5が記憶する道路情報5aとに基づいて、相対傾斜道路を含む道路のリンクを特定し、特定したリンクのリンク情報を取得する。次いで、相対傾斜道路態様検出部11は、取得したリンク情報に基づいて、「相対傾斜道路の始端の地図上の位置(高度を含む)」および「相対傾斜道路の終端の地図上の位置(高度を含む)」を認識する。相対傾斜道路の始端は、相対傾斜道路の両端のうち自車両に近い側の端を意味し、相対傾斜道路の終端は、自車両から遠い側の端を意味する。なお、図4(B)に示すように、自車両が坂道を上っており、坂道を有さない道路が相対傾斜道路となっている場合、相対傾斜道路態様検出部11は、相対傾斜道路に相当する道路の端のうち、自車両から遠い側の端(図4(B)の端ST)を、相対傾斜道路の終端とする。 Further, the relative inclined road aspect detection unit 11 executes the following processing for detecting the aspect of the relative inclined road. That is, the relative inclined road mode detection unit 11 specifies the link of the road including the relative inclined road based on the own vehicle position detected by the own vehicle position detection unit 11 and the road information 5a stored in the storage device 5. And get the link information of the specified link. Next, the relative slope road mode detection unit 11 is based on the acquired link information, "position on the map at the beginning of the relative slope road (including altitude)" and "position on the map at the end of the relative slope road (altitude). ) ”Is recognized. The start end of the relative sloping road means the end of both ends of the relative sloping road on the side closer to the own vehicle, and the end of the relative sloping road means the end on the side far from the own vehicle. As shown in FIG. 4B, when the own vehicle is climbing a slope and the road having no slope is a relative slope road, the relative slope road mode detection unit 11 is a relative slope road. Of the road ends corresponding to the above, the end far from the own vehicle (end ST in FIG. 4B) is defined as the end of the relative inclined road.

相対傾斜道路の始端の位置、および、相対傾斜道路の終端の位置により、相対傾斜道路の始端から終端に至るまでの形状は定まる。これを踏まえ、本実施形態では、相対傾斜道路の始端の位置、および、相対傾斜道路の終端を認識することが、相対傾斜道路の態様を検出することに相当する。 The shape from the start to the end of the relative slope is determined by the position of the start of the relative slope and the position of the end of the relative slope. Based on this, in the present embodiment, recognizing the position of the start end of the relative inclined road and the end of the relative inclined road corresponds to detecting the aspect of the relative inclined road.

なお、相対傾斜道路の態様が、相対傾斜道路の始端および終端の位置によって特定されるのではなく、相対傾斜道路の傾斜角度や、相対傾斜道路の高さ(始端の高度と終端の高度との差)等用いて特定される構成でもよい。また、相対傾斜道路態様検出部11が相対傾斜道路の態様を検出する方法は、例示した方法に限られない。 It should be noted that the mode of the relative inclined road is not specified by the positions of the start and end of the relative inclined road, but the inclination angle of the relative inclined road and the height of the relative inclined road (the altitude of the beginning and the altitude of the end). The configuration may be specified by using (difference) or the like. Further, the method in which the relative inclined road aspect detection unit 11 detects the aspect of the relative inclined road is not limited to the exemplified method.

例えば、以下の構成でもよい。すなわち、走行軌跡情報が記憶装置5に記憶される。走行軌跡情報は、高度も加味した3次元座標系で、所定の周期毎の自車両の位置がプロットされた情報である。走行軌跡情報は、自車両の走行に応じて随時更新される。そして、相対傾斜道路態様検出部11は、車両の走行軌跡に沿って道路の面が形成されているものとして、走行軌跡情報を分析し、相対傾斜道路の態様を検出する。なお、この場合、自車両の後方に相対傾斜道路が存在するか否かの検出についても、走行軌跡情報に基づいて行われる構成でもよい。 For example, the following configuration may be used. That is, the traveling locus information is stored in the storage device 5. The traveling locus information is information in which the position of the own vehicle is plotted for each predetermined cycle in a three-dimensional coordinate system including altitude. The travel locus information is updated at any time according to the travel of the own vehicle. Then, the relative inclined road mode detection unit 11 analyzes the traveling locus information and detects the aspect of the relative inclined road, assuming that the surface of the road is formed along the traveling locus of the vehicle. In this case, the detection of whether or not a relative inclined road exists behind the own vehicle may also be performed based on the travel locus information.

この他、自車両の後方における相対傾斜道路の有無および相対傾斜道路の態様の検出に際し、リアカメラ撮影画像およびサイドカメラ撮影画像の少なくとも一方を分析し、分析結果を利用するようにしてもよい。その他、リアカメラ3およびサイドカメラ4R,4L以外のカメラや、レーダー装置等の他の装置を利用して当該検出を行う構成でもよい。 In addition, at least one of the image taken by the rear camera and the image taken by the side camera may be analyzed and the analysis result may be used when detecting the presence or absence of the relative inclined road behind the own vehicle and the mode of the relative inclined road. In addition, a camera other than the rear camera 3 and the side cameras 4R and 4L, and other devices such as a radar device may be used to perform the detection.

画像処理部12は、撮影画像取得部10から所定の周期でリアカメラ撮影画像およびサイドカメラ撮影画像を入力する度に、入力する撮影画像に基づいて合成画像生成処理を実行する。合成画像生成処理に関し、画像処理部12は、相対傾斜道路態様検出部11により自車両の後方に相対傾斜道路が存在しないと判定されている場合と存在すると判定されている場合とで異なる処理を実行する。以下、右サイドカメラ4Rの右サイドカメラ撮影画像およびリアカメラ3のリアカメラ撮影画像に基づいて、右側合成画像(合成画像)を生成する場合を例にして合成画像生成処理について詳述する。なお、画像処理部12は、右側合成画像の生成と並行して、左サイドカメラ撮影画像およびリアカメラ撮影画像に基づいて左側合成画像を生成する。 The image processing unit 12 executes a composite image generation process based on the input captured image each time the rear camera captured image and the side camera captured image are input from the captured image acquisition unit 10 at a predetermined cycle. Regarding the composite image generation processing, the image processing unit 12 performs different processing depending on whether the relative inclined road is determined not to exist behind the own vehicle by the relative inclined road mode detection unit 11 and the case where it is determined to exist. Execute. Hereinafter, the composite image generation process will be described in detail by taking as an example the case of generating a right composite image (composite image) based on the image captured by the right side camera of the right side camera 4R and the image captured by the rear camera of the rear camera 3. The image processing unit 12 generates a left composite image based on the left side camera captured image and the rear camera captured image in parallel with the generation of the right composite image.

<自車両の後方に相対傾斜道路が存在しないと判定されている場合>
相対傾斜道路態様検出部11により自車両の後方に相対傾斜道路が存在しないと判定されている場合、合成画像生成処理において、まず、画像処理部12は、ルックアップテーブル記憶部15に記憶された右側ルックアップテーブルを用いて、撮影画像取得部10から入力したリアカメラ撮影画像を補完画像に変換する。
<When it is determined that there is no relative slope behind the vehicle>
When it is determined by the relative inclined road mode detection unit 11 that the relative inclined road does not exist behind the own vehicle, the image processing unit 12 is first stored in the look-up table storage unit 15 in the composite image generation processing. Using the right look-up table, the image captured by the rear camera input from the captured image acquisition unit 10 is converted into a complementary image.

右側ルックアップテーブルとは、リアカメラ撮影画像を、「右側仮想カメラが、車体を透過した状態で死角範囲DHを仮想的に撮影することによって生成される撮影画像(=補完画像)」に変換するために用いられるマッピングテーブルである。右側仮想カメラとは、右サイドカメラ4Rと同じ撮影方向、撮影範囲の仮想的な撮影装置のことであり、所定の撮影画像を、右サイドカメラ4Rの視点に視点変換する際に概念的に用いられる。 The right look-up table converts the image taken by the rear camera into "a shot image (= complementary image) generated by the virtual camera on the right side virtually shooting the blind spot range DH while passing through the vehicle body". It is a mapping table used for. The right-hand virtual camera is a virtual shooting device having the same shooting direction and shooting range as the right-side camera 4R, and is conceptually used when converting a predetermined shot image to the viewpoint of the right-side camera 4R. Be done.

右側ルックアップテーブルは、右側仮想カメラの仮想的な撮影画像の死角領域DRを構成する全てのドットのドット位置と、リアカメラ撮影画像の対応する各ドットのドット位置とが一対一で対応付けられた対応関係情報を有する。なお、上述したように、右サイドカメラ撮影画像の全領域における死角領域DRの態様(位置、形状)は一定であり、右側仮想カメラの仮想的な撮影画像の死角領域DRを構成する全てのドットのドット位置は事前に特定されている。 In the right look-up table, the dot positions of all the dots constituting the blind spot area DR of the virtual captured image of the right virtual camera are associated with the dot positions of the corresponding dots of the rear camera captured image on a one-to-one basis. It has correspondence information. As described above, the mode (position, shape) of the blind spot region DR in the entire region of the image captured by the right side camera is constant, and all the dots constituting the blind spot region DR of the virtual captured image of the right virtual camera. The dot position of is specified in advance.

右側ルックアップテーブルの対応関係情報は、リアカメラ3の視点を右側仮想カメラの視点に変換するという観点の下、車両座標系におけるリアカメラ3および右側仮想カメラの配置位置および配置角度、リアカメラ3の仕様(投影方法や、画角、ディストーション(レンズの歪み)、解像度等)、右側仮想カメラの仕様、視点変換に用いる投影面の態様、その他の要素を反映して事前に適切に設定されている。なお、本実施形態では、自車両の後方に相対傾斜道路が存在しない場合に用いられる右側ルックアップテーブルにおいて、投影面は、路面に対応する投影面と、この路面投影面に対して垂直に起立し、リアカメラ3の光学原点から所定の位置に設けられた投影面とにより構成される。 The correspondence information of the right lookup table is the arrangement position and angle of the rear camera 3 and the right virtual camera in the vehicle coordinate system, and the rear camera 3 from the viewpoint of converting the viewpoint of the rear camera 3 into the viewpoint of the right virtual camera. Specifications (projection method, angle of view, distortion (lens distortion), resolution, etc.), specifications of the right virtual camera, aspect of the projection surface used for viewpoint conversion, and other factors are reflected and set appropriately in advance. There is. In the present embodiment, in the right look-up table used when there is no relative inclined road behind the own vehicle, the projection surface stands upright with respect to the projection surface corresponding to the road surface and the road surface projection surface. It is composed of a projection surface provided at a predetermined position from the optical origin of the rear camera 3.

画像処理部12は、右側ルックアップテーブルを用いて、右側仮想カメラの仮想的な撮影画像の死角領域DRを構成するドットの画素値が、リアカメラ撮影画像の対応するドットの画素値によって置き換えられた補完画像を生成する。補完画像の生成後、画像処理部12は、右サイドカメラ撮影画像の死角領域DRに、補完画像を合成し、右側合成画像を生成する。 Using the right lookup table, the image processing unit 12 replaces the pixel values of the dots constituting the blind spot region DR of the virtual captured image of the right virtual camera with the pixel values of the corresponding dots of the rear camera captured image. Generate a complementary image. After the complementary image is generated, the image processing unit 12 synthesizes the complementary image with the blind spot region DR of the image captured by the right side camera, and generates the right composite image.

図5は、自車両の後方に相対傾斜道路が存在しない場合に、図3(A)のリアカメラ撮影画像、および、図3(B)の右サイドカメラ撮影画像に基づいて生成される右側合成画像を示している。なお、図5では、右サイドカメラ撮影画像と補完画像との境界に破線を引いているが、この破線は、実際には表示されない。図5と図3(B)との比較で明らかな通り、右側合成画像では、死角領域DRがリアカメラ撮影画像に基づいて生成された補完画像によって補われ、これにより死角範囲DHの風景が表示された状態となる。 FIG. 5 shows a right-side composition generated based on the image taken by the rear camera of FIG. 3 (A) and the image taken by the right side camera of FIG. 3 (B) when there is no relative inclined road behind the own vehicle. The image is shown. In FIG. 5, a broken line is drawn at the boundary between the image taken by the right side camera and the complementary image, but this broken line is not actually displayed. As is clear from the comparison between FIGS. 5 and 3 (B), in the right composite image, the blind spot region DR is supplemented by the complementary image generated based on the image taken by the rear camera, thereby displaying the landscape of the blind spot range DH. It will be in the state of being done.

<自車両の後方に相対傾斜道路が存在すると判定されている場合>
相対傾斜道路態様検出部11により自車両の後方に相対傾斜道路が存在すると判定されている場合、合成画像処理において、まず、画像処理部12は、リアカメラ撮影画像を右側仮想カメラの視点に視点変換(画像変換)するときに用いる投影面を設定する。
<When it is determined that there is a relative inclined road behind the own vehicle>
When it is determined by the relative inclined road mode detection unit 11 that a relative inclined road exists behind the own vehicle, in the composite image processing, first, the image processing unit 12 views the image captured by the rear camera from the viewpoint of the right virtual camera. Set the projection plane used for conversion (image conversion).

図6(A)は、自車両と相対傾斜道路との位置関係において設定される投影面を示す図である。図6(A)では、自車両の後方に、自車両の後方に向かって上り坂となっている相対傾斜道路が存在している。 FIG. 6A is a diagram showing a projection plane set in the positional relationship between the own vehicle and the relative inclined road. In FIG. 6A, there is a relative inclined road behind the own vehicle, which is an uphill toward the rear of the own vehicle.

図6(A)の例の場合、画像処理部12は、相対傾斜道路の始端の位置P1から自車両が走行する路面に対して垂直に下方に向かって延在する第1投影面TM1と、相対傾斜道路に沿って始端の位置P1から終端の位置P2に至るまで傾斜角度αだけ傾いた状態で延在する第2投影面TM2と、終端の位置P2から上記路面に対して垂直に上方に向かって延在する第3投影面TM3とにより構成される投影面を設定する。以下、自車両の後方に相対傾斜道路が存在すると判定されている場合に設定される投影面(第1投影面TM1、第2投影面TM2および第3投影面TM3により構成される投影面)を「設定投影面」という。 In the case of the example of FIG. 6A, the image processing unit 12 has a first projection surface TM1 extending downward from the position P1 of the starting end of the relative inclined road perpendicular to the road surface on which the own vehicle travels. The second projection surface TM2 extending in a state of being tilted by the inclination angle α from the start position P1 to the end position P2 along the relative inclined road, and vertically upward from the end position P2 with respect to the road surface. A projection plane composed of a third projection plane TM3 extending toward the screen is set. Hereinafter, the projection plane (projection plane composed of the first projection plane TM1, the second projection plane TM2, and the third projection plane TM3) set when it is determined that the relative inclined road exists behind the own vehicle is shown. It is called "set projection plane".

なお、画像処理部12は、自車位置検出部11により検出された自車位置と、相対傾斜道路態様検出部11の検出結果とに基づいて、始端の位置P1および終端の位置P2を、自車両に対する相対的な位置として認識する。また、画像処理部12は、始端の位置P1および終端の位置P2を、自車両の前後方向に対して直行する方向に延びる線分状の位置として認識する。また、画像処理部12は、第2投影面TM2を、始端の位置P1から終点の位置P2に至るまで、傾斜角度αで傾く平面状の投影面として設定する。 The image processing unit 12 sets the start position P1 and the end position P2 based on the own vehicle position detected by the own vehicle position detection unit 11 and the detection result of the relative inclined road mode detection unit 11. Recognize as a relative position to the vehicle. Further, the image processing unit 12 recognizes the start position P1 and the end position P2 as line segment-like positions extending in a direction orthogonal to the front-rear direction of the own vehicle. Further, the image processing unit 12 sets the second projection surface TM2 as a planar projection surface that is tilted at an inclination angle α from the start position P1 to the end point position P2.

設定投影面の設定後、画像処理部12は、相対傾斜道路用ルックアップテーブルを生成する。相対傾斜道路用ルックアップテーブルは、右側ルックアップテーブルと同様、リアカメラ撮影画像を、「右側仮想カメラが、車体を透過した状態で死角範囲DHを仮想的に撮影することによって生成される撮影画像(=補完画像)」に変換するために用いられるマッピングテーブルである。特に、相対傾斜道路用ルックアップテーブルは、視点変換に用いる投影面が、設定投影面とされる。つまり、相対傾斜道路用ルックアップテーブルは、車両座標系におけるリアカメラ3の配置位置および配置角度と右側仮想カメラの配置位置および配置角度との相違を反映して、「設定投影面」を用いてリアカメラ3の視点を右側仮想カメラの視点に変更するためのマッピングテーブルである。相対傾斜道路用ルックアップテーブルでは、右側仮想カメラの仮想的な撮影画像の死角領域DRを構成する全てのドットのドット位置と、リアカメラ撮影画像の対応する各ドットのドット位置とが一対一で対応付けられている。 After setting the setting projection plane, the image processing unit 12 generates a look-up table for a relative inclined road. Similar to the right look-up table, the look-up table for the relative sloping road captures the image taken by the rear camera. (= Complementary image) ”is a mapping table used for conversion. In particular, in the look-up table for relative inclined roads, the projection plane used for viewpoint conversion is set as the set projection plane. That is, the lookup table for the relative inclined road uses the "set projection plane" to reflect the difference between the arrangement position and the arrangement angle of the rear camera 3 in the vehicle coordinate system and the arrangement position and the arrangement angle of the right virtual camera. This is a mapping table for changing the viewpoint of the rear camera 3 to the viewpoint of the virtual camera on the right side. In the look-up table for relative inclined roads, the dot positions of all the dots constituting the blind spot area DR of the virtual captured image of the right virtual camera and the dot positions of the corresponding dots of the corresponding dot of the rear camera captured image are one-to-one. It is associated.

以下、相対傾斜道路用ルックアップテーブルを生成する処理について詳述する。ここで、本実施形態に係るルックアップテーブル記憶部15は、異なる複数の「垂直投影面」の距離に対応する複数の右側特定ルックアップテーブルを記憶している。右側特定ルックアップテーブルは、リアカメラ撮影画像を、「右側仮想カメラが、車体を透過した状態で死角範囲DHを仮想的に撮影することによって生成される撮影画像(=補完画像)」に変換するために用いられるマッピングテーブルであり、右側仮想カメラの仮想的な撮影画像の死角領域DRを構成する全てのドットのドット位置と、リアカメラ撮影画像の対応する各ドットのドット位置とが一対一で対応付けられた対応関係情報を有する。 Hereinafter, the process of generating the look-up table for the relative inclined road will be described in detail. Here, the look-up table storage unit 15 according to the present embodiment stores a plurality of right-side specific look-up tables corresponding to the distances of a plurality of different "vertical projection planes". The right side specific lookup table converts the image taken by the rear camera into "a picture taken by the right virtual camera virtually taking a blind spot range DH while passing through the vehicle body (= complementary image)". It is a mapping table used for this purpose, and the dot positions of all the dots constituting the blind spot area DR of the virtual captured image of the right virtual camera and the dot positions of the corresponding dots of the corresponding dot of the rear camera captured image are one-to-one. It has the associated correspondence information.

特に、本実施形態では、右側特定ルックアップテーブルのそれぞれは、リアカメラ3の視点から右側仮想カメラの視点への視点変換に用いられる垂直投影面の距離が異なっている。図7は、垂直投影面を説明するため、自車両と後続車両とを横から見た様子を模式的に示す図である。図7に示すように、垂直投影面は、路面に対応する水平面に対して垂直に立ち上がった投影面のことを意味する。また、垂直投影面の距離は、リアカメラ3の光学原点から垂直投影面までの距離を意味する。 In particular, in the present embodiment, the distances of the vertical projection planes used for the viewpoint conversion from the viewpoint of the rear camera 3 to the viewpoint of the right virtual camera are different for each of the right side specific look-up tables. FIG. 7 is a diagram schematically showing a state in which the own vehicle and the following vehicle are viewed from the side in order to explain the vertical projection plane. As shown in FIG. 7, the vertical projection plane means a projection plane that rises perpendicular to the horizontal plane corresponding to the road surface. Further, the distance of the vertical projection plane means the distance from the optical origin of the rear camera 3 to the vertical projection plane.

本実施形態では、視点変換に用いられる垂直投影面の距離が「0.5メートル」、「1メートル」、「2メートル」、「3メートル」、「4メートル」、「5メートル」、「7メートル」、「10メートル」、「20メートル」、「30メートル」の右側特定ルックアップテーブルがルックアップテーブル記憶部15に記憶されている。 In this embodiment, the distances of the vertical projection planes used for viewpoint conversion are "0.5 meters", "1 meter", "2 meters", "3 meters", "4 meters", "5 meters", and "7". The right side specific lookup table of "meter", "10 meters", "20 meters", and "30 meters" is stored in the lookup table storage unit 15.

相対傾斜道路用ルックアップテーブルの生成に際し、画像処理部12は、右側仮想カメラの仮想的な撮影画像の死角領域を構成するドットラインごとに以下の処理を行ってドットライン対応関係情報を生成する。ドットラインとは、左右方向に延びる1行分のドットのラインを意味する。図8(A)は、右側仮想カメラの仮想的な撮影画像、および、当該画像における死角領域DRを示す図である。以下、自車両と相対傾斜道路との関係が図6(A)に示す状態であるものとして、死角領域DRを構成するドットラインのうち、ある1つのドットラインL1(図8(A)参照)について画像処理部12が実行する処理を説明する。 When generating the look-up table for the relative inclined road, the image processing unit 12 performs the following processing for each dot line constituting the blind spot area of the virtual captured image of the right virtual camera to generate the dot line correspondence information. .. The dot line means a line of dots extending in the left-right direction for one line. FIG. 8A is a diagram showing a virtual captured image of the right virtual camera and a blind spot region DR in the image. Hereinafter, assuming that the relationship between the own vehicle and the relative inclined road is in the state shown in FIG. 6A, one dot line L1 among the dot lines constituting the blind spot region DR (see FIG. 8A). The processing executed by the image processing unit 12 will be described.

まず、画像処理部12は、設定投影面(第1投影面TM1+第2投影面TM2+第3投影面TM3)において、ドットラインL1に対応するポイントX1(図6(A)参照)を特定する。次いで、画像処理部12は、ポイントX1における投影面の距離(=リアカメラ3の光学原点からポイントX1までの距離)を算出する。画像処理部12は、自車両に対する相対傾斜道路の相対的な形状に基づいて、ポイントX1における投影面の距離を算出する。図6の例では、ポイントX1における投影面の距離は、「4.25メートル」であるものとする。 First, the image processing unit 12 specifies a point X1 (see FIG. 6A) corresponding to the dot line L1 on the set projection plane (first projection plane TM1 + second projection plane TM2 + third projection plane TM3). Next, the image processing unit 12 calculates the distance of the projection surface at the point X1 (= the distance from the optical origin of the rear camera 3 to the point X1). The image processing unit 12 calculates the distance of the projection plane at the point X1 based on the relative shape of the road relative to the own vehicle. In the example of FIG. 6, the distance of the projection plane at the point X1 is assumed to be "4.25 meters".

次いで、画像処理部12は、ドットラインL1に含まれる全てのドットについて、各ドットのドット位置と、リアカメラ撮影画像の対応する各ドットのドット位置との対応関係が定義されたドットライン対応関係情報を生成する。 Next, the image processing unit 12 defines a dot line correspondence relationship in which the correspondence relationship between the dot position of each dot and the dot position of each corresponding dot in the image captured by the rear camera is defined for all the dots included in the dot line L1. Generate information.

ドットラインL1についてのドットライン対応関係情報を算出する処理について詳述する。上述の通り、ドットラインL1に対応するポイントX1の投影面の距離は「4.25メートル」である。この場合において、まず、画像処理部12は、右側特定ルックアップテーブルのうち、垂直投影面の距離が、ポイントX1の投影面の距離よりも小さく、ポイントX1の投影面の距離に最も近い距離である右側特定ルックアップテーブルを特定する。本例では、ポイントX1の投影面の距離は「4.25メートル」であるため、画像処理部12は、垂直投影面の距離が「4メートル」の右側特定ルックアップテーブルを特定する。以下、ここで特定された右側特定ルックアップテーブルを「小側ルックアップテーブル」という。 The process of calculating the dot line correspondence information for the dot line L1 will be described in detail. As described above, the distance of the projection plane of the point X1 corresponding to the dot line L1 is "4.25 meters". In this case, first, in the right side specific look-up table, the image processing unit 12 has the distance of the vertical projection plane smaller than the distance of the projection plane of the point X1 and the distance closest to the distance of the projection plane of the point X1. Identify a specific lookup table on the right side. In this example, since the distance of the projection plane of the point X1 is "4.25 meters", the image processing unit 12 specifies the right side specific look-up table in which the distance of the vertical projection plane is "4 meters". Hereinafter, the right-side specific look-up table specified here is referred to as a "small-side lookup table".

次いで、画像処理部12は、右側特定ルックアップテーブルのうち、垂直投影面の距離が、ポイントX1の投影面の距離よりも大きく、ポイントX1の投影面の距離に最も近い距離である右側ルックアップテーブルを特定する。本例では、ポイントX1の投影面の距離は「4.25メートル」であるため、画像処理部12は、垂直投影面の距離が「5メートル」の右側特定ルックアップテーブルを特定する。以下、ここで特定された右側特定ルックアップテーブルを「大側ルックアップテーブル」という。 Next, the image processing unit 12 looks up on the right side of the right side specific lookup table, in which the distance of the vertical projection plane is larger than the distance of the projection plane of the point X1 and is the closest distance to the distance of the projection plane of the point X1. Identify the table. In this example, since the distance of the projection plane of the point X1 is "4.25 meters", the image processing unit 12 specifies the right side specific look-up table in which the distance of the vertical projection plane is "5 meters". Hereinafter, the right-side specific lookup table specified here is referred to as a "large-side lookup table".

更に、画像処理部12は、小側ルックアップテーブルに係る垂直投影面の距離およびドットラインL1に対応するポイントX1の投影面の距離の差S1(絶対値)と、大側ルックアップテーブルに係る垂直投影面の距離およびドットラインL1に対応するポイントX1の投影面の距離の差S2(絶対値)との比を算出する。本例では、「差S1:差S2」=「1:3」である。 Further, the image processing unit 12 relates to the difference S1 (absolute value) between the distance of the vertical projection surface related to the small side lookup table and the distance of the projection surface of the point X1 corresponding to the dot line L1 and the large side lookup table. The ratio between the distance of the vertical projection surface and the difference S2 (absolute value) of the distance of the projection surface of the point X1 corresponding to the dot line L1 is calculated. In this example, "difference S1: difference S2" = "1: 3".

「差S1:差S2」を算出した後、画像処理部12は、小側ルックアップテーブルのドットライン対応関係情報に対する反映度と、大側ルックアップテーブルのドットライン対応関係情報に対する反映度との比が、「差S2:差S1」となるように、各テーブルを加工してドットライン対応関係情報を生成する。ドットライン対応関係情報は、ドットラインL1に含まれる全てのドットのドット位置と、リアカメラ撮影画像の対応する各ドットのドット位置とが一対一で対応付けられた情報である。 After calculating "difference S1: difference S2", the image processing unit 12 determines the degree of reflection of the small side lookup table on the dot line correspondence information and the degree of reflection of the large side lookup table on the dot line correspondence information. Each table is processed to generate dot line correspondence information so that the ratio is "difference S2: difference S1". The dot line correspondence information is information in which the dot positions of all the dots included in the dot line L1 and the dot positions of the corresponding dots of the image captured by the rear camera are associated one-to-one.

ドットライン対応関係情報を生成する際に、ドットラインL1のある特定のドット(「特定ドットDX」とする)について、リアカメラ撮影画像の対応するドット(「対応ドットDQ」とする)を特定する処理を、図8(A)および図8(B)を用いて詳述する。図8(B)は、所定の座標系に展開したリアカメラ撮影画像の領域を模式的に示している。 When generating the dot line correspondence information, the corresponding dot (referred to as “corresponding dot DQ”) of the image taken by the rear camera is specified for a specific dot (referred to as “specific dot DX”) of the dot line L1. The process will be described in detail with reference to FIGS. 8 (A) and 8 (B). FIG. 8B schematically shows a region of a rear camera photographed image developed in a predetermined coordinate system.

図8(B)において、符号DYのドット(「小側ドットDY」とする)は、小側ルックアップテーブルにおいて、特定ドットDXと対応付けられているドットである。また、図8(B)において、符号DZのドット(「大側ドットDZ」とする)は、大側ルックアップテーブルにおいて、特定ドットDXと対応付けられているドットである。以上の状況の下、画像処理部12は、リアカメラ撮影画像において、小側ドットDYと大側ドットDZを結ぶ線分において、以下の式SK1を満たすドットを対応ドットDQとする。
[式SK1] 小側ドットDYからの距離:大側ドットDZからの距離=差S1:差S2
このようにして特定される対応ドットDQは、「小側ルックアップテーブルの反映度:大側ルックアップテーブルの反映度」=「差S2:差S1」となる。なお、ドットライン対応関係情報を生成する方法は、本実施形態で例示する方法に限られない。ドットラインに対応する投影面の位置が適切に反映されて生成されればよい。
In FIG. 8B, the dots having the reference numeral DY (referred to as “small side dot DY”) are dots associated with the specific dot DX in the small side lookup table. Further, in FIG. 8B, the dots having the reference numeral DZ (referred to as “large side dot DZ”) are dots associated with the specific dot DX in the large side lookup table. Under the above circumstances, the image processing unit 12 sets a dot satisfying the following formula SK1 as a corresponding dot DQ in the line segment connecting the small side dot DY and the large side dot DZ in the image captured by the rear camera.
[Equation SK1] Distance from the small dot DY: Distance from the large dot DZ = difference S1: difference S2
The corresponding dot DQ specified in this way is "reflection degree of the small side lookup table: reflection degree of the large side lookup table" = "difference S2: difference S1". The method for generating dot line correspondence information is not limited to the method exemplified in this embodiment. It suffices if the position of the projection plane corresponding to the dot line is appropriately reflected and generated.

画像処理部12は、画像処理部12は、右側仮想カメラの仮想的な撮影画像の死角領域DRを構成するドットラインごとにドットライン対応関係情報を生成する。ドットラインごとにドットライン対応関係情報を生成した後、画像処理部12は、全てのドットラインのドットライン対応関係情報に基づいて、相対傾斜道路用ルックアップテーブルを生成する。なお、相対傾斜道路用ルックアップテーブルを生成する方法は、本実施形態で例示する方法に限られない。相対傾斜道路用ルックアップテーブルは、設定投影面の態様が適切に反映されるように生成されればよい。 The image processing unit 12 generates dot line correspondence information for each dot line constituting the blind spot region DR of the virtual captured image of the right virtual camera. After generating the dot line correspondence information for each dot line, the image processing unit 12 generates a look-up table for the relative inclined road based on the dot line correspondence relation information of all the dot lines. The method of generating the look-up table for the relative inclined road is not limited to the method exemplified in this embodiment. The look-up table for the relative inclined road may be generated so as to appropriately reflect the aspect of the set projection plane.

画像処理部12は、相対傾斜道路用ルックアップテーブルを用いて、右側仮想カメラの仮想的な撮影画像の死角領域DRを構成するドットの画素値が、リアカメラ撮影画像の対応するドットの画素値によって置き換えられた補完画像を生成する。補完画像の生成後、画像処理部12は、右サイドカメラ撮影画像の死角領域DRに、補完画像を合成し、右側合成画像を生成する。 The image processing unit 12 uses a lookup table for a relative inclined road, and the pixel value of the dots constituting the blind spot region DR of the virtual captured image of the right virtual camera is the pixel value of the corresponding dot of the image captured by the rear camera. Generates a complementary image replaced by. After the complementary image is generated, the image processing unit 12 synthesizes the complementary image with the blind spot region DR of the image captured by the right side camera, and generates the right composite image.

図9(A)は、自車両の後方に相対傾斜道路が存在する場合に、合成画像生成処理によって生成される右側合成画像を示している。なお、図9(A)では、右サイドカメラ撮影画像と補完画像との境界(以下、単に「境界」という)に破線を引いているが、この破線は、実際には表示されない。図9(A)は、図6(A)の環境で生成された右サイドカメラ撮影画像およびリアカメラ撮影画像に基づいて生成される右側合成画像を示している。図9(A)において、符号GDは、相対傾斜道路の始端を表す画像であり、符号GUは、相対傾斜道路の終端を表す画像である。図9(A)に示すように、自車両の後方に相対傾斜道路が存在する場合も、存在しない場合と同様、右側合成画像では、死角領域DRがリアカメラ撮影画像に基づく補完画像によって補われ、死角範囲DHの風景が表示された状態となる。 FIG. 9A shows a right-side composite image generated by the composite image generation process when a relative inclined road exists behind the own vehicle. In FIG. 9A, a broken line is drawn at the boundary between the image captured by the right side camera and the complementary image (hereinafter, simply referred to as “boundary”), but this broken line is not actually displayed. 9 (A) shows a right-side composite image generated based on the right-side camera-captured image and the rear-camera-captured image generated in the environment of FIG. 6 (A). In FIG. 9A, the reference numeral GD is an image showing the start end of the relative inclined road, and the reference numeral GU is an image showing the end of the relative inclined road. As shown in FIG. 9A, even when the relative inclined road exists behind the own vehicle, the blind spot region DR is supplemented by the complementary image based on the image taken by the rear camera in the right composite image as in the case where the relative inclined road does not exist. , The scenery of the blind spot range DH is displayed.

また、図9(A)に示すように、右側合成画像では、境界において、相対傾斜道路の画像にズレが生じず、相対傾斜道路の画像の連続性が保たれた状態である。境界において相対傾斜道路の画像にズレが生じるとは、図9(B)に一例として示すように、境界の左右で、相対傾斜道路の終端を示す画像や、始端を示す画像等の相対傾斜道路の要素の画像に、ユーザーが違和感を覚える程度にズレが生じることを意味する。 Further, as shown in FIG. 9A, in the right composite image, the image of the relative inclined road is not displaced at the boundary, and the continuity of the image of the relative inclined road is maintained. As shown in FIG. 9B as an example, the fact that the image of the relative inclined road is displaced at the boundary is a relative inclined road such as an image showing the end of the relative inclined road and an image showing the beginning of the relative inclined road on the left and right of the boundary. It means that the image of the element of is misaligned to the extent that the user feels uncomfortable.

本実施形態で、合成画像の境界において、相対傾斜道路の画像にズレが生じず、相対傾斜道路の画像の連続性が保たれた状態となる理由は以下である。すなわち、本実施形態では、第2投影面TM2は、相対傾斜道路の始端から終端に至るまで相対傾斜道路に沿って延在する平面状の投影面であるため、始端および終端を含む相対傾斜道路の全域が、相対傾斜道路に沿った投影面上に位置する。つまり、相対傾斜道路に形成された要素(始端や、終端、相対傾斜道路に描画された道路標示等)は全て、相対傾斜道路に沿った投影面上に位置している。このため、「第2投影面TM2を含む設定投影面を用いた視点変換により生成された補完画像」が合成されて生成された合成画像において、相対傾斜道路の要素の画像の大きさおよび上下方向における位置は、補完画像と右サイドカメラ撮影画像とで基本的には一致し、相対傾斜道路に形成された要素の画像が境界を跨いでいる場合には、境界間でこれら画像のズレが生じない状態となる。 In the present embodiment, the reason why the image of the relative inclined road is not displaced at the boundary of the composite image and the continuity of the image of the relative inclined road is maintained is as follows. That is, in the present embodiment, since the second projection plane TM2 is a planar projection plane extending along the relative slope road from the start end to the end of the relative slope road, the relative slope road including the start end and the end. The entire area of is located on the projection plane along the relative sloping road. That is, all the elements formed on the relative slope road (starting end, end, road marking drawn on the relative slope road, etc.) are located on the projection plane along the relative slope road. Therefore, in the composite image generated by synthesizing the "complementary image generated by the viewpoint conversion using the set projection plane including the second projection plane TM2", the size and the vertical direction of the image of the element of the relative inclined road. The position in is basically the same between the complementary image and the image taken by the right side camera, and when the images of the elements formed on the relative sloping road straddle the boundary, the images are displaced between the boundaries. It will be in a non-existent state.

画像処理部12は、以上の合成画像生成処理を所定の周期で行って合成画像(右側合成画像および左側合成画像)を生成する。画像処理部12は、生成した合成画像を表示制御部13に出力する。 The image processing unit 12 performs the above composite image generation processing at a predetermined cycle to generate a composite image (right composite image and left composite image). The image processing unit 12 outputs the generated composite image to the display control unit 13.

表示制御部13は、所定の周期で画像処理部12から合成画像(右側合成画像および左側合成画像)を入力し、右側合成画像を右モニター2Rに表示し、左側合成画像を左モニター2Lに表示する。この結果、右モニター2Rには、リアカメラ3および右サイドカメラ4Rの撮影結果がリアルタイムに反映された動画として、車両の右サイドミラーMRを視認したときに確認できる風景と同等の風景が、右サイドミラーMRを視認したときには車体により遮蔽されて確認できない部分も含めて表示される。左モニター2Lについても同様である。 The display control unit 13 inputs a composite image (right composite image and left composite image) from the image processing unit 12 at a predetermined cycle, displays the right composite image on the right monitor 2R, and displays the left composite image on the left monitor 2L. do. As a result, on the right monitor 2R, the scenery equivalent to the scenery that can be confirmed when the right side mirror MR of the vehicle is visually recognized as a moving image in which the shooting results of the rear camera 3 and the right side camera 4R are reflected in real time is on the right. When the side mirror MR is visually recognized, it is displayed including the part that cannot be confirmed because it is shielded by the vehicle body. The same applies to the left monitor 2L.

次に、本実施形態に係る画像処理装置1の動作例についてフローチャートを用いて説明する。図10のフローチャートは、画像処理部12が、リアカメラ撮影画像および右サイドカメラ撮影画像に基づいて右側合成画像を生成するときの合成画像生成処理の詳細を示すフローチャートである。上述したように、画像処理装置1の画像処理部12は、所定の周期で合成画像生成処理を実行する。 Next, an operation example of the image processing apparatus 1 according to the present embodiment will be described with reference to a flowchart. The flowchart of FIG. 10 is a flowchart showing the details of the composite image generation processing when the image processing unit 12 generates the right composite image based on the rear camera captured image and the right side camera captured image. As described above, the image processing unit 12 of the image processing apparatus 1 executes the composite image generation processing at a predetermined cycle.

図10に示すように画像処理部12は、相対傾斜道路態様検出部11により自車両の後方に相対傾斜道路が存在しないと判定されたか、存在すると判定されたかを判定する(ステップSA1)。相対傾斜道路態様検出部11により自車両の後方に相対傾斜道路が存在しないと判定されている場合(ステップSA1:「存在しない」)、画像処理部12は、ルックアップテーブル記憶部15に記憶された右側ルックアップテーブルを用いて、撮影画像取得部10から入力したリアカメラ撮影画像を補完画像に変換する(ステップSA2)。画像処理部12は、ステップSA2で生成した補完画像を右サイドカメラ撮影画像の死角領域DRに合成し、右側合成画像を生成する(ステップSA3)。ステップSA3の処理後、画像処理部12は合成画像生成処理を終了する。 As shown in FIG. 10, the image processing unit 12 determines whether the relative inclined road is not present or is determined to exist behind the own vehicle by the relative inclined road mode detection unit 11 (step SA1). When it is determined by the relative inclined road mode detection unit 11 that the relative inclined road does not exist behind the own vehicle (step SA1: "does not exist"), the image processing unit 12 is stored in the look-up table storage unit 15. Using the right look-up table, the image captured by the rear camera input from the captured image acquisition unit 10 is converted into a complementary image (step SA2). The image processing unit 12 synthesizes the complementary image generated in step SA2 into the blind spot region DR of the image captured by the right side camera, and generates a right-side composite image (step SA3). After the processing of step SA3, the image processing unit 12 ends the composite image generation processing.

一方、相対傾斜道路態様検出部11により自車両の後方に相対傾斜道路が存在すると判定した場合(ステップSA1:「存在する」)、画像処理部12は、設定投影面を設定する(ステップSA4)。次いで、画像処理部12は、ステップSA4で設定した設定投影面を用いて視点変換を行う相対傾斜道路用ルックアップテーブルを生成する(ステップSA5)。次いで、画像処理部12は、ステップSA5で生成した相対傾斜道路用ルックアップテーブルを用いて補完画像を生成する(ステップSA6)。次いで、画像処理部12は、ステップSA6で生成した補完画像を右サイドカメラ撮影画像の死角領域DRに合成し、右側合成画像を生成する(ステップSA7)。ステップSA7の処理後、画像処理部12は合成画像生成処理を終了する。 On the other hand, when the relative inclined road mode detection unit 11 determines that the relative inclined road exists behind the own vehicle (step SA1: "exists"), the image processing unit 12 sets the set projection plane (step SA4). .. Next, the image processing unit 12 generates a look-up table for a relative inclined road that performs viewpoint conversion using the set projection plane set in step SA4 (step SA5). Next, the image processing unit 12 generates a complementary image using the look-up table for the relative inclined road generated in step SA5 (step SA6). Next, the image processing unit 12 synthesizes the complementary image generated in step SA6 into the blind spot region DR of the image captured by the right side camera, and generates a right-side composite image (step SA7). After the processing of step SA7, the image processing unit 12 ends the composite image generation processing.

以上、本発明の実施形態を説明したが、上記実施形態は、本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、または、その主要な特徴から逸脱することなく、様々な形で実施することができる。 Although the embodiments of the present invention have been described above, the above-described embodiments are merely examples of the embodiment of the present invention, whereby the technical scope of the present invention is limitedly interpreted. It should not be. That is, the present invention can be implemented in various forms without departing from its gist or its main features.

例えば、上記実施形態では、道路情報5aを外部の記憶装置5が記憶する構成であるが、これを画像処理装置1(自機)自体が記憶する構成としてもよい。また、記憶装置5は、自車両に設けられた装置(例えば、ナビゲーション装置に含まれる装置)であってもよく、ネットワークを介して通信可能な車外の装置(例えば、サーバー装置)であってもよい。 For example, in the above embodiment, the road information 5a is stored by the external storage device 5, but this may be stored by the image processing device 1 (own machine) itself. Further, the storage device 5 may be a device provided in the own vehicle (for example, a device included in the navigation device) or a device outside the vehicle (for example, a server device) capable of communicating via a network. good.

例えば、上記実施形態では、図6(A)に示すように、第1投影面TM1は、位置P1から垂直下方に延在する投影面であり、第3投影面TM3は位置P2から垂直情報に延在する投影面であった。この点に関し、図6(B)に示すように、第1投影面TM1を自車両が走行する路面に沿って延在する投影面とし、また、第3投影面TM3を位置P2よりも後方(例えば、無限遠に相当する位置)に位置する投影面としてもよい。 For example, in the above embodiment, as shown in FIG. 6A, the first projection plane TM1 is a projection plane extending vertically downward from the position P1, and the third projection plane TM3 is vertically information from the position P2. It was an extending projection plane. In this regard, as shown in FIG. 6B, the first projection surface TM1 is a projection surface extending along the road surface on which the own vehicle travels, and the third projection surface TM3 is behind the position P2 ( For example, it may be a projection plane located at a position corresponding to infinity).

また、上記実施形態では、第2投影面TM2は、位置P1から傾斜角度αで傾斜する平らな面という単純な形状であったが、第2投影面TM2の形状は上記実施形態で例示した形状に限らない。第2投影面TM2の形状が車両の進行方向に対して傾いたり、部分的に傾斜角度が異なるような複雑な形状の場合、例えば、第2投影面TM2を、所定の3次元座標系のポリゴンデータ(第2投影面を3次元座標権のドットの集合として表すデータ)とすることにより、第2投影面TM2の形状を適切に定義することが可能である。 Further, in the above embodiment, the second projection surface TM2 has a simple shape of a flat surface inclined at an inclination angle α from the position P1, but the shape of the second projection surface TM2 is the shape exemplified in the above embodiment. Not limited to. When the shape of the second projection surface TM2 is inclined with respect to the traveling direction of the vehicle or the inclination angle is partially different, for example, the second projection surface TM2 is a polygon of a predetermined three-dimensional coordinate system. By using data (data representing the second projection surface as a set of dots having three-dimensional coordinate rights), it is possible to appropriately define the shape of the second projection surface TM2.

また、上記実施形態では、リアカメラ3が魚眼カメラにより構成され、サイドカメラ4R,RLが標準カメラにより構成されていたが、リアカメラ3やサイドカメラ4R,4Lをどのようなカメラにより構成するかは、実施形態の例に限定されない。 Further, in the above embodiment, the rear camera 3 is configured by a fisheye camera and the side cameras 4R and RL are configured by a standard camera, but the rear camera 3 and the side cameras 4R and 4L are configured by any camera. Is not limited to the example of the embodiment.

また、上記実施形態では、合成画像を表示する表示装置は、右モニター2Rおよび左モニター2Lであった。しかしながら、合成画像を表示する表示装置は、右モニター2Rおよび左モニター2Lに限らず、自車両のダッシュボードの中央やセンターコンソール等に設けられた表示パネルや、右サイドミラーMRおよび左サイドミラーMLに設けられた表示パネル、バックミラーに設けられた表示パネル等であってもよい。自車両のダッシュボードの中央やセンターコンソール等に設けられた表示パネルへの表示に際しては、ユーザーの指示に応じて、右側合成画像と左側合成画像との何れか一方を表示する構成でもよく、表示領域を分割し各画像を同時に表示する構成でもよい。表示装置は、携帯端末であってもよい。 Further, in the above embodiment, the display devices for displaying the composite image are the right monitor 2R and the left monitor 2L. However, the display device for displaying the composite image is not limited to the right monitor 2R and the left monitor 2L, but the display panel provided in the center of the dashboard of the own vehicle, the center console, or the like, the right side mirror MR, and the left side mirror ML. It may be a display panel provided in the rear-view mirror, a display panel provided in the rear-view mirror, or the like. When displaying on the display panel provided in the center of the dashboard of the own vehicle or in the center console, etc., either the right-side composite image or the left-side composite image may be displayed according to the user's instruction. The area may be divided and each image may be displayed at the same time. The display device may be a mobile terminal.

また、サイドカメラ4R,4Lの自車両における設置位置は、上記実施形態で例示した位置に限られない。例えば、サイドカメラ4R,4Lは、車両の側面であって、車両の前端に近い位置に設けられてもよい。 Further, the installation position of the side cameras 4R and 4L in the own vehicle is not limited to the position exemplified in the above embodiment. For example, the side cameras 4R and 4L may be provided on the side surface of the vehicle and at a position close to the front end of the vehicle.

1 画像処理装置
2R 右モニター(表示装置)
2L 左モニター(表示装置)
3 リアカメラ
4R 右サイドカメラ(サイドカメラ)
4L 左サイドカメラ(サイドカメラ)
10 撮影画像取得部
11 相対傾斜道路態様検出部
12 画像処理部
13 表示制御部
1 Image processing device 2R Right monitor (display device)
2L left monitor (display device)
3 Rear camera 4R Right side camera (side camera)
4L left side camera (side camera)
10 Captured image acquisition unit 11 Relative inclined road mode detection unit 12 Image processing unit 13 Display control unit

Claims (6)

車両の側面部に設けられ、撮影範囲に前記車両の車体の一部が含まれた状態で撮影を行うサイドカメラのサイドカメラ撮影画像と、車両の後部に設けられ、前記サイドカメラの撮影範囲のうち前記車体により死角となる死角範囲を撮影範囲に含んだ状態で前記車両の後方を撮影するリアカメラのリアカメラ撮影画像とを取得する撮影画像取得部と、
前記撮影画像取得部により取得された前記リアカメラ撮影画像を画像変換することによって、前記撮影画像取得部により取得された前記サイドカメラ撮影画像における前記死角範囲に対応する死角領域を補完する補完画像を生成し、前記サイドカメラ撮影画像の前記死角領域に前記補完画像を合成して合成画像を生成する画像処理部と、
前記画像処理部により生成された前記合成画像を表示装置に表示する表示制御部と、
前記車両の後方に位置し、前記車両が走行中の路面を水平面としたときに、その水平面に対して傾斜する相対傾斜道路の態様を検出する相対傾斜道路態様検出部とを備え、
前記画像処理部は、
前記相対傾斜道路態様検出部により検出された前記相対傾斜道路の態様に基づいて、前記相対傾斜道路に沿った投影面を用いて前記リアカメラ撮影画像を画像変換し、前記補完画像を生成する
ことを特徴とする画像処理装置。
A side camera shot image of a side camera provided on the side surface of the vehicle and taken with a part of the vehicle body included in the shooting range, and a side camera shooting range provided on the rear side of the vehicle. Of these, a captured image acquisition unit that acquires a rear camera captured image of a rear camera that captures the rear of the vehicle with the blind spot range that becomes a blind spot due to the vehicle body included in the shooting range.
By converting the image captured by the rear camera acquired by the captured image acquisition unit into an image, a complementary image that complements the blind spot region corresponding to the blind spot range in the side camera captured image acquired by the captured image acquisition unit is obtained. An image processing unit that generates and synthesizes the complementary image with the blind spot region of the side camera captured image to generate a composite image.
A display control unit that displays the composite image generated by the image processing unit on a display device, and a display control unit.
It is provided with a relative inclined road aspect detection unit that is located behind the vehicle and detects an aspect of a relative inclined road that is inclined with respect to the horizontal plane when the road surface on which the vehicle is traveling is a horizontal plane.
The image processing unit
Based on the aspect of the relative inclined road detected by the relative inclined road aspect detection unit, the image taken by the rear camera is image-converted using the projection plane along the relative inclined road, and the complementary image is generated. An image processing device characterized by.
前記画像処理部は、
前記相対傾斜道路態様検出部により検出された前記相対傾斜道路の態様に基づいて、前記車両の後方の所定位置から所定角度で傾く平面な投影面を用いて前記リアカメラ撮影画像を画像変換し、前記補完画像を生成する
ことを特徴とする請求項1に記載の画像処理装置。
The image processing unit
Based on the aspect of the relative inclined road detected by the relative inclined road aspect detection unit, the image captured by the rear camera is image-converted using a flat projection surface inclined at a predetermined angle from a predetermined position behind the vehicle. The image processing apparatus according to claim 1, wherein the complementary image is generated.
前記画像処理部は、
前記相対傾斜道路態様検出部により検出された前記相対傾斜道路の態様に基づいて、前記相対傾斜道路に沿った投影面を用いた画像変換を行うためのルックアップテーブルを生成し、生成した前記ルックアップテーブルを用いて前記リアカメラ撮影画像を画像変換し、前記補完画像を生成する
ことを特徴とする請求項1または2に記載の画像処理装置。
The image processing unit
Based on the aspect of the relative inclined road detected by the relative inclined road aspect detection unit, a look-up table for performing image conversion using a projection plane along the relative inclined road is generated, and the generated look is generated. The image processing apparatus according to claim 1 or 2, wherein the image captured by the rear camera is image-converted using an up table to generate the complementary image.
前記相対傾斜道路態様検出部は、
自機または外部装置が記憶する道路情報5aに基づいて、前記相対傾斜道路の態様を検出する
ことを特徴とする請求項1から3のいずれか1項に記載の画像処理装置。
The relative inclined road mode detection unit is
The image processing device according to any one of claims 1 to 3, wherein the mode of the relative inclined road is detected based on the road information 5a stored by the own machine or an external device.
前記相対傾斜道路態様検出部は、
前記車両の走行軌跡に基づいて、前記相対傾斜道路の態様を検出する
ことを特徴とする請求項1から4のいずれか1項に記載の画像処理装置。
The relative inclined road mode detection unit is
The image processing apparatus according to any one of claims 1 to 4, wherein the aspect of the relative inclined road is detected based on the traveling locus of the vehicle.
画像処理装置の撮影画像取得部が、車両の側面部に設けられ、撮影範囲に前記車両の車体の一部が含まれた状態で撮影を行うサイドカメラのサイドカメラ撮影画像と、車両の後部に設けられ、前記サイドカメラの撮影範囲のうち前記車体により死角となる死角範囲を撮影範囲に含んだ状態で前記車両の後方を撮影するリアカメラのリアカメラ撮影画像とを取得する第1のステップと、
前記画像処理装置の画像処理部が、前記撮影画像取得部により取得された前記リアカメラ撮影画像を画像変換することによって、前記撮影画像取得部により取得された前記サイドカメラ撮影画像における前記死角範囲に対応する死角領域を補完する補完画像を生成し、前記サイドカメラ撮影画像の前記死角領域に前記補完画像を合成して合成画像を生成する第2のステップと、
前記画像処理装置の表示制御部が、前記画像処理部により生成された前記合成画像を表示装置に表示する第3のステップとを含み、
前記第2のステップにおいて、前記画像処理部は、前記車両の後方に位置し、前記車両が走行中の路面を水平面としたときに、その水平面に対して傾斜する相対傾斜道路の態様を検出する相対傾斜道路態様検出部により検出された前記相対傾斜道路の態様に基づいて、前記相対傾斜道路に沿った投影面を用いて前記リアカメラ撮影画像を画像変換し、前記補完画像を生成する
ことを特徴とする画像処理方法。
A captured image acquisition unit of the image processing device is provided on the side surface of the vehicle, and the side camera captured image of the side camera that captures the image while the photographing range includes a part of the vehicle body and the rear portion of the vehicle. The first step is to acquire a rear camera image taken by the rear camera, which is provided and takes a picture of the rear of the vehicle in a state where the blind spot range, which is a blind spot due to the vehicle body, is included in the shooting range of the side camera. ,
The image processing unit of the image processing device converts the image captured by the rear camera acquired by the captured image acquisition unit into an image, so that the blind spot range in the side camera captured image acquired by the captured image acquisition unit can be obtained. A second step of generating a complementary image that complements the corresponding blind spot region and synthesizing the complementary image with the blind spot region of the side camera captured image to generate a composite image.
The display control unit of the image processing unit includes a third step of displaying the composite image generated by the image processing unit on the display device.
In the second step, the image processing unit detects an aspect of a relative inclined road that is located behind the vehicle and is inclined with respect to the horizontal plane when the road surface on which the vehicle is traveling is a horizontal plane. Based on the aspect of the relative inclined road detected by the relative inclined road aspect detection unit, the image taken by the rear camera is image-converted using the projection plane along the relative inclined road, and the complementary image is generated. Characteristic image processing method.
JP2018101250A 2018-05-28 2018-05-28 Image processing device and image processing method Active JP6999239B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018101250A JP6999239B2 (en) 2018-05-28 2018-05-28 Image processing device and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018101250A JP6999239B2 (en) 2018-05-28 2018-05-28 Image processing device and image processing method

Publications (2)

Publication Number Publication Date
JP2019207453A JP2019207453A (en) 2019-12-05
JP6999239B2 true JP6999239B2 (en) 2022-02-04

Family

ID=68767815

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018101250A Active JP6999239B2 (en) 2018-05-28 2018-05-28 Image processing device and image processing method

Country Status (1)

Country Link
JP (1) JP6999239B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111091595B (en) * 2019-12-23 2023-06-02 吉林省广播电视研究所(吉林省广播电视局科技信息中心) Strabismus three-dimensional mapping method and system

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005333565A (en) 2004-05-21 2005-12-02 Auto Network Gijutsu Kenkyusho:Kk Monitoring equipment
JP2008033781A (en) 2006-07-31 2008-02-14 Toyota Motor Corp Road surface gradient detection device and image display device
JP2010245821A (en) 2009-04-06 2010-10-28 Denso Corp Image display for vehicle
JP2016175586A (en) 2015-03-20 2016-10-06 株式会社デンソーアイティーラボラトリ Vehicle periphery monitoring device, vehicle periphery monitoring method, and program
JP2018117320A (en) 2017-01-20 2018-07-26 株式会社東芝 Video synthesizer and video synthesis method for electron mirror

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005333565A (en) 2004-05-21 2005-12-02 Auto Network Gijutsu Kenkyusho:Kk Monitoring equipment
JP2008033781A (en) 2006-07-31 2008-02-14 Toyota Motor Corp Road surface gradient detection device and image display device
JP2010245821A (en) 2009-04-06 2010-10-28 Denso Corp Image display for vehicle
JP2016175586A (en) 2015-03-20 2016-10-06 株式会社デンソーアイティーラボラトリ Vehicle periphery monitoring device, vehicle periphery monitoring method, and program
JP2018117320A (en) 2017-01-20 2018-07-26 株式会社東芝 Video synthesizer and video synthesis method for electron mirror

Also Published As

Publication number Publication date
JP2019207453A (en) 2019-12-05

Similar Documents

Publication Publication Date Title
JP6091586B1 (en) VEHICLE IMAGE PROCESSING DEVICE AND VEHICLE IMAGE PROCESSING SYSTEM
JP4861574B2 (en) Driving assistance device
EP3160138B1 (en) Image synthesis system, image synthesis device therefor, and image synthesis method
JP5491235B2 (en) Camera calibration device
JP6603094B2 (en) Calibration apparatus, calibration method, and calibration program
JP3300340B2 (en) Driving support device
JP4193886B2 (en) Image display device
JP5341789B2 (en) Parameter acquisition apparatus, parameter acquisition system, parameter acquisition method, and program
US8576285B2 (en) In-vehicle image processing method and image processing apparatus
JP6392693B2 (en) Vehicle periphery monitoring device, vehicle periphery monitoring method, and program
JP4796676B2 (en) Vehicle upper viewpoint image display device
WO2005079060A1 (en) Operation support device
JP6586849B2 (en) Information display device and information display method
JP5959264B2 (en) Image processing apparatus and method, and computer program
JP2004240480A (en) Operation support device
JP5083443B2 (en) Driving support device and method, and arithmetic device
JP2011155393A (en) Device and method for displaying image of vehicle surroundings
JP2016149613A (en) Camera parameter adjustment device
JP2005269010A (en) Image creating device, program and method
JP6999239B2 (en) Image processing device and image processing method
JP4857159B2 (en) Vehicle driving support device
JP7029350B2 (en) Image processing device and image processing method
JP2019204393A (en) Image processing device and image processing method
JP4696825B2 (en) Blind spot image display device for vehicles
US20200231099A1 (en) Image processing apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210108

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211208

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211221

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211221

R150 Certificate of patent or registration of utility model

Ref document number: 6999239

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150