JP4986070B2 - Ambient monitoring device for vehicles - Google Patents

Ambient monitoring device for vehicles Download PDF

Info

Publication number
JP4986070B2
JP4986070B2 JP2008071873A JP2008071873A JP4986070B2 JP 4986070 B2 JP4986070 B2 JP 4986070B2 JP 2008071873 A JP2008071873 A JP 2008071873A JP 2008071873 A JP2008071873 A JP 2008071873A JP 4986070 B2 JP4986070 B2 JP 4986070B2
Authority
JP
Japan
Prior art keywords
vehicle
moving body
image
virtual
moving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008071873A
Other languages
Japanese (ja)
Other versions
JP2009230225A (en
Inventor
由佳 大江
正基 千葉
友和 奥木
一之 奥田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mazda Motor Corp
Original Assignee
Mazda Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mazda Motor Corp filed Critical Mazda Motor Corp
Priority to JP2008071873A priority Critical patent/JP4986070B2/en
Priority to US12/350,480 priority patent/US8054201B2/en
Priority to EP09003114A priority patent/EP2103485A3/en
Publication of JP2009230225A publication Critical patent/JP2009230225A/en
Application granted granted Critical
Publication of JP4986070B2 publication Critical patent/JP4986070B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、車両用周囲監視装置に係り、特に、ドライバーの死角領域を監視する車両用周囲監視装置に関する。   The present invention relates to a vehicle surrounding monitoring device, and more particularly to a vehicle surrounding monitoring device that monitors a blind spot area of a driver.

従来、車両前方側における左右方向の死角映像を撮像してモニタ表示する装置が知られている(特許文献1、特許文献2)   2. Description of the Related Art Conventionally, devices that capture and display a blind spot image in the left-right direction on the front side of a vehicle are known (Patent Documents 1 and 2).

特開2007−172462号公報JP 2007-172462 A 特開平11−338074号公報JP 11-338074 A

上述したような装置は、例えばモニタ上に左右方向の死角領域がそのまま表示されるだけのものであり、奥行き感を直感的に把握することが難しいものであった。そのような表示をドライバーが見て死角領域の状況を判断するのであるが、奥行き感が分からない故に、例えば左右方向から接近してくる車両までの距離感が直感的に分かりにくいものであった。特に、赤外線映像や高ダイナミックレンジカメラでは、コントラストが低く、そのような問題が顕著であった。   The apparatus as described above, for example, is such that the left and right blind spot area is displayed as it is on the monitor, and it is difficult to intuitively grasp the sense of depth. The driver looks at such a display to determine the state of the blind spot area, but because the depth is not known, for example, the sense of distance to the vehicle approaching from the left and right direction is difficult to understand intuitively. . In particular, in the infrared image and the high dynamic range camera, the contrast is low, and such a problem is remarkable.

本発明は、上述した従来技術の問題点を解決するためになされたものであり、死角領域の画像内の奥行き感を直感的に把握し易い車両用周囲監視装置を提供することを目的とする。   The present invention has been made to solve the above-described problems of the prior art, and an object of the present invention is to provide a vehicle surrounding monitoring device that makes it easy to intuitively grasp the sense of depth in an image of a blind spot area. .

上記の目的を達成するために本発明によれば、ドライバーから見て前方で左右に広がる領域内の死角領域を監視する車両用周囲監視装置であって、死角領域の実画像を撮像するように車両の前方部に設けられた実画像撮像手段と、実画像撮像手段により撮像された静止物及び/又は移動体に仮想の影を与えるよう仮想光源を設定する仮想光源設定手段と、この仮想光源設定手段により設定された仮想光源から静止物及び/又は移動体が光を受けたときの影を仮想影画像として生成する仮想影画像生成手段と、実画像撮像手段により撮像された死角領域の実画像内において、仮想影画像生成手段により生成された仮想影画像を静止物及び/又は移動体の路面接地位置から地面上に延びるよう上記実画像に重畳して表示する表示手段と、を有することを特徴としている。 In order to achieve the above object, according to the present invention, there is provided a vehicle surrounding monitoring device for monitoring a blind spot area in an area that spreads left and right in front of a driver so as to capture a real image of the blind spot area. and the actual imaging means provided at the front portion of the vehicle, and the virtual light source setting means for setting a virtual light source to provide a shadow of the virtual to stationary and / or mobile captured by the real image pickup means, the virtual light source A virtual shadow image generating means for generating a shadow when a stationary object and / or a moving body receives light from the virtual light source set by the setting means as a virtual shadow image; and an actual area of the blind spot area captured by the real image capturing means. in the image, and a display means for displaying superimposed on the real image so as to extend on the ground a virtual shadow image from the road surface ground position of the stationary and / or mobile generated by the virtual shadow image generation means It is characterized by a door.

このように構成された本発明においては、仮想光源から静止物や移動体が光を受けたときの仮想影画像が、静止物や移動体の路面接地位置から地面上に延びるように実画像に重畳して表示されるので、死角領域の画像内において、地面に表示されるそのような仮想影画像影をドライバーが見ることで、移動体や静止物までの距離感や奥行き感を直感的に把握することが出来る。   In the present invention configured as described above, a virtual shadow image when a stationary object or a moving body receives light from a virtual light source is converted into a real image so as to extend from the ground contact position of the stationary object or the moving body to the ground. Since it is displayed in a superimposed manner, the driver sees the virtual shadow image shadow displayed on the ground in the image of the blind spot area, so that the sense of distance and depth to moving objects and stationary objects can be intuitively viewed. I can grasp it.

また、本発明において、好ましくは、さらに、仮想光源の位置及び移動体及び/又は静止物の形状に基づいて仮想画像の影の向き及び大きさを規定する仮想影画像規定手段を有し、表示手段は、この仮想影画像規定手段により規定された影の向き及び大きさで静止物及び/又は移動体の仮想影画像をそれらの静止物及び/又は移動体の路面接地位置から延びるように上記実画像に重畳して表示する。
このように構成された本発明においては、仮想光源の位置及び移動体及び/又は静止物の形状に基づいて仮想画像の影の向き及び大きさが規定されるので、ドライバーは、より精度よく、移動体や静止物までの距離感や奥行き感を把握することが出来る。
Further, in the present invention, preferably, it further includes virtual shadow image defining means for defining the direction and size of the shadow of the virtual shadow image based on the position of the virtual light source and the shape of the moving object and / or the stationary object, The display means extends the virtual shadow image of the stationary object and / or the moving body from the road contact surface position of the stationary object and / or the moving body with the direction and size of the shadow defined by the virtual shadow image defining means. It is displayed superimposed on the actual image.
In the present invention configured as described above, since the direction and size of the shadow of the virtual shadow image are defined based on the position of the virtual light source and the shape of the moving object and / or the stationary object, the driver can more accurately It is possible to grasp the sense of distance and depth to moving objects and stationary objects.

また、本発明において、好ましくは、仮想光源の位置は、緯度、経度及び時刻から算出された太陽の位置である。
このように構成された本発明においては、より自然な仮想光源として太陽を設定しているので、ドライバーは、より直感的に、移動体や静止物までの距離感や奥行き感を把握することが出来る。
In the present invention, preferably, the position of the virtual light source is the position of the sun calculated from the latitude, longitude, and time.
In the present invention configured as described above, the sun is set as a more natural virtual light source, so the driver can more intuitively grasp the sense of distance and depth to moving objects and stationary objects. I can do it.

また、本発明において、好ましくは、仮想光源の位置は、自車両が進入する交差点から所定距離離れた路面の位置の上空に設定される位置である。
このように構成された本発明においては、その仮想光源の位置を考慮しながら移動体や静止物の仮想影画像を見ることで、より精度良く、移動体や静止物までの距離感や奥行き感を把握することが出来る。
In the present invention, preferably, the position of the virtual light source is a position set above the position of the road surface that is a predetermined distance away from the intersection where the host vehicle enters.
In the present invention configured as described above, a virtual shadow image of a moving object or a stationary object is viewed while taking the position of the virtual light source into consideration, and a sense of distance or depth to the moving object or the stationary object can be obtained with higher accuracy. Can be grasped.

また、本発明において、好ましくは、交差点からの所定距離は、他車両が接近してくるときに自車両の発進又は停止を判断するのに適当な路面の位置までの距離である。
このように構成された本発明においては、他車両が接近してくるときに自車両の発進又は停止を判断するのに適当な路面の位置を基準に、移動体や静止物の仮想影画像を見ることで、より安全に、自車両の発進又は停止の判断をすることが出来る。
In the present invention, it is preferable that the predetermined distance from the intersection is a distance to an appropriate road surface position for determining whether the own vehicle starts or stops when another vehicle approaches.
In the present invention configured as described above, virtual shadow images of moving objects and stationary objects are generated based on the position of the road surface suitable for determining whether the host vehicle is starting or stopping when another vehicle approaches. By seeing, it is possible to determine whether the own vehicle starts or stops more safely.

また、本発明において、好ましくは、交差点からの所定距離は、ドライバーが任意に設定することが出来る。
このように構成された本発明においては、ドライバーが判断しやすい位置の上空に仮想光源を設定することが出来るので、より精度良く、移動体や静止物までの距離感や奥行き感を把握することが出来る。
In the present invention, preferably, the predetermined distance from the intersection can be arbitrarily set by the driver.
In the present invention configured as described above, a virtual light source can be set above the position where it is easy for the driver to determine, so that the sense of distance and depth to a moving body or a stationary object can be grasped more accurately. I can do it.

また、本発明において、好ましくは、表示手段は、他車両が交差点から離れた所定距離の位置の通過前及び通過後、及び/又は通過中で仮想影画像の表示形態を変更する。
このように構成された本発明においては、所定距離の通過前後で表示形態が変更されるので、より精度良く、移動体や静止物までの距離感や奥行き感を把握することが出来る。
In the present invention, it is preferable that the display unit changes the display form of the virtual shadow image before and after passing and / or during the passing of the vehicle at a predetermined distance away from the intersection.
In the present invention configured as described above, since the display form is changed before and after passing through a predetermined distance, it is possible to grasp the sense of distance and the sense of depth to a moving body or a stationary object with higher accuracy.

また、本発明において、好ましくは、仮想光源の位置は、街灯の位置である。
このように構成された本発明においては、例えば夜間において、より直感的に、移動体や静止物までの距離感や奥行き感を把握することが出来る。
In the present invention, preferably, the position of the virtual light source is the position of a streetlight.
In the present invention configured as described above, a sense of distance and a sense of depth to a moving body or a stationary object can be grasped more intuitively at night, for example.

また、本発明において、好ましくは、ドライバーの死角領域は車両の前方側の交差路の交差点の周辺の死角領域であり、実画像撮像手段は、車両の前方端に設けられ、車両が交差路に差し掛かるとき、その車両の前方端から撮像可能な交差路の交差点周囲の実画像を撮像する。
このように構成された本発明においては、ドライバーは衝突事故の多発する交差点の左右交差路の情報を得ることが出来、より安全な走行が可能となる。
In the present invention, preferably, the blind spot area of the driver is a blind spot area around the intersection of the intersection on the front side of the vehicle, and the real image capturing means is provided at the front end of the vehicle, and the vehicle is in the intersection. When approaching, a real image around the intersection of the intersection that can be imaged from the front end of the vehicle is captured.
In the present invention configured as described above, the driver can obtain information on the left and right intersections of intersections where collision accidents frequently occur, and safer driving is possible.

また、本発明において、好ましくは、さらに、交差点においてドライバーの見通しが良くなる頭出し位置を算出する頭出し位置算出手段を有し、表示手段は、自車両が頭出し位置に達した後、仮想影画像の表示を中止する。
このように構成された本発明においては、仮想影画像の表示が中止されることで、ドライバーは、自車両が頭出し位置にあることを把握すると共に自らの目で道路状況を把握するようにすることが出来る。
Further, in the present invention, preferably, it further includes a cue position calculating means for calculating a cue position at which the driver's line of sight is improved at the intersection, and the display means is configured to display a virtual position after the host vehicle reaches the cue position. Cancels the shadow image display.
In the present invention configured as described above, the display of the virtual shadow image is stopped, so that the driver grasps that the own vehicle is in the cueing position and grasps the road condition with his own eyes. I can do it.

また、本発明において、好ましくは、さらに、実画像撮像手段により撮像された実画像内から移動体を検出する移動体検出手段と、この移動体検出手段により移動体が検出されたとき、その移動体の種類及び/又は移動速度及び/又は移動方向を検出する移動体状態検出手段と、を有し、表示手段は、移動体の種類及び/又は移動速度及び/又は移動方向に応じて仮想影画像の表示を変更する。
このように構成された本発明においては、移動体の種類及び/又は移動速度及び/又は移動方向に応じて仮想影画像の表示が変更されるので、ドライバーは、移動体に関する情報(種類、速度、移動方向)を仮想影画像から得ることが出来るので、より精度良く、移動体までの距離感や奥行き感を把握すると共に移動体の状態を把握することが出来る。
In the present invention, preferably, further, a moving body detecting means for detecting a moving body from within the real image captured by the real image capturing means, and when the moving body is detected by the moving body detecting means, the movement is detected. Moving body state detecting means for detecting the type and / or moving speed and / or moving direction of the body, and the display means displays the virtual shadow according to the type and / or moving speed and / or moving direction of the moving body. Change the image display.
In the present invention configured as described above, since the display of the virtual shadow image is changed according to the type and / or moving speed and / or moving direction of the moving object, the driver can obtain information on the moving object (type and speed). , The moving direction) can be obtained from the virtual shadow image, it is possible to grasp the sense of distance and depth to the moving body and the state of the moving body with higher accuracy.

また、本発明において、好ましくは、表示手段は、移動体が交差点を通過した後、その移動体の仮想影画像の表示を中止する。
このように構成された本発明においては、仮想影画像が表示されない移動体は自車両にとって安全な移動体であることを把握することが出来る。
In the present invention, it is preferable that the display unit stops displaying the virtual shadow image of the moving body after the moving body passes the intersection.
In this invention comprised in this way, it can grasp | ascertain that the mobile body in which a virtual shadow image is not displayed is a safe mobile body for the own vehicle.

また、本発明において、好ましくは、さらに、移動体検出手段により移動体が検出されたとき、その移動体が高速で接近し或いは蛇行して接近しているか否かを検出する第2移動体状態検出手段を有し、表示手段は、この高速で接近し或いは蛇行して接近している移動体が検出されたとき、他の移動体とは異なる色で影を表示する。
このように構成された本発明においては、ドライバーは、より注意すべき高速で接近し或いは蛇行して接近している移動体が存在することを容易に把握することが出来る。
In the present invention, it is preferable that the second moving body state further detects whether the moving body is approaching at high speed or meandering when the moving body is detected by the moving body detecting means. When the moving body approaching at high speed or meandering approaching is detected, the display means displays a shadow in a color different from that of the other moving bodies.
In the present invention configured as described above, the driver can easily grasp that there is a moving body approaching at high speed to be more careful or meandering.

また、本発明において、好ましくは、さらに、移動体検出手段により複数の縦列で接近してくる移動体の有無を検出する第3移動体状態検出手段と、を有し、表示手段は、この第3移動体状態検出手段により複数の縦列で接近してくる移動体が検出されたとき、それらの縦列で接近してくる移動体のうちの後続車の影を先頭車の影と異なるように点滅させ又は異なる色で表示する。
このように構成された本発明においては、移動体が縦列で接近してくる場合、移動体が縦列で接近してくることを容易に把握することが出来、また、後続の移動体についても距離感や奥行き感を把握することが出来る。
In the present invention, it is preferable to further include third moving body state detecting means for detecting the presence or absence of a moving body approaching in a plurality of columns by the moving body detecting means. When the moving body approaching in a plurality of columns is detected by the three moving body state detection means, the shadow of the following vehicle of the moving bodies approaching in the column is blinked differently from the shadow of the leading vehicle Or display in different colors .
In the present invention configured as described above, when the moving body approaches in a column, it can be easily grasped that the moving body approaches in a column, and the following moving body can also be a distance. A feeling and a feeling of depth can be grasped.

本発明の車両用周囲監視装置によれば、死角領域の画像内の奥行き感を直感的に把握し易い。   According to the vehicle surrounding monitoring apparatus of the present invention, it is easy to intuitively grasp the sense of depth in the image of the blind spot area.

以下、添付図面を参照しながら本発明の好ましい実施の形態について説明する。
先ず、図1及び図2により、本発明の第1及び第2実施形態に共通の各実施形態による車両用周囲監視装置の基本構成を説明する。図1は、本発明の第1及び第2実施形態による車両用周囲監視装置が適用された車両の全体構成図であり、図2は、本発明の第1及び第2実施形態による車両用周囲監視装置のカメラによる撮像範囲の一例(a)及び撮像された映像の一例(b)を示す図である。
Hereinafter, preferred embodiments of the present invention will be described with reference to the accompanying drawings.
First, with reference to FIGS. 1 and 2, a basic configuration of a vehicle surrounding monitoring apparatus according to each embodiment common to the first and second embodiments of the present invention will be described. FIG. 1 is an overall configuration diagram of a vehicle to which a vehicle surrounding monitoring apparatus according to first and second embodiments of the present invention is applied, and FIG. 2 is a vehicle surrounding according to the first and second embodiments of the present invention. It is a figure which shows an example (a) of the imaging range by the camera of a monitoring apparatus, and an example (b) of the imaged image.

図1に示すように、車両1は、左方監視カメラ2、前方監視カメラ4及び右方監視カメラ6を有し、これらのカメラは、車両の前端部に取り付けられている。これらのカメラは、広角レンズ使用のCCDカメラであり、例えば、図2(a)に示すような範囲を撮像し、図2(b)に示すような画像を得ることが出来る。   As shown in FIG. 1, the vehicle 1 has a left monitoring camera 2, a front monitoring camera 4, and a right monitoring camera 6, and these cameras are attached to the front end of the vehicle. These cameras are CCD cameras using a wide-angle lens, and for example, can capture a range as shown in FIG. 2A and obtain an image as shown in FIG.

また、車両1は、車速センサ10、ジャイロ11、GPS装置12、ナビゲーション装置13及び画像表示モニタ14を有している。モニタ14は、運転席16のドライバーが見ることが出来る位置に配置されている。さらに、車両1は、ECU18を有し、このECU18には、上述した各カメラ2、4、6、車速センサ10、ジャイロ11、GPS装置12からの信号が入力され、所定の画像をモニタ14に表示する。   The vehicle 1 also includes a vehicle speed sensor 10, a gyro 11, a GPS device 12, a navigation device 13, and an image display monitor 14. The monitor 14 is arranged at a position where the driver of the driver's seat 16 can see. Further, the vehicle 1 has an ECU 18, and signals from the cameras 2, 4, 6, the vehicle speed sensor 10, the gyro 11, and the GPS device 12 are input to the ECU 18, and a predetermined image is displayed on the monitor 14. indicate.

さらに、車両1は、他車両との距離を検出するためのレーザレーダ7を有する。なお、レーザレーダ7の代わりに、車車間通信により他車両との距離を把握するようにしたり、路車間通史により他車両との距離を把握するようにしても良い。   Furthermore, the vehicle 1 has a laser radar 7 for detecting a distance from another vehicle. Instead of the laser radar 7, the distance from the other vehicle may be grasped by inter-vehicle communication, or the distance from the other vehicle may be grasped by the road-to-vehicle history.

次に、図3により、ドライバーによる交差路進入時における運転行動を説明する。図3は、ドライバーによる交差路進入時における運転行動を説明するための図である。
まず、交差路手前では一時停止する。その後、徐行しながら鼻出し位置に進み、カメラ出し位置(図2(a)参照)に進み、そして、頭出し位置(図4参照)に進む。ここで、鼻出し位置、カメラ出し位置及び頭出し位置について説明する。図4は、自車両の頭出し位置を説明するための道路及び車両の俯瞰図である。
Next, with reference to FIG. 3, driving behavior when a driver enters an intersection will be described. FIG. 3 is a diagram for explaining driving behavior when a driver enters an intersection.
First, stop before the intersection. After that, the vehicle proceeds slowly to the nasal position, proceeds to the camera position (see FIG. 2A), and proceeds to the cue position (see FIG. 4). Here, the nasal position, the camera position and the cue position will be described. FIG. 4 is an overhead view of the road and the vehicle for explaining the cueing position of the own vehicle.

先ず、鼻出し位置は、他車や歩行者に自車両の存在を知らせる位置である。カメラ出し位置は、図2(a)に示すように、車両の先端が交差路内に入った状態であり、ドライバーからは交差路を見通せないが、車両の前端部に取り付けられたカメラ2、4、6により、交差路内を見通せる位置である。頭出し位置は、図4に示すように、ドライバーが座る運転席が交差路内に入ったときの位置であり、ドライバーが直接に、自分の目で交差路内を見通せるようになった位置である。   First, the nose out position is a position that informs other vehicles and pedestrians of the presence of the host vehicle. As shown in FIG. 2 (a), the camera exit position is a state in which the front end of the vehicle enters the intersection, and the driver cannot see the intersection, but the camera 2 attached to the front end of the vehicle, 4 and 6 are positions where the intersection can be seen. As shown in Fig. 4, the cueing position is the position when the driver's seat where the driver sits enters the intersection, and the driver can directly see inside the intersection with his own eyes. is there.

本発明の実施形態による車両用周囲監視装置では、これらの一時停止から頭出し位置までの間に後述する仮想画像を表示するようにしている。そして、頭出し位置になると、仮想画像を点滅させ、そして、頭出し位置を通過後には、仮想画像の表示を中止する。   In the vehicle surrounding monitoring apparatus according to the embodiment of the present invention, a virtual image to be described later is displayed between the temporary stop and the cueing position. When the cueing position is reached, the virtual image blinks, and after passing through the cueing position, the display of the virtual image is stopped.

次に、図5により、本発明第1及び第2実施形態に共通の各実施形態による車両用周囲監視装置の仮想画像表示処理を行うか否かを決定するための制御フローを説明する。図5は、本発明の第1及び第2実施形態による車両用周囲監視装置の距離把握用仮想画像を表示するか否かの処理を示すフローチャートである。
図5に示すように、S1において、GPS12からの信号及びナビゲーション装置13からの信号に基づいて、自車両が交差点近傍にいるか否かを判定する。次に、S2において、車速センサ10からの信号に基づいて、車速がV1より小さいか否かを判定する。車速V1は、自車両が交差点等に近づいて減速し、ドライバーがモニタ14を見ても安全であると判断出来る値である。
車速がV1より小さく車両が減速した状態であれば、S3に進み、S3において、画像補正部24からの画像信号に基づいて、まず、実画像を表示する。次に、S4に進み、仮想影画像表示処理を行う。
Next, referring to FIG. 5, a control flow for determining whether or not to perform the virtual image display processing of the vehicle surrounding monitoring apparatus according to each embodiment common to the first and second embodiments of the present invention will be described. FIG. 5 is a flowchart showing a process of whether or not to display a distance grasping virtual image of the vehicle surroundings monitoring apparatus according to the first and second embodiments of the present invention.
As shown in FIG. 5, in S <b> 1, it is determined based on the signal from the GPS 12 and the signal from the navigation device 13 whether or not the host vehicle is in the vicinity of the intersection. Next, in S2, based on the signal from the vehicle speed sensor 10, it is determined whether or not the vehicle speed is lower than V1. The vehicle speed V1 is a value that allows the driver to determine that the vehicle is safe even when the vehicle approaches the intersection and decelerates and the driver looks at the monitor 14.
If the vehicle speed is less than V1 and the vehicle is decelerated, the process proceeds to S3, where an actual image is first displayed based on the image signal from the image correction unit 24. Next, it progresses to S4 and a virtual shadow image display process is performed.

次に、図6により、本発明の第1実施形態による車両用周囲監視装置の構成を説明する。図6は、本発明の第1実施形態による車両用周囲監視装置の構成を示すブロック図である。
この第1実施形態では、仮想光源として太陽の位置を算出し、例えば曇りの日や、晴れていてもビル等の影に移動体(交差点に向かってくる他車両など)や静止物(標識や信号機など)が存在する場合、その算出された太陽の位置から得られるであろう移動体や静止物の影を仮想画像として重畳して表示するものである。ドライバーは、例えばその影の向きや影の長さを見て、移動体がどの程度の距離離れた位置にいるかを判断し、その結果、自車両を発進させて良いか否かの判断を助けることが出来る。
Next, the configuration of the vehicle surrounding monitoring apparatus according to the first embodiment of the present invention will be described with reference to FIG. FIG. 6 is a block diagram showing the configuration of the vehicle surrounding monitoring apparatus according to the first embodiment of the present invention.
In the first embodiment, the position of the sun is calculated as a virtual light source. For example, a moving object (such as another vehicle that approaches the intersection) or a stationary object (a sign or When there is a traffic light etc., the shadow of a moving object or a stationary object that would be obtained from the calculated position of the sun is superimposed and displayed as a virtual image. The driver, for example, sees the direction of the shadow and the length of the shadow to determine how far away the moving body is, and as a result, helps the driver determine whether or not the vehicle can be started. I can do it.

先ず、図5に示すように、周辺監視センサ20として構成される各カメラ2、4、6からの画像信号が、ECU18内の画像取得部22に入力される。入力された画像信号は広角画像であり歪みが生じているので、その画像が画像補正部24で補正される。この画像補正部24からの画像信号は、合成画像作成部26に実画像として入力される。   First, as shown in FIG. 5, image signals from the cameras 2, 4, 6 configured as the periphery monitoring sensor 20 are input to the image acquisition unit 22 in the ECU 18. Since the input image signal is a wide-angle image and is distorted, the image correction unit 24 corrects the image. The image signal from the image correction unit 24 is input to the composite image creation unit 26 as a real image.

撮像画像保存部30では、画像補正部24で補正された画像を保存する。
移動体・静止物検出部32では、画像補正部24からの入力画像内に車両などの移動体及び標識などの静止物の存在を検出する。
移動体の検出は、オプティカルフロー処理にて行われる。なお、オプティカルフローの他に、背景差分、フレーム間差分処理、或いは、レーザーやミリ波などにより移動体を検出するようにしても良い。また、静止物の検出は、画像処理により行う。
静止物が存在する場合には、画像処理及びレーザレーダ7などにより静止物の位置及び形状を検出する。
The captured image storage unit 30 stores the image corrected by the image correction unit 24.
The moving object / stationary object detection unit 32 detects the presence of a moving object such as a vehicle and a stationary object such as a sign in the input image from the image correction unit 24.
Detection of the moving body is performed by optical flow processing. In addition to the optical flow, the moving object may be detected by background difference, inter-frame difference processing, laser, millimeter wave, or the like. Further, detection of a stationary object is performed by image processing.
When there is a stationary object, the position and shape of the stationary object are detected by image processing and laser radar 7 or the like.

移動体が存在する場合には、画像処理などにより移動体の形状や種類を検出する。また、移動体の状態として、レーザレーダ7により、自車両に接近してくる移動体の自車両からの距離、速度及び進行方向を検出し、さらに、自車両までの到達時間を算出する。なお、レーザレーダ7の代わりに、車車間通信或いは路車間通信により、移動体検出部30及び移動体状態検出部32において、移動体の種類や、移動体の自車両からの距離、速度及び進行方向を検出するようにしても良い。   If there is a moving body, the shape and type of the moving body are detected by image processing or the like. Further, as the state of the moving body, the laser radar 7 detects the distance, speed, and traveling direction of the moving body approaching the host vehicle from the host vehicle, and further calculates the arrival time to the host vehicle. In addition, instead of the laser radar 7, the moving body detection unit 30 and the moving body state detection unit 32 perform the type of the moving body, the distance from the host vehicle, the speed, and the progress by the inter-vehicle communication or the road-to-vehicle communication. The direction may be detected.

移動体・静止物検出部32で検出された移動体や静止物の情報は、仮想画像作成部34に送られる。仮想画像作成部34では、その影位置・形状算出部34aにおいて、移動体・静止物検出部32から入力された情報と、後述する仮想光源としての太陽の位置の情報とに基づいて、移動体や静止物の仮想影画像の形状及び仮想影画像の表示位置を算出する。また、この作成された仮想影画像は、影補正部34bにおいて、移動体などの状態に応じて後述するように補正される。   Information on the moving object and the stationary object detected by the moving object / stationary object detection unit 32 is sent to the virtual image creation unit 34. In the virtual image creating unit 34, the moving body is based on the information input from the moving body / stationary object detecting unit 32 in the shadow position / shape calculating unit 34 a and the information on the position of the sun as a virtual light source described later. And the shape of the virtual shadow image of the stationary object and the display position of the virtual shadow image are calculated. The created virtual shadow image is corrected by the shadow correction unit 34b as described later according to the state of the moving body or the like.

自車位置・進行方向検出部36では、ジャイロ11により進行方向の変化を検出し、ジャイロ11及びGPS装置12により自車両の位置及び進行方向を検出する。
仮想光源位置設定部38では、GPS装置12からの緯度及び経度の情報と、ジャイロ11からの車両の進行方向の情報と、現在時刻と、に基づいて、仮想光源である太陽の位置を算出する。この算出された太陽の位置に基づいて、上述したように、影位置・形状算出部34aにおいて、移動体や静止物の仮想影画像の形状及び仮想影画像の表示位置を算出し、また、影補正部34bにおいて、移動体などの状態に応じて後述するように補正される。
In the own vehicle position / travel direction detection unit 36, the gyro 11 detects a change in the travel direction, and the gyro 11 and the GPS device 12 detect the position and travel direction of the host vehicle.
The virtual light source position setting unit 38 calculates the position of the sun, which is a virtual light source, based on the latitude and longitude information from the GPS device 12, the vehicle traveling direction information from the gyro 11, and the current time. . Based on the calculated position of the sun, as described above, the shadow position / shape calculation unit 34a calculates the shape of the virtual shadow image of the moving body or the stationary object and the display position of the virtual shadow image. In the correction part 34b, it correct | amends so that it may mention later according to states, such as a moving body.

次に、ECU18内には、頭出し位置判定部40が存在する。頭出し位置判定部40では、車両が交差路内に頭出しした(図4参照)ことを判定するものである。頭出しが行われていれば、既にドライバー自身で交差路を見通せることから、仮想画像作成部34における仮想画像の作成を中止し、モニタ14には実画像のみ表示するようにする。   Next, a cue position determination unit 40 exists in the ECU 18. The cueing position determination unit 40 determines that the vehicle has cueed in the intersection (see FIG. 4). If the cue has been performed, the driver can already see the intersection, so the virtual image creation by the virtual image creation unit 34 is stopped and only the actual image is displayed on the monitor 14.

また、ECU18には、仮想画像処理実施判定部42が存在する。この仮想画像処理実施判定部42は、ナビゲーション装置13から得る地図データ、GPS装置12から得られる位置データ、及び、車速センサ10から得られる車速データを基に、車両が交差点近傍に位置しているか否か及び一時停止しているか否かを判定するものである。後述するように、交差点近傍であり一時停止したときには、仮想画像を表示するために、合成画像作成部26に所定の信号を送る。   Further, the ECU 18 includes a virtual image processing execution determination unit 42. The virtual image processing execution determination unit 42 is based on the map data obtained from the navigation device 13, the position data obtained from the GPS device 12, and the vehicle speed data obtained from the vehicle speed sensor 10 to determine whether the vehicle is located near the intersection. And whether or not it is temporarily stopped. As will be described later, when the vehicle is in the vicinity of an intersection and is temporarily stopped, a predetermined signal is sent to the composite image creating unit 26 in order to display a virtual image.

次に、図7及び図8により、本発明の第1実施形態による車両用周囲監視装置の制御内容を説明する。図7は、本発明の第1実施形態による車両用周囲監視装置の距離把握用仮想画像の表示処理を示すフローチャートであり、図8は、本発明の第1実施形態による車両用周囲監視装置のカメラによる撮像範囲及び移動体の一例(a)及び仮想画像が実画像に重畳された映像の一例(b)を示す図である。図7において、Sは各ステップを示す。   Next, with reference to FIGS. 7 and 8, the control contents of the vehicle surrounding monitoring apparatus according to the first embodiment of the present invention will be described. FIG. 7 is a flowchart showing display processing of a distance grasping virtual image of the vehicle surrounding monitoring apparatus according to the first embodiment of the present invention, and FIG. 8 is a diagram of the vehicle surrounding monitoring apparatus according to the first embodiment of the present invention. It is a figure which shows an example (b) of the imaging | photography range by a camera, an example (a) of a moving body, and the image | video by which the virtual image was superimposed on the real image. In FIG. 7, S indicates each step.

図7に示すように、先ず、S11において、画像取得部22(図3参照)により、例えば交差路において、左方監視カメラ2、前方監視カメラ4、右方監視カメラ6の映像を取得し、S12において、画像補正部24により、取得された広角画像の歪み補正を行う。 次に、S13において、撮影画像を保存する。   As shown in FIG. 7, first, in S11, the image acquisition unit 22 (see FIG. 3) acquires images of the left monitoring camera 2, the front monitoring camera 4, and the right monitoring camera 6, for example, at an intersection, In S12, the image correction unit 24 corrects the distortion of the acquired wide-angle image. Next, in S13, the captured image is saved.

次に、S14において、移動体・静止物検出部32により、S11及びS12で取得された実画像から、移動体及び静止物を検出する。移動体及び静止物が検出されないときは、S15に進み、S11及びS12で取得された実画像をそのまま表示する。   Next, in S14, the moving object / stationary object detection unit 32 detects the moving object and the stationary object from the actual images acquired in S11 and S12. When the moving body and the stationary object are not detected, the process proceeds to S15, and the actual images acquired in S11 and S12 are displayed as they are.

S14において、移動体或いは静止物が検出されたときには、S16に進み、仮想光源位置設定部38(図6参照)により、上述したように仮想光源の太陽の位置を算出(推定)する。次に、S17に進み、移動体・静止物検出部32(図6参照)により、上述したように移動体の形状、位置、移動方向及び移動速度、及び、静止物の形状及び位置を検出する。   When a moving body or a stationary object is detected in S14, the process proceeds to S16, and the virtual light source position setting unit 38 (see FIG. 6) calculates (estimates) the position of the virtual light source sun as described above. Next, proceeding to S17, the moving body / stationary object detection unit 32 (see FIG. 6) detects the shape, position, moving direction and moving speed of the moving body, and the shape and position of the stationary object as described above. .

次に、S18に進み、影位置・形状算出部34a(図6参照)により、上述したように、S16で推定された太陽の位置と、移動体或いは静止物の形状とから、移動体や静止物の仮想影画像の形状を算出する。   Next, the process proceeds to S18, where the shadow position / shape calculation unit 34a (see FIG. 6) calculates the moving object or the stationary object from the position of the sun estimated in S16 and the shape of the moving object or the stationary object as described above. The shape of the virtual shadow image of the object is calculated.

次に、S19に進み、影補正部34b(図6参照)により、影の補正処理を行う。その補正の一つとして、移動体・静止物検出部32(図6参照)により、高速で移動している車両や蛇行している車両が検出された場合、もとの仮想影画像の色は黒色であるが、その危険と思われる車両の仮想影画像を例えば赤く表示する。また、他の補正として、移動体・静止物検出部32(図6参照)により検出された移動体や静止物の種類(例えば、車両、二輪車、歩行者、信号、標識など)に応じて、仮想影画像の色を黒色、緑、青などの異なる色で表示する。また、他の補正として、移動体・静止物検出部32(図6参照)により複数の移動体が検出された場合、後続車の仮想影画像を点滅させたり、色を灰色にしたりする。また、移動体の移動速度及び移動方向に応じて、仮想影画像の表示形態を変更するようにしても良い。   In step S19, the shadow correction unit 34b (see FIG. 6) performs a shadow correction process. As one of the corrections, when the moving object / stationary object detection unit 32 (see FIG. 6) detects a vehicle moving at high speed or a meandering vehicle, the color of the original virtual shadow image is A virtual shadow image of a vehicle which is black but considered to be dangerous is displayed in red, for example. As other corrections, depending on the type of moving object or stationary object detected by the moving object / stationary object detection unit 32 (see FIG. 6) (eg, vehicle, two-wheeled vehicle, pedestrian, signal, sign, etc.) The virtual shadow image is displayed in different colors such as black, green, and blue. As another correction, when a plurality of moving bodies are detected by the moving body / stationary object detection unit 32 (see FIG. 6), the virtual shadow image of the following vehicle is blinked or the color is made gray. The display form of the virtual shadow image may be changed according to the moving speed and moving direction of the moving body.

次に、S20において、自車両が交差点内の頭出し位置まで進行したか否かを判定する。頭出し位置(図4参照)を通過した場合には、ドライバーが周囲の状況を見渡せる状況であるので、S15に進み、モニタ14にS11及びS12で取得した実画像をそのまま表示する。頭出し位置を通過していない場合には、S21に進み、S18で算出され、S19で補正された仮想影画像を、S11及びS12で得られた実画像に重畳して表示する。
その例を図8に示す。図8(a)に示すように、自車両が進入しようとする道路に他車両Vや標識Sが存在する場合、図8(b)に示すように、他車両V及び標識Sに仮想影画像V1、S1が重畳して表示される。
Next, in S20, it is determined whether or not the host vehicle has traveled to the cue position within the intersection. When the vehicle has passed the cueing position (see FIG. 4), the driver can look around, so the process proceeds to S15, and the actual image acquired in S11 and S12 is displayed on the monitor 14 as it is. If it has not passed the cueing position, the process proceeds to S21, and the virtual shadow image calculated in S18 and corrected in S19 is displayed superimposed on the actual image obtained in S11 and S12.
An example is shown in FIG. As shown in FIG. 8A, when another vehicle V or a sign S is present on the road on which the host vehicle is about to enter, a virtual shadow image is displayed on the other vehicle V and the sign S as shown in FIG. V1 and S1 are superimposed and displayed.

この第1実施形態では、太陽の位置に基づいて仮想影画像を生成した。これは、実際に太陽が見えている場合の太陽の影を強調するものであっても良い。同様に、例えば夜間などには、街灯の位置に基づいて、街灯の光に対する移動体等の影を仮想影画像として生成し、影を強調するようにしても良い。   In the first embodiment, a virtual shadow image is generated based on the position of the sun. This may emphasize the shadow of the sun when the sun is actually visible. Similarly, for example, at night, a shadow of a moving body or the like with respect to the light of the streetlight may be generated as a virtual shadow image based on the position of the streetlight, and the shadow may be emphasized.

なお、上述した実施形態においては、移動体として主に車両を想定して説明をしてきたが、移動体としては、四輪車、二輪車、自転車、歩行者を含むようにしても良い。また、静止物としては、停止している四輪車、停止している二輪車、立ち止まっている歩行者や自転車、路側物、建物などが挙げられる。   In the above-described embodiment, the description has been given mainly assuming a vehicle as the moving body, but the moving body may include a four-wheeled vehicle, a two-wheeled vehicle, a bicycle, and a pedestrian. In addition, examples of the stationary object include a stopped four-wheeled vehicle, a stopped two-wheeled vehicle, a stationary pedestrian and bicycle, a roadside object, and a building.

次に、本発明の第1実施形態による作用効果を説明する。
本発明の第1実施形態による車両用周囲監視装置によれば、仮想光源としての太陽から静止物や移動体が光を受けたときの仮想影画像が、静止物や移動体の路面接地位置から地面上に延びるように実画像に重畳して表示されるので、死角領域の画像内において、地面に表示されるそのような仮想影画像影をドライバーが見ることで、移動体や静止物までの距離感や奥行き感を直感的に把握することが出来る。
Next, the function and effect of the first embodiment of the present invention will be described.
According to the vehicle surrounding monitoring apparatus according to the first embodiment of the present invention, a virtual shadow image when a stationary object or moving object receives light from the sun as a virtual light source is obtained from a road surface grounding position of the stationary object or moving object. Since it is displayed superimposed on the real image so as to extend on the ground, the driver sees the virtual shadow image shadow displayed on the ground in the image of the blind spot area, so that the moving object and the stationary object can be seen. A sense of distance and depth can be grasped intuitively.

また、本実施形態によれば、仮想光源としての太陽の位置及び移動体及び/又は静止物の形状に基づいて仮想壁画像の影の向き及び大きさが規定され、静止物及び/又は移動体の仮想影画像が、この規定された影の向き及び大きさで実画像に重畳して表示されるので、ドライバーは、より精度よく、移動体や静止物までの距離感や奥行き感を把握することが出来る。   In addition, according to the present embodiment, the direction and size of the shadow of the virtual wall image is defined based on the position of the sun as the virtual light source and the shape of the moving object and / or the stationary object, and the stationary object and / or the moving object. Since the virtual shadow image is superimposed and displayed on the actual image with the specified shadow direction and size, the driver can more accurately grasp the sense of distance and depth to a moving object or a stationary object. I can do it.

また、本実施形態によれば、仮想光源は太陽であるので、より自然な仮想光源として太陽を設定することが出来、その太陽の位置を緯度、経度及び時刻から算出するので、ドライバーは、より直感的に、移動体や静止物までの距離感や奥行き感を把握することが出来る。   In addition, according to the present embodiment, since the virtual light source is the sun, the sun can be set as a more natural virtual light source, and the position of the sun is calculated from the latitude, longitude, and time. Intuitively grasp the sense of distance and depth to moving objects and stationary objects.

また、本実施形態によれば、ドライバーの死角領域は車両の前方側の交差路の交差点の周辺の死角領域であり、実画像撮像手段は、車両の前方端に設けられ、車両が交差路に差し掛かるとき、その車両の前方端から撮像可能な交差路の交差点周囲の実画像を撮像する。従って、ドライバーは衝突事故の多発する交差点の左右交差路の情報を得ることが出来、より安全な走行が可能となる。   Further, according to the present embodiment, the blind spot area of the driver is a blind spot area around the intersection of the intersection on the front side of the vehicle, the real image capturing means is provided at the front end of the vehicle, and the vehicle is in the intersection. When approaching, a real image around the intersection of the intersection that can be imaged from the front end of the vehicle is captured. Accordingly, the driver can obtain information on the left and right intersections at intersections where collision accidents frequently occur, and safer driving is possible.

また、本実施形態によれば、自車両が、交差点においてドライバーの見通しが良くなる頭出し位置に達した後、仮想影画像の表示が中止されるので、ドライバーは、自車両が頭出し位置にあることを把握すると共に自らの目で道路状況を把握するようにすることが出来る。   Further, according to the present embodiment, since the display of the virtual shadow image is stopped after the host vehicle reaches the cue position where the driver's line of sight is improved at the intersection, the driver stops the host vehicle at the cue position. It is possible to grasp the road situation with one's own eyes while grasping a certain thing.

また、本実施形態によれば、カメラ2、4、6により撮像された実画像内から移動体を検出し、さらに、その移動体の種類及び/又は移動速度及び/又は移動方向を検出し、その移動体の種類及び/又は移動速度及び/又は移動方向に応じて仮想影画像の表示が変更されるので、ドライバーは、移動体に関する情報(種類、速度、移動方向)を仮想影画像から得ることが出来、より精度良く、移動体までの距離感や奥行き感を把握すると共に移動体の状態を把握することが出来る。   Further, according to the present embodiment, the moving body is detected from the actual images captured by the cameras 2, 4, 6, and the type and / or moving speed and / or moving direction of the moving body is detected, Since the display of the virtual shadow image is changed according to the type and / or moving speed and / or moving direction of the moving object, the driver obtains information (type, speed, moving direction) about the moving object from the virtual shadow image. It is possible to grasp the sense of distance and depth to the moving body and the state of the moving body with higher accuracy.

また、本実施形態によれば、移動体が交差点を通過した後は、その移動体の仮想影画像の表示が中止されるので、ドライバーは、仮想影画像が表示されない移動体は自車両にとって安全な移動体であることを把握することが出来る。   In addition, according to the present embodiment, after the moving body passes the intersection, the display of the virtual shadow image of the moving body is stopped, so that the driver can safely move the moving body on which the virtual shadow image is not displayed to the host vehicle. It can be grasped that it is a moving body.

また、本実施形態によれば、移動体が検出されたとき、その移動体が高速で接近し或いは蛇行して接近しているか否かを検出し、この高速で接近し或いは蛇行して接近している移動体が検出されたとき、そのような移動体を他の移動体とは異なる色で影を表示するので、ドライバーは、より注意すべき高速で接近し或いは蛇行して接近している移動体が存在することを容易に把握することが出来る。   Further, according to the present embodiment, when a moving body is detected, it is detected whether or not the moving body approaches or meanders at high speed, and approaches or meanders and approaches at high speed. When a moving object is detected, such a moving object displays a shadow in a color different from that of the other moving objects, so the driver is approaching at a higher speed or meandering with more attention. It can be easily grasped that a moving body exists.

また、本実施形態によれば、複数の縦列で接近してくる移動体の有無を検出し、複数の縦列で接近してくる移動体が検出されたとき、それらの縦列で接近してくる移動体のうちの後続車の影を先頭車の影と異なるように表示するので、移動体が縦列で接近してくることを容易に把握することが出来、また、後続の移動体についても距離感や奥行き感を把握することが出来る。   According to the present embodiment, the presence or absence of a moving body approaching in a plurality of columns is detected, and when a moving body approaching in a plurality of columns is detected, the movement approaching in those columns Since the shadow of the following car in the body is displayed differently from the shadow of the leading car, it can be easily grasped that the moving body approaches in a column, and the following moving body also has a sense of distance. And a sense of depth.

次に、図9により、本発明の第2実施形態による車両用周囲監視装置の構成を説明する。図9は、本発明の第2実施形態による車両用周囲監視装置の構成を示すブロック図である。
この第2実施形態では、仮想の光源を仮想の位置に設定し、移動体(交差点に向かってくる他車両など)や静止物(標識や信号機など)が存在する場合、その設定された光源の位置から得られるであろう移動体や静止物の影を仮想画像として重畳して表示するものである。ドライバーは、例えばその影の向きや影の長さを見て、移動体がどの程度の距離離れた位置にいるかを判断し、その結果、自車両を発進させて良いか否かの判断を助けることが出来る。この第2実施形態では、仮想光源の位置を、交差点において、前方の道路を他車両が接近してくるときに自車両の発進又は停止を判断するのに適当な路面上の位置に設定している。この位置は、交差点から約30〜50mの位置である(仮想光源L1、図11参照)。
Next, the configuration of the vehicle surrounding monitoring apparatus according to the second embodiment of the present invention will be described with reference to FIG. FIG. 9 is a block diagram showing a configuration of the vehicle surrounding monitoring apparatus according to the second embodiment of the present invention.
In the second embodiment, a virtual light source is set at a virtual position, and if there is a moving object (such as another vehicle that is approaching an intersection) or a stationary object (such as a sign or a traffic light), the set light source A shadow of a moving object or a stationary object that will be obtained from the position is superimposed and displayed as a virtual image. The driver, for example, sees the direction of the shadow and the length of the shadow to determine how far away the moving body is, and as a result, helps the driver determine whether or not the vehicle can be started. I can do it. In the second embodiment, the position of the virtual light source is set to a position on the road surface that is appropriate for determining whether the host vehicle starts or stops at the intersection when another vehicle approaches the road ahead. Yes. This position is about 30 to 50 m from the intersection (virtual light source L1, see FIG. 11).

先ず、図9に示すように、周辺監視センサ20として構成される各カメラ2、4、6からの画像信号が、ECU18内の画像取得部22に入力される。入力された画像信号は広角画像であり歪みが生じているので、その画像が画像補正部24で補正される。この画像補正部24からの画像信号は、合成画像作成部26に実画像として入力される。   First, as shown in FIG. 9, image signals from the cameras 2, 4, 6 configured as the periphery monitoring sensor 20 are input to an image acquisition unit 22 in the ECU 18. Since the input image signal is a wide-angle image and is distorted, the image correction unit 24 corrects the image. The image signal from the image correction unit 24 is input to the composite image creation unit 26 as a real image.

撮像画像保存部30では、画像補正部24で補正された画像を保存する。
移動体・静止物検出部32では、画像補正部24からの入力画像内に車両などの移動体及び標識などの静止物の存在を検出する。
移動体の検出は、オプティカルフロー処理にて行われる。なお、オプティカルフローの他に、背景差分、フレーム間差分処理、或いは、レーザーやミリ波などにより移動体を検出するようにしても良い。また、静止物の検出は、画像処理により行う。
静止物が存在する場合には、画像処理及びレーザレーダ7などにより静止物の位置及び形状を検出する。
The captured image storage unit 30 stores the image corrected by the image correction unit 24.
The moving object / stationary object detection unit 32 detects the presence of a moving object such as a vehicle and a stationary object such as a sign in the input image from the image correction unit 24.
Detection of the moving body is performed by optical flow processing. In addition to the optical flow, the moving object may be detected by background difference, inter-frame difference processing, laser, millimeter wave, or the like. Further, detection of a stationary object is performed by image processing.
When there is a stationary object, the position and shape of the stationary object are detected by image processing and laser radar 7 or the like.

移動体が存在する場合には、画像処理などにより移動体の形状を検出する。また、移動体の状態として、レーザレーダ7により、自車両に接近してくる移動体の自車両からの距離、速度及び進行方向を検出し、さらに、自車両までの到達時間を算出する。なお、レーザレーダ7の代わりに、車車間通信或いは路車間通信により、移動体検出部30及び移動体状態検出部32において、移動体の種類や、移動体の自車両からの距離、速度及び進行方向を検出するようにしても良い。また、移動体の移動速度及び移動方向に応じて、仮想影画像の表示形態を変更するようにしても良い。   When the moving body exists, the shape of the moving body is detected by image processing or the like. Further, as the state of the moving body, the laser radar 7 detects the distance, speed, and traveling direction of the moving body approaching the host vehicle from the host vehicle, and further calculates the arrival time to the host vehicle. In addition, instead of the laser radar 7, the moving body detection unit 30 and the moving body state detection unit 32 perform the type of the moving body, the distance from the host vehicle, the speed, and the progress by the inter-vehicle communication or the road-to-vehicle communication. The direction may be detected. The display form of the virtual shadow image may be changed according to the moving speed and moving direction of the moving body.

移動体・静止物検出部32で検出された移動体や静止物の情報は、仮想画像作成部34に送られる。仮想画像作成部34では、その影位置・形状算出部34aにおいて、移動体・静止物検出部32から入力された情報と、後述する仮想光源の位置の情報とに基づいて、移動体や静止物の仮想影画像の形状及び仮想影画像の表示位置を算出する。また、この作成された仮想影画像は、影補正部34bにおいて、移動体などの状態に応じて後述するように補正される。   Information on the moving object and the stationary object detected by the moving object / stationary object detection unit 32 is sent to the virtual image creation unit 34. In the virtual image creation unit 34, the shadow position / shape calculation unit 34a, based on the information input from the moving body / stationary object detection unit 32 and the position information of the virtual light source described later, the moving body and the stationary object. The shape of the virtual shadow image and the display position of the virtual shadow image are calculated. The created virtual shadow image is corrected by the shadow correction unit 34b as described later according to the state of the moving body or the like.

自車位置・進行方向検出部36では、ジャイロ11により進行方向の変化を検出し、ジャイロ11及びGPS装置12により自車両の位置及び進行方向を検出する。
仮想光源位置設定部38では、仮想光源を所定の位置に設定する。この所定の位置は、交差点において、前方の道路を他車両が接近してくるときに自車両の発進又は停止を判断するのに適当な路面上の位置(本実施形態では、30〜50m)であり、且つ、自車両から見て他の移動体や静止物の影が見えるような、自車両から見てそれらの移動体等の向こう側の位置である(仮想光源L1、図11参照)。
In the own vehicle position / travel direction detection unit 36, the gyro 11 detects a change in the travel direction, and the gyro 11 and the GPS device 12 detect the position and travel direction of the host vehicle.
The virtual light source position setting unit 38 sets the virtual light source at a predetermined position. This predetermined position is an appropriate position on the road surface (30 to 50 m in this embodiment) for determining whether the own vehicle starts or stops at the intersection when another vehicle approaches the road ahead. It is a position on the other side of the moving body as seen from the own vehicle so that the shadows of other moving bodies and stationary objects can be seen from the own vehicle (see virtual light source L1, FIG. 11).

この仮想光源の位置に基づいて、上述したように、影位置・形状算出部34aにおいて、移動体や静止物の仮想影画像の形状及び仮想影画像の表示位置を算出し、また、影補正部34bにおいて、移動体などの状態に応じて後述するように補正される。   Based on the position of the virtual light source, as described above, the shadow position / shape calculation unit 34a calculates the shape of the virtual shadow image of the moving object or the stationary object and the display position of the virtual shadow image, and the shadow correction unit. In 34b, it correct | amends so that it may mention later according to states, such as a moving body.

次に、ECU18内には、頭出し位置判定部40が存在する。頭出し位置判定部40では、車両が交差路内に頭出しした(図4参照)ことを判定するものである。頭出しが行われていれば、既にドライバー自身で交差路を見通せることから、仮想画像作成部34における仮想画像の作成を中止し、モニタ14には実画像のみ表示するようにする。   Next, a cue position determination unit 40 exists in the ECU 18. The cueing position determination unit 40 determines that the vehicle has cueed in the intersection (see FIG. 4). If the cue has been performed, the driver can already see the intersection, so the virtual image creation by the virtual image creation unit 34 is stopped and only the actual image is displayed on the monitor 14.

また、ECU18には、仮想画像処理実施判定部42が存在する。この仮想画像処理実施判定部42は、ナビゲーション装置13から得る地図データ、GPS装置12から得られる位置データ、及び、車速センサ10から得られる車速データを基に、車両が交差点近傍に位置しているか否か及び一時停止しているか否かを判定するものである。後述するように、交差点近傍であり一時停止したときには、仮想画像を表示するために、合成画像作成部26に所定の信号を送る。   Further, the ECU 18 includes a virtual image processing execution determination unit 42. The virtual image processing execution determination unit 42 is based on the map data obtained from the navigation device 13, the position data obtained from the GPS device 12, and the vehicle speed data obtained from the vehicle speed sensor 10 to determine whether the vehicle is located near the intersection. And whether or not it is temporarily stopped. As will be described later, when the vehicle is in the vicinity of an intersection and is temporarily stopped, a predetermined signal is sent to the composite image creating unit 26 in order to display a virtual image.

次に、図10及び図11により、本発明の第2実施形態による車両用周囲監視装置の制御内容を説明する。図10は、本発明の第2実施形態による車両用周囲監視装置の距離把握用仮想画像の表示処理を示すフローチャートであり、図11は、本発明の第2実施形態による車両用周囲監視装置のカメラによる撮像範囲及び移動体の一例(a)及び仮想画像が実画像に重畳された映像の一例(b)を示す図である。図10において、Sは各ステップを示す。   Next, the control contents of the vehicle surrounding monitoring apparatus according to the second embodiment of the present invention will be described with reference to FIGS. FIG. 10 is a flowchart showing the display processing of the distance grasping virtual image of the vehicle surroundings monitoring device according to the second embodiment of the present invention, and FIG. 11 is a diagram of the vehicle surroundings monitoring device according to the second embodiment of the present invention. It is a figure which shows an example (b) of the imaging | photography range by a camera, an example (a) of a moving body, and the image | video by which the virtual image was superimposed on the real image. In FIG. 10, S indicates each step.

図7に示すように、先ず、S31において、画像取得部22(図3参照)により、例えば交差路において、左方監視カメラ2、前方監視カメラ4、右方監視カメラ6の映像を取得し、S32において、画像補正部24により、取得された広角画像の歪み補正を行う。 次に、S33において、撮影画像を保存する。   As shown in FIG. 7, first, in S31, the images of the left monitoring camera 2, the front monitoring camera 4, and the right monitoring camera 6 are acquired by the image acquisition unit 22 (see FIG. 3), for example, at an intersection. In S32, the image correction unit 24 corrects the distortion of the acquired wide-angle image. Next, in S33, the captured image is saved.

次に、S34において、移動体・静止物検出部32により、S31及びS32で取得された実画像から、移動体及び静止物を検出する。移動体及び静止物が検出されないときは、S35に進み、S11及びS12で取得された実画像をそのまま表示する。   Next, in S34, the moving object / stationary object detection unit 32 detects the moving object and the stationary object from the actual images acquired in S31 and S32. When the moving body and the stationary object are not detected, the process proceeds to S35, and the actual images acquired in S11 and S12 are displayed as they are.

次に、S34において、移動体或いは静止物が検出されたときには、S36に進み、移動体・静止物検出部32(図6参照)により、上述したように移動体の形状、位置、移動方向及び移動速度、及び、静止物の形状及び位置を検出する。次に、S37に進み、仮想光源位置設定部38(図6参照)により、上述したように仮想光源の位置を設定する。上述したように、この仮想光源の位置は、交差点から30〜50mで、自車両から見て他の移動体等の向こう側の位置である。   Next, when a moving object or a stationary object is detected in S34, the process proceeds to S36, where the moving object / stationary object detection unit 32 (see FIG. 6) determines the shape, position, moving direction and the moving object as described above. The moving speed and the shape and position of a stationary object are detected. In step S37, the virtual light source position setting unit 38 (see FIG. 6) sets the position of the virtual light source as described above. As described above, the position of the virtual light source is 30 to 50 m from the intersection, and is a position on the other side of other moving bodies and the like as viewed from the own vehicle.

なお、変形例として、仮想光源の位置は、左方或いは右方から交差点に接近してくる移動体がある場合、その位置及び移動速度から計算して、自車両が存在する交差点までの到達時間が所定時間、例えば2秒となるような位置(自車両まで到達するのに2秒かかる位置)に設定しても良い。この場合、所定時間は、交差点において、前方の道路を他車両が接近してくるときに自車両の発進又は停止を判断するのに適当な時間として設定される。なお、このような設定は、移動体が複数の場合は先頭の移動体について行う。また、この所定時間や、上述した交差点からの距離は、ドライバーが任意に設定しても良い。   As a modification, when the position of the virtual light source is a moving body approaching the intersection from the left or right, the arrival time to the intersection where the host vehicle exists is calculated from the position and moving speed. May be set to a position that takes a predetermined time, for example, 2 seconds (a position that takes 2 seconds to reach the host vehicle). In this case, the predetermined time is set as an appropriate time for judging the start or stop of the host vehicle when another vehicle approaches the road ahead in the intersection. Note that such setting is performed for the top moving body when there are a plurality of moving bodies. The driver may arbitrarily set the predetermined time and the distance from the intersection described above.

次に、S38に進み、影位置・形状算出部34a(図9参照)により、上述したように、S37で設定された仮想光源の位置と、移動体或いは静止物の形状とから、移動体や静止物の仮想影画像の形状を算出する。具体的には、図11に示すように、交差点に最も近い他車両V1については、仮想光源L1より手前であるので、仮想影画像が手前に長く延びている。   Next, the process proceeds to S38, and the shadow position / shape calculation unit 34a (see FIG. 9) calculates the moving object or the stationary object from the position of the virtual light source set in S37 and the shape of the moving object or the stationary object as described above. The shape of the virtual shadow image of the stationary object is calculated. Specifically, as shown in FIG. 11, since the other vehicle V1 closest to the intersection is in front of the virtual light source L1, the virtual shadow image extends long in front.

後続の他車両V2については、仮想光源L1の近くであるので、仮想影画像が短く延びている。さらに後続の他車両V3については、仮想光源L1より遠くであるので、仮想影画像が道路の後方側に向けて長く延びるように算出される。なお、他車両V1〜V3の仮想影画像を見て分かるように、仮想影画像は、自車両の側に向けて延びている。他車両V4については、交差点を過ぎているので、仮想影画像は算出されない。
また、車両が仮想光源L1を通過する前、まさに通過している途中、及び、通過した後で、それぞれの仮想影画像の色を変更したり、点滅表示させたりするようにしても良い。
Since the subsequent vehicle V2 is near the virtual light source L1, the virtual shadow image extends shortly. Further, since the subsequent other vehicle V3 is farther from the virtual light source L1, the virtual shadow image is calculated to extend long toward the rear side of the road. As can be seen from the virtual shadow images of the other vehicles V1 to V3, the virtual shadow image extends toward the own vehicle. Since the other vehicle V4 has passed the intersection, a virtual shadow image is not calculated.
Further, the color of each virtual shadow image may be changed or blinked before the vehicle passes through the virtual light source L1, just during and after the vehicle passes.

なお、左側の道路に対しては、仮想光源L2のように、左車線の中央部よりも自車両に対して向こう側に位置するのが良い。この場合も、移動体の交差点への到達時間を推定して上述したように2秒かかる位置に設定し、或いは、交差点からの距離が30〜50mの位置に設定するのが良い。   It should be noted that the left road is preferably located on the far side from the center of the left lane as in the virtual light source L2. Also in this case, it is preferable to estimate the arrival time of the moving body at the intersection and set it to a position that takes 2 seconds as described above, or set the distance from the intersection to 30 to 50 m.

次に、S39に進み、影補正部34b(図6参照)により、影の補正処理を行う。その補正の一つとして、移動体・静止物検出部32(図6参照)により、高速で移動している車両や蛇行している車両が検出された場合、もとの仮想影画像の色は黒色であるが、その危険と思われる車両の仮想影画像を例えば赤く表示する。また、他の補正として、移動体・静止物検出部32(図6参照)により検出された移動体や静止物の種類(例えば、車両、二輪車、歩行者、信号、標識など)に応じて、仮想影画像の色を黒色、緑、青などの異なる色で表示する。また、他の補正として、移動体・静止物検出部32(図6参照)により複数の移動体が検出された場合、後続車の仮想影画像を点滅させたり、色を灰色にしたりする。また、移動体の移動速度及び移動方向に応じて、仮想影画像の表示形態を変更するようにしても良い。   In step S39, the shadow correction unit 34b (see FIG. 6) performs a shadow correction process. As one of the corrections, when the moving object / stationary object detection unit 32 (see FIG. 6) detects a vehicle moving at high speed or a meandering vehicle, the color of the original virtual shadow image is A virtual shadow image of a vehicle which is black but considered to be dangerous is displayed in red, for example. As other corrections, depending on the type of moving object or stationary object detected by the moving object / stationary object detection unit 32 (see FIG. 6) (eg, vehicle, two-wheeled vehicle, pedestrian, signal, sign, etc.) The virtual shadow image is displayed in different colors such as black, green, and blue. As another correction, when a plurality of moving bodies are detected by the moving body / stationary object detection unit 32 (see FIG. 6), the virtual shadow image of the following vehicle is blinked or the color is made gray. The display form of the virtual shadow image may be changed according to the moving speed and moving direction of the moving body.

次に、S40において、自車両が交差点内の頭出し位置まで進行したか否かを判定する。頭出し位置(図4参照)を通過した場合には、ドライバーが周囲の状況を見渡せる状況であるので、S35に進み、モニタ14にS11及びS12で取得した実画像をそのまま表示する。頭出し位置を通過していない場合には、S41に進み、S38で算出され、S39で補正された仮想影画像を、S31及びS32で得られた実画像に重畳して表示する。
その例を図8に示す。図8(a)に示すように、自車両が進入しようとする道路に他車両Vや標識Sが存在する場合、図8(b)に示すように、他車両V及び標識Sに仮想影画像V1、S1が重畳して表示される。
Next, in S40, it is determined whether or not the host vehicle has traveled to the cue position within the intersection. If the driver has passed the cueing position (see FIG. 4), the driver can look around, so the process proceeds to S35, and the actual image acquired in S11 and S12 is displayed on the monitor 14 as it is. If it has not passed the cueing position, the process proceeds to S41, and the virtual shadow image calculated in S38 and corrected in S39 is displayed superimposed on the actual image obtained in S31 and S32.
An example is shown in FIG. As shown in FIG. 8A, when another vehicle V or a sign S is present on the road on which the host vehicle is about to enter, a virtual shadow image is displayed on the other vehicle V and the sign S as shown in FIG. V1 and S1 are superimposed and displayed.

第2実施形態では、仮想光源に基づいて仮想影画像を生成したが、例えば夜間などには、仮想光源を交差点から所定距離離れた場所にある街灯の位置に基づいて仮想影画像を生成するようにしても良い。   In the second embodiment, the virtual shadow image is generated based on the virtual light source. However, for example, at night, the virtual shadow image is generated based on the position of the streetlight at a predetermined distance from the intersection. Anyway.

なお、上述した実施形態においては、移動体として主に車両を想定して説明をしてきたが、移動体としては、四輪車、二輪車、自転車、歩行者を含むようにしても良い。また、静止物としては、停止している四輪車、停止している二輪車、立ち止まっている歩行者や自転車、路側物、建物などが挙げられる。   In the above-described embodiment, the description has been given mainly assuming a vehicle as the moving body, but the moving body may include a four-wheeled vehicle, a two-wheeled vehicle, a bicycle, and a pedestrian. In addition, examples of the stationary object include a stopped four-wheeled vehicle, a stopped two-wheeled vehicle, a stationary pedestrian and bicycle, a roadside object, and a building.

次に、本発明の第2実施形態による作用効果を説明する。
本発明の第2実施形態による車両用周囲監視装置によれば、仮想光源としての太陽から静止物や移動体が光を受けたときの仮想影画像が、静止物や移動体の路面接地位置から地面上に延びるように実画像に重畳して表示されるので、死角領域の画像内において、地面に表示されるそのような仮想影画像影をドライバーが見ることで、移動体や静止物までの距離感や奥行き感を直感的に把握することが出来る。
Next, the function and effect of the second embodiment of the present invention will be described.
According to the vehicle surrounding monitoring apparatus according to the second embodiment of the present invention, a virtual shadow image when a stationary object or a moving body receives light from the sun as a virtual light source is obtained from a road surface ground position of the stationary object or the moving body. Since it is displayed superimposed on the real image so as to extend on the ground, the driver sees the virtual shadow image shadow displayed on the ground in the image of the blind spot area, so that the moving object and the stationary object can be seen. A sense of distance and depth can be grasped intuitively.

また、本実施形態によれば、仮想光源としての太陽の位置及び移動体及び/又は静止物の形状に基づいて仮想壁画像の影の向き及び大きさが規定され、静止物及び/又は移動体の仮想影画像が、この規定された影の向き及び大きさで実画像に重畳して表示されるので、ドライバーは、より精度よく、移動体や静止物までの距離感や奥行き感を把握することが出来る。   In addition, according to the present embodiment, the direction and size of the shadow of the virtual wall image is defined based on the position of the sun as the virtual light source and the shape of the moving object and / or the stationary object, and the stationary object and / or the moving object. Since the virtual shadow image is superimposed and displayed on the actual image with the specified shadow direction and size, the driver can more accurately grasp the sense of distance and depth to a moving object or a stationary object. I can do it.

また、本実施形態によれば、仮想光源の位置は、自車両が進入する交差点から所定距離離れた路面の位置の上空に設定される位置であるので、ドライバーは、その仮想光源の位置を考慮しながら移動体や静止物の仮想影画像を見ることで、より精度良く、移動体や静止物までの距離感や奥行き感を把握することが出来る。   Further, according to the present embodiment, the position of the virtual light source is a position that is set above the position of the road surface that is a predetermined distance away from the intersection where the host vehicle enters, so the driver considers the position of the virtual light source. While seeing the virtual shadow image of the moving object or the stationary object, it is possible to grasp the sense of distance and the depth to the moving object or the stationary object with higher accuracy.

また、本実施形態によれば、他車両が接近してくるときに自車両の発進又は停止を判断するのに適当な路面の位置、即ち、交差点から所定距離(例えば、30〜50m)離れた位置の上方に仮想光源を設定しているので、ドライバーは、そのような仮想光源に基づいて仮想影画像を見ることで、より安全に、自車両の発進又は停止の判断をすることが出来る。   Moreover, according to this embodiment, when another vehicle approaches, the position of the road surface suitable for judging whether the own vehicle starts or stops, that is, a predetermined distance (for example, 30 to 50 m) away from the intersection. Since the virtual light source is set above the position, the driver can more safely determine the start or stop of the host vehicle by viewing the virtual shadow image based on such a virtual light source.

また、本実施形態によれば、交差点からの所定距離は、ドライバーが任意に設定することが出来るので、ドライバーが判断しやすい位置の上空に仮想光源を設定することが出来、より精度良く、移動体や静止物までの距離感や奥行き感を把握することが出来る。   Further, according to the present embodiment, since the driver can arbitrarily set the predetermined distance from the intersection, the virtual light source can be set above the position where the driver can easily determine, and the movement can be performed with higher accuracy. It is possible to grasp the sense of distance and depth to the body and stationary objects.

また、本実施形態によれば、他車両が交差点から離れた所定距離の位置の通過前及び通過後、及び/又は通過中で仮想影画像の表示形態を変更するので、より精度良く、移動体や静止物までの距離感や奥行き感を把握することが出来る。   In addition, according to the present embodiment, the display form of the virtual shadow image is changed before and after the passage of a predetermined distance away from the intersection and / or during the passage of the other vehicle. And a sense of distance and depth to a stationary object.

また、本実施形態によれば、仮想光源の位置は、街灯の位置であるので、例えば夜間において、より直感的に、移動体や静止物までの距離感や奥行き感を把握することが出来る。   Further, according to the present embodiment, since the position of the virtual light source is the position of the streetlight, for example, at night, it is possible to grasp the sense of distance and depth to a moving body or a stationary object more intuitively.

また、本実施形態によれば、ドライバーの死角領域は車両の前方側の交差路の交差点の周辺の死角領域であり、実画像撮像手段は、車両の前方端に設けられ、車両が交差路に差し掛かるとき、その車両の前方端から撮像可能な交差路の交差点周囲の実画像を撮像する。従って、ドライバーは衝突事故の多発する交差点の左右交差路の情報を得ることが出来、より安全な走行が可能となる。   Further, according to the present embodiment, the blind spot area of the driver is a blind spot area around the intersection of the intersection on the front side of the vehicle, the real image capturing means is provided at the front end of the vehicle, and the vehicle is in the intersection. When approaching, a real image around the intersection of the intersection that can be imaged from the front end of the vehicle is captured. Accordingly, the driver can obtain information on the left and right intersections at intersections where collision accidents frequently occur, and safer driving is possible.

また、本実施形態によれば、自車両が、交差点においてドライバーの見通しが良くなる頭出し位置に達した後、仮想影画像の表示が中止されるので、ドライバーは、自車両が頭出し位置にあることを把握すると共に自らの目で道路状況を把握するようにすることが出来る。   Further, according to the present embodiment, since the display of the virtual shadow image is stopped after the host vehicle reaches the cue position where the driver's line of sight is improved at the intersection, the driver stops the host vehicle at the cue position. It is possible to grasp the road situation with one's own eyes while grasping a certain thing.

また、本実施形態によれば、カメラ2、4、6により撮像された実画像内から移動体を検出し、さらに、その移動体の種類及び/又は移動速度及び/又は移動方向を検出し、その移動体の種類及び/又は移動速度及び/又は移動方向に応じて仮想影画像の表示が変更されるので、ドライバーは、移動体に関する情報(種類、速度、移動方向)を仮想影画像から得ることが出来、より精度良く、移動体までの距離感や奥行き感を把握すると共に移動体の状態を把握することが出来る。   Further, according to the present embodiment, the moving body is detected from the actual images captured by the cameras 2, 4, 6, and the type and / or moving speed and / or moving direction of the moving body is detected, Since the display of the virtual shadow image is changed according to the type and / or moving speed and / or moving direction of the moving object, the driver obtains information (type, speed, moving direction) about the moving object from the virtual shadow image. It is possible to grasp the sense of distance and depth to the moving body and the state of the moving body with higher accuracy.

また、本実施形態によれば、移動体が交差点を通過した後は、その移動体の仮想影画像の表示が中止されるので、ドライバーは、仮想影画像が表示されない移動体は自車両にとって安全な移動体であることを把握することが出来る。   In addition, according to the present embodiment, after the moving body passes the intersection, the display of the virtual shadow image of the moving body is stopped, so that the driver can safely move the moving body on which the virtual shadow image is not displayed to the host vehicle. It can be grasped that it is a moving body.

また、本実施形態によれば、移動体が検出されたとき、その移動体が高速で接近し或いは蛇行して接近しているか否かを検出し、この高速で接近し或いは蛇行して接近している移動体が検出されたとき、そのような移動体を他の移動体とは異なる色で影を表示するので、ドライバーは、より注意すべき高速で接近し或いは蛇行して接近している移動体が存在することを容易に把握することが出来る。   Further, according to the present embodiment, when a moving body is detected, it is detected whether or not the moving body approaches or meanders at high speed, and approaches or meanders and approaches at high speed. When a moving object is detected, such a moving object displays a shadow in a color different from that of the other moving objects, so the driver is approaching at a higher speed or meandering with more attention. It can be easily grasped that a moving body exists.

また、本実施形態によれば、複数の縦列で接近してくる移動体の有無を検出し、複数の縦列で接近してくる移動体が検出されたとき、それらの縦列で接近してくる移動体のうちの後続車の影を先頭車の影と異なるように表示するので、移動体が縦列で接近してくることを容易に把握することが出来、また、後続の移動体についても距離感や奥行き感を把握することが出来る。   According to the present embodiment, the presence or absence of a moving body approaching in a plurality of columns is detected, and when a moving body approaching in a plurality of columns is detected, the movement approaching in those columns Since the shadow of the following car in the body is displayed differently from the shadow of the leading car, it can be easily grasped that the moving body approaches in a column, and the following moving body also has a sense of distance. And a sense of depth.

本発明の第1及び第2実施形態による車両用周囲監視装置が適用された車両の全体構成図である。1 is an overall configuration diagram of a vehicle to which a vehicle surrounding monitoring device according to first and second embodiments of the present invention is applied. FIG. 本発明の第1及び第2実施形態による車両用周囲監視装置のカメラによる撮像範囲の一例(a)及び撮像された映像の一例(b)を示す図である。It is a figure which shows an example (a) of the imaging range by the camera of the surroundings monitoring apparatus for vehicles by 1st and 2nd embodiment of this invention, and an example (b) of the imaged image. ドライバーによる交差路進入時における運転行動を説明するための図である。It is a figure for demonstrating the driving action at the time of the crossing approach by a driver. 自車両の頭出し位置を説明するための道路及び車両の俯瞰図である。It is a bird's-eye view of the road and vehicles for explaining the cueing position of the own vehicle. 本発明の第1及び第2実施形態による車両用周囲監視装置の距離把握用仮想画像を表示するか否かの処理を示すフローチャートである。It is a flowchart which shows the process of whether to display the distance grasping | ascertainment virtual image of the vehicle periphery monitoring apparatus by 1st and 2nd embodiment of this invention. 本発明の第1実施形態による車両用周囲監視装置の構成を示すブロック図である。1 is a block diagram illustrating a configuration of a vehicle surroundings monitoring device according to a first embodiment of the present invention. 、本発明の第1実施形態による車両用周囲監視装置の距離把握用仮想画像の表示処理を示すフローチャートである。FIG. 3 is a flowchart showing display processing of a distance grasping virtual image of the vehicle surrounding monitoring apparatus according to the first embodiment of the present invention. FIG. 本発明の第1実施形態による車両用周囲監視装置のカメラによる撮像範囲及び移動体の一例(a)及び仮想画像が実画像に重畳された映像の一例(b)を示す図である。It is a figure which shows the imaging range by the camera of the surroundings monitoring apparatus for vehicles by 1st Embodiment of this invention, an example (a) of a moving body, and an example (b) of the image | video on which the virtual image was superimposed on the real image. 本発明の第2実施形態による車両用周囲監視装置の構成を示すブロック図である。It is a block diagram which shows the structure of the vehicle periphery monitoring apparatus by 2nd Embodiment of this invention. 本発明の第2実施形態による車両用周囲監視装置の距離把握用仮想画像の表示処理を示すフローチャートである。It is a flowchart which shows the display processing of the distance grasping | ascertainment virtual image of the vehicle periphery monitoring apparatus by 2nd Embodiment of this invention. 本発明の第2実施形態による車両用周囲監視装置のカメラによる撮像範囲及び移動体の一例(a)及び仮想画像が実画像に重畳された映像の一例(b)を示す図である。It is a figure which shows the imaging range by the camera of the surroundings monitoring apparatus for vehicles by 2nd Embodiment of this invention, an example (a) of a moving body, and an example (b) of the image | video on which the virtual image was superimposed on the real image.

符号の説明Explanation of symbols

1 車両
2、4、6 監視カメラ
7 レーザレーダ
10 車速センサ
11 ジャイロ
12 GPS装置
13 ナビゲーション装置
14 画像表示モニタ
18 ECU
1 Vehicle 2, 4, 6 Monitoring camera 7 Laser radar 10 Vehicle speed sensor 11 Gyro 12 GPS device 13 Navigation device 14 Image display monitor 18 ECU

Claims (14)

ドライバーから見て前方で左右に広がる領域内の死角領域を監視する車両用周囲監視装置であって、
上記死角領域の実画像を撮像するように車両の前方部に設けられた実画像撮像手段と、
上記実画像撮像手段により撮像された静止物及び/又は移動体に仮想の影を与えるよう仮想光源を設定する仮想光源設定手段と、
この仮想光源設定手段により設定された仮想光源から上記静止物及び/又は移動体が光を受けたときの影を仮想影画像として生成する仮想影画像生成手段と、
上記実画像撮像手段により撮像された上記死角領域の実画像内において、上記仮想影画像生成手段により生成された仮想影画像を上記静止物及び/又は移動体の路面接地位置から地面上に延びるよう上記実画像に重畳して表示する表示手段と、
を有することを特徴とする車両用周囲監視装置。
A vehicle surrounding monitoring device that monitors a blind spot area in an area that extends from side to side in front of a driver,
Real image capturing means provided at the front of the vehicle so as to capture a real image of the blind spot area;
Virtual light source setting means for setting a virtual light source so as to give a virtual shadow to a stationary object and / or a moving object imaged by the real image imaging means;
Virtual shadow image generation means for generating a shadow when the stationary object and / or the moving body receives light from the virtual light source set by the virtual light source setting means as a virtual shadow image;
The virtual shadow image generated by the virtual shadow image generation unit extends from the road contact surface position of the stationary object and / or the moving body to the ground in the real image of the blind spot area captured by the real image capturing unit. Display means for superimposing and displaying the actual image;
A vehicle surrounding monitoring device characterized by comprising:
さらに、上記仮想光源の位置及び上記移動体及び/又は静止物の形状に基づいて上記仮想画像の影の向き及び大きさを規定する仮想影画像規定手段を有し、
上記表示手段は、この仮想影画像規定手段により規定された影の向き及び大きさで上記静止物及び/又は移動体の仮想影画像をそれらの静止物及び/又は移動体の路面接地位置から延びるように上記実画像に重畳して表示する請求項1に記載の車両用周囲監視装置。
And a virtual shadow image defining means for defining the direction and size of the shadow of the virtual shadow image based on the position of the virtual light source and the shape of the moving body and / or stationary object,
The display means extends the virtual shadow image of the stationary object and / or the moving object from the road contact surface position of the stationary object and / or the moving object with the direction and size of the shadow defined by the virtual shadow image defining means. The vehicle surrounding monitoring apparatus according to claim 1, wherein the vehicle surrounding monitoring apparatus displays the image so as to overlap the real image.
上記仮想光源の位置は、緯度、経度及び時刻から算出された太陽の位置である請求項1又は請求項2に記載の車両用周囲監視装置。   The vehicle surrounding monitoring apparatus according to claim 1 or 2, wherein the position of the virtual light source is a position of the sun calculated from latitude, longitude, and time. 上記仮想光源の位置は、自車両が進入する交差点から所定距離離れた路面の位置の上空に設定される位置である請求項1又は請求項2に記載の車両用周囲監視装置。   The vehicle surrounding monitoring device according to claim 1 or 2, wherein the position of the virtual light source is a position set above the position of a road surface that is a predetermined distance away from an intersection where the host vehicle enters. 上記交差点からの所定距離は、他車両が接近してくるときに自車両の発進又は停止を判断するのに適当な路面の位置までの距離である請求項4に記載の車両用周囲監視装置。   The vehicle surrounding monitoring apparatus according to claim 4, wherein the predetermined distance from the intersection is a distance to an appropriate road surface position for determining whether the own vehicle starts or stops when another vehicle approaches. 上記交差点からの所定距離は、ドライバーが任意に設定することが出来る請求項4に記載の車両用周囲監視装置。   The vehicle surrounding monitoring apparatus according to claim 4, wherein the predetermined distance from the intersection can be arbitrarily set by a driver. 上記表示手段は、他車両が上記交差点から離れた所定距離の位置の通過前及び通過後、及び/又は通過中で上記仮想影画像の表示形態を変更する請求項4乃至6のいずれか1項に記載の車両用周囲監視装置。   7. The display unit according to claim 4, wherein the display unit changes a display form of the virtual shadow image before and after the passage of a predetermined distance away from the intersection and / or during the passage. The vehicle surrounding monitoring device described in 1. 上記仮想光源の位置は、街灯の位置である請求項1又は請求項2に記載の車両用周囲監視装置。   The vehicle surrounding monitoring apparatus according to claim 1, wherein the position of the virtual light source is a position of a streetlight. 上記ドライバーの死角領域は車両の前方側の交差路の交差点の周辺の死角領域であり、 上記実画像撮像手段は、車両の前方端に設けられ、車両が交差路に差し掛かるとき、その車両の前方端から撮像可能な交差路の交差点周囲の実画像を撮像する請求項1乃至8のいずれか1項に記載の車両用周囲監視装置。   The blind spot area of the driver is a blind spot area around the intersection of the intersection on the front side of the vehicle, and the real image capturing means is provided at the front end of the vehicle, and when the vehicle approaches the intersection, The vehicle surrounding monitoring apparatus according to claim 1, wherein a real image around an intersection of an intersection that can be imaged from the front end is captured. さらに、交差点においてドライバーの見通しが良くなる頭出し位置を算出する頭出し位置算出手段を有し、
上記表示手段は、自車両が上記頭出し位置に達した後、上記仮想影画像の表示を中止する請求項9に記載の車両用周囲監視装置。
Furthermore, it has a cue position calculation means for calculating a cue position where the driver's line of sight is improved at the intersection,
The vehicle surrounding monitoring apparatus according to claim 9, wherein the display unit stops displaying the virtual shadow image after the host vehicle reaches the cueing position.
さらに、上記実画像撮像手段により撮像された実画像内から移動体を検出する移動体検出手段と、
この移動体検出手段により移動体が検出されたとき、その移動体の種類及び/又は移動速度及び/又は移動方向を検出する移動体状態検出手段と、を有し、
上記表示手段は、上記移動体の種類及び/又は移動速度及び/又は移動方向に応じて上記仮想影画像の表示を変更する請求項1乃至10のいずれか1項に記載の車両用周囲監視装置。
Furthermore, a moving body detecting means for detecting a moving body from within the real image captured by the real image capturing means,
A moving body state detecting means for detecting the type and / or moving speed and / or moving direction of the moving body when the moving body is detected by the moving body detecting means;
The vehicle surrounding monitoring device according to any one of claims 1 to 10, wherein the display means changes the display of the virtual shadow image according to the type and / or moving speed and / or moving direction of the moving body. .
上記表示手段は、上記移動体が交差点を通過した後、その移動体の上記仮想影画像の表示を中止する請求項11に記載の車両用周囲監視装置。   The vehicle surrounding monitoring apparatus according to claim 11, wherein the display unit stops displaying the virtual shadow image of the moving body after the moving body passes an intersection. さらに、上記移動体検出手段により移動体が検出されたとき、その移動体が高速で接近し或いは蛇行して接近しているか否かを検出する第2移動体状態検出手段を有し、
上記表示手段は、この高速で接近し或いは蛇行して接近している移動体が検出されたとき、他の移動体とは異なる色で影を表示する請求項11又は請求項12に記載の車両用周囲監視装置。
Furthermore, when the moving body is detected by the moving body detecting means, it has second moving body state detecting means for detecting whether or not the moving body is approaching at high speed or meandering.
The vehicle according to claim 11 or 12, wherein the display means displays a shadow in a color different from that of other moving bodies when a moving body approaching at high speed or meandering is approaching. Ambient monitoring device.
さらに、上記移動体検出手段により複数の縦列で接近してくる移動体の有無を検出する第3移動体状態検出手段と、を有し、
上記表示手段は、この第3移動体状態検出手段により複数の縦列で接近してくる移動体が検出されたとき、それらの縦列で接近してくる移動体のうちの後続車の影を先頭車の影と異なるように点滅させ又は異なる色で表示する請求項11乃至13のいずれか1項に記載の車両用周囲監視装置。
Furthermore, it has the 3rd moving body state detection means which detects the presence or absence of the moving body which approaches by the said moving body detection means in several columns,
When the moving body approaching in a plurality of columns is detected by the third moving body state detection means, the display means displays the shadow of the succeeding vehicle among the moving bodies approaching in the column. The vehicle surrounding monitoring apparatus according to claim 11, wherein the vehicle surrounding monitoring apparatus blinks or is displayed in a different color so as to be different from the shadow of the vehicle.
JP2008071873A 2008-03-19 2008-03-19 Ambient monitoring device for vehicles Expired - Fee Related JP4986070B2 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2008071873A JP4986070B2 (en) 2008-03-19 2008-03-19 Ambient monitoring device for vehicles
US12/350,480 US8054201B2 (en) 2008-03-19 2009-01-08 Surroundings monitoring device for vehicle
EP09003114A EP2103485A3 (en) 2008-03-19 2009-03-04 Surroundings monitoring device, method and computer program product for a vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008071873A JP4986070B2 (en) 2008-03-19 2008-03-19 Ambient monitoring device for vehicles

Publications (2)

Publication Number Publication Date
JP2009230225A JP2009230225A (en) 2009-10-08
JP4986070B2 true JP4986070B2 (en) 2012-07-25

Family

ID=41245587

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008071873A Expired - Fee Related JP4986070B2 (en) 2008-03-19 2008-03-19 Ambient monitoring device for vehicles

Country Status (1)

Country Link
JP (1) JP4986070B2 (en)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012216142A (en) * 2011-04-01 2012-11-08 Denso Corp On-vehicle alarm device
JP5605764B2 (en) * 2011-09-02 2014-10-15 株式会社デンソー Vehicle display device
WO2016075810A1 (en) * 2014-11-14 2016-05-19 日産自動車株式会社 Display device and display method
JP6756135B2 (en) * 2016-03-31 2020-09-16 日産自動車株式会社 Driving support method and driving support device
JP7061873B2 (en) * 2017-12-28 2022-05-02 ジオテクノロジーズ株式会社 Information processing equipment, information processing programs and information processing methods
JP2020145564A (en) * 2019-03-05 2020-09-10 株式会社デンソーテン Image processing device and image processing method

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3431678B2 (en) * 1994-02-14 2003-07-28 三菱自動車工業株式会社 Ambient situation display device for vehicles
JPH11271069A (en) * 1998-03-20 1999-10-05 Sony Corp Navigator
JP3511892B2 (en) * 1998-05-25 2004-03-29 日産自動車株式会社 Ambient monitoring device for vehicles
JP2004320137A (en) * 2003-04-11 2004-11-11 Nissan Motor Co Ltd Apparatus for supervising side of vehicle
JP4259368B2 (en) * 2004-03-26 2009-04-30 三菱自動車工業株式会社 Nose view monitor device
JP4756316B2 (en) * 2005-03-11 2011-08-24 アイシン精機株式会社 Wide area image generation apparatus, vehicle periphery monitoring apparatus using the same, and wide area image generation method
JP4641902B2 (en) * 2005-08-26 2011-03-02 セコム株式会社 Image sensor
JP4561627B2 (en) * 2005-12-26 2010-10-13 アイシン・エィ・ダブリュ株式会社 Vehicle periphery monitoring device
JP4760562B2 (en) * 2006-06-19 2011-08-31 日産自動車株式会社 Vehicle periphery information presentation device and vehicle periphery information presentation method

Also Published As

Publication number Publication date
JP2009230225A (en) 2009-10-08

Similar Documents

Publication Publication Date Title
US9723243B2 (en) User interface method for terminal for vehicle and apparatus thereof
JP4855158B2 (en) Driving assistance device
JP5070809B2 (en) Driving support device, driving support method, and program
US9507345B2 (en) Vehicle control system and method
RU2704773C1 (en) Display control method and device
JP6307895B2 (en) Vehicle periphery monitoring device
JP5421072B2 (en) Approaching object detection system
EP1961613B1 (en) Driving support method and driving support device
US20150062141A1 (en) Alert display device and alert display method
JP2009226978A (en) Vehicular circumference monitoring device
US20110228980A1 (en) Control apparatus and vehicle surrounding monitoring apparatus
JP2008250503A (en) Operation support device
JP2010130646A (en) Vehicle periphery checking system
KR102045088B1 (en) Image displaying Method and Apparatus therefor
JP2008222153A (en) Merging support device
JP4986070B2 (en) Ambient monitoring device for vehicles
JP2009231938A (en) Surrounding monitoring device for vehicle
US20200249044A1 (en) Superimposed-image display device and computer program
JP2009231937A (en) Surroundings monitoring device for vehicle
JP2019120994A (en) Display control device and display control method
JP4193740B2 (en) Nose view monitor device
JP2012153256A (en) Image processing apparatus
JP2005202787A (en) Display device for vehicle
JP4930432B2 (en) Vehicle periphery monitoring device
JP4986069B2 (en) Ambient monitoring device for vehicles

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100329

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110913

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110921

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111117

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120405

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120418

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4986070

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150511

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees