JP5251804B2 - Driving assistance device - Google Patents
Driving assistance device Download PDFInfo
- Publication number
- JP5251804B2 JP5251804B2 JP2009216878A JP2009216878A JP5251804B2 JP 5251804 B2 JP5251804 B2 JP 5251804B2 JP 2009216878 A JP2009216878 A JP 2009216878A JP 2009216878 A JP2009216878 A JP 2009216878A JP 5251804 B2 JP5251804 B2 JP 5251804B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- vehicle
- display
- driver
- displays
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Traffic Control Systems (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Closed-Circuit Television Systems (AREA)
Description
本発明は、運転支援装置に関する。 The present invention relates to a driving support device.
車両の前後左右に設けられたカメラにより車両の周囲を撮像し、これらのカメラにより撮影された画像を、画像処理ユニットにより車両上方を仮想視点として見た俯瞰画像に変換して、車室内に設けられたディスプレイに表示させる運転支援装置が知られている（例えば、特許文献１参照）。当該運転支援装置によれば、運転者の視野を広げることができ、運転者の利便性を向上させることができる。 Images of the surroundings of the vehicle are captured by the cameras provided on the front, rear, left and right of the vehicle, and the images captured by these cameras are converted into a bird's-eye view image viewed from above the vehicle as a virtual viewpoint by the image processing unit. There is known a driving support device for displaying on a displayed display (for example, see Patent Document 1). According to the driving support device, the driver's field of view can be expanded and the convenience of the driver can be improved.
ところで、上記運転支援装置では、異なるカメラにより撮影された画像を合成して俯瞰画像を生成するが、合成された画像の境界部分に死角ができ、運転者が、着目したい障害物を認識できない場合がある。また、運転者は、自車両を駐車場に駐車させる際に、運転席から自車両の周囲を見回す。このため、ディスプレイに表示される俯瞰画像は、実際に運転席から見える映像と視点が異なるので、運転者に違和感を生じさせることが考えられる。 By the way, in the above-mentioned driving support device, a bird's-eye view image is generated by synthesizing images taken by different cameras, but there is a blind spot at the boundary portion of the synthesized image, and the driver cannot recognize an obstacle to be noticed. There is. The driver looks around the vehicle from the driver's seat when the vehicle is parked in the parking lot. For this reason, the bird's-eye view image displayed on the display has a different viewpoint from the image actually seen from the driver's seat.
本発明は上記事情に鑑み、運転者の違和感を抑制しつつ的確な安全確認支援を行うことができる運転支援装置を提供することを課題とする。 In view of the above circumstances, an object of the present invention is to provide a driving support device capable of providing accurate safety confirmation support while suppressing a driver's uncomfortable feeling.
上記課題を達成するため、運転支援装置は、車両の周囲を撮像する撮像部と、前記撮像部により撮影された画像を、車室内に設定された仮想視点から見た車両の周囲の画像に変換すると共に、前記仮想視点を中心として視覚方向を連続的に変化させた連続画像を生成する画像生成部と、前記画像生成部により生成された前記連続画像を表示する表示部と、シフトポジションが、前進走行のレンジ又は後退走行のレンジに切り替えられた場合に、前記表示部に前記連続画像を表示させる制御部と、を備え、前記画像生成部は、助手席側、車両後方及び車両前方の何れか一方、運転席側の順序で前記視覚方向が変化する前記連続画像を生成する。 To achieve the above object, the driving support device converts an image captured by the image capturing unit that captures the periphery of the vehicle into an image around the vehicle viewed from a virtual viewpoint set in the passenger compartment. And an image generation unit that generates a continuous image whose visual direction is continuously changed around the virtual viewpoint, a display unit that displays the continuous image generated by the image generation unit, and a shift position. A control unit that displays the continuous image on the display unit when the range is changed to a forward traveling range or a backward traveling range, and the image generating unit includes any one of a passenger seat side, a vehicle rear side, and a vehicle front side. or the other, that generates the continuous image the visual direction changes in the driver's seat side order.
上記運転支援装置は、前記撮像部により撮像された画像に基づいて立体物を検出する立体物検出部を備えてもよく、前記制御部は、前記立体物検出部により前記立体物が検出された場合に、前記撮像部により撮像された前記立体物の画像を前記表示部に表示させてもよい。 The driving support device may include a three-dimensional object detection unit that detects a three-dimensional object based on an image captured by the imaging unit, and the control unit detects the three-dimensional object by the three-dimensional object detection unit. In this case, an image of the three-dimensional object captured by the imaging unit may be displayed on the display unit.
上記運転支援装置において、前記画像生成部は、シフトポジションが、前進走行のレンジに切り替えられた場合に、車両前方、助手席側、車両後方、運転席側の順序で前記視覚方向が変化する前記連続画像を生成し、シフトポジションが、後退走行のレンジに切り替えられた場合に、車両後方、助手席側、車両前方、運転席側の順序で前記視覚方向が変化する前記連続画像を生成してもよい。 In the driving support apparatus, the image generation unit changes the visual direction in the order of vehicle front, passenger seat side, vehicle rear, driver seat side when the shift position is switched to a forward travel range. A continuous image is generated, and when the shift position is switched to the reverse travel range, the continuous image is generated in which the visual direction changes in the order of the rear of the vehicle, the front passenger seat, the front of the vehicle, and the driver seat. Also good.
上記運転支援装置において、前記画像生成部は、運転席を仮想視点として見た前記連続画像を生成してもよい。 In the driving support apparatus, the image generation unit may generate the continuous image when the driver's seat is viewed as a virtual viewpoint.
上記運転支援装置によれば、運転者の違和感を抑制しつつ的確な安全確認支援を行うことができる。 According to the driving support device, it is possible to provide accurate safety confirmation support while suppressing the driver's uncomfortable feeling.
以下、本発明の実施の形態について説明する。
図１は、本発明の一実施形態に係る運転支援装置１０の概略構成を示すブロック図である。また、図２は、本実施形態に係る運転支援装置１０を備える自車両１００を示す平面図である。これらの図に示すように、本実施形態に係る運転支援装置１０は、運転支援装置１０全体の制御を司るＥＣＵ（Electronic Control Unit）８０と、自車両１００の周囲を撮像する複数（本実施形態では４個）のカメラ（撮像部）４１、４２、４３、４４と、カメラ４１〜４４により撮影された画像を処理する画像処理ユニット（画像生成部）３０と、画像処理ユニット３０により処理された画像を表示するディスプレイ（表示部）２０とを備えている。
Embodiments of the present invention will be described below.
FIG. 1 is a block diagram showing a schematic configuration of a
図２に示すように、カメラ４１は、車両前面における車幅方向中央部に配設され、カメラ４２は、車両左側面（助手席側側面）のサイドミラー１１０に配設されている。また、カメラ４３は、車両後面における車幅方向中央部に配設され、カメラ４４は、車両右側面（運転席側側面）のサイドミラー１１０に配設されている。
カメラ４１〜４４は、画角が１８０°の広角撮影用のカメラである。カメラ４１は、車両前方を１８０°の画角で撮像する。また、カメラ４２は、車両左方を１８０°の画角で撮像する。また、カメラ４３は、車両後方を１８０°の画角で撮像する。さらに、カメラ４４は、車両右方を１８０°の画角で撮像する。
As shown in FIG. 2, the
The
画像処理ユニット３０は、カメラ４１〜４４により撮影された画像を座標変換（視点変換）して、運転席を仮想視点として見た車両の周囲の画像を生成する。画像処理ユニット３０は、撮影画像と座標変換後の画像との画素配置対応関係を記憶した変換テーブルを、各カメラ４１〜４４毎に有しており、各カメラ４１〜４４により撮影された画像を、それぞれの変換テーブルに基づいて座標変換する。また、画像処理ユニット３０は、運転席に設定された仮想視点を中心として視覚方向が連続的に変化する連続画像を生成する。当該連続画像は、例えば、車両左前方（即ち助手席の左前方）から始まり、車両左方、車両後方、車両右方、車両右前方（即ち運転席の右前方）を経由して車両前方で終わる。
The
そして、画像処理ユニット３０は、生成した画像データを、順次、ディスプレイ２０に送信する。ディスプレイ２０は、画像処理ユニット３０から順次送信される画像データに基づいて、順次、画像処理ユニット３０により生成された画像を表示する。
ＥＣＵ８０は、自車両１００の周辺映像のディスプレイ２０への表示をＯＮ／ＯＦＦするスイッチ８２と、画像処理ユニット３０により生成された画像を解析して自車両１００に対して相対移動する立体物を検出する立体物検出部８４とを備えている。
Then, the
The ECU 80 detects a three-dimensional object that moves relative to the
スイッチ８２は、ディスプレイ２０への周辺映像の表示をＯＮ／ＯＦＦするスイッチである。このスイッチ８２は、運転者によるシフトレバー１２０の操作によって、シフトポジションが、駐停車状態となるレンジ（本実施形態では、Ｐ（パーキング）レンジ及びＮ（ニュートラル）レンジ）から前進走行状態となるレンジ（本実施形態では、Ｄ（ドライブ）レンジ、Ｌ（ロー）レンジ及び２（セカンド）レンジ）、又は、後退走行状態となるレンジ（本実施形態では、Ｒ（リバース）レンジ）とに切替えられた場合に、ＯＦＦからＯＮに切り替わる。また、スイッチ８２は、シフトポジションが、前進走行状態となるレンジと後退走行状態となるレンジとの間で相互に切り替えられた場合にも、ＯＦＦからＯＮに切り替わる。一方で、スイッチ８２は、ディスプレイ２０への周辺映像の表示がＯＮの状態で、シフトポジションの切り替えが行われた場合、及び、所定速度（例えば、１０ｋｍ／ｈ等の徐行速度）を超えた場合に、ＯＦＦに切り替わる。
The
また、立体物検出部８４は、画像処理ユニット３０が生成した画像中のコントラスト比や色相等が変化する箇所（例えば、画像中の立体物のエッジやコーナー等）を特徴点として抽出し、時刻変化に伴う当該特徴点の位置変化を追跡する。立体物検出部８４は、画像中の当該特徴点の位置変化と、予め記憶した算出式とに基づいて、特徴点を三次元空間座標に変換すると共に特徴点の自車両１００に対する相対速度を算出する。そして、立体物検出部８４は、自車両１００に対する相対速度を有する特徴点の有無により、画像中の立体物の有無を検出すると共に、当該特徴点の三次元空間座標と相対速度とから、立体物の位置、立体物と自車両１００との距離を算出する。
In addition, the three-dimensional
ＥＣＵ８０は、立体物検出部８４により画像中の立体物が検出された場合、ディスプレイ２０に、立体物検出部８４により検出された立体物が映り込んでいる静止画像を表示させる。
なお、運転支援装置１０では、シフトポジションの切り替えに連動して自動でスイッチ８２のＯＮ／ＯＦＦが切り替えられる自動切り替えモードと、ユーザの操作によりスイッチ８２のＯＮ／ＯＦＦが切り替えられる手動切り替えモードとを、ディスプレイ２０のタッチパネル又はディスプレイ２０の周囲の操作キーにより選択できるようになっている。
When the three-dimensional object in the image is detected by the three-dimensional
The driving
次に、運転支援装置１０の動作について説明する。図３は、自車両１００を、駐車場に駐車させるシーンを示す平面図である。この図に示すように、自車両１００の後方に位置する駐車エリアＰ１は、自車両１００を駐車させるエリアである。この駐車エリアＰ１の左右両側の駐車エリアＰ２、Ｐ３にはそれぞれ車両１０３、１０４が駐車されている。また、駐車エリアＰ１の左前方に前後に並列された駐車エリアＰ４、Ｐ５にはそれぞれ車両１０１、１０２が駐車されている。また、駐車エリアＰ１の右前方に前後に並列された駐車エリアＰ６、Ｐ７にはそれぞれ車両１０５、１０６が駐車されている。
Next, the operation of the driving
図４は、運転支援装置１０の動作を説明するためのフローチャートである。このフローチャートに示すように、スイッチ８２が自動切り替えモードに設定されている場合に、処理ルーチンが開始されてステップ１００へ移行する。ステップ１００では、ＥＣＵ８０が、シフトポジションがＰレンジ、Ｄレンジ、又はＮレンジからＲレンジへ切り替わったか否か、または、シフトポジションがＰレンジ又はＮレンジからＤレンジへ切り替わったか否かを判定する。判定が肯定された場合には、ステップ１０２へ移行する。
FIG. 4 is a flowchart for explaining the operation of the driving
ステップ１０２では、ＥＣＵ８０が、スイッチ８２をＯＮにしてステップ１０４へ移行する。ステップ１０４では、ＥＣＵ８０が、立体物検出部８４により立体物が検出されたか否かを判定する。ここで、立体物検出部８４により検出される立体物は、自車両１００に対して相対速度を有するもの、例えば、自車両１００に接近する人等である。判定が肯定された場合には、ステップ１０６へ移行する一方、判定が否定された場合には、ステップ３００へ移行する。
In
ステップ１０６では、画像処理ユニット３０が、立体物検出部８４により検出された立体物が移り込んだ画像を座標変換したうえで合成し、運転席を仮想視点として見た画像と、自車両１００の上方を仮想視点として見た俯瞰画像とを生成する。ここで、画像処理ユニット３０は、異なるカメラで撮影した画像の繋ぎ目部分において、繋ぎ合わされる画像の画素を交互に配置することにより、当該繋ぎ目部分における画像の不連続性を緩和させた画像（所謂シームレスの画像）を生成する。そして、ディスプレイ２０は、画像処理ユニット３０が生成した画像を表示する。
In
図５は、本ステップにおいてディスプレイ２０に表示される映像を示す画像図である。この図に示すように、ディスプレイ２０には、運転席を仮想視点として見た車外映像Ｉ１のみならず、運転席に設定された仮想視点から見た車内映像Ｉ２をも表示する表示部２１と、俯瞰映像Ｉ４を表示する表示部２２と、撮影位置を示す位置情報を表示する表示部２３とが設けられている。
FIG. 5 is an image diagram showing a video displayed on the
表示部２１は、車内映像Ｉ２を表示部２１の全面に表示し、車外映像Ｉ１を車内映像Ｉ２と重ねて表示する。ここで、表示部２１は、車内映像Ｉ２における車外映像Ｉ１と重なる領域Ｉ３を、透過映像として表示する。
また、表示部２２は、俯瞰映像Ｉ４を表示する。さらに、表示部２３は、撮影位置に相当する部分を赤色等、その他の部分とは異なる色で表示する。
The
Further, the
次に、ステップ１０８では、ＥＣＵ８０が、立体物検出部８４により検出された立体物と自車両１００との距離が増加したか否かを判定する。即ち、ＥＣＵ８０は、立体物検出部８４により検出された立体物が自車両１００から離れて行っているか否かを判定する。判定が肯定された場合には、ステップ１１０へ移行する。
ステップ１１０では、ＥＣＵ８０が、立体物検出部８４により検出された立体物を撮影したカメラ４１〜４４が、前後のカメラ４１、４３であるか、左右のカメラ４２、４４であるかを判定する。前後のカメラ４１、４３である場合にはステップ１１２へ移行する一方、左右のカメラ４２、４４である場合にはステップ３００へ移行する。
Next, in step 108, the
In
ステップ１１２では、立体物検出部８４により検出された立体物を撮影したカメラ４１〜４４が、車両前方のカメラ４１であるか、車両後方のカメラ４３であるかを判定する。車両前方のカメラ４１と判定された場合には、ステップ１１４へ移行する一方、車両後方のカメラ４３と判定された場合には、ステップ２００へ移行する。
ステップ１１４では、画像処理ユニット３０が、車両前方のカメラ４１が撮影した画像と車両左方のカメラ４２が撮影した画像とを座標変換したうえで合成し、運転席を仮想視点として見た車両左前方の画像と、車両上方を仮想視点として見た車両左前方の俯瞰画像とを生成する。ここで、画像処理ユニット３０は、カメラ４１が撮影した画像と、カメラ４２が撮影した画像との繋ぎ目部分において、前者と後者との画素を交互に配置することにより、上述のシームレスの画像を生成する。そして、ディスプレイ２０は、画像処理ユニット３０が生成した画像を表示する。
In step 112, it is determined whether the
In
図６は、本ステップにおいてディスプレイ２０に表示される映像を示す画像図である。この図に示すように、ディスプレイ２０の表示部２１は、運転席を仮想視点として見た車両左前方の車外映像Ｉ１と、運転席に設定された仮想視点の左前方の車内映像Ｉ２とを表示する。また、表示部２１は、車内映像Ｉ２を表示部２１の全面に表示し、車外映像Ｉ１を車内映像Ｉ２の左側に重ねて表示する。ここでは、表示部２１において、自車両１００の左前方に位置する車両１０１、１０２が、車外映像Ｉ１に映り込む。
FIG. 6 is an image diagram showing a video displayed on the
また、ディスプレイ２０の表示部２２は、車両左前方の俯瞰映像Ｉ４を表示する。さらに、ディスプレイ２０の表示部２３は、撮影位置である車両左前方に相当する部分を赤色等、その他の部分とは異なる色で表示する。
次に、ステップ１１６では、画像処理ユニット３０が、車両左方のカメラ４２が撮影した画像を座標変換し、運転席を仮想視点として見た車両左方の画像と、自車両１００の上方を仮想視点として見た車両左方の俯瞰画像とを生成する。そして、ディスプレイ２０は、画像処理ユニット３０が生成した画像を表示する。
The
Next, in step 116, the
図７は、本ステップにおいてディスプレイ２０に表示される映像を示す画像図である。この図に示すように、ディスプレイ２０の表示部２１は、運転席を仮想視点として見た車両左方の車外映像Ｉ１と、運転席に設定された仮想視点の左方の車内映像Ｉ２とを重ねて表示する。表示部２１は、車内映像Ｉ２をディスプレイ２０の全面に表示し、車外映像Ｉ１を車内映像Ｉ２の左側に重ねて表示する。また、表示部２１は、車内映像Ｉ２における車外映像Ｉ１と重なる領域Ｉ３を、透過映像として表示する。ここでは、表示部２１において、自車両１００の左前方に位置する車両１０２が、車外映像Ｉ１の右端に映り込む。
FIG. 7 is an image diagram showing a video displayed on the
ここで、ステップ１１４からステップ１１６へ移行する際に、画像処理ユニット３０は、運転席に設定された仮想視点を中心として視覚方向を車両左前方から車両左方に連続的に変化させた連続画像を生成する。そして、ディスプレイ２０の表示部２１は、図６に示す車両左前方の映像から図７に示す車両左方の映像に連続的に遷移する連続映像を表示する。
Here, when moving from
また、表示部２２は、車両左方の俯瞰映像Ｉ４を表示する。さらに、表示部２３は、撮影位置である車両左方に相当する部分を赤色等、その他の部分とは異なる色で表示する。
次に、ステップ１１８では、画像処理ユニット３０が、車両左方のカメラ４２が撮影した画像と車両後方のカメラ４３が撮影した画像とを座標変換したうえで合成し、運転席を仮想視点として見た車両左後方の画像と、車両上方を仮想視点として見た車両左後方の俯瞰画像とを生成する。ここで、画像処理ユニット３０は、カメラ４２が撮影した画像と、カメラ４３が撮影した画像との繋ぎ目部分において、前者と後者との画素を交互に配置することにより、シームレスの画像を生成する。そして、ディスプレイ２０は、画像処理ユニット３０が生成した画像を表示する。
Further, the
Next, in step 118, the
図８は、本ステップにおいてディスプレイ２０に表示される映像を示す画像図である。この図に示すように、ディスプレイ２０の表示部２１は、運転席を仮想視点として見た車両左後方の車外映像Ｉ１と、運転席に設定された仮想視点の左後方の車内映像Ｉ２とを表示する。また、表示部２１は、車内映像Ｉ２を表示部２１の全面に表示し、車外映像Ｉ１を車内映像Ｉ２の左側に重ねて表示する。ここでは、表示部２１において、自車両１００の左後方に位置する車両１０３が車外映像Ｉ１に映り込む。
FIG. 8 is an image diagram showing a video displayed on the
ここで、ステップ１１６からステップ１１８へ移行する際に、画像処理ユニット３０は、運転席に設定された仮想視点を中心として視覚方向を車両左方から車両左後方に連続的に変化させた連続画像を生成する。そして、ディスプレイ２０の表示部２１は、図７に示す車両左方の映像から図８に示す車両左後方の映像に連続的に遷移する連続映像を表示する。
Here, when moving from step 116 to step 118, the
また、表示部２２は、車両左後方の俯瞰映像Ｉ４を表示する。さらに、表示部２３は、撮影位置である車両左後方に相当する部分を赤色等、その他の部分とは異なる色で表示する。
次に、ステップ１２０では、画像処理ユニット３０が、車両後方のカメラ４３により撮影された画像を座標変換し、運転席を仮想視点として見た車両後方の画像と、自車両１００の上方を仮想視点として見た車両後方の俯瞰画像とを生成する。そして、ディスプレイ２０は、画像処理ユニット３０が生成した画像を表示する。
Further, the
Next, in
図９は、本ステップにおいてディスプレイ２０に表示される映像を示す画像図である。この図に示すように、ディスプレイ２０の表示部２１は、運転席を仮想視点として見た車両後方の車外映像Ｉ１と、運転席に設定された仮想視点の後方の車内映像Ｉ２とを重ねて表示する。表示部２１は、車内映像Ｉ２をディスプレイ２０の全面に表示し、車外映像Ｉ１を車内映像Ｉ２の上側に重ねて表示する。また、車内映像Ｉ２における車外映像Ｉ１と重なる領域Ｉ３は、透過映像として表示する。ここでは、表示部２１において、自車両１００の後方に位置する車両１０３、１０４が、車外映像Ｉ１の両端に映り込む。
FIG. 9 is an image diagram showing a video displayed on the
ここで、ステップ１１８からステップ１２０へ移行する際に、画像処理ユニット３０は、運転席に設定された仮想視点を中心として視覚方向を車両左後方から車両後方に連続的に変化させた連続画像を生成する。そして、ディスプレイ２０の表示部２１は、図８に示す車両左後方の映像から図９に示す車両後方の映像に連続的に遷移する連続映像を表示する。
Here, when moving from step 118 to step 120, the
また、表示部２２は、車両後方の俯瞰映像Ｉ４を表示する。さらに、表示部２３は、撮影位置である車両後方に相当する部分を赤色等、その他の部分とは異なる色で表示する。
次に、ステップ１２２では、画像処理ユニット３０が、車両後方のカメラ４３が撮像した画像と車両右方のカメラ４４が撮影した画像とを座標変換したうえで合成し、運転席を仮想視点として見た車両右後方の画像と、自車両１００の上方を仮想視点として見た車両右後方の俯瞰画像とを生成する。ここで、画像処理ユニット３０は、カメラ４３が撮影した画像と、カメラ４４が撮影した画像との繋ぎ目部分において、前者と後者との画素を交互に配置することにより、シームレスの画像を生成する。そして、ディスプレイ２０は、画像処理ユニット３０が生成した画像を表示する。
The
Next, in
図１０は、本ステップにおいてディスプレイ２０に表示される映像を示す画像図である。この図に示すように、ディスプレイ２０の表示部２１は、運転席を仮想視点として見た車両右後方の車外映像Ｉ１と、運転席に設定された仮想視点の右後方の車内映像Ｉ２とを重ねて表示する。表示部２１は、車内映像Ｉ２をディスプレイ２０の全面に表示し、車外映像Ｉ１を車内映像Ｉ２の右側に重ねて表示する。また、表示部２１は、車内映像Ｉ２における車外映像Ｉ１と重なる領域Ｉ３を、透過映像として表示する。ここでは、表示部２１は、自車両１００の右後方に位置する車両１０４を、車外映像Ｉ１として表示する。
FIG. 10 is an image diagram showing a video displayed on the
ここで、ステップ１２０からステップ１２２へ移行する際に、画像処理ユニット３０は、運転席に設定された仮想視点を中心として視覚方向を車両後方から車両右後方に連続的に変化させた連続画像を生成する。そして、ディスプレイ２０の表示部２１は、図９に示す車両後方の映像から図１０に示す車両右後方の映像に連続的に遷移する連続映像を表示する。
Here, when moving from
また、表示部２２は、車両右後方の俯瞰映像Ｉ４を表示する。さらに、表示部２３は、撮影位置である車両右後方に相当する部分を赤色等、その他の部分とは異なる色で表示する。
次に、ステップ１２４では、画像処理ユニット３０が、車両右方のカメラ４４が撮像した画像を座標変換し、運転席を仮想視点として見た車両右方の画像と、自車両１００の上方を仮想視点として見た車両右方の俯瞰画像とを生成する。そして、ディスプレイ２０は、画像処理ユニット３０が生成した画像を表示する。
Further, the
Next, in step 124, the
図１１は、本ステップにおいてディスプレイ２０に表示される映像を示す画像図である。この図に示すように、ディスプレイ２０の表示部２１は、運転席を仮想視点として見た車両右方の車外映像Ｉ１と、運転席に設定された仮想視点の右方の車内映像Ｉ２とを重ねて表示する。表示部２１は、車内映像Ｉ２をディスプレイ２０の全面に表示し、車外映像Ｉ１を車内映像Ｉ２の右側に重ねて表示する。また、表示部２１は、車内映像Ｉ２における車外映像Ｉ１と重なる領域Ｉ３を、透過映像として表示する。ここでは、表示部２１において、自車両１００の右前方に位置する車両１０２の一部が車外映像Ｉ１の左端に映り込む。
FIG. 11 is an image diagram showing a video displayed on the
ここで、ステップ１２２からステップ１２４へ移行する際に、画像処理ユニット３０は、運転席に設定された仮想視点を中心として視覚方向を車両右後方から車両右方に連続的に変化させた連続画像を生成する。そして、ディスプレイ２０の表示部２１は、図１０に示す車両右後方の映像から図１１に示す車両右方の映像に連続的に遷移する連続映像を表示する。
Here, when moving from
また、表示部２２は、車両右方の俯瞰映像Ｉ４を表示する。さらに、表示部２３は、撮影位置である車両右方に相当する部分を赤色等、その他の部分とは異なる色で表示する。
次に、ステップ１２６では、画像処理ユニット３０が、車両右方のカメラ４４が撮像した画像と車両前方のカメラ４１が撮像した画像とを座標変換したうえで合成し、運転席を仮想視点として見た車両右前方の画像と、自車両１００の上方を仮想視点として見た車両右前方の俯瞰画像とを生成する。そして、ディスプレイ２０は、画像処理ユニット３０が生成した画像を表示する。
The
Next, in step 126, the
図１２は、本ステップにおいてディスプレイ２０に表示される映像を示す画像図である。この図に示すように、ディスプレイ２０の表示部２１は、運転席を仮想視点として見た車両右前方の車外映像Ｉ１と、運転席に設定された仮想視点の右前方の車内映像Ｉ２とを重ねて表示する。表示部２１は、車内映像Ｉ２をディスプレイ２０の全面に表示し、車外映像Ｉ１を車内映像Ｉ２の右側に重ねて表示する。また、表示部２１は、車内映像Ｉ２における車外映像Ｉ１と重なる領域Ｉ３を、透過映像として表示する。ここでは、表示部２１は、自車両１００の右前方に位置する車両１０２を車外映像Ｉ１として表示する。
FIG. 12 is an image diagram showing a video displayed on the
ここで、ステップ１２４からステップ１２６へ移行する際に、画像処理ユニット３０は、運転席に設定された仮想視点を中心として視覚方向を車両右方から車両右前方に連続的に変化させた連続画像を生成する。そして、ディスプレイ２０の表示部２１は、図１１に示す車両右方の映像から図１２に示す車両右前方の映像に連続的に遷移する連続映像を表示する。
Here, when moving from step 124 to step 126, the
また、表示部２２は、車両右前方の俯瞰映像Ｉ４を表示する。さらに、表示部２３は、撮影位置である車両右前方に相当する部分を赤色等、その他の部分とは異なる色で表示する。そして、処理ルーチンを終了する。
即ち、立体物が車両前方のカメラ４１により撮影された場合には、画像処理ユニット３０が、車両左方（助手席側）、車両後方、車両右方（運転席側）の順序で、運転席に設定された仮想視点を中心として視覚方向が連続的に遷移する連続画像を生成し、ディスプレイ２０が、当該連続画像を表示する。
Moreover, the
That is, when a three-dimensional object is photographed by the
図１３は、ステップ２００以降の運転支援装置１０の動作を説明するためのフローチャートである。ステップ１１２において、ＥＣＵ８０が、立体物を撮影したカメラが車両後方のカメラ４３であると判定した場合、ステップ２００以降の処理ルーチンが開始される。ステップ２００では、画像処理ユニット３０が、車両後方のカメラ４３が撮影した画像と車両左方のカメラ４２が撮影した画像とを座標変換したうえで合成し、運転席を仮想視点として見た車両左後方の画像と、車両上方を仮想視点として見た車両左後方の俯瞰画像とを生成する。ここで、画像処理ユニット３０は、カメラ４３が撮影した画像とカメラ４２が撮影した画像との繋ぎ目部分が連続的であるシームレスの画像を生成する。そして、ディスプレイ２０は、画像処理ユニット３０が生成した画像を表示する（図８参照）。
FIG. 13 is a flowchart for explaining the operation of the driving
次に、ステップ２０２では、画像処理ユニット３０が、車両左方のカメラ４２が撮影した画像を座標変換し、運転席を仮想視点として見た車両左方の画像と、車両上方を仮想視点として見た車両左方の俯瞰画像とを生成する。そして、ディスプレイ２０は、画像処理ユニット３０が生成した画像を表示する（図７参照）。
次に、ステップ２０４では、画像処理ユニット３０が、車両左方のカメラ４２が撮影した画像と車両前方のカメラ４１が撮影した画像とを座標変換したうえで合成し、運転席を仮想視点として見た車両左前方の画像と、車両上方を仮想視点として見た車両左前方の俯瞰画像とを生成する。ここで、画像処理ユニット３０は、カメラ４２が撮影した画像とカメラ４１が撮影した画像との繋ぎ目部分が連続的であるシームレスの画像を生成する。そして、ディスプレイ２０は、画像処理ユニット３０が生成した画像を表示する（図６参照）。
Next, in step 202, the
Next, in
次に、ステップ２０６では、画像処理ユニット３０が、車両前方のカメラ４１が撮影した画像を座標変換し、運転席を仮想視点として見た車両前方の画像と、車両上方を仮想視点として見た車両前方の俯瞰画像とを生成する。そして、ディスプレイ２０は、画像処理ユニット３０が生成した画像を表示する（図１４参照）。
次に、ステップ２０８では、画像処理ユニット３０が、車両前方のカメラ４１が撮影した画像と車両右方のカメラ４４が撮影した画像とを座標変換したうえで合成し、運転席を仮想視点として見た車両右前方の画像と、車両上方を仮想視点として見た車両右前方の俯瞰画像とを生成する。ここで、画像処理ユニット３０は、カメラ４１が撮影した画像とカメラ４４が撮影した画像との繋ぎ目部分が連続的であるシームレスの画像を生成する。そして、ディスプレイ２０は、画像処理ユニット３０が生成した画像を表示する（図１２参照）。
Next, in step 206, the
Next, in
次に、ステップ２１０では、画像処理ユニット３０が、車両右方のカメラ４４が撮影した画像を座標変換し、運転席を仮想視点として見た車両右方の画像と、車両上方を仮想視点として見た車両右方の俯瞰画像とを生成する。そして、ディスプレイ２０は、画像処理ユニット３０が生成した画像を表示する（図１１参照）。
次に、ステップ２１２では、画像処理ユニット３０が、車両右方のカメラ４４が撮影した画像と車両後方のカメラ４３が撮影した画像とを座標変換したうえで合成し、運転席を仮想視点として見た車両右後方の画像と、車両上方を仮想視点として見た車両右後方の俯瞰画像とを生成する。ここで、画像処理ユニット３０は、カメラ４４が撮影した画像とカメラ４３が撮影した画像との繋ぎ目部分が連続的であるシームレスの画像を生成する。そして、ディスプレイ２０は、画像処理ユニット３０が生成した画像を表示する（図１０参照）。
Next, in step 210, the
Next, in
即ち、自車両１００に接近する立体物が車両後方のカメラ４３により撮影された場合には、画像処理ユニット３０が、車両左方（助手席側）、車両前方、車両右方（運転席側）の順序で、運転席に設定された仮想視点を中心として視覚方向が連続的に遷移する連続画像を生成し、ディスプレイ２０が、当該連続画像を表示する。
図１５は、ステップ３００以降の運転支援装置１０の動作を説明するためのフローチャートである。ＥＣＵ８０は、立体物検出部８４により立体物が検出されなかった場合（ステップ１０４）、及び、立体物を撮影したカメラが車両左右のカメラ４２、４４であると判定した場合（ステップ１１０）、ステップ３００へ移行し、シフトポジションがＤレンジであるかＲレンジであるかを判定する。Ｄレンジである場合には、ステップ３０２へ移行する一方、Ｒレンジである場合には、ステップ３２０へ移行する。
That is, when a three-dimensional object approaching the
FIG. 15 is a flowchart for explaining the operation of the driving
ステップ３０２では、画像処理ユニット３０が、車両前方のカメラ４１が撮影した画像を座標変換し、運転席を仮想視点として見た車両前方の画像と、車両上方を仮想視点として見た車両前方の俯瞰画像とを生成する。そして、ディスプレイ２０は、画像処理ユニット３０が生成した画像を表示する（図１４参照）。
次に、ステップ３０４では、画像処理ユニット３０が、車両前方のカメラ４１が撮影した画像と車両左方のカメラ４２が撮影した画像とを座標変換したうえで合成し、運転席を仮想視点して見た車両左前方の画像と、車両上方を仮想視点として見た車両左前方の俯瞰画像とを生成する。ここで、画像処理ユニット３０は、カメラ４１が撮影した画像とカメラ４２が撮影した画像との繋ぎ目部分が連続的であるシームレスの画像を生成する。そして、ディスプレイ２０は、画像処理ユニット３０が生成した画像を表示する（図６参照）。
In step 302, the
Next, in step 304, the
次に、ステップ３０６では、画像処理ユニット３０が、車両左方のカメラ４２が撮影した画像を座標変換し、運転席を仮想視点として見た車両左方の画像と、車両上方を仮想視点として見た車両左方の画像とを生成する。そして、ディスプレイ２０は、画像処理ユニット３０が生成した画像を表示する（図７参照）。
次に、ステップ３０８では、画像処理ユニット３０が、車両左方のカメラ４２が撮影した画像と車両後方のカメラ４３が撮影した画像とを座標変換したうえで合成し、運転席を仮想視点として見た車両左後方の画像と、車両上方を仮想視点として見た車両左後方の画像を生成する。ここで、画像処理ユニット３０は、カメラ４２が撮影した画像とカメラ４３が撮影した画像との繋ぎ目部分が連続的であるシームレスの画像を生成する。そして、ディスプレイ２０は、画像処理ユニット３０が生成した画像を表示する（図８参照）。
Next, in step 306, the
Next, in step 308, the
次に、ステップ３１０では、画像処理ユニット３０が、車両後方のカメラ４３が撮影した画像を座標変換し、運転席を仮想視点として見た車両後方の画像と、車両上方を仮想視点として見た車両後方の画像とを生成する。そして、ディスプレイ２０は、画像処理ユニット３０が生成した画像を表示する（図９参照）。
次に、ステップ３１２では、画像処理ユニット３０が、車両後方のカメラ４３が撮影した画像と車両右方のカメラ４４が撮影した画像とを座標変換したうえで合成し、運転席を仮想視点として見た車両右後方の画像と、車両上方を仮想視点として見た車両右後方の俯瞰画像とを生成する。ここで、画像処理ユニット３０は、カメラ４３が撮影した画像とカメラ４４が撮影した画像との繋ぎ目部分が連続的であるシームレスの画像を生成する。そして、ディスプレイ２０は、画像処理ユニット３０が生成した画像を表示する（図１０参照）。
Next, in step 310, the
Next, in step 312, the
次に、ステップ３１４では、画像処理ユニット３０が、車両右方のカメラ４４が撮影した画像を座標変換し、運転席を仮想視点として見た車両右方の画像と、車両上方を仮想視点として見た車両右方の俯瞰画像とを生成する。そして、ディスプレイ２０は、画像処理ユニット３０が生成した画像を表示する（図１１参照）。
次に、ステップ３１６では、画像処理ユニット３０が、車両右方のカメラ４４が撮影した画像と車両前方のカメラ４１が撮影した画像とを座標変換したうえで合成し、運転席を仮想視点として見た車両右前方の画像と、車両上方を仮想視点として見た車両右前方の俯瞰画像とを生成する。ここで、画像処理ユニット３０は、カメラ４４が撮影した画像とカメラ４１が撮影した画像との繋ぎ目部分が連続的であるシームレスの画像を生成する。そして、ディスプレイ２０は、画像処理ユニット３０が生成した画像を表示する（図１２参照）。そして、処理ルーチンを終了する。
Next, in
Next, in step 316, the
即ち、自車両１００に接近する立体物がカメラ４１〜４４により撮影されない状態でシフトポジションがＤレンジである場合、または、立体物が車両左右のカメラ４２、４４により撮影されると共にシフトポジションがＤレンジである場合には、画像処理ユニット３０が、車両前方、車両左方（助手席側）、車両後方、車両右方（運転席側）の順序で、運転席に設定された仮想視点を中心として視覚方向が連続的に遷移する連続画像を生成し、ディスプレイ２０が、当該連続画像を表示する。
That is, when the three-dimensional object approaching the
一方、ステップ３００において、ＥＣＵ８０が、シフトポジションがＲレンジであると判定した場合には、ステップ３２０において、画像処理ユニット３０が、車両後方のカメラが撮影した画像を座標変換し、運転席を仮想視点として見た車両後方の画像と、車両上方を仮想視点として見た車両後方の俯瞰画像とを生成する。そして、ディスプレイ２０は、画像処理ユニット３０が生成した画像を表示する（図９参照）。
On the other hand, if the
次に、ステップ３２２では、画像処理ユニット３０が、車両後方のカメラ４３が撮影した画像と車両左方のカメラ４２が撮影した画像とを座標変換したうえで合成し、運転席を仮想視点して見た車両左後方の画像と、車両上方を仮想視点として見た車両左後方の俯瞰画像とを生成する。ここで、画像処理ユニット３０は、カメラ４３が撮影した画像とカメラ４２が撮影した画像との繋ぎ目部分が連続的であるシームレスの画像を生成する。そして、ディスプレイ２０は、画像処理ユニット３０が生成した画像を表示する（図８参照）。
Next, in step 322, the
次に、ステップ３２４では、画像処理ユニット３０が、車両左方のカメラ４２が撮影した画像を座標変換し、運転席を仮想視点として見た車両左方の画像と、車両上方を仮想視点として見た車両左方の画像とを生成する。そして、ディスプレイ２０は、画像処理ユニット３０が生成した画像を表示する（図７参照）。
次に、ステップ３２６では、画像処理ユニット３０が、車両左方のカメラ４２が撮影した画像と車両前方のカメラ４１が撮影した画像とを座標変換したうえで合成し、運転席を仮想視点として見た車両左前方の画像と、車両上方を仮想視点として見た車両左前方の画像とを生成する。ここで、画像処理ユニット３０は、カメラ４２が撮影した画像とカメラ４１が撮影した画像との繋ぎ目部分が連続的であるシームレスの画像を生成する。そして、ディスプレイ２０は、画像処理ユニット３０が生成した画像を表示する（図６参照）。
Next, in step 324, the
Next, in step 326, the
次に、ステップ３２８では、画像処理ユニット３０が、車両前方のカメラ４１が撮影した画像を座標変換し、運転席を仮想視点として見た車両前方の画像と、車両上方を仮想視点として見た車両前方の画像とを生成する。そして、ディスプレイ２０は、画像処理ユニット３０が生成した画像を表示する（図１４参照）。
次に、ステップ３３０では、画像処理ユニット３０が、車両前方のカメラ４１が撮影した画像と車両右方のカメラ４４が撮影した画像とを座標変換したうえで合成し、運転席を仮想視点として見た車両右前方の画像と、車両上方を仮想視点して見た車両右前方の俯瞰画像とを生成する。ここで、画像処理ユニット３０は、カメラ４１が撮影した画像とカメラ４４が撮影した画像との繋ぎ目部分が連続的であるシームレスの画像を生成する。そして、ディスプレイ２０は、画像処理ユニット３０が生成した画像を表示する（図１２参照）。
Next, in step 328, the
Next, in step 330, the
次に、ステップ３３２では、画像処理ユニット３０が、車両右方のカメラ４４が撮影した画像を座標変換し、運転席を仮想視点として見た車両右方の画像と、車両上方を仮想視点として見た車両右方の俯瞰画像とを生成する。ここで、画像処理ユニット３０は、シームレスの画像を生成する。そして、ディスプレイ２０は、画像処理ユニット３０が生成した画像を表示する（図１１参照）。
Next, in step 332, the
次に、ステップ３３４では、画像処理ユニット３０が、車両右方のカメラ４４が撮影した画像と車両後方のカメラ４３が撮影した画像とを座標変換したうえで合成し、運転席を仮想視点として見た車両右後方の画像と、車両上方を仮想視点として見た車両右後方の俯瞰画像とを生成する。ここで、画像処理ユニット３０は、カメラ４４が撮影した画像とカメラ４３が撮影した画像との繋ぎ目部分が連続的であるシームレスの画像を生成する。そして、ディスプレイ２０は、画像処理ユニット３０が生成した画像を表示する（図１０参照）。そして、処理ルーチンを終了する。
Next, in step 334, the
即ち、自車両１００に接近する立体物がカメラ４１〜４４により撮影されない状態でシフトポジションがＲレンジである場合、または、立体物が車両左右のカメラ４２、４４により撮影されると共にシフトポジションがＲレンジである場合には、画像処理ユニット３０が、車両後方、車両左方（助手席側）、車両前方、車両右方（運転席側）の順序で、運転席に設定された仮想視点を中心として視覚方向が連続的に遷移する連続画像を生成し、ディスプレイ２０が、当該連続画像を表示する。
That is, when the three-dimensional object approaching the
以上、説明したように、本実施形態に係る運転支援装置１０では、シフトポジションがＤレンジ（前進走行レンジ）又はＲレンジ（後退走行レンジ）に切替えられた場合、即ち、運転者が自車両１００を駐停車状態から前進又は後退させる場合、自車両１００の乗員が車両の周囲を１周見回した際に、自車両１００を透過して自車両１００の乗員の視覚で捉えられるような映像が、ディスプレイ２０に連続的に表示される。これにより、車両上方を仮想視点として見る俯瞰画像と比して、ディスプレイ２０に表示される映像と、実際に自車両１００の乗員の視覚で捉えられる車両の周囲の映像との差異を低減できる。また、運転者は、側方や後方等、撮影位置の切り替えを行うことなく、車両の周囲の全方位の死角を、ディスプレイ２０に表示される映像で確認することができる。従って、本実施形態に係る運転支援装置１０によれば、運転者の違和感を抑制しつつ的確な安全確認支援を行うことができる。
As described above, in the driving
また、本実施形態に係る運転支援装置１０では、運転席を仮想視点として車両の周囲を見回したような映像が、ディスプレイ２０に表示される。これにより、運転者の違和感を抑制でき、運転者の臨場感を増大させることができる。
また、本実施形態に係る運転支援装置１０では、シフトポジションがＤレンジの場合には、前方から始まって助手席側を経由して後方、運転席側へと遷移する連続画像をディスプレイ２０に表示させる。また、シフトポジションがＲレンジの場合には、後方から始まって助手席側を経由して前方、運転席側へと遷移する連続画像をディスプレイ２０に表示させる。即ち、運転者が自車両１００を駐停車状態から前進させる場合には、始めに移動方向である車両前方をディスプレイ２０に表示させ、次に、死角がより多い助手席側をディスプレイ２０に表示させる。また、運転者が自車両１００を駐停車状態から後退させる場合には、始めに移動方向である車両後方をディスプレイ２０に表示させ、次に、死角がより多い助手席側をディスプレイ２０に表示させる。これにより、運転者は、移動方向及び死角が多い方向の状況を、速やかに確認することができる。
Further, in the driving
Further, in the driving
また、本実施形態に係る運転支援装置１０では、立体物検出部８４によって自車両１００に接近する立体物が検出された場合に、当該立体物をディスプレイ２０に表示させる。これにより、運転者が、自車両１００に接近する人等を見落とすことを抑制できる。そして、その後、自車両１００の周囲がディスプレイ２０に表示されるので、運転者は、実際に周囲の安全確認を行うこともできる。
In the driving
また、本実施形態に係る運転支援装置１０では、運転席を仮想視点として見た車外映像Ｉ１と、当該仮想視点から見た車内映像Ｉ２とを重ねてディスプレイ２０に表示させ、車外映像Ｉ１と車内映像Ｉ２との重なり合う領域Ｉ３を透過映像としてディスプレイ２０に表示させている。即ち、運転者が自車両１００の周囲を見回した際に運転者の視覚で捉えられる映像全体を、ディスプレイ２０に表示させている。従って、本実施形態に係る運転支援装置１０によれば、運転者に臨場感を感じさせることができる。
Further, in the driving
以上、本発明の実施形態について説明したが、本発明は上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々変形して実施することができる。例えば、本実施形態に係る運転支援装置１０では、自車両１００の周囲の全周の車外映像Ｉ１を、連続的にディスプレイ２０に表示させた。しかし、車両前方の車外映像Ｉ１のディスプレイ２０への表示は行わない、あるいは、助手席側の車外映像Ｉ１のディスプレイ２０への表示のみ行う等、ディスプレイ２０に表示させる車外映像Ｉ１の範囲については適宜設定できる。
Although the embodiments of the present invention have been described above, the present invention is not limited to the above-described embodiments, and various modifications can be made without departing from the spirit of the present invention. For example, in the driving
また、本実施形態に係る運転支援装置１０では、運転席を仮想視点として見た連続画像をディスプレイ２０に表示させたが、仮想視点の設定位置は運転席には限られない。例えば、助手席側の車外映像をディスプレイ２０に表示させる場合には助手席に仮想視点を設定する等、表示させる画像に近い座席に設定してもよい。
また、本実施形態では、４個のカメラ４１〜４４を車両前後左右に設けたが、カメラの設置数、設置位置は、それに限定されるものではなく、適宜変更できる。また、本実施形態では、カメラ４１〜４４を１８０°の画角を有する広角カメラとしたが、カメラはそれに限定されるものではなく、画角が１８０°よりも狭いカメラ等、他のカメラに変更してもよい。
In the driving
In the present embodiment, the four
また、本実施形態では、ＥＣＵ８０が、シフトポジションがＰレンジ、Ｄレンジ、又はＮレンジからＲレンジへ切り替えられた場合、または、シフトポジションがＰレンジ、Ｎレンジ、又はＲレンジからＤレンジへ切り替えられた場合に、スイッチ８２をＯＮにしている。しかしながら、例えば、マニュアルトランスミッションを搭載している車両において、ＮレンジからＲレンジに切替えられた場合、ＮレンジからＬＯＷレンジに切替えられた場合に、運転支援装置１０の作動スイッチをＯＮにする等することもできる。
In this embodiment, the
１０ 運転支援装置
２０ ディスプレイ（表示部）
２１〜２３ 表示部
３０ 画像処理ユニット（画像生成部）
４１〜４４ カメラ（撮像部）
８０ ＥＣＵ（制御部）
８２ スイッチ
８４ 立体物検出部
１００ 自車両
１０１〜１０６ 車両
１１０ サイドミラー
10
21-23
41-44 camera (imaging part)
80 ECU (control unit)
82
Claims (4)
前記撮像部により撮影された画像を、車室内に設定された仮想視点から見た車両の周囲の画像に変換すると共に、前記仮想視点を中心として視覚方向を連続的に変化させた連続画像を生成する画像生成部と、
前記画像生成部により生成された前記連続画像を表示する表示部と、
シフトポジションが、前進走行のレンジ又は後退走行のレンジに切り替えられた場合に、前記表示部に前記連続画像を表示させる制御部と、
を備え、
前記画像生成部は、助手席側、車両後方及び車両前方の何れか一方、運転席側の順序で前記視覚方向が変化する前記連続画像を生成する運転支援装置。 An imaging unit for imaging the surroundings of the vehicle;
The image captured by the imaging unit is converted into an image around the vehicle viewed from a virtual viewpoint set in a passenger compartment, and a continuous image is generated by continuously changing the visual direction around the virtual viewpoint. An image generation unit to
A display unit for displaying the continuous image generated by the image generation unit;
A control unit that displays the continuous image on the display unit when the shift position is switched to a forward traveling range or a backward traveling range;
Equipped with a,
The image generation unit, passenger side, whereas either the vehicle rear and front of the vehicle, that generates the continuous image the visual direction changes in the driver's seat side order the driving support device.
前記制御部は、前記立体物検出部により前記立体物が検出された場合に、前記撮像部により撮像された前記立体物の画像を前記表示部に表示させる請求項１に記載の運転支援装置。 A solid object detection unit that detects a solid object based on an image captured by the imaging unit;
The driving support device according to claim 1, wherein the control unit displays an image of the three-dimensional object captured by the imaging unit on the display unit when the three-dimensional object is detected by the three-dimensional object detection unit.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009216878A JP5251804B2 (en) | 2009-09-18 | 2009-09-18 | Driving assistance device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009216878A JP5251804B2 (en) | 2009-09-18 | 2009-09-18 | Driving assistance device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2011065520A JP2011065520A (en) | 2011-03-31 |
| JP5251804B2 true JP5251804B2 (en) | 2013-07-31 |
Family
ID=43951675
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009216878A Active JP5251804B2 (en) | 2009-09-18 | 2009-09-18 | Driving assistance device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5251804B2 (en) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012144076A1 (en) * | 2011-04-22 | 2012-10-26 | トヨタ自動車株式会社 | Vehicle periphery monitoring device and display method for vehicle periphery monitoring information |
| WO2013183536A1 (en) * | 2012-06-08 | 2013-12-12 | 日立建機株式会社 | Display device for self-propelled industrial machine |
| JP6084097B2 (en) * | 2013-03-29 | 2017-02-22 | 富士通テン株式会社 | Image generation apparatus, image display system, and image generation method |
| JP6258000B2 (en) * | 2013-10-31 | 2018-01-10 | 株式会社デンソーテン | Image display system, image display method, and program |
| JP6257978B2 (en) * | 2013-09-19 | 2018-01-10 | 株式会社デンソーテン | Image generation apparatus, image display system, and image generation method |
| CN105556956B (en) * | 2013-09-19 | 2019-01-22 | 富士通天株式会社 | Video generation device, image display system, image generating method and image display method |
| JP6548900B2 (en) | 2015-01-20 | 2019-07-24 | 株式会社デンソーテン | Image generation apparatus, image generation method and program |
| JP6370833B2 (en) * | 2016-05-16 | 2018-08-08 | 株式会社デンソーテン | Image generation apparatus, image display system, and image generation method |
| JP6723820B2 (en) | 2016-05-18 | 2020-07-15 | 株式会社デンソーテン | Image generation apparatus, image display system, and image display method |
| KR102235951B1 (en) * | 2019-06-20 | 2021-04-05 | 주식회사 아이닉스 | Imaging Apparatus and method for Automobile |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004312523A (en) * | 2003-04-09 | 2004-11-04 | Equos Research Co Ltd | On-vehicle image processor |
| JP4449537B2 (en) * | 2004-03-31 | 2010-04-14 | 株式会社エクォス・リサーチ | Outside-vehicle information display device |
| JP4877447B2 (en) * | 2004-08-31 | 2012-02-15 | 株式会社エクォス・リサーチ | Vehicle peripheral image display device |
| JP4682664B2 (en) * | 2005-03-29 | 2011-05-11 | アイシン精機株式会社 | Perimeter monitoring system |
| JP4883977B2 (en) * | 2005-10-05 | 2012-02-22 | アルパイン株式会社 | Image display device for vehicle |
| JP4888831B2 (en) * | 2006-12-11 | 2012-02-29 | 株式会社デンソー | Vehicle periphery monitoring device |
| JP5047650B2 (en) * | 2007-03-06 | 2012-10-10 | クラリオン株式会社 | In-vehicle camera system |
| JP2007302238A (en) * | 2007-05-29 | 2007-11-22 | Equos Research Co Ltd | Vehicular image processing device |
| JP2009020647A (en) * | 2007-07-11 | 2009-01-29 | Alpine Electronics Inc | Three-dimensional object detection method and solid object detection device |
| JP4988499B2 (en) * | 2007-10-10 | 2012-08-01 | 株式会社日本自動車部品総合研究所 | Image generating apparatus and image generating program |
-
2009
- 2009-09-18 JP JP2009216878A patent/JP5251804B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2011065520A (en) | 2011-03-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5251804B2 (en) | Driving assistance device | |
| JP5158051B2 (en) | Driving assistance device | |
| US9862319B2 (en) | Vehicle peripheral observation device using cameras and an emphasized frame | |
| US9919650B2 (en) | Vehicle peripheral observation device | |
| KR101354068B1 (en) | Vehicle peripheral image generation device | |
| JP3916958B2 (en) | Vehicle rear monitoring system and monitoring device | |
| JP5344227B2 (en) | Vehicle periphery monitoring device | |
| EP2163431B1 (en) | Vehicle surroundings monitoring apparatus | |
| JP5454934B2 (en) | Driving assistance device | |
| CN107097721B (en) | Driving support device | |
| JP5003946B2 (en) | Parking assistance device | |
| JP5321267B2 (en) | Vehicular image display device and overhead image display method | |
| KR101266734B1 (en) | Display apparatus | |
| WO2010137684A1 (en) | Image generation device and image display system | |
| JP2005223524A (en) | Supervisory apparatus for surrounding of vehicle | |
| JP5724446B2 (en) | Vehicle driving support device | |
| JP5776995B2 (en) | Vehicle periphery monitoring device | |
| US11601621B2 (en) | Vehicular display system | |
| JP2010069916A (en) | Vehicle maneuver assistance device | |
| JP2012001126A (en) | Vehicle surroundings monitoring device | |
| JP4092479B2 (en) | Vehicle driving support device | |
| KR20100021046A (en) | Display device for vehicle and method for controlling the same | |
| JP2014199677A (en) | Driving supporting device | |
| JP2006163756A (en) | Vehicular view supporting device | |
| JP5144443B2 (en) | Vehicle driving support device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20111007 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121213 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130108 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130226 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130319 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130401 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 5251804 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160426 Year of fee payment: 3 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |