JP6313355B2 - 車両周囲監視装置 - Google Patents
車両周囲監視装置 Download PDFInfo
- Publication number
- JP6313355B2 JP6313355B2 JP2016070836A JP2016070836A JP6313355B2 JP 6313355 B2 JP6313355 B2 JP 6313355B2 JP 2016070836 A JP2016070836 A JP 2016070836A JP 2016070836 A JP2016070836 A JP 2016070836A JP 6313355 B2 JP6313355 B2 JP 6313355B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- image
- host vehicle
- occupant
- control unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012806 monitoring device Methods 0.000 title claims description 13
- 238000012544 monitoring process Methods 0.000 claims description 28
- 238000003384 imaging method Methods 0.000 claims description 10
- 238000004891 communication Methods 0.000 description 13
- 230000005540 biological transmission Effects 0.000 description 12
- 239000011521 glass Substances 0.000 description 8
- 238000012545 processing Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000000034 method Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 239000012530 fluid Substances 0.000 description 2
- 238000002347 injection Methods 0.000 description 2
- 239000007924 injection Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 239000011347 resin Substances 0.000 description 2
- 229920005989 resin Polymers 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003028 elevating effect Effects 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 239000005357 flat glass Substances 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/31—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing stereoscopic vision
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
- B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Mechanical Engineering (AREA)
- Signal Processing (AREA)
- Traffic Control Systems (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Closed-Circuit Television Systems (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
Description
例えば、特許文献1には、車両にドアミラー、ルームミラー、メータ、ナビゲーション装置等の表示手段を備えておき、運転者を撮影した画像に基づいて、運転者が表示部を有する特定の車両装備を予め定められた基準時間以上注視していることを判定した場合、当該特定の車両装備の表示部に車両の前方画像を表示させることが記載されている。
また、特許文献2には、狭路走行支援装置において、自車両前方側の領域を表示する画像と、自車両の左右側面の領域を表示する画像とを合成し、モニタに表示することが記載されている。
また、特許文献3には、自車両後方の画像を提供する運転支援装置が記載されている。
また、特許文献4には、往路走行時に撮像した画像を、復路走行時にディスプレイの一部に表示させる運転支援装置が記載されている。
しかし、自動運転中に乗員が前方あるいは周辺状況を窓ガラス越しに、あるいは、ミラー類等を用いて、直接目視して監視し続けることは、自身の運転操作に紐付けて監視するわけではないため、相当な集中力を維持する必要があり、また、視線移動量も大きくなるので肉体的にも負担が大きく、乗員の負担を軽減することが強く要望されている。
上述した従来技術のように、車両の運転中に、補助的な周辺情報表示を行う各種技術が存在するが、自動運転中における周囲の監視に適した車両周囲監視装置は提案されていない。
以上の問題に鑑み、本発明の課題は、乗員による自車両周囲の監視負担を軽減した車両周囲監視装置を提供することである。
請求項1に係る発明は、車両に設けられ自車両周囲の状況に関する情報を画像表示する車両周囲監視装置であって、自車両周囲の環境を表す画像を生成する画像生成手段と、前記車両の乗員の前方側に前記乗員と対向して配置され、前記画像生成手段が生成した画像を表示する画像表示手段とを備え、前記画像は、通常運転時において前記乗員がフロントガラスから目視可能な視野と実質的に同等の視野を有する自車両前方画像を含み、前記画像表示手段は、前記自車両前方画像における前記乗員の前方に相当する領域が左右方向の中央部となるように表示することを特徴とする車両周囲監視装置である。
これによれば、例えばユーザ自身が手動運転を行う場合に通常目視する視野に相当する範囲を集約して表示し、画像表示手段のみによって監視することができる。
これによって、比較的小さい視線移動量によって車両周囲の状況を監視することができ、自動運転中の監視負担を軽減することができる。
また、画像表示手段に表示される画像と、フロントガラス等を介して直接目視可能な環境との関連付けが容易となる。
これによれば、画像表示手段のみによって自車両後方の監視も行うことが可能となり、安全性、利便性が向上する。
これによれば、画像表示手段が実写画像を表示することによって、ユーザが周囲の状況を詳細に観察することができる。
これによれば、自車両周囲の環境を簡素化して表示することによって、自車両周囲の環境の概況を容易かつ直観的に把握することが可能となる。
図1は、本発明を適用した車両周囲監視装置の実施例が設けられる車両の構成を模式的に示すブロック図である。
実施例の車両周囲監視装置は、例えば、自動運転機能を有する乗用車等の自動車である車両1に設けられ、ユーザ(例えば手動運転時のドライバ)等のユーザ等に対して、自車両周辺の環境に関する情報等を画像表示するものである。
ユーザは、自動運転時においては車両周囲監視装置が提示する情報に基づいて、周辺リスクを監視するとともに自動運転制御の妥当性を検証することができる。
上述した各ユニットは、例えば、CPU等の情報処理手段、RAMやROM等の記憶手段、入出力インターフェイス及びこれらを接続するバス等を有するユニットとして構成される。これらの各ユニットは、例えばCAN通信システム等の車載LANシステムを介して相互に通信が可能となっている。
エンジンとして、例えば、4ストロークガソリンエンジンが用いられる。
エンジン制御ユニット(ECU)10は、エンジンのスロットルバルブ開度、燃料噴射量及び噴射時期、点火時期等を制御することによって、エンジンの出力トルクを制御することが可能である。
車両1がドライバの運転操作に応じて運転される状態においては、エンジン制御ユニット10は、アクセルペダルの操作量等に基いて設定されるドライバ要求トルクに、エンジンの実際のトルクが近づくようエンジンの出力を制御する。
また、車両1が自動運転を行う場合には、エンジン制御ユニット10は、自動運転制御ユニット50からの指令に応じてエンジンの出力を制御する。
車両1が自動運転を行う場合には、トランスミッション制御ユニット20は、自動運転制御ユニット50からの指令に応じて、前後進等のレンジ切替や変速比の設定を行う。
変速機として、例えば、チェーン式、ベルト式、トロイダル式等のCVTや、複数のプラネタリギヤセットを有するステップAT、DCT、AMT等の各種自動変速機を用いることができる。
変速機は、バリエータ等の変速機構部のほか、例えばトルクコンバータ、乾式クラッチ、湿式クラッチ等の発進デバイスや、前進走行レンジと後退走行レンジとを切替える前後進切替機構等を有して構成されている。
前後進切替アクチュエータ21は、前後進切替機構に油圧を供給する油路を切り替える前後進切替バルブを駆動し、車両の前後進を切替えるものである。
前後進切替アクチュエータ21は、例えば、ソレノイド等の電動アクチュエータである。
レンジ検出センサ22は、変速機において現在選択されているレンジが前進用のものであるか、後退用のものであるかを判別するセンサ(スイッチ)である。
挙動制御ユニット30には、ハイドロリックコントロールユニット(HCU)31、車速センサ32等が接続されている。
車両1が自動運転を行う場合には、HCU31は、自動運転制御ユニット50からの制動指令に応じて、各車輪のホイルシリンダに制動力を発生させる。
車速センサ32は、各車輪のハブ部に設けられ、車輪の回転速度に比例する周波数の車速パルス信号を発生するものである。
車速パルス信号の周波数を検出し、所定の演算処理を施すことによって、車両の走行速度(車速)を算出することが可能である。
EPS制御ユニット40には、モータ41、舵角センサ42等が接続されている。
車両1が自動運転を行う場合には、モータ41は、自動運転制御ユニット50からの操舵指令に応じて、操舵系の舵角が所定の目標舵角に近づくように操舵系にトルクを付与して転舵を行わせる。
舵角センサ42は、車両の操舵系における現在の舵角を検出するものである。
舵角センサ42は、例えば、ステアリングシャフトの角度位置を検出する位置エンコーダを備えている。
また、自動運転モードは、ユーザが手動運転を希望する場合、あるいは、自動運転の続行が困難である場合等に、ユーザからの所定の解除操作に応じて中止され、ドライバによる手動運転を行う手動運転モードへの復帰が可能となっている。
入出力装置51は、自動運転制御ユニット50からユーザへの警報や各種メッセージ等の情報を出力するとともに、ユーザからの各種操作の入力を受け付けるものである。
入出力装置51は、例えば、LCD等の画像表示装置、スピーカ等の音声出力装置、タッチパネル等の操作入力装置等を有して構成されている。
環境認識ユニット60は、ステレオカメラ制御ユニット70、レーザスキャナ制御ユニット80、後側方レーダ制御ユニット90、ナビゲーション装置100、路車間通信装置110、車車間通信装置120等からそれぞれ提供される情報に基づいて、自車両周辺の駐車車両、走行車両、建築物、地形、歩行者等の障害物や、自車両が走行する道路の車線形状等を認識するものである。
個々のステレオカメラ71は、例えば、レンズ等の撮像用光学系、CMOS等の固体撮像素子、駆動回路及び信号処理装置等からなるカメラユニットを、並列に例えば一対配列して構成されている。
ステレオカメラ制御ユニット70は、公知のステレオ画像処理技術を利用した画像処理結果に基づいて、ステレオカメラ71によって撮像された被写体の形状及び自車両に対する相対位置を認識する。
後側方レーダ91は、例えば、自車両の後側方から接近する他車両を検知可能となっている。
後側方レーダ91として、例えば、レーザレーダ、ミリ波レーダ等のレーダが用いられる。
ステレオカメラ71は、車両1の前部、後部、左右側部にそれぞれ設けられている。
ステレオカメラ71のうち、前方撮像用のものは、車室内のフロントガラス上端部近傍に配置されている。
レーザスキャナ81は、車両1の周囲に実質的に死角が生じないよう分布して複数設けられている
後側方レーダ91は、例えば、車両1の車体左右側部に配置され、検知範囲を車両後方側かつ車幅方向外側に向けて配置されている。
地図データは、道路、交差点、インターチェンジ等の道路情報を車線レベルで有する。
道路情報は、3次元の車線形状データのほか、各車線(レーン)の右左折可否や、一時停止位置、制限速度等の走行上の制約となる情報も含む。
ナビゲーション装置100は、後述するインストルメントパネル340に組み込まれたディスプレイ101を有する。
ディスプレイ101は、ナビゲーション装置100がドライバに対して出力する各種情報が表示される画像表示装置である。
ディスプレイ101は、タッチパネルを有して構成され、ドライバからの各種操作入力が行われる入力部としても機能する。
画像生成ユニット200は、例えば、ドライバの視点からフロントガラス310越しに目視可能な範囲、及び、サイドミラー330、ルームミラー380によって目視可能な範囲の状況を示す画像を生成し、表示装置210に表示させる。
画像生成ユニット200は、例えば、ステレオカメラ71によって撮像された画像を処理する画像処理装置や、環境認識ユニット60の認識結果に基づいて自車両周囲の状況を示すコンピュータグラフィックスをレンダリングするレンダリングエンジン等を有して構成されている。
画像生成ユニット200が生成する画像については、後により詳しく説明する。
図3に示すように、車両は、フロントガラス310、フロントドアガラス320、サイドミラー330、インストルメントパネル340、ステアリングホイール350、Aピラー360、ルーフ370、ルームミラー380等を有する。
フロントガラス310は、実質的に横長の矩形状に形成され、前方が凸となる方向に湾曲した2次曲面ガラスである。
フロントガラス310は、上端部が下端部に対して車両後方側となるように後傾して配置されている。
フロントドアガラス320は、昇降式の本体部321、及び、本体部321の前部に設けられた固定式の三角窓部322を有する。
サイドミラー330は、左右フロントドアのアウタパネルから車幅方向外側に突出している。
ユーザ視界において、サイドミラー330は、例えば、フロントドアガラス320の本体部321の前端部近傍に見えるようになっている。
インストルメントパネル340は、各種計器類、表示装置、スイッチ類、空調装置、助手席エアバッグ装置、膝部保護エアバッグ装置等が収容される筐体としても機能する。
インストルメントパネル340は、コンビネーションメータ341、マルチファンクションディスプレイ342、ナビゲーション装置100のディスプレイ101等が設けられる。
コンビネーションメータ341には、表示装置210が内蔵されている。
マルチファンクションディスプレイ342は、インストルメントパネル340の車幅方向中央部における上部に設けられた例えばLCD等の画像表示装置である。
ナビゲーション装置100のディスプレイ101は、インストルメントパネル340の車幅方向中央部における下部に設けられている。
ステアリングホイール350は、ドライバの前方に実質的に正対して設けられる。
コンビネーションメータ341は、ユーザ視界において、ステアリングホイール350の上半部における内径側から目視可能となっている。
Aピラー360の車室内側の面部は、樹脂製のピラートリムによってカバーされている。
ルーフ370の車室内側の面部は、樹脂製のルーフトリムによってカバーされている。
ルーフ370の車幅方向中央部における前端部には、前方撮影用のステレオカメラ71が収容されるステレオカメラ収容部371が設けられている。
ルームミラー380は、図示しないステーを介してフロントガラス310の車幅方向中央部における上端部近傍に設けられている。
表示装置210として、例えば、図3に示すようにインストルメントパネル340のコンビネーションメータ341に組み込まれたLCDを用いることができる。
自車両は、三車線中の中央の車線である右側走行車線LRを走行している。
自車両の前方には、乗用車PC1が走行しており、右斜め前方の追越車線には、他の乗用車PC2が走行している。
しかし、フロントガラス310等のウインドガラス類越しに、自車両周囲の状態を直接目視して観察し、監視することは、自らの運転操作との紐付けがない自動運転中には、相当な集中力を継続して発揮する必要があるほか、視線移動量なども多く負担が大きい。
そこで、実施例の車両周囲監視装置においては、画像生成ユニット200によって以下説明する監視用の画像を生成し、表示装置210に表示させるようにしている。
図4は、自車両前方の状態が図3に相当する状態のときの画像表示を示している。
表示装置210に表示される画像表示Gは、ドライバの視点から見たときのフロントガラス視界Vfg、左ドアミラー視界Vlm、右ドアミラー視界Vrmにそれぞれ相当する範囲を示す各画像を有する。
また、フロントガラス視界Vfgの内部には、ルームミラー視界Vimの画像が含まれている。
フロントガラス視界Vfgは、フロントガラス310越しに目視可能な前方視界に相当する車両前方画像である。
左ドアミラー視界Vlm、右ドアミラー視界Vrm、ルームミラー視界Vimは、左右のサイドミラー330、ルームミラー380を介して目視可能な後方視界に相当する車両後方画像である。
また、このような実写画像に代えて、例えば、自車両周囲の状況の細部を簡素化して模式化してレンダリングしたコンピュータグラフィックスを用いることができる。
また、実写画像とコンピュータグラフィックスとを合成した画像を用いることもできる。
画像表示Gにおいては、フロントガラス視界Vfgにおけるドライバ視点正面に相当する位置が、左右方向における中央Cに配置されるよう構成されている。
(1)フロントガラス310からのドライバ視界に相当する範囲の画像(フロントガラス視界Vfg)を表示装置210に集約して表示することによって、ユーザ自身が手動運転を行う場合に通常目視する視野に相当する範囲を、表示装置210のみによって監視することができる。
これによって、比較的小さい視線移動量によって車両周囲の状況を監視することができ、自動運転中の監視負担を軽減することができる。
(2)左右ドアミラー及びルームミラーからの後方視界に相当する範囲の画像(左ドアミラー視界Vlm、右ドアミラー視界Vrm、ルームミラー視界Vim)を、表示装置210に表示することによって、表示装置210のみによって自車両後方の監視も行うことが可能となり、安全性、利便性が向上する。
(3)表示装置210に自車両周囲の実写画像を表示することによって、ユーザが周囲の状況を詳細に観察することができる。
例えば、他車両のドライバや歩行者、サイクリスト等の人間の視線の向きや老若男女、他車両の車種や特徴、路面状態、標識等の表示内容等を表示装置210によって詳細に観察して判断に役立てることが可能となる。
(4)表示装置210に自車両周囲の環境を模式化、簡略化したコンピュータグラフィックスを表示することによって、自車両周囲の環境の概況を容易かつ直観的に把握することが可能となる。
(5)画像表示Gにおいて、フロントガラス視界Vfgにおけるドライバ視点正面に相当する位置を、左右方向における中央Cに配置したことによって、表示装置210に表示される画像と、フロントガラス310等を介して直接目視可能な環境との関連付けが容易となる。
例えば、表示装置210により注意喚起されたリスク対象物をフロントガラス310越しに直接目視しようとした場合に、視線をリスク対象物の方向に自然に誘導することができる。
なお、参考例において、実施例と実質的に同様の箇所については同じ符号を付して説明を省略し、主に相違点について説明する。
参考例の車両周囲監視装置においては、表示装置210に表示される画像表示のフロントガラス視界Vfgにおいて、自車両の車幅方向中央部の直前に相当する位置を、画像上における左右方向の中央に配置したものである。
以上説明した参考例においては、上述した実施例の効果と実質的に同様の効果に加えて、道路や他車両等の物体に対する自車両の横位置を正確に把握することができる。
本発明は、以上説明した実施例に限定されることなく、種々の変形や変更が可能であって、それらも本発明の技術的範囲内である。
(1)車両周囲監視装置の構成や、車両の構成は、上述した実施例に限定されず適宜変更することが可能である。また、実施例において車両は乗用車であるが、本発明は貨物車等の商用車、トラック、バス、自動二輪車、その他各種特殊車両などにも適用することが可能である。
(2)実施例において、車両はエンジンを走行用動力源とするものであったが、本発明はこれに限らず、電動モータや、エンジンと電動モータとを組み合わせたハイブリッドシステムを走行用動力源として用いることも可能である。
(3)自車両周辺の環境認識を行うセンサの種類や配置は、上述した実施例には限定されず、適宜変更することが可能である。例えば、実施例におけるセンサ類と併用あるいは代用して、ミリ波レーザ、レーザレーダ、単眼カメラ、超音波ソナー等の各種センサを用いることが可能である。
また、車両自体に搭載されているセンサ類などと併用あるいは代用して、路車間通信や車車間通信によって得た情報や、GPS等の測位手段及びナビゲーション装置等が有する地図データを用いて環境認識を行ってもよい。
(4)各実施例では、画像表示をインストルメントパネルに組み込まれた表示装置により表示しているが、本発明はこれに限らず、他の手法によって画像表示を行ってもよい。
例えば、フロントガラスの一部に映像を投射するヘッドアップディスプレイ(HUD)装置を用いて画像表示を行ってもよい。
20 トランスミッション制御ユニット 21 前後進切替アクチュエータ
22 レンジ検出センサ 30 挙動制御ユニット
31 ハイドロリックコントロールユニット(HCU)
32 車速センサ
40 電動パワーステアリング(EPS)制御ユニット
41 モータ 42 舵角センサ
50 自動運転制御ユニット 51 入出力装置
60 環境認識ユニット 70 カメラ制御ユニット
71 カメラ
80 レーザスキャナ制御ユニット
81 レーザスキャナ 90 後側方レーダ制御ユニット
91 後側方レーダ 100 ナビゲーション装置
101 ディスプレイ
110 路車間通信装置 120 車車間通信装置
200 画像生成ユニット 210 表示装置
310 フロントガラス 320 フロントドアガラス
321 本体部 322 三角窓部
330 ドアミラー 340 インストルメントパネル
341 コンビネーションメータ
342 マルチファンクションディスプレイ
350 ステアリングホイール 360 Aピラー
370 ルーフ 371 ステレオカメラ収容部
380 ルームミラー
LL 左側走行車線 LR 右側走行車線
LP 追越車線
PC1,PC2 乗用車 G 画像表示
Vfg フロントガラス視界 Vim ルームミラー視界
Vlm 左ドアミラー視界 Vrm 右ドアミラー視界
Claims (4)
- 車両に設けられ自車両周囲の状況に関する情報を画像表示する車両周囲監視装置であって、
自車両周囲の環境を表す画像を生成する画像生成手段と、
前記車両の乗員の前方側に前記乗員と対向して配置され、前記画像生成手段が生成した画像を表示する画像表示手段とを備え、
前記画像は、通常運転時において前記乗員がフロントガラスから目視可能な視野と実質的に同等の視野を有する自車両前方画像を含み、
前記画像表示手段は、前記自車両前方画像における前記乗員の前方に相当する領域が左右方向の中央部となるように表示すること
を特徴とする車両周囲監視装置。 - 前記画像は、通常運転時において前記乗員が後方監視手段によって目視可能な視野と実質的に同等の視野を有する自車両後方画像を含むこと
を特徴とする請求項1に記載の車両周囲監視装置。 - 自車両外部を撮像する撮像手段を備え、
前記画像は、前記撮像手段によって撮像された実写画像を含むこと
を特徴とする請求項1又は請求項2に記載の車両周囲監視装置。 - 自車両周囲の環境を認識する環境認識手段を備え、
前記画像は、自車両周囲の環境を模式化して表示したコンピュータグラフィックスであること
を特徴とする請求項1又は請求項2に記載の車両周囲監視装置。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016070836A JP6313355B2 (ja) | 2016-03-31 | 2016-03-31 | 車両周囲監視装置 |
US15/445,183 US10556540B2 (en) | 2016-03-31 | 2017-02-28 | Vehicle surroundings monitoring apparatus |
CN201710140928.3A CN107264399B (zh) | 2016-03-31 | 2017-03-10 | 车辆周围监视装置 |
DE102017105225.9A DE102017105225A1 (de) | 2016-03-31 | 2017-03-13 | Fahrzeugumgebungsüberwachungsvorrichtung |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016070836A JP6313355B2 (ja) | 2016-03-31 | 2016-03-31 | 車両周囲監視装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017178157A JP2017178157A (ja) | 2017-10-05 |
JP6313355B2 true JP6313355B2 (ja) | 2018-04-18 |
Family
ID=59885820
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016070836A Active JP6313355B2 (ja) | 2016-03-31 | 2016-03-31 | 車両周囲監視装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10556540B2 (ja) |
JP (1) | JP6313355B2 (ja) |
CN (1) | CN107264399B (ja) |
DE (1) | DE102017105225A1 (ja) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102007228B1 (ko) * | 2017-11-10 | 2019-08-05 | 엘지전자 주식회사 | 차량에 구비된 차량 제어 장치 및 차량의 제어방법 |
JP6939494B2 (ja) * | 2017-12-11 | 2021-09-22 | トヨタ自動車株式会社 | 画像表示装置 |
JP7062962B2 (ja) * | 2018-01-15 | 2022-05-09 | トヨタ自動車株式会社 | 自動車 |
US20200384929A1 (en) * | 2018-02-27 | 2020-12-10 | Mitsubishi Electric Corporation | On-vehicle display control system and display control method |
JP6989418B2 (ja) * | 2018-03-12 | 2022-01-05 | 矢崎総業株式会社 | 車載システム |
EP3569474B1 (en) * | 2018-05-15 | 2022-09-07 | Volkswagen AG | Apparatus, method and computer program for providing a steering angle control signal for a vehicle |
US11545032B2 (en) * | 2018-05-25 | 2023-01-03 | Sony Corporation | Roadside apparatus and vehicle-side apparatus for road-to-vehicle communication, and road-to-vehicle communication system |
US11584298B2 (en) | 2018-08-15 | 2023-02-21 | Koito Manufacturing Co., Ltd. | Vehicle display system and vehicle |
JP6980623B2 (ja) * | 2018-09-12 | 2021-12-15 | 日産自動車株式会社 | 周囲物体判定方法及び周囲物体判定装置 |
JP6990205B2 (ja) * | 2019-03-15 | 2022-01-12 | 本田技研工業株式会社 | 運転支援装置、車両及び車両用制御装置 |
FR3101035B1 (fr) | 2019-09-25 | 2021-12-03 | Psa Automobiles Sa | Véhicule automobile à rétroviseur intérieur numérique |
CN113934021A (zh) * | 2021-10-14 | 2022-01-14 | 英博超算(南京)科技有限公司 | 一种基于电控调光玻璃的智能车辆 |
Family Cites Families (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1179958B1 (en) | 1999-04-16 | 2012-08-08 | Panasonic Corporation | Image processing device and monitoring system |
KR100866450B1 (ko) * | 2001-10-15 | 2008-10-31 | 파나소닉 주식회사 | 차량 주위 감시 장치 및 그 조정 방법 |
JP2007087337A (ja) * | 2005-09-26 | 2007-04-05 | Toyota Motor Corp | 車輌周囲情報表示装置 |
JP2007101421A (ja) * | 2005-10-05 | 2007-04-19 | Auto Network Gijutsu Kenkyusho:Kk | 周辺監視センサユニットおよび周辺監視センサシステム |
JP5003128B2 (ja) * | 2006-12-01 | 2012-08-15 | マツダ株式会社 | 車両企画支援システム、車両企画支援プログラム、及び車両企画支援方法 |
JP2008157880A (ja) | 2006-12-26 | 2008-07-10 | Victor Co Of Japan Ltd | 車載カメラ装置を用いた運転支援装置 |
EP1974998B1 (en) * | 2007-03-26 | 2011-05-25 | Aisin AW Co., Ltd. | Driving support method and driving support apparatus |
JP4412365B2 (ja) | 2007-03-26 | 2010-02-10 | アイシン・エィ・ダブリュ株式会社 | 運転支援方法及び運転支援装置 |
US8218007B2 (en) * | 2007-09-23 | 2012-07-10 | Volkswagen Ag | Camera system for a vehicle and method for controlling a camera system |
JP5347257B2 (ja) * | 2007-09-26 | 2013-11-20 | 日産自動車株式会社 | 車両用周辺監視装置および映像表示方法 |
JP5099451B2 (ja) * | 2008-12-01 | 2012-12-19 | アイシン精機株式会社 | 車両周辺確認装置 |
JP5277974B2 (ja) | 2009-01-14 | 2013-08-28 | 株式会社デンソー | 運転支援装置 |
JP2010183170A (ja) * | 2009-02-03 | 2010-08-19 | Denso Corp | 車両用表示装置 |
WO2010099416A1 (en) * | 2009-02-27 | 2010-09-02 | Magna Electronics | Alert system for vehicle |
JP5454674B2 (ja) * | 2010-03-30 | 2014-03-26 | 富士通株式会社 | 画像生成装置、画像生成プログラム、合成テーブル生成装置および合成テーブル生成プログラム |
JP5505061B2 (ja) | 2010-04-26 | 2014-05-28 | 日産自動車株式会社 | 狭路走行支援装置 |
JP5387763B2 (ja) * | 2010-05-25 | 2014-01-15 | 富士通株式会社 | 映像処理装置、映像処理方法及び映像処理プログラム |
JP5663352B2 (ja) * | 2011-03-03 | 2015-02-04 | 日本電産エレシス株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
JP5741321B2 (ja) | 2011-08-23 | 2015-07-01 | 株式会社富士通ゼネラル | 運転支援装置 |
US9019347B2 (en) * | 2011-10-13 | 2015-04-28 | Aisin Seiki Kabushiki Kaisha | Image generator |
KR101349025B1 (ko) * | 2011-11-25 | 2014-01-10 | 현대자동차주식회사 | 원적외선 스마트 나이트 뷰를 위한 차선 정보 합성 장치 및 방법 |
JP5630518B2 (ja) * | 2012-03-14 | 2014-11-26 | 株式会社デンソー | 運転支援装置 |
JP6036548B2 (ja) * | 2013-05-22 | 2016-11-30 | 株式会社デンソー | 車両用の映像制御装置 |
JP6065766B2 (ja) * | 2013-06-28 | 2017-01-25 | 株式会社デンソー | 情報提供装置および情報提供方法 |
US9513702B2 (en) * | 2013-07-15 | 2016-12-06 | Lg Electronics Inc. | Mobile terminal for vehicular display system with gaze detection |
US8966654B1 (en) * | 2013-08-15 | 2015-02-24 | TrueLite Trace, Inc. | Privacy control-adjustable vehicle monitoring system with a wild card mode |
DE112014006382B4 (de) * | 2014-02-19 | 2019-01-17 | Mitsubishi Electric Corporation | Anzeigesteuervorrichtung, Anzeigesteuerverfahren der Anzeigesteuervorrichtung, Augen-Blickrichtungs-Detektionssystem und Kalibrations-Steuerverfahren von Augen-Blickrichtungs-Detektionssystem |
CN106458059B (zh) * | 2014-04-25 | 2018-10-16 | 三菱电机株式会社 | 自动调整装置、自动调整系统以及自动调整方法 |
JP2016070836A (ja) | 2014-09-30 | 2016-05-09 | 大日本印刷株式会社 | 検査装置、検査方法、検査装置用のプログラム、および、検査システム |
US10131276B2 (en) * | 2014-09-30 | 2018-11-20 | Subaru Corporation | Vehicle sightline guidance apparatus |
US9898671B2 (en) * | 2015-05-11 | 2018-02-20 | Magna Electronics Inc. | Vehicle vision system with structure and motion estimation |
US10315566B2 (en) * | 2016-03-07 | 2019-06-11 | Lg Electronics Inc. | Vehicle control device mounted on vehicle and method for controlling the vehicle |
JP6259482B2 (ja) * | 2016-03-18 | 2018-01-10 | 株式会社Subaru | 車両用表示制御装置 |
KR101819003B1 (ko) * | 2016-04-07 | 2018-01-16 | 엘지전자 주식회사 | 차량 운전 보조 장치 및 차량 |
-
2016
- 2016-03-31 JP JP2016070836A patent/JP6313355B2/ja active Active
-
2017
- 2017-02-28 US US15/445,183 patent/US10556540B2/en active Active
- 2017-03-10 CN CN201710140928.3A patent/CN107264399B/zh active Active
- 2017-03-13 DE DE102017105225.9A patent/DE102017105225A1/de active Pending
Also Published As
Publication number | Publication date |
---|---|
US10556540B2 (en) | 2020-02-11 |
US20170282797A1 (en) | 2017-10-05 |
DE102017105225A1 (de) | 2017-10-05 |
CN107264399B (zh) | 2021-07-09 |
JP2017178157A (ja) | 2017-10-05 |
CN107264399A (zh) | 2017-10-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6313355B2 (ja) | 車両周囲監視装置 | |
JP6383376B2 (ja) | 周辺リスク表示装置 | |
JP6294905B2 (ja) | 表示装置 | |
CN108058712B (zh) | 车辆及其控制方法 | |
JP6773433B2 (ja) | 周辺リスク表示装置 | |
JP6688655B2 (ja) | 車両状態監視装置 | |
CN109849906B (zh) | 自主行驶车辆及其控制方法 | |
JP6305456B2 (ja) | 表示装置 | |
JP6688656B2 (ja) | 周辺リスク表示装置 | |
JP6542708B2 (ja) | 表示装置 | |
JP7100421B2 (ja) | 表示装置 | |
JP6744744B2 (ja) | 表示装置 | |
JP6757585B2 (ja) | 表示装置 | |
EP3892489B1 (en) | Vehicle display device | |
JP6889587B2 (ja) | 画像表示装置 | |
JP6633957B2 (ja) | 周辺リスク表示装置 | |
JP6967866B2 (ja) | 画像表示装置 | |
JP6667346B2 (ja) | 周辺リスク表示装置 | |
JP6757586B2 (ja) | 異常報知装置 | |
JP2017182566A (ja) | 周辺リスク表示装置 | |
JP6667347B2 (ja) | 表示装置 | |
JP6894744B2 (ja) | 画像表示装置 | |
CN117213520A (zh) | 车辆用ar显示装置及其动作方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170725 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170921 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180222 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180322 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6313355 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |