JP5112998B2 - 車両周囲監視装置 - Google Patents

車両周囲監視装置 Download PDF

Info

Publication number
JP5112998B2
JP5112998B2 JP2008236883A JP2008236883A JP5112998B2 JP 5112998 B2 JP5112998 B2 JP 5112998B2 JP 2008236883 A JP2008236883 A JP 2008236883A JP 2008236883 A JP2008236883 A JP 2008236883A JP 5112998 B2 JP5112998 B2 JP 5112998B2
Authority
JP
Japan
Prior art keywords
image
vehicle
display
guide line
view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008236883A
Other languages
English (en)
Other versions
JP2010069944A (ja
Inventor
健一 大島
重信 三枝
浩行 川越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2008236883A priority Critical patent/JP5112998B2/ja
Priority to DE602009000226T priority patent/DE602009000226D1/de
Priority to EP09170197A priority patent/EP2163431B1/en
Priority to US12/584,870 priority patent/US8675069B2/en
Priority to CN2009101764454A priority patent/CN101676148B/zh
Publication of JP2010069944A publication Critical patent/JP2010069944A/ja
Application granted granted Critical
Publication of JP5112998B2 publication Critical patent/JP5112998B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12Mirror assemblies combined with other articles, e.g. clocks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02Rear-view mirror arrangements
    • B60R1/06Rear-view mirror arrangements mounted on vehicle exterior
    • B60R1/062Rear-view mirror arrangements mounted on vehicle exterior with remote control for adjusting position
    • B60R1/07Rear-view mirror arrangements mounted on vehicle exterior with remote control for adjusting position by electrically powered actuators
    • B60R1/074Rear-view mirror arrangements mounted on vehicle exterior with remote control for adjusting position by electrically powered actuators for retracting the mirror arrangements to a non-use position alongside the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1253Mirror assemblies combined with other articles, e.g. clocks with cameras, video cameras or video screens
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/101Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using cameras with adjustable capturing direction
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/102Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 360 degree surveillance camera system
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/103Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using camera systems provided with artificial illumination device, e.g. IR light source
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/106Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using night vision cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/207Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using multi-purpose displays, e.g. camera image and navigation or video on same display
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views

Description

本発明は、車両周囲監視装置に関する。
従来、例えば車両に搭載された撮影領域が異なる複数のカメラから出力される映像を結合して、擬似的に車両上方から見た鳥瞰図の映像を生成する処理装置が知られている(例えば、特許文献1参照)。
また、従来、例えば車両のドアミラーに設置されたカメラから出力される画像から、表示用の領域を切り出す際に、ドアミラーの展開および格納の各状態に応じて、切り出し領域を変更することで、ドアミラーの展開および格納に関わらずに、車両周囲の撮影方向が同一とされた画像を表示画面に表示する車両用画像表示装置が知られている(例えば、特許文献2参照)。
特開2007−43607号公報 特開2004−306670号公報
ところで、上記従来技術の一例に係る車両用画像表示装置においては、単に、ドアミラーの展開および格納の各状態に応じて、ドアミラーに設置されたカメラから出力される画像に対する切り出し領域が変更されるだけであるから、ドアミラーの展開時のカメラの撮影領域とドアミラーの格納時のカメラの撮影領域との間で重複する領域が切り出し領域よりも小さい場合には、互いに表示不可となる領域が生じてしまうという問題が生じる。
このため、上記従来技術の一例に係る車両用画像表示装置に記載の技術を、上記従来技術の一例に係る処理装置に適用して、複数のカメラから出力される映像によって擬似的に車両上方から見た鳥瞰図の映像を生成すると、ドアミラーの展開および格納に伴って、適切な映像を得ることができないという問題が生じる。
本発明は上記事情に鑑みてなされたもので、運転者による車両周囲の視認を適切に支援して利便性を向上させることが可能な車両周囲監視装置を提供することを目的とする。
上記課題を解決して係る目的を達成するために、本発明の第1態様に係る車両周囲監視装置は、自車両の外界周辺領域を撮像して画像を出力する複数の撮像装置(例えば、実施の形態での各カメラ11a,…,11d)と、車室内に配置された表示装置(例えば、実施の形態での表示装置19)と、前記複数の撮像装置から出力される前記画像を結合して結合画像を出力する画像結合手段(例えば、実施の形態での画像処理部42)と、前記画像結合手段から出力される前記結合画像を前記表示装置に表示する表示制御手段(例えば、実施の形態での表示制御部45)とを備え、前記複数の撮像装置のうち少なくとも1つの前記撮像装置は自車両の開閉可能なドアミラー(例えば、実施の形態での左右のドアミラーML,MR)に配置され、前記画像結合手段は、前記複数の撮像装置から出力される前記画像毎に設定された所定の抽出範囲の抽出画像を抽出し、前記抽出画像を結合して前記結合画像を生成しており、前記ドアミラーの開閉に応じて前記抽出範囲を変更すると共に前記結合画像を構成する前記抽出画像同士間の境界位置を変更する。
本発明の車両周囲監視装置によれば、ドアミラーの開閉に応じて、抽出画像の抽出範囲を変更することによって、ドアミラーの開閉に関わらずに、車両周囲の所望の表示対象領域を同一に維持することができる。しかも、ドアミラーの開閉に応じて、結合画像を構成する抽出画像同士間の境界位置を変更することにより、ドアミラーの開閉に伴って撮像可能領域が変化する撮像装置の抽出画像に撮像不可となる領域が生じる場合であっても、この撮像不可となる領域を、他の撮像装置の抽出画像によって補うことができ、ドアミラーの開閉に関わらずに、同一の結合画像を生成することができる。
以下、本発明の一実施形態に係る車両周囲監視装置について添付図面を参照しながら説明する。
本実施の形態による車両周囲監視装置10は、車両に搭載され、例えば図1に示すように、車両の外界を撮像可能な外界カメラ11と、近赤外線LED12と、車両状態センサ13と、ナビゲーション装置14と、操作スイッチ15と、切替スイッチ16と、格納スイッチ17と、ドアミラーアクチュエータ18と、表示装置19と、CPUなどを含む電子回路により構成された画像処理装置20とを備えて構成されている。
外界カメラ11は、例えば図2に示すように、車両の外界として、前方の周辺領域を撮像領域とする前方カメラ11aと、後方の周辺領域を撮像領域とする後方カメラ11bと、左側方の周辺領域を撮像領域とする左側方カメラ11cと、右側方の周辺領域を撮像領域とする右側方カメラ11dとを備え、例えば可視光領域から近赤外線領域にて撮像可能とされ、各カメラ11a,…,11dの撮像により得られた画像に対して、例えばフィルタリングや二値化処理等の所定の画像処理を行い、二次元配列の画素からなる画像データを生成して画像処理装置20へ出力する。
なお、前方カメラ11aは、例えば車両のフロントグリルなどに設置され、後方カメラ11bは、例えば車両のバックドアやテールゲートなどに設置され、左側方カメラ11cおよび右側方カメラ11dは、例えば車両の左右のドアミラーML,MRの下端などに設置されている。
近赤外線LED12は、例えば車両の助手席側のドアミラー(例えば、左のドアミラーML)に設置され、画像処理装置20により点灯制御され、例えば夜間時などにおいて前照灯(図示略)の点灯に連動して、助手席側の所定領域(例えば、助手席側の外界カメラ11の撮像領域、つまり左側方カメラ11cの撮像領域である車両の左側方の周辺領域)を照射する。
車両状態センサ13は、自車両の車両状態量として、例えば、駆動輪の回転速度(車輪速)を検出する車輪速センサ31と、操舵角(例えば、運転者が入力した操舵角度の方向と大きさ)あるいは操舵角に応じた実舵角(転舵角)を検出する舵角センサ32と、セレクトレバー(図示略)を介して運転者により選択される変速機構(図示略)の状態に応じたシフトポジションを検出するシフトポジションセンサ33となどを備えて構成されている。
ナビゲーション装置14は、車両の現在位置と予め記憶している地図データとによりマップマッチングの処理を実行すると共に、例えば操作者の入力操作などに応じて設定された目的地に対して経路探索や経路誘導などの処理を実行し、表示装置19およびスピーカ(図示略)の動作を指示する制御指令を出力する。
操作スイッチ15は、運転者の操作入力に応じた各種の指令信号、例えば表示装置19の表示画面上での各種のメニュー項目の選択指示などを出力する。
切替スイッチ16は、運転者の操作入力に応じた表示装置19の表示画面上での各種の表示切替の指令信号を出力する。
格納スイッチ17は、運転者の操作入力に応じて、車両の左右のドアミラーML,MRの格納および展開、さらには、角度変更などをおこなうドアミラークチュエータ18に各種の指令信号を出力する。
表示装置19は、画像処理装置20の制御により各種の表示をおこなう。例えば、表示装置19の表示画面上には、外界カメラ11から出力される各画像データに加えて、これらの画像データに自車両の位置および各種のガイド表示などを重畳して表示可能である。
画像処理装置20は、例えばLED制御部41と、画像処理部42と、記憶部44と、表示制御部45とを備えて構成されている。
LED制御部41は、例えば夜間時などにおいて前照灯(図示略)の点灯に連動して、かつ、例えば表示装置19の表示画面に後述するサイドビューSVの画像が表示される期間に連動して、近赤外線LED12を点灯制御する。
画像処理部42は、外界カメラ11の各カメラ11a,…,11dから出力される画像データに基づき、例えば所定の変換処理などによって、予め設定された所定の視野表示に対応した変換画像を生成して出力する。
なお、所定の視野表示は、例えば、図3(A)に示す車両の前方領域の表示(フロントビューFV)と、図3(B)に示す車両の後方領域の表示(リアビューRV)と、図3(C)に示す車両の左右の側方前方領域の表示(サイドビューSV)と、図3(D)に示す車両の側方後方領域の表示であって、左右のドアミラーML,MRに映る領域を仮想的に再現した表示(ミラービューMV)と、図3(E)に示す車両の前方領域において左右に表示領域を拡張した表示(フロントブラインドビューFBV)と、図3(F)に示す車両の周辺領域を俯瞰した表示(グランドビューGV)となどである。
例えばグランドビューGVの画像を生成する際には、画像処理部42は、図4に示すように、各カメラ11a,…,11dの撮像領域の画像データ(例えば、図4に示す車両の後方領域の画像データRP)を、車両の鉛直方向上方の所定視点位置BPから見下ろした画像(例えば、図4に示す変換画像RCP)となるように、画像の歪みなども補正しつつ視点変換をおこなう。そして、この変換処理により得られた各変換画像から、互いの境界位置が整合するようにして各変換画像毎に設定された所定の画角範囲の画像(例えば、前方抽出画像PF,後方抽出画像PR,左側方抽出画像PSL,右側方抽出画像PSR)を抽出する。そして、例えば図5(A),(B)に示すように、これらの画像(各抽出画像PF,PR,PSL,PSR)を結合して結合画像を生成し、この結合画像をグランドビューGVの画像として出力する。なお、この結合画像においては、隣り合う抽出画像同士間の境界部に所定のマスク線MLが設けられている。
なお、外界カメラ11のうち左側方カメラ11cおよび右側方カメラ11dが、車両の左右のドアミラーML,MRの下端に設置されている場合には、左右のドアミラーML,MRの開閉(つまり、展開または格納)に応じて、左側方カメラ11cおよび右側方カメラ11dの撮像領域が変化する。このため、画像処理部42は、左右のドアミラーML,MRの開閉に応じて、視点変換の処理内容を変更すると共に各変換画像毎に設定された所定の画角範囲(つまり、各変換画像から各抽出画像PF,PR,PSL,PSRを抽出するための抽出範囲)を変更する。さらに、結合画像を構成する各画像(つまり、各抽出画像PF,PR,PSL,PSR)同士間の境界位置を変更することで、左右のドアミラーML,MRの開閉に関わらずに、同一の所定の周辺領域を表示するグランドビューGVの画像を生成する。
例えば図6(A)〜(D)に示すように、開状態の左右のドアミラーML,MRが、閉状態に移行する際に、ドアミラーML,MRの端部が鉛直方向上方に持ち上がるようにして、ドアミラーML,MRの水平方向に対する傾斜角度が変化すると、左右のドアミラーML,MRの開状態において車両の左側方および右側方の周辺領域のみを撮像するように設定されていた各カメラ11c,11dの撮像領域は、左右のドアミラーML,MRの閉状態において車両本体の左側部および右側部を不必要に含んでしまうと共に車両の後方側にずれることになる。
これにより、左右のドアミラーML,MRの開状態においてグランドビューGVの画像(例えば、図7(A)に示す開状態でのグランドビューGVの画像)を生成する処理と同一の処理(つまり、同一の視点変換、および各抽出画像PSL,PSRを抽出するための抽出範囲および結合画像を構成する各抽出画像PF,PR,PSL,PSR同士間の境界位置を同一とした処理)によって、左右のドアミラーML,MRの閉状態でのグランドビューGVの画像(例えば、図7(B)に示す閉状態でのグランドビューGVの画像)を生成すると、所定視点位置BPから見下ろした適切な画像が得られなくなると共に、車両の左側方および右側方の所定の周辺領域を表示することができなくなり、さらに、結合画像を構成する他の各抽出画像PF,PRとの間の境界位置がずれてしまう。
このため、画像処理部42は、先ず、左右のドアミラーML,MRの開閉に応じて、視点変換の処理内容を変更すると共に、各変換画像毎に設定された所定の画角範囲(つまり、各変換画像から各抽出画像PF,PR,PSL,PSRを抽出するための抽出範囲)を変更する。これにより、左右のドアミラーML,MRの開閉に関わらずに、所定視点位置BPから見下ろした適切な、かつ車両の左側方および右側方の同一の所定の周辺領域を表示する各抽出画像PSL,PSRを抽出する。
さらに、左右のドアミラーML,MRの閉状態において各カメラ11c,11dの撮像領域が、左右のドアミラーML,MRの開状態に比べて、車両の後方側にずれてしまうことで、撮像不可となる領域が生じることに対応して、例えば図5(A)に示す左右のドアミラーML,MRの開状態に比べて、例えば図5(B)に示す左右のドアミラーML,MRの閉状態では、特に、前方抽出画像PFと左側方抽出画像PSLおよび右側方抽出画像PSRとの間の境界位置を車両の後方側にずらすようにして、結合画像での各抽出画像PF,PSL,PSR同士間の境界位置を変更する。この境界位置の変更に対応して、各変換画像から各抽出画像PF,PR,PSL,PSRを抽出するための抽出範囲が予め変更されることになる。
例えば図5(A)に示す左右のドアミラーML,MRの開状態においては、前方抽出画像PFと左側方抽出画像PSLおよび右側方抽出画像PSRとの間の境界位置を示すマスク線MLは、車両の左右方向に対して所定第1角度αだけ前方側に傾斜しているのに対して、例えば図5(B)に示す左右のドアミラーML,MRの閉状態においては、前方抽出画像PFと左側方抽出画像PSLおよび右側方抽出画像PSRとの間の境界位置を示すマスク線MLは、車両の左右方向に対して所定第1角度αよりも小さな所定第2角度β(<α)だけ前方側に傾斜している。これにより、左右のドアミラーML,MRの開状態に比べて、閉状態では、前方抽出画像PFに対する抽出領域が拡張され、左側方抽出画像PSLおよび右側方抽出画像PSRに対する抽出領域が縮小されている。
表示制御部45は、ナビゲーション装置14の各種動作に係るナビゲーション画面を表示装置19の表示画面に表示する。
また、表示制御部45は、画像処理部42から出力される各変換画像、例えば図8(A)に示すフロントビューFVと、図8(B)に示すリアビューRVと、図8(C),(D)に示す左右のサイドビューSVと、図8(E),(F)に示す左右のミラービューMVと、図8(G)に示すフロントブラインドビューFBVと、図8(H)に示すグランドビューGVとの各画像を、予め設定された、あるいは、操作スイッチ15または切替スイッチ16から出力される指令信号に応じた、あるいは、車両状態センサ13から出力される検出信号に応じた、所定の組み合わせで表示装置19の表示画面に表示する。
さらに、表示制御部45は、画像処理部42から出力される各変換画像を表示装置19の表示画面に表示する際に、記憶部44に格納されている各種のメッセージや各種画像を取得して表示装置19の表示画面に表示すると共に、運転者の運転を支援するための各種のガイド表示(例えば、図8(A)〜(F),(H)に示す車両周辺の所定位置に係る目安ガイド線DL、および、図8(A),(H)に示す車両の走行軌跡に係る予測ガイド線ELなど)を各変換画像に重畳して表示する。
例えば、車両状態センサ13の車輪速センサ31から出力される検出信号に応じた車両の速度(車速)が所定のロー側判定閾値VthL以下であって、シフトポジションセンサ33から出力される検出信号においてシフトポジションが後退のリバース以外(例えば、前進のドライブなど)である場合には、表示制御部45は、予め設定された複数の表示形態のうちから、例えば、図9(A)に示すフロントビューFVおよびグランドビューGVの組み合わせと、図9(B)に示すフロントブラインドビューFBVと、図9(C)に示す左右のサイドビューSVの組み合わせと、図9(D)に示す左のサイドビューSVのみとによる、4つの表示形態を選択し、これらの表示形態の何れか1つを、例えば切替スイッチ16から出力される指令信号などに応じて切り替え可能に、表示装置19の表示画面に表示する。
このとき、表示制御部45は、画像処理部42から出力される各変換画像に加えて、例えば、切り替え可能な表示形態を示す表示形態指示画像IPと、表示中の変換画像に対応した外界カメラ11の撮像領域を模式的に示す撮像領域指示画像CPと、各種のメッセージ(例えば、「直接周囲を確認しながら運転してください」など)やメニュー表示やヘルプ表示などとを、記憶部44から取得して、表示装置19の表示画面に表示する。
例えば、表示形態指示画像IPは、フロントビューFVおよびグランドビューGVの組み合わせを示す画像(F・G)と、フロントブラインドビューFBVを示す画像(FB)と、左右のサイドビューSVの組み合わせ、あるいは左のサイドビューSVのみを示す画像(S)と、リアビューRVおよびグランドビューGVの組み合わせを示す画像(R・G)と、リアビューRVおよび左右のミラービューMVの組み合わせを示す画像(R・M)とであって、図9(A)〜(D)に示すように、表示装置19の表示画面に表示中の表示形態に対応する表示形態指示画像IPは、他の切り替え可能な表示形態に対応する表示形態指示画像IPに比べて、例えばコントラストの増大や大きさの増大や表示色の変更などによって、強調表示されている。
なお、表示制御部45は、例えば図9(C),(D)に示すように、表示形態指示画像IPとして、左右のサイドビューSVの組み合わせ、あるいは左のサイドビューSVのみを示す画像(S)を強調表示している場合には、さらに、切り替え可能な相互の表示形態(つまり、左右のサイドビューSVの組み合わせの表示形態、または、左のサイドビューSVのみの表示形態)を指示する第1および第2補助表示形態指示画像IPa,IPbを表示する。
この第1補助表示形態指示画像IPa(長押し:左)は、例えば操作スイッチ15を長時間に亘って押下操作することによって、左右のサイドビューSVの組み合わせの表示形態から左のサイドビューSVのみの表示形態へと切り替え可能であることを示し、第2補助表示形態指示画像IPb(長押し:左右)は、例えば操作スイッチ15を長時間に亘って押下操作することによって、左のサイドビューSVのみの表示形態から左右のサイドビューSVの組み合わせの表示形態へと切り替え可能であることを示している。
なお、表示制御部45は、フロントビューFVおよびグランドビューGVの組み合わせに対しては、例えば図9(A)に示すように、フロントビューFVの画像と、グランドビューGVの画像とを、左右に並べて表示装置19の表示画面に表示する。
また、リアビューRVおよびグランドビューGVの組み合わせに対しては、リアビューRVの画像と、グランドビューGVの画像とを、左右に並べて表示装置19の表示画面に表示する。
また、左右のサイドビューSVの組み合わせに対しては、例えば図9(C)に示すように、左のサイドビューSVの画像と、右のサイドビューSVの画像とを、左右に並べて表示装置19の表示画面に表示する。
また、例えばシフトポジションセンサ33から出力される検出信号においてシフトポジションがリバースである場合に選択されるリアビューRVおよび左右のミラービューMVの組み合わせに対しては、例えば図10(A)に示すように、上段に左のミラービューMVの画像と右のミラービューMVの画像とを左右に並べ、下段にリアビューRVを配置して、表示装置19の表示画面に表示する。この場合には、例えば図10(B)に示すように上段にリアビューRVを配置して下段に左右のミラービューMVの画像を配置する場合に比べて、運転者が表示形態に違和感を感じてしまうことを防止し、視認性を向上させることができる。
なお、車両の前進時にフロントビューFVと組み合わされるグランドビューGVの画像と、車両の後退時にリアビューRVと組み合わされるグランドビューGVの画像とは、同一(つまり、グランドビューGVの画像を構成する各抽出画像PF,PR,PSL,PSRの画角範囲や各抽出画像同士間の境界位置などが変化しない同一の表示形態)とされている。
表示制御部45は、例えば図11に示すように、画像処理部42から出力される各変換画像を表示装置19の表示画面に表示する際に、操作スイッチ15から出力される指令信号に応じて、運転者の運転を支援するための各種のガイド表示を各変換画像(例えば、フロントビューFVと、リアビューRVと、サイドビューSVと、ミラービューMVと、グランドビューGVとの各画像)に重畳する。
ガイド表示は、例えば、予測ガイド線ELと、目安ガイド線DLと、駐車ガイド線PLとである。
予測ガイド線ELは、例えば舵角センサ32から出力される検出信号に応じて予測される車両の走行軌跡を示すガイド線であって、舵角センサ32により検出される操舵角あるいは操舵角に応じた実舵角が所定値以上となった場合にグランドビューGVとフロントビューFVとリアビューRVとの各画像に重畳され、後述する目安ガイド線DLとは異なる表示色が設定されている。なお、予測ガイド線ELは、後述する駐車動作の実行時(例えば、操舵角あるいは操舵角に応じた実舵角が最大値近傍の所定値以上となるフル転舵での後退時)には表示が禁止される。
例えばグランドビューGVの画像に重畳される予測ガイド線ELは、車両の走行状態に応じた基準点に対して所定のマージン距離mを有する表示始点P0を有し、例えば図12(A),(B)および図13(A)に示す前進時の左旋回および右旋回の場合には、バンパー外端P1と後ろ内輪タイヤ外端P2とを基準点として表示される2本のガイド線であり、例えば図12(C),(D)および図13(B)に示す後退時の左旋回および右旋回の場合には、左右の後輪タイヤ外端P3,P4とを基準点として表示される2本のガイド線である。
また、例えばフロントビューFVの画像に重畳される予測ガイド線ELは、図14(A),図15(A)に示すように、バンパー外端P1の基準点に対して所定のマージン距離mを有する表示始点P0から、車両先端から所定距離fmだけ前方の位置まで表示される1本のガイド線であり、例えばリアビューRVの画像に重畳される予測ガイド線ELは、図14(B),図15(B)に示すように、左右の後輪タイヤ外端P3,P4の基準点に対して所定のマージン距離mを有する各表示始点P0から、車両後端から所定距離だけ後方の位置まで表示される枠状のガイド線である。
目安ガイド線DLは、車両の外端(例えば、前端、後端、側端)から予め設定された所定距離だけ離間した位置に表示されるガイド線であって、予測ガイド線ELとは異なる表示色が設定されている。
なお、目安ガイド線DLは、後述する駐車動作の実行時(例えば、フル転舵での後退時)には表示が禁止される。
また、シフトポジションがリバースとなって車両が後退する際に、舵角センサ32により検出される操舵角あるいは操舵角に応じた実舵角が所定値以上となって予測ガイド線ELが表示される場合には、目安ガイド線DLは表示が禁止される。
目安ガイド線DLは、例えばシフトポジションセンサ33から出力される検出信号においてシフトポジションがリバースであるか否かに応じて表示位置が切り替えられている。
例えばグランドビューGVの画像に重畳される目安ガイド線DLは、シフトポジションがリバース以外である場合には、図16(A)に示すように、車両の前方において、車両の前端から所定距離faかつ車両の両側端から所定距離saだけ離間した位置に表示される枠状のガイド線とされる。また、例えばシフトポジションがリバースである場合には、図16(B)に示すように、車両の後方において、車両の後端から所定距離raかつ車両の両側端から所定距離saだけ離間した位置に表示される枠状のガイド線とされている。
また、例えばリアビューRVの画像に重畳される目安ガイド線DLは、図17に示すように、車両のバックドアあるいはテールゲートの開状態での最後部から所定距離r0だけ後方の位置と、車両の後端から複数の異なる所定距離r1,r2,r3だけ後方の位置とにおいて、車幅分の長さだけ表示される複数のガイド線DL0〜DL3と、車両の両側端から所定距離saだけ離間した位置において車両の後端から後方に伸びる2本のガイド線DLsとである。
また、目安ガイド線DLは、グランドビューGVとフロントビューFVとリアビューRVとに加えて、左右のサイドビューSVの各画像と、左右のミラービューMVの各画像とに重畳される。
駐車ガイド線PLは、車両の駐車動作時の運転支援用のガイド線であって、例えば互いに異なる表示色が設定された、駐車動作の開始時の車両の初期位置に係る初期位置決めガイド線PLAと、切り返し動作の開始位置に係る切り返し開始位置決めガイド線PLBとを備えて構成され、グランドビューGVの画像に重畳される。そして、車両の駐車動作としては、例えば縦列駐車とバック駐車とが設定されている。
例えば図18(A),(B)に示すように、駐車動作として左右の縦列駐車の実行時においては、車両後方の左右の所定位置に所定線分の初期位置決めガイド線PLAが表示されると共に、左右のフル転舵での後退時の後ろ外輪(あるいは後ろ外輪に対して所定のマージン距離を有する位置)の移動軌跡(つまり、左の縦列駐車に対応付けられる右のフル転舵での移動軌跡、および、右の縦列駐車に対応付けられる左のフル転舵での移動軌跡)の一部からなる切り返し開始位置決めガイド線PLBが表示される。
縦列駐車での初期位置決めガイド線PLAは、例えば図19(A)に示すように、所定四角形状の駐車枠PWの隅部のうち車両に最も近い隅部PWaを含むように位置決めされることを要するガイド線であって、この初期位置決めガイド線PLA上の何れかの位置に駐車枠PWの車両に最も近い隅部PWaが位置する場合に、車両の位置が縦列駐車の駐車動作での初期位置となる。
そして、縦列駐車での切り返し開始位置決めガイド線PLBは、例えば図19(B)に示すように、車両が初期位置からフル転舵(つまり、左の縦列駐車での左のフル転舵、および、右の縦列駐車での右のフル転舵)で後退した際に、所定四角形状の駐車枠PWのうち最も奥側の長辺PWbに接するように位置決めされることを要するガイド線であって、この切り返し開始位置決めガイド線PLBが駐車枠PWの最も奥側の長辺PWbに接する場合に、車両の位置が縦列駐車の駐車動作での切り返し位置となる。
これにより、例えば図19(C)に示すように、車両は、切り返し位置から切り返しによるフル転舵(つまり、左の縦列駐車での右のフル転舵、および、右の縦列駐車での左のフル転舵)で後退することによって駐車枠PW内に収容される。
また、例えば図20(A),(B)に示すように、駐車動作として左右のバック駐車の実行時においては、車両側方の左右の所定位置に所定枠状の初期位置決めガイド線PLAが表示されると共に、左右のフル転舵での後退時の両後輪(あるいは両後輪に対して所定のマージン距離を有する位置)の移動軌跡(つまり、左のバック駐車に対応付けられる左のフル転舵での移動軌跡、および、右のバック駐車に対応付けられる右のフル転舵での移動軌跡)の一部からなる切り返し開始位置決めガイド線PLBが表示される。
なお、枠状の初期位置決めガイド線PLAは、内部が塗りつぶされていてもよい。
このバック駐車での初期位置決めガイド線PLAは、例えば図21(A)に示すように、所定四角形状の駐車枠PWの略中央部に配置されるように位置決めされることを要するガイド線であって、この初期位置決めガイド線PLAが駐車枠PWの略中央部に配置される場合に、車両の位置がバック駐車の駐車動作での初期位置となる。
そして、バック駐車での切り返し開始位置決めガイド線PLBは、例えば図21(B)に示すように、車両が初期位置からフル転舵(つまり、左のバック駐車での右のフル転舵、および、右のバック駐車での左のフル転舵)で前進した際に、切り返し開始位置決めガイド線PLBの後端位置PLBrが所定四角形状の駐車枠PW内に配置されるように位置決めされることを要するガイド線であって、この切り返し開始位置決めガイド線PLBの後端位置PLBrが駐車枠PW内に配置される場合に、車両の位置がバック駐車の駐車動作での切り返し位置となる。
これにより、例えば図21(C)に示すように、車両は、切り返し位置から切り返しによるフル転舵(つまり、左のバック駐車での左のフル転舵、および、右のバック駐車での右のフル転舵)で後退することによって駐車枠PW内に収容される。
各駐車動作において、初期位置決めガイド線PLAはグランドビューGVの画像に常時重畳され、切り返し開始位置決めガイド線PLBは舵角センサ32により検出される所定方向での操舵角あるいは操舵角に応じた実舵角がフル転舵近傍の所定値以上となった場合にグランドビューGVの画像に重畳される。
例えば図22(A),(B)に示す左の縦列駐車でのグランドビューGVの画像のように、駐車動作での車両の初期位置でシフトポジションがリバースに設定されている状態(図22(A)に示す状態)から、左の転舵がおこなわれて操舵角あるいは操舵角に応じた実舵角がフル転舵近傍の所定値以上となった場合(図22(B)に示す状態)に、切り返し開始位置決めガイド線PLBがグランドビューGVの画像に重畳される。
また、例えば図23(A),(B)に示す左のバック駐車でのグランドビューGVの画像のように、駐車動作での車両の初期位置でシフトポジションがリバース以外に設定されている状態(図23(A)に示す状態)から、右の転舵がおこなわれて操舵角あるいは操舵角に応じた実舵角がフル転舵近傍の所定値以上となった場合(図23(B)に示す状態)に、切り返し開始位置決めガイド線PLBがグランドビューGVの画像に重畳される。
なお、グランドビューGVの画像に重畳された切り返し開始位置決めガイド線PLBの表示は、駐車動作の終了時まで継続される。
表示制御部45は、操作スイッチ15から出力される指令信号に応じて、ガイド表示の有無および表示内容を切り替える。
例えば図9(A)に示すように、表示制御部45は、通常時にグランドビューGVの画像を表示装置19の表示画面に表示する際(つまり、各種のガイド表示をグランドビューGVの画像に重畳していないとき)に、操作スイッチ15の所定操作(例えば、回転操作)によって所定の駐車ガイド線メニューの表示が可能であることを示す指示画像PP(駐車メニュー)を表示画面に表示する。そして、操作者によって操作スイッチ15の所定操作(例えば、回転操作)がおこなわれると、例えば図24に示すような所定の駐車ガイド線メニューを表示画面に表示する。
この駐車ガイド線メニューは、例えば、予測ガイド線ELおよび目安ガイド線DLの表示を指示する選択メニュー(目安/予測ガイド線)と、左右の縦列駐車あるいは左右のバック駐車に対する駐車ガイド線PLの表示を指示する各選択メニュー(左バックガイド線、右バックガイド線、左縦列ガイド線、右縦列ガイド線)とを備えている。
そして、駐車ガイド線メニューが表示画面に表示されている状態では、操作スイッチ15の所定操作(例えば、回転操作および押下操作)によって、各選択メニューの選択および各選択メニューに応じたガイド線の表示が可能とされている。
例えば、通常時のフロントビューFVおよびグランドビューGVの組み合わせの表示形態から切り替えられた駐車ガイド線メニュー(例えば、図24に示す駐車ガイド線メニュー)が表示画面に表示されている状態において、操作スイッチ15の所定操作によって、左の縦列駐車に対する駐車ガイド線PLの表示を指示する選択メニュー(左縦列ガイド線)が選択されると、例えば図25(A)に示すように、フロントビューFVおよびグランドビューGVの組み合わせの表示形態へと表示画面の表示が切り替えられる。このとき、操舵角あるいは操舵角に応じた実舵角が所定値未満であると共にシフトポジションがリバース以外であると、フロントビューFVの画像には目安ガイド線DLが重畳され、グランドビューGVの画像には目安ガイド線DLおよび初期位置決めガイド線PLAが重畳される。このとき、表示画面には、さらに、操作スイッチ15の所定操作(例えば、押下操作)によって、駐車ガイド線PLの使い方を指示するヘルプ表示を表示可能であることを示す指示画像PHa(使い方)が表示される。
そして、操作者によって操作スイッチ15の所定操作(例えば、押下操作)がおこなわれると、例えば図26(A)に示すような所定のヘルプ表示HELPがグランドビューGVの画像と共に表示画面に表示される。このとき、表示画面には、さらに、操作スイッチ15の所定操作(例えば、押下操作)によって、ヘルプ表示HELPの表示を終了可能であることを示す指示画像PHb(使い方OFF)が表示される。
このヘルプ表示HELPは、例えば左の縦列駐車に対する駐車動作の実行時の一連の運転操作を構成する複数の操作工程毎の指示メッセージHa(例えば、「1.ガイド線を角に合わせる」、「2.左いっぱいで路肩まで後退」、「3.右いっぱいで枠内まで後退」など)と、各指示メッセージHaに対応して駐車枠PWと車両および駐車ガイド線PLとの位置関係を模式的に示す模式画像Hbとを備えて構成されている。各指示メッセージHaおよび各模式画像Hbは、駐車動作の実行時の実際の車両の状態(例えば、シフトポジションセンサ33におより検出されるシフトポジション、および舵角センサ32により検出される操舵角あるいは操舵角に応じた実舵角の大きさ)、つまり駐車動作の実行時の一連の運転操作を構成する複数の操作工程毎に応じて、順次、強調表示される。なお、強調表示は、例えばコントラストの増大、表示サイズの増大、表示色の変更などによりおこなわれる。
また、駐車動作の実行時の一連の運転操作を構成する複数の操作工程毎において、対応する各指示メッセージHaおよび各模式画像Hbは同一の表示色を有し、複数の操作工程同子間において、対応する指示メッセージHa同士および対応する模式画像Hb同士は、異なる表示色を有している。
例えば図25(A),図26(A)に示す表示画面では、左の縦列駐車に対する駐車動作の実行時にシフトポジションがリバース以外の状態であって、操舵角あるいは操舵角に応じた実舵角が所定値未満であることに対応して、グランドビューGVの画像には初期位置決めガイド線PLAのみが重畳され、ヘルプ表示HELPにおいては、車両を駐車動作での初期位置に設定することを指示する指示メッセージHa(「1.ガイド線を角に合わせる」)およびこの指示メッセージHaに対応した模式画像Hbのみが強調表示されている。この状態から、左の縦列駐車に対する駐車動作での車両の初期位置においてシフトポジションがリバースに設定され、さらに、左の転舵がおこなわれて操舵角あるいは操舵角に応じた実舵角がフル転舵近傍の所定値以上となった場合には、例えば図25(B),図26(B)に示す表示画面のように、リアビューRVおよびグランドビューGVの組み合わせの表示形態においてグランドビューGVの画像に初期位置決めガイド線PLAと切り返し開始位置決めガイド線PLBとが重畳され、ヘルプ表示HELPにおいては、車両を初期位置からフル転舵で後退させ、さらに、切り返し位置から逆方向のフル転舵で後退させることを指示する指示メッセージHa(「2.左いっぱいで路肩まで後退」、「3.右いっぱいで枠内まで後退」)およびこれらの指示メッセージHaに対応した模式画像Hbのみが強調表示される状態へと切り替えられる。
また、例えば、通常時のフロントビューFVおよびグランドビューGVの組み合わせの表示形態から切り替えられた駐車ガイド線メニュー(例えば、図24に示す駐車ガイド線メニュー)が表示画面に表示されている状態において、操作スイッチ15の所定操作によって、左のバック駐車に対する駐車ガイド線PLの表示を指示する選択メニュー(左バックガイド線)が選択されると、例えば図27(A)に示すように、フロントビューFVおよびグランドビューGVの組み合わせの表示形態へと表示画面の表示が切り替えられる。このとき、操舵角あるいは操舵角に応じた実舵角が所定値以上であると共にシフトポジションがリバース以外であると、フロントビューFVの画像には目安ガイド線DLが重畳され、グランドビューGVの画像には目安ガイド線DLおよび初期位置決めガイド線PLAおよび切り返し開始位置決めガイド線PLBが重畳される。このとき、表示画面には、さらに、操作スイッチ15の所定操作(例えば、押下操作)によって、駐車ガイド線PLの使い方を指示するヘルプ表示を表示可能であることを示す指示画像PHa(使い方)が表示される。
そして、操作者によって操作スイッチ15の所定操作(例えば、押下操作)がおこなわれると、例えば図28(A)に示すような所定のヘルプ表示HELPがグランドビューGVの画像と共に表示画面に表示される。このとき、表示画面には、さらに、操作スイッチ15の所定操作(例えば、押下操作)によって、ヘルプ表示HELPの表示を終了可能であることを示す指示画像PHb(使い方OFF)が表示される。
このヘルプ表示HELPは、例えば左のバック駐車に対する駐車動作の実行時の一連の運転操作を構成する複数の操作工程毎の指示メッセージHa(例えば、「1.(初期位置決めガイド線PLAの)マークを中央に合わせる」、「2.左いっぱいでガイド線が収まる様に前進」、「3.左いっぱいで枠内まで後退」など)と、各指示メッセージHaに対応して駐車枠PWと車両および駐車ガイド線PLとの位置関係を模式的に示す模式画像Hbとを備えて構成されている。各指示メッセージHaおよび各模式画像Hbは、駐車動作の実行時の実際の車両の状態(例えば、シフトポジションセンサ33におより検出されるシフトポジション、および舵角センサ32により検出される操舵角あるいは操舵角に応じた実舵角の大きさ)、つまり駐車動作の実行時の一連の運転操作を構成する複数の操作工程毎に応じて、順次、強調表示される。なお、強調表示は、例えばコントラストの増大、表示サイズの増大、表示色の変更などによりおこなわれる。
例えば図27(A),図28(A)に示す表示画面では、左のバック駐車に対する駐車動作の実行時にシフトポジションがリバース以外の状態であって、操舵角あるいは操舵角に応じた実舵角が所定値未満であることに対応して、グランドビューGVの画像には目安ガイド線DLおよび初期位置決めガイド線PLAおよび切り返し開始位置決めガイド線PLBが重畳され、ヘルプ表示HELPにおいては、車両を駐車動作での初期位置に設定すること、さらに、初期位置からフル転舵で後退させて切り返し位置に設定することを指示する指示メッセージHa(「1.(初期位置決めガイド線PLAの)マークを中央に合わせる」、「2.左いっぱいでガイド線が収まる様に前進」)およびこれらの指示メッセージHaに対応した模式画像Hbのみが強調表示されている。この状態から、左のバック駐車に対する駐車動作での車両の切り返し位置においてシフトポジションがリバースに設定され、さらに、左の転舵がおこなわれて操舵角あるいは操舵角に応じた実舵角がフル転舵近傍の所定値以上となった場合には、例えば図27(B),図28(B)に示すように、リアビューRVおよびグランドビューGVの組み合わせの表示形態においてグランドビューGVの画像に初期位置決めガイド線PLAと切り返し開始位置決めガイド線PLBとが重畳され、ヘルプ表示HELPにおいては、車両を切り返し位置から逆方向のフル転舵で後退させることを指示する指示メッセージHa(「3.左いっぱいで枠内まで後退」)およびこの指示メッセージHaに対応した模式画像Hbのみが強調表示される状態へと切り替えられる。
上述したように、本実施の形態による車両周囲監視装置10によれば、左右のドアミラーML,MRの開閉に応じて、各抽出画像PSL,PSRを抽出するための抽出範囲を変更することによって、左右のドアミラーML,MRの開閉に関わらずに、車両周囲の所望の表示対象領域を同一に維持することができる。しかも、左右のドアミラーML,MRの開閉に応じて、結合画像を構成する各抽出画像PF,PSL,PSR同士間の境界位置を変更することにより、左右のドアミラーML,MRの開閉に伴って撮像可能領域が変化する左側方カメラ11cおよび右側方カメラ11dの各抽出画像PSL,PSRに撮像不可となる領域が生じる場合であっても、この撮像不可となる領域を、前方カメラ11aの抽出画像PFによって補うことができ、左右のドアミラーML,MRの開閉に関わらずに、同一の所定の車両周辺領域を表示する結合画像を生成することができる。
本発明の一実施形態に係る車両周囲監視装置の構成図である。 本発明の一実施形態に係る車両周囲監視装置の外界カメラの配置を示す図である。 本発明の一実施形態に係る車両周囲監視装置の視野表示に対応した所定の外界領域を示す図である。 本発明の一実施形態に係る車両周囲監視装置の後方カメラの撮像により得られる画像データRPと、画像データRPに対する視点変換により得られる変換画像RCPとの一例を示す図である。 本発明の一実施形態に係る車両周囲監視装置の左右のドアミラーML,MRの開閉に応じたグランドビューGVの画像を示す図である。 本発明の一実施形態に係る車両周囲監視装置の左右のドアミラーML,MRの開閉状態を示す図である。 図7(A)は本発明の一実施形態に係る車両周囲監視装置の左右のドアミラーML,MRの開状態でのグランドビューGVの画像であり、図7(B)は本発明の一実施形態の比較例に係る車両周囲監視装置の左右のドアミラーML,MRの閉状態でのグランドビューGVの画像である。 本発明の一実施形態に係る車両周囲監視装置の画像処理部から出力される各変換画像の例を示す図である。 本発明の一実施形態に係る車両周囲監視装置の表示画面の例を示す図である。 図10(A)は本発明の一実施形態に係る車両周囲監視装置の表示画面の例を示す図であり、図10(B)は本発明の一実施形態の比較例に係る車両周囲監視装置の表示画面の例を示す図である。 本発明の一実施形態に係る車両周囲監視装置の表示画面に表示されるガイド表示の例を示す図である。 本発明の一実施形態に係る車両周囲監視装置の表示画面のグランドビューGVの画像に重畳される予測ガイド線ELの例を示す図である。 本発明の一実施形態に係る車両周囲監視装置の表示画面のグランドビューGVの画像に重畳される予測ガイド線ELの例を示す図である。 本発明の一実施形態に係る車両周囲監視装置の表示画面のフロントビューFVおよびリアビューRVの各画像に重畳される予測ガイド線ELの例を示す図である。 本発明の一実施形態に係る車両周囲監視装置の表示画面のフロントビューFVおよびリアビューRVの各画像に重畳される予測ガイド線ELの例を示す図である。 本発明の一実施形態に係る車両周囲監視装置の表示画面のグランドビューGVの画像に重畳される目安ガイド線DLの例を示す図である。 本発明の一実施形態に係る車両周囲監視装置の表示画面のリアビューRVの画像に重畳される目安ガイド線DLの例を示す図である。 本発明の一実施形態に係る車両周囲監視装置の表示画面のグランドビューGVの画像に重畳される縦列駐車の初期位置決めガイド線PLAおよび切り返し開始位置決めガイド線PLBの例を示す図である。 本発明の一実施形態に係る車両周囲監視装置の表示画面のグランドビューGVの画像に重畳される縦列駐車の初期位置決めガイド線PLAおよび切り返し開始位置決めガイド線PLBの例を示す図である。 本発明の一実施形態に係る車両周囲監視装置の表示画面のグランドビューGVの画像に重畳されるバック駐車の初期位置決めガイド線PLAおよび切り返し開始位置決めガイド線PLBの例を示す図である。 本発明の一実施形態に係る車両周囲監視装置の表示画面のグランドビューGVの画像に重畳されるバック駐車の初期位置決めガイド線PLAおよび切り返し開始位置決めガイド線PLBの例を示す図である。 本発明の一実施形態に係る車両周囲監視装置の表示画面のグランドビューGVの画像に重畳される縦列駐車の初期位置決めガイド線PLAおよび切り返し開始位置決めガイド線PLBの例を示す図である。 本発明の一実施形態に係る車両周囲監視装置の表示画面のグランドビューGVの画像に重畳されるバック駐車の初期位置決めガイド線PLAおよび切り返し開始位置決めガイド線PLBの例を示す図である。 本発明の一実施形態に係る車両周囲監視装置の表示画面に表示される駐車ガイド線メニューの例を示す図である。 本発明の一実施形態に係る車両周囲監視装置の表示画面のグランドビューGVの画像に重畳される縦列駐車の初期位置決めガイド線PLAおよび切り返し開始位置決めガイド線PLBの例を示す図である。 本発明の一実施形態に係る車両周囲監視装置の表示画面のグランドビューGVの画像と共に表示されるヘルプ表示HELPの例を示す図である。 本発明の一実施形態に係る車両周囲監視装置の表示画面のグランドビューGVの画像に重畳されるバック駐車の初期位置決めガイド線PLAおよび切り返し開始位置決めガイド線PLBの例を示す図である。 本発明の一実施形態に係る車両周囲監視装置の表示画面のグランドビューGVの画像と共に表示されるヘルプ表示HELPの例を示す図である。
符号の説明
10 車両周囲監視装置
11 外界カメラ
11a 前方カメラ(撮像装置)
11b 後方カメラ(撮像装置)
11c 左側方カメラ(撮像装置)
11d 右側方カメラ(撮像装置)
13 車両状態センサ
19 表示装置
20 画像処理装置
42 画像処理部(画像結合手段)
45 表示制御部(表示制御手段)

Claims (1)

  1. 自車両の外界周辺領域を撮像して画像を出力する複数の撮像装置と、
    車室内に配置された表示装置と、
    前記複数の撮像装置から出力される前記画像を結合して結合画像を出力する画像結合手段と、
    前記画像結合手段から出力される前記結合画像を前記表示装置に表示する表示制御手段とを備え、
    前記複数の撮像装置のうち少なくとも1つの前記撮像装置は自車両の開閉可能なドアミラーに配置され、
    前記画像結合手段は、前記複数の撮像装置から出力される前記画像毎に設定された所定の抽出範囲の抽出画像を抽出し、前記抽出画像を結合して前記結合画像を生成しており、前記ドアミラーの開閉に応じて前記抽出範囲を変更すると共に前記結合画像を構成する前記抽出画像同士間の境界位置を変更することを特徴とする車両周囲監視装置。
JP2008236883A 2008-09-16 2008-09-16 車両周囲監視装置 Active JP5112998B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2008236883A JP5112998B2 (ja) 2008-09-16 2008-09-16 車両周囲監視装置
DE602009000226T DE602009000226D1 (de) 2008-09-16 2009-09-14 Vorrichtung zur Überwachung einer Fahrzeugumgebung
EP09170197A EP2163431B1 (en) 2008-09-16 2009-09-14 Vehicle surroundings monitoring apparatus
US12/584,870 US8675069B2 (en) 2008-09-16 2009-09-14 Vehicle surroundings monitoring apparatus
CN2009101764454A CN101676148B (zh) 2008-09-16 2009-09-15 车辆周围监视装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008236883A JP5112998B2 (ja) 2008-09-16 2008-09-16 車両周囲監視装置

Publications (2)

Publication Number Publication Date
JP2010069944A JP2010069944A (ja) 2010-04-02
JP5112998B2 true JP5112998B2 (ja) 2013-01-09

Family

ID=41202861

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008236883A Active JP5112998B2 (ja) 2008-09-16 2008-09-16 車両周囲監視装置

Country Status (5)

Country Link
US (1) US8675069B2 (ja)
EP (1) EP2163431B1 (ja)
JP (1) JP5112998B2 (ja)
CN (1) CN101676148B (ja)
DE (1) DE602009000226D1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7448203B2 (ja) 2020-06-16 2024-03-12 株式会社ニックス 配管固定具

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8340870B2 (en) * 2008-09-16 2012-12-25 Honda Motor Co., Ltd. Vehicle maneuver assistance device
JP2011131678A (ja) * 2009-12-24 2011-07-07 Fujitsu Ten Ltd 画像処理装置、画像処理システム、および、画像処理方法
JP5397697B2 (ja) * 2010-03-12 2014-01-22 アイシン精機株式会社 画像制御装置
JP5090496B2 (ja) * 2010-04-12 2012-12-05 住友重機械工業株式会社 画像生成装置及び操作支援システム
US9321400B2 (en) * 2010-06-15 2016-04-26 Aisin Seiki Kabushiki Kaisha Drive assist device
JP5113220B2 (ja) * 2010-06-28 2013-01-09 本田技研工業株式会社 車両用画像表示装置
CN102343871B (zh) * 2010-07-26 2013-10-30 浙江吉利汽车研究院有限公司 智能后视镜系统
JP5251947B2 (ja) * 2010-09-17 2013-07-31 日産自動車株式会社 車両用画像表示装置
JP5454934B2 (ja) * 2010-09-21 2014-03-26 アイシン精機株式会社 運転支援装置
DE102010042026B4 (de) * 2010-10-06 2020-11-26 Robert Bosch Gmbh Verfahren zum Erzeugen eines Abbildes mindestens eines Objekts in einer Umgebung eines Fahrzeugs
US9264672B2 (en) 2010-12-22 2016-02-16 Magna Mirrors Of America, Inc. Vision display system for vehicle
KR20120106033A (ko) * 2011-03-17 2012-09-26 현대모비스 주식회사 차량 정보를 이용한 후진 주행 궤적선 제공 장치 및 그 방법
JP5741321B2 (ja) * 2011-08-23 2015-07-01 株式会社富士通ゼネラル 運転支援装置
US11021136B1 (en) * 2011-08-29 2021-06-01 The Boeing Company Methods and systems for providing a remote virtual view
CN102431499A (zh) * 2011-11-29 2012-05-02 奇瑞汽车股份有限公司 一种消除汽车驾驶员视障的外后视镜系统
KR101327736B1 (ko) * 2011-12-23 2013-11-11 현대자동차주식회사 Avm탑뷰 기반 주차지원 시스템
FR2985350B1 (fr) * 2012-01-04 2014-01-24 Peugeot Citroen Automobiles Sa Procede de traitement d'image d'une camera embarquee sur un vehicule et dispositif de traitement correspondant
AU2013208525A1 (en) * 2012-01-12 2014-08-14 Hitachi Construction Machinery Co., Ltd. Periphery monitoring device for self-propelled industrial machine
JP6099333B2 (ja) * 2012-08-30 2017-03-22 富士通テン株式会社 画像生成装置、画像表示システム、パラメータ取得装置、画像生成方法及びパラメータ取得方法
JP5629740B2 (ja) * 2012-09-21 2014-11-26 株式会社小松製作所 作業車両用周辺監視システム及び作業車両
KR20140039820A (ko) * 2012-09-25 2014-04-02 엘지이노텍 주식회사 디스플레이 룸미러 시스템
JP6223685B2 (ja) * 2013-01-30 2017-11-01 富士通テン株式会社 画像処理装置および画像処理方法
KR101426468B1 (ko) * 2013-05-07 2014-08-05 현대모비스 주식회사 Avm 상에서의 차량의 주차 안내 방법
US9886636B2 (en) * 2013-05-23 2018-02-06 GM Global Technology Operations LLC Enhanced top-down view generation in a front curb viewing system
DE102014213279A1 (de) * 2014-07-09 2016-01-14 Conti Temic Microelectronic Gmbh System zum Erfassen einer Fahrzeugumgebung eines Kraftfahrzeuges
US9403491B2 (en) * 2014-08-28 2016-08-02 Nissan North America, Inc. Vehicle camera assembly
JP2016063390A (ja) * 2014-09-18 2016-04-25 富士通テン株式会社 画像処理装置、及び画像表示システム
JP6447060B2 (ja) * 2014-11-28 2019-01-09 アイシン精機株式会社 車両周辺監視装置
US9449390B1 (en) * 2015-05-19 2016-09-20 Ford Global Technologies, Llc Detecting an extended side view mirror
US10486599B2 (en) * 2015-07-17 2019-11-26 Magna Mirrors Of America, Inc. Rearview vision system for vehicle
US9908472B2 (en) 2015-08-14 2018-03-06 Toyota Motor Engineering & Manufacturing North America, Inc. Heads up display for side mirror display
US10486600B1 (en) 2015-09-28 2019-11-26 Apple Inc. Systems for improving side-mirror functionality of a vehicle
JP6658054B2 (ja) * 2016-02-16 2020-03-04 トヨタ車体株式会社 車体部品の施工部位判定システム及び施工部位判定方法
CN105644429B (zh) * 2016-03-22 2018-04-06 盐城工业职业技术学院 基于视觉的智能驾驶辅助系统及辅助方法
CN105946720A (zh) * 2016-07-12 2016-09-21 辽宁工程技术大学 汽车前置影像系统
JP6662762B2 (ja) * 2016-12-19 2020-03-11 株式会社クボタ 作業車
GB2559758B (en) * 2017-02-16 2021-10-27 Jaguar Land Rover Ltd Apparatus and method for displaying information
JP6730612B2 (ja) * 2017-02-27 2020-07-29 株式会社Jvcケンウッド 車両用表示制御装置、車両用表示制御システム、車両用表示制御方法およびプログラム
JP6730613B2 (ja) * 2017-02-28 2020-07-29 株式会社Jvcケンウッド 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム
JP6504529B1 (ja) * 2017-10-10 2019-04-24 マツダ株式会社 車両用表示装置
JP2019080238A (ja) * 2017-10-26 2019-05-23 シャープ株式会社 車両運転支援装置及び車両運転支援プログラム
JP7201315B2 (ja) 2017-11-08 2023-01-10 トヨタ自動車株式会社 電子ミラー装置
JP2019154018A (ja) * 2018-03-06 2019-09-12 パナソニックIpマネジメント株式会社 車両周辺表示システム、表示制御装置およびコンピュータプログラム
DE102018207756B3 (de) 2018-05-17 2019-09-05 Volkswagen Aktiengesellschaft Verfahren zum Bereitstellen einer vorgegebenen Abbildung von einer Fahrzeugumgebung eines Kraftfahrzeugs, Kamerasystem für ein Kraftfahrzeug sowie Kraftfahrzeug mit einem derartigen Kamerasystem
CN109624858B (zh) * 2019-01-04 2021-02-02 斑马网络技术有限公司 外后视镜的图像显示方法及装置
JP7267755B2 (ja) * 2019-01-23 2023-05-02 株式会社小松製作所 作業機械のためのシステム及び方法
US20200282909A1 (en) * 2019-03-07 2020-09-10 GM Global Technology Operations LLC Vehicle imaging system and method for a parking solution
JP7331511B2 (ja) * 2019-07-16 2023-08-23 株式会社アイシン 車両周辺表示装置
DE102019121502A1 (de) * 2019-08-09 2021-02-11 Bayerische Motoren Werke Aktiengesellschaft Fehlerrobuste Erfassung einer Fahrzeugumgebung
KR20220029064A (ko) * 2020-09-01 2022-03-08 현대자동차주식회사 차량 및 그 제어 방법
KR102473407B1 (ko) * 2020-12-28 2022-12-05 삼성전기주식회사 틸트 카메라를 이용한 차량의 svm 시스템
JP2022172709A (ja) * 2021-05-06 2022-11-17 トヨタ自動車株式会社 車載ドライブレコーダシステム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5877897A (en) * 1993-02-26 1999-03-02 Donnelly Corporation Automatic rearview mirror, vehicle lighting control and vehicle interior monitoring system using a photosensor array
CN100438623C (zh) 1999-04-16 2008-11-26 松下电器产业株式会社 图象处理装置及监视系统
US6911997B1 (en) * 1999-10-12 2005-06-28 Matsushita Electric Industrial Co., Ltd. Monitoring system, camera adjusting method and vehicle monitoring system
JP2002325250A (ja) * 2001-02-16 2002-11-08 Ki Sun Kim 車両の映像及び音声記録装置
JP3854499B2 (ja) 2001-12-03 2006-12-06 株式会社村上開明堂 カメラ内蔵型アウター用バックミラー
JP2003320898A (ja) * 2002-04-26 2003-11-11 Sony Corp 車両用サイドミラー装置
JP3979330B2 (ja) * 2003-04-02 2007-09-19 トヨタ自動車株式会社 車両用画像表示装置
JP3952305B2 (ja) * 2004-02-06 2007-08-01 シャープ株式会社 移動体周辺監視装置、移動体周辺監視方法、制御プログラムおよび可読記録媒体
JP2006341641A (ja) 2005-06-07 2006-12-21 Nissan Motor Co Ltd 映像表示装置及び映像表示方法
JP4899367B2 (ja) * 2005-07-27 2012-03-21 日産自動車株式会社 俯瞰画像表示システム及び俯瞰画像の表示方法
JP4742733B2 (ja) 2005-08-05 2011-08-10 日産自動車株式会社 画像つなぎ目処理装置および画像つなぎ目処理方法
JP2007096638A (ja) * 2005-09-28 2007-04-12 Nissan Motor Co Ltd 車両周囲映像提供装置
US8179435B2 (en) * 2005-09-28 2012-05-15 Nissan Motor Co., Ltd. Vehicle surroundings image providing system and method
DE102006016673A1 (de) * 2006-04-08 2007-10-11 Bayerische Motoren Werke Ag Fahrzeugsichtsystem
JP4640238B2 (ja) * 2006-04-10 2011-03-02 日産自動車株式会社 車両周囲映像作成装置及び車両周囲映像作成方法
US7602276B2 (en) 2007-01-17 2009-10-13 Visteon Global Technologies, Inc. Variable blind spot warning system

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7448203B2 (ja) 2020-06-16 2024-03-12 株式会社ニックス 配管固定具

Also Published As

Publication number Publication date
DE602009000226D1 (de) 2010-11-04
CN101676148A (zh) 2010-03-24
EP2163431B1 (en) 2010-09-22
CN101676148B (zh) 2011-12-14
EP2163431A1 (en) 2010-03-17
US8675069B2 (en) 2014-03-18
JP2010069944A (ja) 2010-04-02
US20100066833A1 (en) 2010-03-18

Similar Documents

Publication Publication Date Title
JP5112998B2 (ja) 車両周囲監視装置
US8340870B2 (en) Vehicle maneuver assistance device
JP5032424B2 (ja) 車両運転支援装置
JP5420216B2 (ja) 車両周囲監視装置
JP2010069916A (ja) 車両運転支援装置
US7898434B2 (en) Display system and program
KR101354068B1 (ko) 차량주변화상생성장치
JP5747181B2 (ja) 駐車支援装置
WO2014156220A1 (ja) 周辺監視装置、及びプログラム
JP5251804B2 (ja) 運転支援装置
KR20110026469A (ko) 주차 지원 장치 및 주차 지원 방법
JP2005223524A (ja) 車両周辺監視装置
JP7128096B2 (ja) 映像表示装置
JP2009006974A (ja) サイドミラー装置およびサイドミラーシステム
JP5961821B2 (ja) 運転支援装置
JP2006163756A (ja) 車両の視界補助装置
JP5144443B2 (ja) 車両運転支援装置
JP2010074260A (ja) 車両周囲監視装置
CN111480337B (zh) 车辆周边监视装置和车辆周边监视方法
JP4977482B2 (ja) 画像提供装置、車両、および画像提供方法
JP2012166689A (ja) 運転支援装置
JP3928660B2 (ja) 車両周辺監視装置
JP4615980B2 (ja) 車両の視界補助装置
JP2010069915A (ja) 車両周囲監視装置
JP2008221942A (ja) 駐車支援装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101125

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120925

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120928

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121011

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151019

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5112998

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250