JP4927514B2 - 運転支援装置 - Google Patents
運転支援装置 Download PDFInfo
- Publication number
- JP4927514B2 JP4927514B2 JP2006334475A JP2006334475A JP4927514B2 JP 4927514 B2 JP4927514 B2 JP 4927514B2 JP 2006334475 A JP2006334475 A JP 2006334475A JP 2006334475 A JP2006334475 A JP 2006334475A JP 4927514 B2 JP4927514 B2 JP 4927514B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- virtual
- monitor
- camera
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
ハンドル操舵角を検出するハンドル操舵角検出手段を設け、
前記モニタ画像データ生成手段は、車両旋回時、中立位置からのハンドル操舵角の大きさに応じて前記仮想カメラを車両の旋回方向に自転させ、自転する仮想カメラを用いた視点変換により、前記モニタに映し出すモニタ画像データを生成することを特徴とする。
例えば、実カメラがリアカメラであり、操舵系ハンドルを左に切っての右旋回後進時においては、中立位置からのハンドル操舵角の大きさに応じて仮想カメラが車両の旋回後進方向に自転するため、この自転する仮想カメラを用いた視点変換により生成された画像データによりモニタに映し出される映像は、操舵系ハンドルの回転動作に逐次対応して車両後方の映像全体が回転することになる。
一方、旋回時における操舵系ハンドルの回転動作と車両の旋回挙動の発生時間関係を対比すると、操舵系ハンドルの回転動作が先行して発生し、ハンドル回転動作から遅れて車両の旋回挙動が発生することで、モニタに映し出される車両後方の映像は、これから進行しようとする方向の映像を先取りした映像となる。
したがって、旋回時、モニタには、操舵系ハンドルの回転動作に逐次対応し、予想進路領域が画面中央部に常時表示されることで、モニタ画面への視線を余り動かすことなく進行方向を注視し続けることができる。言い換えると、モニタ画面を注視するだけで、これから進行しようとする方向の予想進路領域情報を取得することができる。このように取得される予想進路領域情報により、例えば、駐車時、目標とする駐車位置に短時間で正確に自車を停止させることができるし、また、旋回時、進行方向に存在する障害物等をいち早く認識し、余裕を持って障害物等を制動操作や操舵操作により回避することができる。
この結果、旋回時、実カメラを固定設置としながらも、視線を余り動かすことなく進行方向を注視し続けることができる手法を提案することで、より高い安全性を確保する運転支援を達成することができる。
図1は実施例1の後進時運転支援装置(運転支援装置の一例)を示す全体システム図である。図2は実施例1の後進時運転支援装置においてハンドル操舵角に応じて位置/姿勢が制御される仮想カメラを使った視点変換手法の一例を説明する模式図である。図3は実施例1の後進時運転支援装置において旋回後進時におけるモニタ画像であり、(a)は旋回後進開始時のモニタ画像を示し、(b)は旋回後進途中でのモニタ画像を示す。図4は実施例1の後進時運転支援装置においてモニタ画面での予測位置がハンドル操舵角によらず同じ位置とするための仮想カメラの位置の軌跡を示す車両の回転運動モデル図である。
実施例1は、視点変換手法に基づき作成したマッピングテーブルを予めROM23に記憶設定しておき、カメラ映像データをモニタ3に映し出すモニタ画像データとするために座標変換処理を行うようにした例である。しかし、例えば、演算処理速の速いハードウェアを搭載し、リアルタイムで座標変換を行いながらモニタ画像データを生成するようなシステムとした場合、このRAM24に、各画素等の座標変換式を記憶設定しておく。
実施例1の発明ポイントは、
・ハンドル操舵角に応じて仮想カメラ8の位置/姿勢を制御する。
・予想進路領域を画面中央で常時表示する。
・予想車幅線に代わり、自車イラスト12の回転重畳表示で操舵状態を表示する。
ことにある。
以下、実施例1の後進時運転支援装置における作用として、[従来技術とその問題点]、[カメラ映像データからのモニタ映像生成作用]、[運転支援作用]について説明する。
図5は従来の固定仮想カメラを使った視点変換手法による俯瞰変換のモデルを示す模式図である。図6は従来固定仮想カメラを使った視点変換手法を用いた場合の旋回後進時におけるモニタ画像の俯瞰変換表示例を示す図である。
旋回後進時、モニタ画面31には、図3(a),(b)に示すように、車両後方側の近景の俯瞰表示に加え、車両イラスト12が画面中央上部に表示されると共に、車両が近い将来に必ず通る位置であろうと予想される予測位置13が画面中央下部に表示される。
上記のように、旋回後進時、モニタ3のモニタ画面31には、操舵系ハンドル10の回転動作に逐次対応し、予想進路領域が画面中央部に常時表示されることで、モニタ画面31への視線を余り動かすことなく進行方向を注視し続けることができる。言い換えると、モニタ画面31を注視するだけで、これから進行しようとする方向の予想進路領域情報を取得することができる。このように取得される予想進路領域情報により、例えば、旋回後進を伴う駐車時、目標とする駐車位置に短時間で正確に自車を停止させることができるし、また、旋回後進時、進行方向に存在する障害物等をいち早く認識し、余裕を持って障害物等を制動操作や操舵操作により回避することができる。
実施例1の後進時運転支援装置にあっては、下記に列挙する効果を得ることができる。
図7は実施例2の後進時運転支援装置において旋回後進時における旋回後進途中でのモニタ画像を示す図である。
実施例2の後進時運転支援装置にあっては、実施例1の(1),(2),(3),(5)の効果に加え、下記の効果を得ることができる。
図8は実施例3の後進時運転支援装置において旋回後進時における旋回後進途中でのモニタ画像を示す図である。
このモニタ表示において、予測位置13は不透明表示とされ、重畳表示する予想車幅線14と距離目安線15は半透明表示とされる。なお、他の構成は、実施例1,2と同様であるので、図示並びに説明を省略する。
実施例3の後進時運転支援装置にあっては、実施例1と実施例2の効果に加え、下記に列挙する効果を得ることができる。
図9は実施例4の後進時運転支援装置においてハンドル操舵角に応じて位置/姿勢が制御される仮想カメラと仮想立体スクリーンと仮想立体CCDを使った視点変換手法の一例を説明する模式図である。
なお、他の構成は、実施例1,2と同様であるので、図示並びに説明を省略する。
視点変換技術について、本出願人は、先に仮想立体スクリーン/仮想立体CCDによる手法を提案している。本発明はその手法にも応用することが出来る。その概念を示したのが図9である。この図9では、仮想カメラ8と仮想立体CCD9’が自転するとともに、連携して仮想立体スクリーン7’が移動/自転している。これは、仮想カメラ8と仮想立体スクリーン7’の相対的な位置関係を維持する条件を与えた場合のモデル例である。当然ではあるが、この連携条件は必須ではない。本手法は、仮想カメラ8のみが回転し仮想立体スクリーン7’は動かないモデル、或いは、仮想立体スクリーン7’と仮想立体CCD9’を独立に制御するモデルでも処理できる。
実施例4の後進時運転支援装置にあっては、実施例1の(1)〜(4)の効果に加え、下記に列挙する効果を得ることができる。
しかし、通常の画像変形処理では、図9のような複数の平面で構成される、或いは、平面と曲面で構成される、或いは、曲面で構成される仮想立体スクリーン/仮想立体CCDといった視点変換モデルへの拡張が不可能である。即ち、仮想カメラの自転或いは移動という本発明にて採用した視点変換手法によって、どのような視点変換モデルであっても初めて統一的に扱うことができるのであり、単なる画像の変形処理に比べより一般化した手法といえることによる。
2 画像処理コントローラ
21 デコーダ間変換部
22 座標変換処理部
23 ROM
24 RAM
25 エンコーダ変換部
3 モニタ
4 ハンドル操舵角センサ(ハンドル操舵角検出手段)
5 シフトレバー位置センサ
6 仮想カメラ位置調整操作ダイアル
7 仮想平面スクリーン(仮想投影面)
7’ 仮想立体スクリーン(仮想投影面)
8 仮想カメラ
9 仮想平面CCD(仮想撮像面)
9’ 仮想立体CCD(仮想撮像面)
10 操舵系ハンドル
11 シフトレバー
Claims (8)
- 車両に固定設置した実カメラとは異なる位置に設定した仮想カメラと、実カメラにより映し出される被写体側に設定した仮想投影面と、を用いた視点変換により、実カメラのカメラ映像データから車室内のモニタに映し出すモニタ画像データを生成するモニタ画像データ生成手段を備えた運転支援装置において、
ハンドル操舵角を検出するハンドル操舵角検出手段を設け、
前記モニタ画像データ生成手段は、車両旋回時、中立位置からのハンドル操舵角の大きさに応じて前記仮想カメラを車両の旋回方向に自転させ、自転する仮想カメラを用いた視点変換により、前記モニタに映し出すモニタ画像データを生成するとともに、
前記モニタ画像データ生成手段は、旋回後進時、車両が近い将来に必ず通る位置であろうと予想される予測位置を画面中央下部に表示し、
前記モニタ画像データ生成手段は、旋回後進時、中立位置からのハンドル操舵角の大きさに応じ、前記予測位置が前記モニタの画面中央下部に常に固定表示され続けるように、前記仮想カメラを車両の旋回方向に自転させると共に仮想カメラ位置を仮想投影面に沿って移動させ、自転と共に移動する仮想カメラを用いた視点変換により、ハンドル操舵角によらず前記予測位置の固定表示を維持する車両後方映像を前記モニタに映し出すモニタ画像データを生成することを特徴とする運転支援装置。 - 車両に固定設置した実カメラとは異なる位置に設定した仮想カメラと、実カメラにより映し出される被写体側に設定した仮想投影面と、を用いた視点変換により、実カメラのカメラ映像データから車室内のモニタに映し出すモニタ画像データを生成するモニタ画像データ生成手段を備えた運転支援装置において、
ハンドル操舵角を検出するハンドル操舵角検出手段を設け、
前記モニタ画像データ生成手段は、車両旋回時、中立位置からのハンドル操舵角の大きさに応じて前記仮想カメラを車両の旋回方向に自転させ、自転する仮想カメラを用いた視点変換により、前記モニタに映し出すモニタ画像データを生成するとともに、
旋回後進時、車両が近い将来に必ず通る位置であろうと予想される予測位置を前記モニタの画面上で任意の位置に設定する予測位置設定手段を設け、
前記モニタ画像データ生成手段は、旋回後進時、中立位置からのハンドル操舵角の大きさに応じ、前記予測位置が前記モニタの画面上で設定された位置に不動表示され続けるように、前記仮想カメラを車両の旋回方向に自転させると共に仮想カメラ位置を仮想投影面に沿って移動させ、自転と共に移動する仮想カメラを用いた視点変換により、ハンドル操舵角によらず設定された前記予測位置を不動表示とする車両後方映像を前記モニタに映し出すモニタ画像データを生成することを特徴とする運転支援装置。 - 車両に固定設置した実カメラとは異なる位置に設定した仮想カメラと、実カメラにより映し出される被写体側に設定した仮想投影面と、を用いた視点変換により、実カメラのカメラ映像データから車室内のモニタに映し出すモニタ画像データを生成するモニタ画像データ生成手段を備えた運転支援装置において、
ハンドル操舵角を検出するハンドル操舵角検出手段を設け、
前記モニタ画像データ生成手段は、車両旋回時、中立位置からのハンドル操舵角の大きさに応じて前記仮想カメラを車両の旋回方向に自転させ、自転する仮想カメラを用いた視点変換により、前記モニタに映し出すモニタ画像データを生成するとともに、
前記モニタ画像データ生成手段は、旋回後進時、車両が近い将来に必ず通る位置であろうと予想される予測位置の固定表示または設定表示に対し、予想車幅線と距離目安線とを重畳表示し、
前記モニタは、旋回後進時、予測位置を不透明表示とし、重畳表示する予想車幅線と距離目安線を半透明表示とすることを特徴とする運転支援装置。 - 請求項1乃至請求項3の何れか1項に記載された運転支援装置において、
前記実カメラは、車両後部位置に設定されたリアカメラであり、
前記モニタ画像データ生成手段は、操舵系ハンドルを右に切っての左旋回後進時、または、操舵系ハンドルを左に切っての右旋回後進時、中立位置からのハンドル操舵角の大きさに応じて前記仮想カメラを車両の旋回後進方向に自転させ、自転する仮想カメラを用いた視点変換により、車両後方映像を前記モニタに映し出すモニタ画像データを生成することを特徴とする運転支援装置。 - 請求項4に記載された運転支援装置において、
前記モニタ画像データ生成手段は、旋回後進時、車両イラストを画面中央上部に表示し、
前記モニタ画像データ生成手段は、旋回後進時、中立位置からのハンドル操舵角の大きさに応じ、車両イラストを画面中央上部位置にて回転表示することを特徴とする運転支援装置。 - 請求項1乃至請求項5の何れか1項に記載された運転支援装置において、
前記実カメラにより映し出される被写体側に設定した仮想投影面を、地面に沿った仮想平面スクリーンに設定し、前記仮想カメラの仮想撮像面を、仮想平面スクリーンに平行な仮想撮像平面に設定し、
前記モニタ画像データ生成手段は、車両旋回時、中立位置からのハンドル操舵角の大きさに応じて前記仮想カメラを車両の旋回方向に自転させ、自転する仮想カメラを用いた視点変換により、車両後方の俯瞰映像を前記モニタに映し出すモニタ画像データを生成することを特徴とする運転支援装置。 - 請求項1乃至請求項5の何れか1項に記載された運転支援装置において、
前記仮想投影面として、近景用投影面と遠景用投影面を有する仮想立体投影面を設定する仮想立体投影面設定手段と、
前記仮想カメラの仮想撮像面として、近景用撮像面と遠景用撮像面を有する仮想立体撮像面を設定する仮想立体撮像面設定手段と、を設け、
前記モニタ画像データ生成手段は、車両旋回時、中立位置からのハンドル操舵角の大きさに応じて前記仮想カメラを車両の旋回方向に自転させ、自転する仮想カメラと仮想立体撮像面と仮想立体投影面を用いた視点変換により、近景の俯瞰映像と遠景のパース映像をシームレスに接合する車両後方映像を前記モニタに映し出すモニタ画像データを生成することを特徴とする運転支援装置。 - 請求項7に記載された運転支援装置において、
前記モニタ画像データ生成手段は、車両旋回時、中立位置からのハンドル操舵角の大きさに応じて前記仮想カメラを車両の旋回方向に自転させると共に、自転する仮想カメラの仮想立体撮像面と仮想立体投影面の相対的な位置関係を維持することを特徴とする運転支援装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006334475A JP4927514B2 (ja) | 2006-12-12 | 2006-12-12 | 運転支援装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006334475A JP4927514B2 (ja) | 2006-12-12 | 2006-12-12 | 運転支援装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008148114A JP2008148114A (ja) | 2008-06-26 |
JP4927514B2 true JP4927514B2 (ja) | 2012-05-09 |
Family
ID=39607775
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006334475A Expired - Fee Related JP4927514B2 (ja) | 2006-12-12 | 2006-12-12 | 運転支援装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4927514B2 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5287288B2 (ja) * | 2009-01-26 | 2013-09-11 | 日産自動車株式会社 | 車両用周囲監視装置および車両用周囲監視方法 |
CN103563358A (zh) * | 2011-06-02 | 2014-02-05 | 日立建机株式会社 | 作业机械的周围监视装置 |
JP2015106777A (ja) * | 2013-11-29 | 2015-06-08 | 株式会社富士通ゼネラル | 画像処理装置並びに運転支援装置およびナビゲーション装置およびカメラ装置 |
DE102014201801B4 (de) * | 2014-01-31 | 2021-11-25 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren zur perspektivischen Darstellung eines Fahrzeugumfeldes mit einem Fahrzeug-Modell auf einer Fahrzeuganzeige und Anzeigesystem |
JP6172059B2 (ja) * | 2014-06-09 | 2017-08-02 | 株式会社デンソー | 車両用表示制御装置 |
US9616802B1 (en) * | 2015-11-02 | 2017-04-11 | AISIN Technical Center of America, Inc. | Apparatus and method to visually communicate with a vehicle |
WO2017110144A1 (ja) | 2015-12-22 | 2017-06-29 | 株式会社Jvcケンウッド | 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム |
CN107272683A (zh) * | 2017-06-19 | 2017-10-20 | 中国科学院自动化研究所 | 基于acp方法的平行智能车控制系统 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100438623C (zh) * | 1999-04-16 | 2008-11-26 | 松下电器产业株式会社 | 图象处理装置及监视系统 |
JP3645196B2 (ja) * | 2001-02-09 | 2005-05-11 | 松下電器産業株式会社 | 画像合成装置 |
JP4427953B2 (ja) * | 2003-01-29 | 2010-03-10 | 株式会社豊田自動織機 | 駐車支援装置 |
JP2005311666A (ja) * | 2004-04-21 | 2005-11-04 | Auto Network Gijutsu Kenkyusho:Kk | 車両周辺視認装置 |
JP2005311868A (ja) * | 2004-04-23 | 2005-11-04 | Auto Network Gijutsu Kenkyusho:Kk | 車両周辺視認装置 |
-
2006
- 2006-12-12 JP JP2006334475A patent/JP4927514B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2008148114A (ja) | 2008-06-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4927514B2 (ja) | 運転支援装置 | |
JP6388267B2 (ja) | 運転支援装置 | |
JP5044204B2 (ja) | 運転支援装置 | |
US9156402B2 (en) | Wide view vehicle periphery image generation apparatus | |
US8576285B2 (en) | In-vehicle image processing method and image processing apparatus | |
JP4969269B2 (ja) | 画像処理装置 | |
JP6699370B2 (ja) | 車両用画像処理装置 | |
US20120249796A1 (en) | Image processing device, image processing system, and image processing method | |
JP2005110202A (ja) | カメラ装置及び車両周辺監視装置 | |
JP2010166196A (ja) | 車両周辺監視装置 | |
JP2005311868A (ja) | 車両周辺視認装置 | |
JP2006287892A (ja) | 運転支援システム | |
WO2010070920A1 (ja) | 車両周囲画像生成装置 | |
JPWO2011105105A1 (ja) | 駐車支援装置 | |
JP2011230563A (ja) | 狭路走行支援装置 | |
JP6257978B2 (ja) | 画像生成装置、画像表示システム及び画像生成方法 | |
JP5020621B2 (ja) | 運転支援装置 | |
JP2006054662A (ja) | 運転支援装置 | |
JP6130118B2 (ja) | 画像処理システム、画像処理装置、画像処理方法、及び、プログラム | |
JP2008162308A (ja) | 車両用撮像装置及び車両用画像処理装置 | |
WO2016152572A1 (ja) | 間接視界提示装置 | |
JP6258000B2 (ja) | 画像表示システム、画像表示方法及びプログラム | |
JP4855919B2 (ja) | 運転支援装置 | |
JP5273068B2 (ja) | 車両周辺監視装置 | |
JP2008213647A (ja) | 駐車支援方法及び駐車支援装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20091201 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111018 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111129 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120116 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120207 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120209 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150217 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4927514 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |