JP5044204B2 - 運転支援装置 - Google Patents
運転支援装置 Download PDFInfo
- Publication number
- JP5044204B2 JP5044204B2 JP2006339624A JP2006339624A JP5044204B2 JP 5044204 B2 JP5044204 B2 JP 5044204B2 JP 2006339624 A JP2006339624 A JP 2006339624A JP 2006339624 A JP2006339624 A JP 2006339624A JP 5044204 B2 JP5044204 B2 JP 5044204B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- virtual
- angle
- oblique
- viewpoint
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
Description
前記仮想投影面として、俯瞰映像を得る近景用投影面と斜め視点映像を得る遠景用投影面を有する仮想立体投影面を設定する仮想立体投影面設定手段と、
前記仮想カメラの仮想撮像面として、俯瞰映像を得る近景用撮像面と斜め視点映像を得る遠景用撮像面を有する仮想立体撮像面を設定する仮想立体撮像面設定手段と、
ハンドル操舵角を検出するハンドル操舵角検出手段と、を設け、
前記モニタ画像データ生成手段は、車両旋回時、中立位置からのハンドル操舵角の大きさが大きいほど、左右方向の斜め視点映像範囲を拡大するように、少なくとも前記遠景用投影面と前記遠景用撮像面の形状を変更し、形状変更制御による仮想カメラと仮想立体投影面と仮想立体撮像面を用いた視点変換により、前記モニタに映し出すモニタ画像データを生成することを特徴とする。
一般に、真後ろへ直進するときには、広い視野範囲を必要としないため、後方風景中の障害物等が小さく映し出される広い映像範囲表示よりも後方風景中の障害物等が大きく映し出される狭い映像範囲表示の方が望ましいが、駐車時等で後方へ旋回運動するときには、狭い映像範囲表示よりも旋回により進行しようとする方向の障害物等を写し出せる広い映像範囲表示の方が望ましい。
これに対し、本発明では、ハンドル操舵角が中立位置にあるときには、モニタ画面において、俯瞰映像と斜め視点映像による二平面映像に設定され、ハンドル操舵角が中立位置から大きくなるほど、左右方向の斜め視点映像範囲が拡大されることになる。すなわち、旋回時、ハンドル操舵角が大きいほどモニタ画面の斜め視点映像範囲を拡大化するという、運転場面に応じた最適なモニタ映像の表示変更制御が行われる。
このように、ハンドル操舵角に基づくモデル形状変更制御を行うことで、ハンドル操舵角の大きさにかかわらず、モニタ画面を注視するだけで予想進路領域情報が確実に取得されることになり、的確な駐車操作支援や安全確認支援が達成される。
この結果、旋回時、運転場面に応じた最適なモニタ映像の表示変更制御を行うことで、的確な駐車操作支援や安全確認支援を達成することができる。
図1は実施例1の後進時運転支援装置(運転支援装置の一例)を示す全体システム図である。図2は実施例1の後進時運転支援装置においてハンドル操舵角に基づくモデル形状変更制御による仮想カメラと仮想立体スクリーン/仮想立体CCD(二平面立体モデル)を用いた視点変換手法の一例を説明する模式図である。図3は実施例1の後進時運転支援装置においてハンドル操舵角に対する分割回転角の関係を示す単調型・ステップ型・加速型の各特性図である。図4は実施例1の後進時運転支援装置において旋回後進時におけるモニタ画像であり、(a)はハンドル操舵角が中立域でのモニタ画像を示し、(b)はハンドル操舵角を大きく与えたときのモニタ画像を示す。
前記仮想立体スクリーン7は、地面に沿って設定した俯瞰映像を得る近景用スクリーン71(近景用投影面)と、近景用スクリーン71から上向き傾斜角度αにより連接して設定した斜め視点映像を得る遠景用スクリーン72(遠景用投影面)と、を有する。
実施例1は、視点変換手法に基づき作成したマッピングテーブルを予めROM23に記憶設定しておき、カメラ映像データをモニタ3に映し出すモニタ画像データとするために座標変換処理を行うようにした例である。しかし、例えば、演算処理速の速いハードウェアを搭載し、リアルタイムで座標変換を行いながらモニタ画像データを生成するようなシステムとした場合、このRAM24に、各画素等の座標変換式を記憶設定しておく。
実施例1の後進時運転支援装置は、仮想カメラ8と仮想立体スクリーン7/仮想立体CCD9(二平面立体モデル)を用いた視点変換により、カメラ映像データからモニタ画像データを生成し、旋回後進時、モニタ3に映し出される映像を運転支援情報として活用するものである。
実施例1の発明ポイントは、ハンドル操舵角θに基づいて仮想カメラ8と仮想立体スクリーン7/仮想立体CCD9(二平面立体モデル)によるモデル形状を変更制御すること、言い換えると、ハンドル操舵角θにより斜め視点映像の形状を変更制御することにある。
以下、実施例1の後進時運転支援装置における作用として、[カメラ映像データからのモニタ映像生成作用]、[運転支援作用]について説明する。
本発明者は、二平面立体スクリーン/二平面立体CCD(二平面立体モデル)を用いたリアカメラ映像の視点変換技術を先に提案している。その技術では、車両近景の路面映像は真上から見下ろした俯瞰映像(=頂上俯瞰映像)に変換し、遠景映像は斜め見下ろしの斜め視点映像(=斜め俯瞰映像)に変換し、それらを連続的に同時表示している。
視野範囲が狭いモデル形状によるモニタ表示を選択した場合、前進走行時や高速での直線後進時等において、離れた障害物等の存在を確認することができるが、低速で旋回後進させる駐車時において、進行方向の映像が視野範囲から外れ、進行方向に存在する障害物等を確認することができない。
また、視野範囲が広いモデル形状によるモニタ表示を選択した場合、低速で旋回後進させる駐車時において、進行方向に存在する障害物等を確認することができるが、前進走行時や高速での直線後進時等において、離れた障害物等が画面上で小さく写し出され、障害物等の存在を早期に確認することができない。
さらに、直線後進と旋回後進とで妥協的な視野範囲によるモデル形状によるモニタ表示を選択した場合、直線後進しようとしても旋回後進しようとしても進行方向に存在する障害物等の存在確認が中途半端なものとなるし、車庫入れするときや車庫出しするとき、予想進路領域情報を確実に取得したいという要求に応えることができない。
上記のように、旋回後進時、ハンドル操舵角θが不感角度θ0以下の中立位置領域にあるときには、モニタ画面31を二平面映像に固定し、中立位置からのハンドル操舵角θの大きさが不感角度θ0を超えると、モニタ画面31を三平面映像とし、全画面表示を保ったままでハンドル操舵角θが大きくなるほど、モニタ画面31の斜め視点映像範囲を拡大する制御が行われる。すなわち、旋回時、ハンドル操舵角が大きいほどモニタ画面31における斜め視点映像の視野範囲を拡大化するという、運転場面に応じた最適なモニタ映像の表示変更制御が行われる。
実施例1の後進時運転支援装置にあっては、下記に列挙する効果を得ることができる。
図5は実施例2の後進時運転支援装置においてハンドル操舵角に基づくモデル形状変更制御による仮想カメラと仮想立体スクリーン/仮想立体CCD(二平面立体モデル)を用いた視点変換手法の一例を説明する模式図である。図6は実施例2の後進時運転支援装置において旋回後進時にハンドル操舵角を大きく与えたときのモニタ画像を示す図である。
実施例2の後進時運転支援装置にあっては、実施例1の(1),(2),(3)の効果に加え、下記に列挙する効果を得ることができる。
図7は実施例3の後進時運転支援装置においてハンドル操舵角に基づくモデル形状変更制御による仮想カメラと仮想立体スクリーン/仮想立体CCD(二平面立体モデル)を用いた視点変換手法の一例を説明する模式図である。
実施例3の後進時運転支援装置にあっては、実施例1の(1),(2),(3)の効果に加え、下記の効果を得ることができる。
図8は実施例4の後進時運転支援装置においてハンドル操舵角に応じて位置/姿勢が制御される仮想カメラと仮想立体スクリーンと仮想立体CCDを使った視点変換手法の一例を説明する模式図である。
操舵系ハンドル10を右に切っての左旋回後進時、または、操舵系ハンドル10を左に切っての右旋回後進時、シフトレバー位置センサ5において、リーバース選択操作が検出されると共に、ハンドル舵角センサ4において、ハンドル操舵角θが検出される。この旋回後進時、座標変換処理部22において、ハンドル操舵角θに応じて車両イラスト12を画面中央上部位置にて回転表示すると共に、自車が将来必ず通ると予想される予測位置(この予測位置は、例えば、モニタ画面31の中央上部に表示しても良い。)が動かないように、仮想カメラ8を車両の旋回方向に自転させると共に仮想カメラ8の位置を地面と平行に移動させる。
次に、効果を説明する。
実施例4の後進時運転支援装置にあっては、実施例1〜3の効果に加え、下記に列挙する効果を得ることができる。
・「二平面立体モデルの二平面接続位置変更制御(ハンドル操舵角が大きいほどモニタに表示される俯瞰映像領域を拡大する制御)」
・「二平面立体モデルの二平交差角度変更制御(ハンドル操舵角が大きいほどモニタに表示される斜め視点映像領域を俯瞰映像化する制御)」
・「二平面立体モデルのモデル画角変更制御(ハンドル操舵角が大きいほどモニタに表示される画角を広範囲とする制御)」
のうち、少なくとも1つの制御を加えて、複合的に利用することも可能である。
2 画像処理コントローラ
21 デコーダ間変換部
22 座標変換処理部
23 ROM
24 RAM
25 エンコーダ変換部
3 モニタ
3B 俯瞰映像
3P 斜め視点映像
3P-1 第1斜め視点映像
3P-2 第2斜め視点映像
4 ハンドル操舵角センサ(ハンドル操舵角検出手段)
5 シフトレバー位置センサ
6 仮想カメラ位置調整操作ダイアル
7 仮想立体スクリーン(仮想立体投影面)
71 近景用スクリーン(近景用投影面、俯瞰映像領域)
72 遠景用スクリーン(遠景用投影面、斜め視点映像領域)
8 仮想カメラ
9 仮想立体CCD(仮想立体撮像面)
91 近景用CCD(近景用撮像面、俯瞰映像領域)
92 遠景用CCD(遠景用撮像面、斜め視点映像領域)
10 操舵系ハンドル
11 シフトレバー
Claims (7)
- 車両に設置した実カメラとは異なる位置に設定した仮想カメラと、実カメラにより映し出される被写体側に設定した仮想投影面と、を用いた視点変換により、実カメラのカメラ映像データから車室内のモニタに映し出すモニタ画像データを生成するモニタ画像データ生成手段を備えた運転支援装置において、
前記仮想投影面として、俯瞰映像を得る近景用投影面と斜め視点映像を得る遠景用投影面を有する仮想立体投影面を設定する仮想立体投影面設定手段と、
前記仮想カメラの仮想撮像面として、俯瞰映像を得る近景用撮像面と斜め視点映像を得る遠景用撮像面を有する仮想立体撮像面を設定する仮想立体撮像面設定手段と、
ハンドル操舵角を検出するハンドル操舵角検出手段と、を設け、
前記遠景用投影面及び遠景用撮像面による斜め視点映像領域の中心位置を面に沿って縦方向に通る線を斜め視点映像の分割線とすると共に、この分割線を第1斜め視点映像と第2斜め視点映像の分割回転軸とし、
前記分割回転軸周りの斜め視点映像領域から第1斜め視点映像領域までの角度と、前記分割回転軸周りの斜め視点映像領域から第2斜め視点映像領域までの角度を、分割回転角というとき、
前記モニタ画像データ生成手段は、旋回後進時、ハンドル操舵角が不感角度以下のとき、俯瞰映像と斜め視点映像による二平面映像に設定し、ハンドル操舵角が不感角度を超えると、斜め視点映像領域を前記分割線により左右に二分割し、俯瞰映像と第1斜め視点映像と第2斜め視点映像による三平面映像に設定し、ハンドル操舵角が中立位置から不感角度を超えて大きくなるほど前記分割回転角を大きくし、第1斜め視点映像と第2斜め視点映像による左右方向の斜め視点映像範囲を拡大するモニタ画像データを生成することを特徴とする運転支援装置。 - 車両に設置した実カメラとは異なる位置に設定した仮想カメラと、実カメラにより映し出される被写体側に設定した仮想投影面と、を用いた視点変換により、実カメラのカメラ映像データから車室内のモニタに映し出すモニタ画像データを生成するモニタ画像データ生成手段を備えた運転支援装置において、
前記仮想投影面として、俯瞰映像を得る近景用投影面と斜め視点映像を得る遠景用投影面を有する仮想立体投影面を設定する仮想立体投影面設定手段と、
前記仮想カメラの仮想撮像面として、俯瞰映像を得る近景用撮像面と斜め視点映像を得る遠景用撮像面を有する仮想立体撮像面を設定する仮想立体撮像面設定手段と、
ハンドル操舵角を検出するハンドル操舵角検出手段と、を設け、
前記モニタ画像データ生成手段は、旋回後進時、ハンドル操舵角が不感角度以下のとき、俯瞰映像と斜め視点映像による二平面映像に設定し、ハンドル操舵角が不感角度を超えると、俯瞰映像領域と斜め視点映像領域の左右位置に第1横視点映像領域と第2横視点映像領域を追加し、俯瞰映像と斜め視点映像と第1横視点映像と第2横視点映像による四平面映像に設定し、ハンドル操舵角が中立位置から不感角度を超えて大きくなるほど、第1横視点映像および第2横視点映像と共に俯瞰映像領域と斜め視点映像領域を左右方向に拡大するモニタ画像データを生成することを特徴とする運転支援装置。 - 請求項2に記載された運転支援装置において、
前記モニタ画像データ生成手段は、斜め視点映像領域と第1横視点映像領域の接続部を円弧面により滑らかに繋ぎ、斜め視点映像領域と第2横視点映像領域の接続部を円弧面により滑らかに繋いだことを特徴とする運転支援装置。 - 請求項1乃至請求項3の何れか1項に記載された運転支援装置において、
前記実カメラは、車両後部位置に設定されたリアカメラであり、
前記モニタ画像データ生成手段は、操舵系ハンドルを右に切っての左旋回後進時、または、操舵系ハンドルを左に切っての右旋回後進時、ハンドル操舵角が中立位置のとき、俯瞰映像と斜め視点映像による二平面映像に設定し、ハンドル操舵角が中立位置から大きくなるほど、左右方向の斜め視点映像範囲を拡大するモニタ画像データを生成することを特徴とする運転支援装置。 - 請求項1乃至請求項4の何れか1項に記載された運転支援装置において、
前記モニタ画像データ生成手段は、旋回時、中立位置からのハンドル操舵角の大きさが不感角度以下の領域のとき、ハンドル操舵角の微小変化にかかわらず二平面映像を固定とするモニタ画像データを生成することを特徴とする運転支援装置。 - 請求項1乃至請求項5の何れか1項に記載された運転支援装置において、
前記モニタ画像データ生成手段は、車両旋回時、中立位置からのハンドル操舵角の大きさに応じて前記仮想カメラを車両の旋回方向に回転させ、回転する仮想カメラと仮想立体撮像面と仮想立体投影面を用いた視点変換により、近景の俯瞰映像と遠景の斜め視点映像をシームレスに接合した映像を前記モニタに映し出すモニタ画像データを生成することを特徴とする運転支援装置。 - 請求項6に記載された運転支援装置において、
前記モニタ画像データ生成手段は、車両旋回時、中立位置からのハンドル操舵角の大きさに応じて前記仮想カメラを車両の旋回方向に回転させると共に、回転する仮想カメラの仮想立体撮像面と仮想立体投影面の相対的な位置関係を維持することを特徴とする運転支援装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006339624A JP5044204B2 (ja) | 2006-12-18 | 2006-12-18 | 運転支援装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006339624A JP5044204B2 (ja) | 2006-12-18 | 2006-12-18 | 運転支援装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008149878A JP2008149878A (ja) | 2008-07-03 |
JP5044204B2 true JP5044204B2 (ja) | 2012-10-10 |
Family
ID=39652543
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006339624A Expired - Fee Related JP5044204B2 (ja) | 2006-12-18 | 2006-12-18 | 運転支援装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5044204B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103802725A (zh) * | 2012-11-06 | 2014-05-21 | 无锡维森智能传感技术有限公司 | 一种新的车载驾驶辅助图像生成方法 |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5369465B2 (ja) * | 2008-03-25 | 2013-12-18 | 富士通株式会社 | 車両用画像処理装置、車両用画像処理方法、車両用画像処理プログラム |
JP5212651B2 (ja) * | 2009-03-27 | 2013-06-19 | 株式会社デンソー | 車外撮影画像表示システム。 |
KR101043957B1 (ko) * | 2009-10-23 | 2011-06-24 | (주) 엔네비솔루션 | 주차 유도 방법 및 장치 |
JP5644647B2 (ja) * | 2011-04-15 | 2014-12-24 | トヨタ自動車株式会社 | 周辺監視装置 |
JP6202240B2 (ja) * | 2013-02-05 | 2017-09-27 | スズキ株式会社 | 俯瞰画像提示装置 |
JP6255928B2 (ja) * | 2013-11-15 | 2018-01-10 | スズキ株式会社 | 俯瞰画像生成装置 |
JP6464579B2 (ja) * | 2014-06-17 | 2019-02-06 | スズキ株式会社 | 俯瞰画像生成装置 |
EP3160138B1 (en) * | 2014-06-20 | 2021-03-17 | Clarion Co., Ltd. | Image synthesis system, image synthesis device therefor, and image synthesis method |
JP6575445B2 (ja) * | 2015-09-30 | 2019-09-18 | アイシン精機株式会社 | 車両用画像処理装置 |
WO2017056989A1 (ja) * | 2015-09-30 | 2017-04-06 | アイシン精機株式会社 | 車両用画像処理装置 |
JP6768412B2 (ja) * | 2016-08-26 | 2020-10-14 | 株式会社東海理化電機製作所 | 車両用視認装置及び車両用視認画像表示方法 |
WO2018042567A1 (ja) * | 2016-08-31 | 2018-03-08 | 日立建機株式会社 | 周辺監視システム及び周辺監視装置 |
JP7371629B2 (ja) * | 2018-08-01 | 2023-10-31 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、プログラム、及び、車両 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10244891A (ja) * | 1997-03-07 | 1998-09-14 | Nissan Motor Co Ltd | 駐車補助装置 |
JP4786076B2 (ja) * | 2001-08-09 | 2011-10-05 | パナソニック株式会社 | 運転支援表示装置 |
JP2005081860A (ja) * | 2003-09-04 | 2005-03-31 | Nissan Motor Co Ltd | 車両用表示装置 |
JP2005311868A (ja) * | 2004-04-23 | 2005-11-04 | Auto Network Gijutsu Kenkyusho:Kk | 車両周辺視認装置 |
-
2006
- 2006-12-18 JP JP2006339624A patent/JP5044204B2/ja not_active Expired - Fee Related
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103802725A (zh) * | 2012-11-06 | 2014-05-21 | 无锡维森智能传感技术有限公司 | 一种新的车载驾驶辅助图像生成方法 |
CN103802725B (zh) * | 2012-11-06 | 2016-03-09 | 无锡维森智能传感技术有限公司 | 一种新的车载驾驶辅助图像生成方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2008149878A (ja) | 2008-07-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5044204B2 (ja) | 運転支援装置 | |
JP4642723B2 (ja) | 画像生成装置および画像生成方法 | |
JP4257356B2 (ja) | 画像生成装置および画像生成方法 | |
JP5020621B2 (ja) | 運転支援装置 | |
JP4855918B2 (ja) | 運転支援装置 | |
JP4596978B2 (ja) | 運転支援システム | |
JP4195966B2 (ja) | 画像表示制御装置 | |
CN104442567B (zh) | 交通工具图像显示系统中的物体突显和传感 | |
JP5479956B2 (ja) | 車両用周囲監視装置 | |
WO2018037789A1 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
JP6223685B2 (ja) | 画像処理装置および画像処理方法 | |
TWI578271B (zh) | 動態影像處理方法以及動態影像處理系統 | |
JP5724446B2 (ja) | 車両の運転支援装置 | |
JP2010166196A (ja) | 車両周辺監視装置 | |
JP4902368B2 (ja) | 画像処理装置及び画像処理方法 | |
CN104285441A (zh) | 图像处理装置 | |
JP2008077628A (ja) | 画像処理装置並びに車両周辺視界支援装置及び方法 | |
JP4927514B2 (ja) | 運転支援装置 | |
JP2007109166A (ja) | 運転支援システム | |
WO2000064175A1 (fr) | Dispositif de traitement d'images et systeme de surveillance | |
JP2019529242A (ja) | 車両の車両周辺のバックミラー光景の提供方法 | |
JP2008141643A (ja) | 画像生成装置 | |
KR20100081964A (ko) | 주변 영상 생성 방법 및 장치 | |
KR102235951B1 (ko) | 차량용 영상 생성 장치 및 방법 | |
JP4855919B2 (ja) | 運転支援装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20091201 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111130 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120403 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120518 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120710 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120713 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150720 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |