JP4855918B2

JP4855918B2 - 運転支援装置

Info

Publication number: JP4855918B2
Application number: JP2006334473A
Authority: JP
Inventors: 博隆岩野
Original assignee: Clarion Co Ltd
Current assignee: Faurecia Clarion Electronics Co Ltd
Priority date: 2006-12-12
Filing date: 2006-12-12
Publication date: 2012-01-18
Anticipated expiration: 2026-12-12
Also published as: JP2008148112A

Description

本発明は、仮想カメラと仮想立体投影面／仮想立体撮像面（二平面立体モデル）を用いた視点変換により、カメラ映像データからモニタ画像データを生成する運転支援装置、特に、ハンドル操舵に基づいて二平面立体モデルによる俯瞰映像領域を制御する運転支援装置に関する。

従来、運転支援装置としては、車両の動きに応じて画面構成及び、視点位置を連続的に変更することにより、ドライバに理解しやすい映像を提供することを目的とし、車両の動きに連動して、複数の撮影装置により撮像された複数のカメラ映像を１つの視点から見た俯瞰映像として表示させる１視点映像と、複数のカメラ映像を分割画面に表示した多視点映像とを切り換えるものが知られている（例えば、特許文献１参照）。

また、従来の画像生成装置としては、数台のカメラで撮影された複数枚の画像について、画像を互いに独立して表示するのではなく、数台のカメラで撮影しているエリアの全体の様子が直感的に分かるように、一枚に合成した画像を表示するものが知られている（例えば、特許文献２参照）。
特開２００５−２３６４９３号公報特許第３２８６３０６号公報

しかしながら、上記特許文献１の運転支援装置及び特許文献２の画像生成装置にあっては、いずれもハンドル操舵角にかかわらず、仮想平面モデルが常に同じ位置に固定されているため、この固定された仮想平面モデルを用いた視点変換手法によるモニタ映像は、例えば、近景の俯瞰映像のみのままであったり、遠景のパース映像のみのままであったりというように、固定の映像表示となる。

このように、固定化した映像表示で、どのような場面にも対応するためには、最も一般的な表示をするしかなく、リアカメラを用いた運転支援装置では、結果的に、真後ろへ直進するときに最も見やすい表示になる。これでは、旋回後進時という運転場面においては最適なモニタ映像表示をすることができない、という問題があった。

これを解決する案として、例えば、近景の俯瞰映像データとパース映像データを共に持つ場合、モニタ映像を運転場面に応じて切り替えるという案があるが、駐車時など煩雑な運転操作の最中にモニタ映像を手動にて切り替えるのは不便であるし、安全性までも損なうおそれがある。

本発明は、上記問題に着目してなされたもので、ハンドル操舵に基づく二平面立体モデルの位置制御手法を提案し、旋回時、運転場面に応じた最適なモニタ映像の表示変更制御を行うことで、的確な駐車操作支援や安全確認支援を達成することができる運転支援装置を提供することを目的とする。

上記目的を達成するため、本発明では、車両に設置した実カメラとは異なる位置に設定した仮想カメラと、実カメラにより映し出される被写体側に設定した仮想投影面と、を用いた視点変換により、実カメラのカメラ映像データから車室内のモニタに映し出すモニタ画像データを生成するモニタ画像データ生成手段を備えた運転支援装置において、
前記仮想投影面として、俯瞰映像を得る近景用投影面と斜め視点映像を得る遠景用投影面を有する仮想立体投影面を設定する仮想立体投影面設定手段と、
前記仮想カメラの仮想撮像面として、俯瞰映像を得る近景用撮像面と斜め視点映像を得る遠景用撮像面を有する仮想立体撮像面を設定する仮想立体撮像面設定手段と、
ハンドル操舵角を検出するハンドル操舵角検出手段と、を設け、
前記モニタ画像データ生成手段は、車両旋回時、中立位置からのハンドル操舵角の大きさが大きいほど前記近景用投影面と前記近景用撮像面による俯瞰映像領域を拡大し、仮想カメラと領域制御による仮想立体投影面及び仮想立体撮像面を用いた視点変換により、前記モニタに映し出すモニタ画像データを生成することを特徴とする。

よって、本発明の運転支援装置にあっては、ハンドル操舵角検出手段において、ハンドル操舵角が検出される。そして、モニタ画像データ生成手段において、車両旋回時、中立位置からのハンドル操舵角の大きさが大きいほど近景用投影面と近景用撮像面による俯瞰映像領域が拡大され、仮想カメラと領域制御による仮想立体投影面及び仮想立体撮像面を用いた視点変換により、モニタに映し出すモニタ画像データが生成される。
一般に、真後ろへ直進するときには、進行方向の離れた場所にある障害物等を早期に確認できることで、近景表示より遠景表示の方が望ましいが、駐車時等で後方へ旋回運動するときには、自車周辺の障害物等までの距離を確認できることで、遠景表示より近景表示の方が望ましい。
これに対し、本発明では、ハンドル操舵角が中立位置にあるときには、モニタ画面において、遠景用投影面と遠景用撮像面による斜め視点映像領域が最大となり、ハンドル操舵角が中立位置から大きくなるほど近景用投影面と近景用撮像面による俯瞰映像領域が拡大されることになる。すなわち、旋回時、ハンドル操舵角が大きいほど俯瞰映像領域を拡大するという、運転場面に応じた最適なモニタ映像の表示変更制御が行われる。
このため、例えば、車庫入れや車庫出しをするとき、開始時には遠景映像により全体を確認し、その後、徐々に近景映像が拡大するモニタ表示により、自車周辺を確認することができるというように、状況変化に応じた的確な運転支援となる。また、屋外駐車場での駐車時等で後方へ旋回運動するときには、拡大された俯瞰映像領域のモニタ表示により、自車周辺の障害物等までの距離を確認できるというように、前進または後進の旋回操作を伴う駐車時に駐車操作支援となる。また、前進走行時や真後ろへ直進するときには、最大の斜め視点映像領域のモニタ表示により、進行方向の離れた場所にある障害物等の存在を早期に確認できるというように、前進または後進の直線走行時に安全確認支援となる。
この結果、旋回時、運転場面に応じた最適なモニタ映像の表示変更制御を行うことで、的確な駐車操作支援や安全確認支援を達成することができる。

以下、本発明の運転支援装置を実現する最良の形態を、図面に示す実施例１〜実施例４に基づいて説明する。

まず、構成を説明する。
図１は実施例１の後進時運転支援装置（運転支援装置の一例）を示す全体システム図である。図２は実施例１の後進時運転支援装置において仮想カメラとハンドル操舵角に基づく領域制御による仮想立体スクリーン／仮想立体ＣＣＤ（二平面立体モデル）を用いた視点変換手法の一例を説明する模式図である。図３は実施例１の後進時運転支援装置においてハンドル操舵角に対する二平面接続位置の移動量の関係を示す単調型特性図である。図４は実施例１の後進時運転支援装置において旋回後進時におけるモニタ画像であり、(a)はハンドル操舵角が中立域でのモニタ画像を示し、(b)はハンドル操舵角を大きく与えたときのモニタ画像を示す。

実施例１における後進時運転支援装置は、図１に示すように、リアカメラ１（実カメラ）と、画像処理コントローラ２と、モニタ３と、ハンドル操舵角センサ４（ハンドル操舵角検出手段）と、シフトレバー位置センサ５と、仮想カメラ位置調整操作ダイアル６と、仮想立体スクリーン７（仮想立体投影面）と、仮想カメラ８と、仮想立体ＣＣＤ９（仮想立体撮像面）と、操舵系ハンドル１０と、シフトレバー１１と、を備えている。ここで、「ＣＣＤ」とは、「Charge Coupled Device」の略で、電荷結合素子のことをいう。

実施例１の後進時運転支援装置は、車両に設置したリアカメラ１とは異なる位置に設定した仮想カメラ８と、リアカメラ１により映し出される被写体側に設定した仮想立体スクリーン７と、を用いた視点変換により、リアカメラ１のカメラ映像データからモニタ３に映し出すモニタ画像データを生成する装置である。

前記リアカメラ１は、図１に示すように、車両の後部位置に取り付けられ、車両の後方景色を映し出す。このリアカメラ１の実撮像面（リアカメラＣＣＤ）に投影される画像によりカメラ映像データを取得する。

このリアカメラ１の被写体側（レンズ軸側）には、図１及び図２に示すように、仮想投影面として、二平面立体モデルとしての仮想立体スクリーン７が設定される（仮想立体投影面設定手段）。
前記仮想立体スクリーン７は、地面に沿って設定した俯瞰映像を得る近景用スクリーン71（近景用投影面）と、近景用スクリーン71から上向き傾斜角度αにより連接して設定した斜め視点映像を得る遠景用スクリーン72（遠景用投影面）と、を有する。

また、リアカメラ１より高い位置には、図１及び図２に示すように、リアカメラ１からの水平方向距離ａ、地面からの垂直方向距離ｂ、により規定される位置に仮想カメラ８が設定される。

さらに、前記仮想カメラ８の仮想撮像面として、図１及び図２に示すように、仮想立体スクリーン７と相似な二平面立体モデルとしての仮想立体ＣＣＤ９が設定される（仮想立体撮像面設定手段）。

前記仮想立体ＣＣＤ９は、仮想カメラ８の背面側から前面側に移した状態において、近景用スクリーン71に平行に設定され俯瞰映像を得る近景用ＣＣＤ91（近景用撮像面）と、近景用ＣＣＤ91から上向き傾斜角度βにより連接して設定した斜め視点映像を得る遠景用ＣＣＤ92（遠景用撮像面）を有する。なお、実施例１では、傾斜角度αと傾斜角度βの関係を、α＝βとしているため、仮想立体スクリーン７と仮想立体ＣＣＤ９とは相似形が保たれる。

前記画像処理コントローラ２は、図１に示すように、デコーダ間変換部２１と、座標変換処理部２２と、ＲＯＭ２３と、ＲＡＭ２４と、エンコーダ変換部２５と、を有する。

前記デコーダ間変換部２１は、リアカメラ１に接合されているデコーダと、座標変換処理部２２にて想定しているデコーダと、の相違に基づき、両デコーダ間でカメラ入力座標系からデコーダ変換座標系へとデータ座標系を変換する。なお、「デコーダ」とは、一定の規則に基づいて符号化されたデータを復元し、元のデータを取り出すソフトウェアをいう。

前記座標変換処理部２２は、リアカメラ１により取得した単独のカメラ映像データとして前記デコーダ間変換部２１からのデコーダ変換座標系を入力し、前記ＲＯＭ２３に予め記憶設定されているマッピングテーブルを用いる。そして、座標変換にしたがって仮想カメラ８の仮想立体ＣＣＤ９上にカメラ映像データの各画素を移し、仮想カメラ８から仮想立体スクリーン７を見たときに仮想立体ＣＣＤ９に投影される画像をモニタ画像とし、このモニタ画像を得るモニタ画像データを生成する（モニタ画像データ生成手段）。

前記ＲＯＭ２３は、仮想立体ＣＣＤ９上での一つの画素位置を指定し、仮想立体スクリーン７上で指定した一つの画素位置に対応する第１対応位置を決め、リアカメラ１の撮像面上で第１対応位置に対応する第２対応位置を決めるという順番により、各画素位置の座標変換を行って作成したマッピングテーブルを記憶設定しておくメモリである。

このマッピングテーブルの作成時、リアカメラ１により取得した単独のカメラ映像データの各画素位置と、仮想立体スクリーン７を介した仮想カメラ８の仮想立体ＣＣＤ９上の各画素位置と、の間で座標変換される。また、マッピングテーブルの作成時、歪み映像による光軸位置からの画素の距離と無歪み映像による光軸位置からの画素の距離との変換量関係特性を予め定め、各画素の光軸位置からの距離と変換量関係特性とを用い、リアカメラ１により取得した単独のカメラ映像データの各画素位置の座標系歪みを補正変換し、仮想立体ＣＣＤ９の座標系としている。なお、マッピングテーブルには、仮想カメラ８の位置（ａ，ｂ）と、仮想立体スクリーン７／仮想立体ＣＣＤ９による二平面立体モデルの二平面接続位置７ａ，９ａの移動位置に応じて、複数のマッピングテーブルが記憶設定されている。そして、細かなカメラ位置設定や移動位置設定に対しては、例えば、補間法を用いて対応するようにしている。

前記ＲＡＭ２４は、書き換え可能な情報を記憶設定しておくメモリである。
実施例１は、視点変換手法に基づき作成したマッピングテーブルを予めＲＯＭ２３に記憶設定しておき、カメラ映像データをモニタ３に映し出すモニタ画像データとするために座標変換処理を行うようにした例である。しかし、例えば、演算処理速の速いハードウェアを搭載し、リアルタイムで座標変換を行いながらモニタ画像データを生成するようなシステムとした場合、このＲＡＭ２４に、各画素等の座標変換式を記憶設定しておく。

前記エンコーダ変換部２５は、前記座標変換処理部２２により生成されたモニタ画像データを、例えば、運転者視点対応の左右反転処理を含んで、モニタ３に映し出す画像データに変換する。なお、「エンコーダ」とは、データを一定の規則に基づいて符号化するソフトウェアをいう。

前記モニタ３は、車室内のインスツルメントパネル位置等に設定され、画像処理コントローラ２からの画像データに基づいて、モニタ画面３１に車両後方側風景のうち、近景を俯瞰映像により表示し、遠景を斜め視点映像により表示する。そして、モニタ画面３１には、図４(a),(b)に示すように、旋回後進時、近景の俯瞰映像表示と遠景の斜め視点映像表示に加え、車両イラスト１２を画面中央上部に表示する。

前記ハンドル操舵角センサ４は、操舵系ハンドル１０を操作した場合、ハンドル操作方向と共に、操舵中立位置からのハンドル操舵角θを検出する。実施例１のシステムにおいて、このハンドル操舵角センサ４からは、ハンドル操作方向情報とハンドル操舵角情報を得る。

前記シフトレバー位置センサ５は、シフトレバー１１を操作した場合、レバー操作位置を検出するもので、例えば、自動変速機のシフトレバー１１である場合、パーキングレンジ位置（Ｐ）、ドライブレンジ位置（Ｄ）、ニュートラルレンジ位置（Ｎ）、リバースレンジ位置（Ｒ）などの選択操作位置に応じたセンサ信号を出力する。実施例１のシステムにおいて、このシフトレバー位置センサ５からは、リバースレンジ位置の選択情報（＝後進情報）を得る。

前記仮想カメラ位置調整操作ダイアル６は、運転者等による外部からの設定操作により任意の空間位置に仮想カメラ８を設定するための仮想カメラ位置調整操作手段である。この仮想カメラ位置調整操作ダイアル６では、図１に示すように、リアカメラ１からの水平方向距離ａ（例えば、2m）と、地面からの垂直方向距離ｂ（例えば、3m）と、を独立に設定できるようにしている。

実施例１におけるモニタ画像データ生成手段としての前記座標変換処理部２２では、旋回後進時、中立位置からのハンドル操舵角θの大きさが大きいほど近景用スクリーン71と近景用ＣＣＤ91による俯瞰映像領域３Ｂが拡大され、仮想カメラ８と領域制御による仮想立体スクリーン７及び仮想立体ＣＣＤ９を用いた視点変換により、モニタ３に映し出すモニタ画像データが生成される。

そして、前記座標変換処理部２２では、操舵系ハンドル１０を右に切っての左旋回後進時、または、操舵系ハンドル１０を左に切っての右旋回後進時、ハンドル操舵角θが中立位置のとき、モニタ画面３１の大半の部分を遠景用スクリーン72と遠景用ＣＣＤ92による斜め視点映像領域３Ｐに設定し（図４(a)参照）、ハンドル操舵角θが中立位置から大きくなるほどモニタ画面３１の斜め視点映像領域３Ｐを縮小しつつ俯瞰映像領域３Ｂを拡大する制御が行われる（図４(b)参照）。

さらに、前記座標変換処理部２２では、旋回時であっても、図３に示すように、中立位置からのハンドル操舵角θの大きさが不感角度θ₀以下の領域のとき、ハンドル操舵角θの微小変化にかかわらず斜め視点映像領域３Ｐが固定される。そして、旋回時、中立位置からのハンドル操舵角θの大きさが不感角度θ₀を超えた角度領域であるとき、仮想立体スクリーン７と仮想立体ＣＣＤ９の二平面接続位置７ａ，９ａを、ハンドル操舵角θの大きさに比例して増加する単調型特性（図３）により移動させる制御が行われる。

次に、作用を説明する。
実施例１の後進時運転支援装置は、仮想カメラと仮想立体スクリーン／仮想立体ＣＣＤ（二平面立体モデル）を用いた視点変換により、カメラ映像データからモニタ画像データを生成し、旋回後進時、モニタ３に映し出される映像を運転支援情報として活用するものである。
実施例１の発明ポイントは、ハンドル操舵角θに基づいて仮想立体スクリーン／仮想立体ＣＣＤ（二平面立体モデル）による俯瞰映像領域を制御すること、言い換えると、ハンドル操舵角θにより斜め視点映像位置を変更制御することにある。
以下、実施例１の後進時運転支援装置における作用として、［カメラ映像データからのモニタ映像生成作用］、［運転支援作用］について説明する。

［カメラ映像データからのモニタ映像生成作用］
本発明者は、二平面立体スクリーン／二平面立体ＣＣＤ（二平面立体モデル）を用いたリアカメラ映像の視点変換技術を先に提案している。その技術では、車両近景の路面映像は真上から見下ろした俯瞰映像（＝頂上俯瞰映像）に変換し、遠景映像は斜め見下ろしの斜め視点映像（＝斜め俯瞰映像）に変換し、それらを連続的に同時表示している。

しかし、二平面立体モデルを用いたリアカメラ映像の視点変換技術では、ハンドル操舵角にかかわらず、二平面立体モデルが常に同じ位置に固定されているため、この固定された二平面立体モデルを用いた視点変換手法によるモニタ映像は、例えば、近景の俯瞰映像領域と遠景の斜め視点映像領域の比率が固定された映像表示となる。

このように、２つの領域比率を固定化した映像表示では、近景の俯瞰映像領域を重視する表示、遠景の斜め視点映像を重視する表示、近景の俯瞰映像領域と遠景の斜め視点映像を妥協的に等配分する表示、の３パターンの表示から選択するしかない。
近景の俯瞰映像領域を重視する表示を選択した場合、低速で旋回後進させる駐車時において、自車周辺の障害物等までの距離を確認できるが、前進走行時や高速での直線後進時等において、遠景の障害物等の存在を確認することができない。
また、遠景の斜め視点映像を重視する表示を選択した場合、前進走行時や高速での直線後進時等において、遠景の障害物等の存在を確認することができるが、低速で旋回後進させる駐車時において、自車周辺の障害物等までの距離を確認することができない。
さらに、近景の俯瞰映像領域と遠景の斜め視点映像を妥協的に等配分する表示を選択した場合、自車周辺の障害物等までの距離確認も遠景の障害物等の存在確認も中途半端なものとなるし、車庫入れするときや車庫出しするとき、遠景映像により全体を確認してから徐々に近景映像により自車周辺を確認したいという要求に応えることができない。

これに対し、実施例１の後進時運転支援装置にあっては、操舵系ハンドル１０を右に切っての左旋回後進時、または、操舵系ハンドル１０を左に切っての右旋回後進時、シフトレバー位置センサ５において、リーバース選択操作が検出されると共に、ハンドル操舵角センサ４において、ハンドル操舵角θが検出される。この旋回後進時、座標変換処理部２２において、中立位置からのハンドル操舵角θの大きさが大きいほど近景用スクリーン71と近景用ＣＣＤ91による俯瞰映像領域３Ｂが拡大され、仮想カメラ８と領域制御による仮想立体スクリーン７及び仮想立体ＣＣＤ９を用いた視点変換により、モニタ３に映し出すモニタ画像データが生成される。

一般に、真後ろへ直進するときには、進行方向の離れた場所にある障害物等を早期に確認できることで、近景表示より遠景表示の方が望ましいが、駐車時等で後方へ旋回運動するときには、自車周辺の障害物等までの距離を確認できることで、遠景表示より近景表示の方が望ましい。

この点を考慮し、実施例１では、ハンドル操舵角θが中立位置にあるときには、モニタ画面３１において、図４(a)に示すように、モニタ画面３１の大半の部分が遠景用スクリーン72と遠景用ＣＣＤ92による斜め視点映像領域３Ｐに設定され、図４(b)に示すように、ハンドル操舵角θが中立位置から大きくなるほど、モニタ画面３１の斜め視点映像領域３Ｐを縮小しつつ俯瞰映像領域３Ｂを拡大する制御が行われる。

さらに、座標変換処理部２２では、旋回後進時であっても、図３に示すように、中立位置からのハンドル操舵角θの大きさが不感角度θ₀以下の領域のときには、ハンドル操舵角θの微小変化にかかわらず斜め視点映像領域３Ｐを固定する制御が行われる。

加えて、旋回後進時、中立位置からのハンドル操舵角θの大きさが不感角度θ₀を超えた角度領域であるとき、仮想立体スクリーン７と仮想立体ＣＣＤ９の二平面接続位置７ａ，９ａを、図３に示すように、ハンドル操舵角θの大きさに比例して増加する単調型特性により移動させる制御が行われる。

［運転支援作用］
上記のように、旋回後進時、ハンドル操舵角θが不感角度θ₀以下の中立位置領域にあるときには、モニタ画面３１の大半の部分が遠景用スクリーン72と遠景用ＣＣＤ92による斜め視点映像領域３Ｐに設定され、中立位置からのハンドル操舵角θの大きさが不感角度θ₀を超えた角度領域であるとき、ハンドル操舵角θが中立位置から大きくなるほど、モニタ画面３１の斜め視点映像領域３Ｐを縮小しつつ俯瞰映像領域３Ｂを拡大する制御が行われる。すなわち、旋回後進時、ハンドル操舵角θが大きいほど俯瞰映像領域３Ｂを拡大するという、運転場面に応じた最適なモニタ映像３１の表示変更制御が行われる。

このため、例えば、車庫入れや車庫出しをするとき、ハンドル操舵角θを中立位置領域としている開始時には、モニタ表示が斜め視点映像領域３Ｐによる遠景映像となることにより、車庫全体の状況を確認できる。その後、車庫入れ動作や車庫出し動作のためにハンドル操舵角θを増してゆくと、徐々にモニタ表示の中で俯瞰映像領域３Ｂによる近景映像が拡大することにより、自車周辺を確認することができる。このように、車庫入れや車庫出しをするとき、モニタ画面３１の映像がハンドル操舵角θに対応して自動的に変化することで、状況変化に応じた的確な運転支援を行うことができる。

また、屋外駐車場での駐車時等で後方へ旋回運動するときには、大きなハンドル操舵角θを保ったままでなされるため、モニタ表示としても拡大された俯瞰映像領域３Ｂが保たれることになり、自車周辺の障害物等までの距離を確認しながら後方旋回運動を行うことができる。このように、後進の旋回操作を伴う駐車時には、モニタ画面３１の俯瞰映像が目標駐車位置への案内情報や障害物回避情報となり、適切に駐車操作支援を行うことができる。

また、真後ろへ直進するときには、中立位置領域のハンドル操舵角θを保ったままでなされるため、モニタ表示としても最大の斜め視点映像領域３Ｐが保たれることになり、進行方向の離れた場所にある障害物等の存在を早期に確認しながら直線後進を行うことができる。このように、後進の直線走行時には、モニタ画面３１の斜め視点映像が自車から離れた場所に存在する目視不可能な障害物等をいち早く知らせる情報となり、安全確認支援を行うことができる。

さらに、実施例１では、中立位置からのハンドル操舵角θの大きさが不感角度θ₀以下の領域のときには、ハンドル操舵角θの微小変化にかかわらず斜め視点映像領域３Ｐを固定する制御が行われる。このため、車両挙動の直線後進を確保するように、修正操舵を行いながらの後進時、モニタ画面３１の映像が、わずかなハンドル操作に応答して変動することが無く、修正操舵を伴う直線後進時、モニタ画面３１上でブレの無い安定した斜め視点映像を確保することができる。

加えて、実施例１では、旋回後進時、中立位置からのハンドル操舵角θの大きさが不感角度θ₀を超えた角度領域であるとき、ハンドル操舵角θの大きさに比例して増加する単調型特性により仮想立体スクリーン７と仮想立体ＣＣＤ９の二平面接続位置７ａ，９ａを移動させる制御が行われる。このため、モニタ画面３１の映像は、運転者意思により与えたハンドル操舵角θに応じて俯瞰映像領域３Ｂと斜め視点映像領域３Ｐの比率が変化することで、運転者に違和感を与えることがない。

次に、効果を説明する。
実施例１の後進時運転支援装置にあっては、下記に列挙する効果を得ることができる。

(1) 車両に設置した実カメラとは異なる位置に設定した仮想カメラ８と、実カメラにより映し出される被写体側に設定した仮想投影面と、を用いた視点変換により、実カメラのカメラ映像データから車室内のモニタ３に映し出すモニタ画像データを生成するモニタ画像データ生成手段を備えた運転支援装置において、前記仮想投影面として、俯瞰映像を得る近景用スクリーン71と斜め視点映像を得る遠景用スクリーン72を有する仮想立体スクリーン７を設定する仮想立体投影面設定手段と、前記仮想カメラ８の仮想撮像面として、俯瞰映像を得る近景用ＣＣＤ91と斜め視点映像を得る遠景用ＣＣＤ92を有する仮想立体ＣＣＤ９を設定する仮想立体撮像面設定手段と、ハンドル操舵角θを検出するハンドル操舵角センサ４と、を設け、前記モニタ画像データ生成手段は、車両旋回時、中立位置からのハンドル操舵角θの大きさが大きいほど前記近景用スクリーン71と前記近景用ＣＣＤ91による俯瞰映像領域３Ｂを拡大し、仮想カメラ８と領域制御による仮想立体スクリーン７及び仮想立体ＣＣＤ９を用いた視点変換により、前記モニタ３に映し出すモニタ画像データを生成するため、旋回時、運転場面に応じた最適なモニタ映像の表示変更制御を行うことで、的確な駐車操作支援や安全確認支援を達成することができる。特に、回転運動中の視認性が、固定型の二平面立体モデルに比べ向上し、的確な駐車操作や安全確認に効果がある。

(2) 前記実カメラは、車両後部位置に設定されたリアカメラ１であり、前記モニタ画像データ生成手段は、操舵系ハンドル１０を右に切っての左旋回後進時、または、操舵系ハンドル１０を左に切っての右旋回後進時、ハンドル操舵角θが中立位置のとき、モニタ画面３１の大半の部分を前記遠景用スクリーン72と前記遠景用ＣＣＤ92による斜め視点映像領域３Ｐに設定し、ハンドル操舵角θが中立位置から大きくなるほどモニタ画面３１の斜め視点映像領域３Ｐを縮小しつつ俯瞰映像領域３Ｂを拡大するため、旋回後進時、運転場面に応じた最適なモニタ映像３１の表示変更制御を行うことができる。特に、車庫入れや車庫出しをするとき、状況変化に応じた的確な運転支援を行うことができる。

(3) 前記モニタ画像データ生成手段は、旋回後進時、中立位置からのハンドル操舵角θの大きさが不感角度θ₀以下の領域のとき、ハンドル操舵角θの微小変化にかかわらず斜め視点映像領域３Ｐを固定とするため、修正操舵を伴う直線後進時、モニタ画面３１上でブレの無い安定した斜め視点映像を確保することができる。

(4) 前記モニタ画像データ生成手段は、旋回後進時、中立位置からのハンドル操舵角θの大きさが不感角度θ₀を超えた角度領域であるとき、前記仮想立体スクリーン７と前記仮想立体ＣＣＤ９の二平面接続位置７ａ，９ａを、ハンドル操舵角θの大きさに比例して増加する単調型特性により移動させるため、運転者意思により与えたハンドル操舵角θに応じたモニタ画面３１の映像変化となり、運転者に違和感を与えることがない。

実施例２は、ハンドル操舵角が不感角度を超えると一気に増加するステップ型特性により二平面接続位置を移動させるようにした例である。

まず、構成を説明する。
図５は実施例２の後進時運転支援装置においてハンドル操舵角に対する二平面接続位置の移動量の関係を示すステップ型特性図である。

実施例２におけるモニタ画像データ生成手段としての前記座標変換処理部２２では、旋回後進時、中立位置からのハンドル操舵角θの大きさが不感角度θ₀を超えた角度領域であるとき、前記仮想立体スクリーン７と前記仮想立体ＣＣＤ９の二平面接続位置７ａ，９ａを、ハンドル操舵角θが不感角度θ₀を超えると一気に増加するステップ型特性により移動させるようにしている。なお、他の構成は、実施例１と同様であるので、図示並びに説明を省略する。

次に、作用を説明すると、実施例２では、旋回後進時、中立位置からのハンドル操舵角θの大きさが不感角度θ₀を超えると一気に増加するステップ型特性により、仮想立体スクリーン７と仮想立体ＣＣＤ９の二平面接続位置７ａ，９ａを移動させる制御が行われる。

したがって、モニタ画面３１の映像は、運転者の持つ旋回意思に基づいて、不感角度θ₀を超えるハンドル操舵角θを与えると、例えば、図４(a)に示すように、モニタ画面３１の大半を斜め視点映像領域３Ｐにて占有する表示状態から、図４(b)に示すように、モニタ画面３１の大半を俯瞰映像領域３Ｂにて占有する表示状態へとオン／オフ的に切り替わる。

このため、手動によるモニタ表示の切り替え操作に代え、ハンドル操舵角θの大きさが不感角度θ₀を超えるか否かで、自動的に直線後進時に好ましい遠景表示と旋回後進時に好ましい近景表示の切り替えを行うことができる。

さらに、不感角度θ₀を超えてハンドル操舵角θが増大すると、徐々に俯瞰映像領域３Ｂが拡大することで、旋回後進時にハンドル切り込み操作に合わせた近景表示の最適化を図ることができる。尚、他の作用は実施例１と同様である。

次に、効果を説明する。
実施例２の後進時運転支援装置にあっては、実施例１の(1),(2),(3)の効果に加え、下記の効果を得ることができる。

(5) 前記モニタ画像データ生成手段は、旋回後進時、中立位置からのハンドル操舵角θの大きさが不感角度θ₀を超えた角度領域であるとき、前記仮想立体スクリーン７と前記仮想立体ＣＣＤ９の二平面接続位置７ａ，９ａを、ハンドル操舵角θが不感角度θ₀を超えると一気に増加するステップ型特性により移動させるため、ハンドル操舵角θの大きさが不感角度θ₀を超えるか否かで、自動的に直線後進時の遠景表示と旋回後進時の近景表示の切り替えを行うことができると共に、ハンドル操舵角θが不感角度θ₀を超えるとハンドル切り込み操作に合わせた近景表示の最適化を図ることができる。

実施例３は、ハンドル操舵角が不感角度を超えた小操舵角領域では緩やかに増加し、ハンドル操舵角が小操舵角領域から離れるほど増加勾配が急となる加速型特性により二平面接続位置を移動させるようにした例である。

まず、構成を説明する。
図６は実施例３の後進時運転支援装置においてハンドル操舵角に対する二平面接続位置の移動量の関係を示す加速型特性図である。

実施例３におけるモニタ画像データ生成手段としての前記座標変換処理部２２では、旋回後進時、中立位置からのハンドル操舵角θの大きさが不感角度θ₀を超えた角度領域であるとき、前記仮想立体スクリーン７と前記仮想立体ＣＣＤ９の二平面接続位置７ａ，９ａを、ハンドル操舵角θが不感角度θ₀を超えた小操舵角領域では緩やかに増加し、ハンドル操舵角θが小操舵角領域から離れるほど増加勾配が急となる加速型特性により移動させるようにしている。なお、他の構成は、実施例１と同様であるので、図示並びに説明を省略する。

次に、作用を説明すると、実施例３では、中立位置からのハンドル操舵角θの大きさが不感角度θ₀を超えた小操舵角領域では緩やかに増加し、ハンドル操舵角θが小操舵角領域から離れるほど増加勾配が急となる加速型特性により、仮想立体スクリーン７と仮想立体ＣＣＤ９の二平面接続位置７ａ，９ａを移動させる制御が行われる。

したがって、モニタ画面３１の映像は、運転者がゆっくりとしたハンドル操作を行ったり、ハンドル切り込み操作とハンドル戻し操作を繰り返したりするとき、不感角度θ₀を超えるハンドル操舵角θを与えても、例えば、図４(a)に示すように、モニタ画面３１の大半を斜め視点映像領域３Ｐにて占有する表示状態から、ゆっくりと俯瞰映像領域３Ｂが拡大したり縮小していく表示状態となる。このため、運転者がゆっくりとしたハンドル操作を行ったり、ハンドル切り込み操作とハンドル戻し操作を繰り返したりするとき、モニタ表示における俯瞰映像領域３Ｂと斜め視点映像領域３Ｐの比率変動を小さく抑えることができる。
そして、運転者が一方向への旋回後進意思を持って大きなハンドル操舵角θを与えると、図４(a)に示す大半を斜め視点映像領域３Ｐにて占有する表示状態から、図４(b)に示す大半を俯瞰映像領域３Ｂにて占有する表示状態へと加速度的に表示状態が変更される。
このため、旋回後進時には、ハンドル切り込み操作に合わせて応答良く近景表示状態へ変更されることで、運転者の旋回後進意思に合わせたモニタ表示の最適化を図ることができる。尚、他の作用は実施例１と同様である。

次に、効果を説明する。
実施例３の後進時運転支援装置にあっては、実施例１の(1),(2),(3)の効果に加え、下記の効果を得ることができる。

(6) 前記モニタ画像データ生成手段は、旋回後進時、中立位置からのハンドル操舵角θの大きさが不感角度θ₀を超えた角度領域であるとき、前記仮想立体スクリーン７と前記仮想立体ＣＣＤ９の二平面接続位置７ａ，９ａを、ハンドル操舵角θが不感角度θ₀を超えた小操舵角領域では緩やかに増加し、ハンドル操舵角θが小操舵角領域から離れるほど増加勾配が急となる加速型特性により移動させるため、運転者がゆっくりとしたハンドル操作を行ったり、ハンドル切り込み操作とハンドル戻し操作を繰り返したりするとき、モニタ表示変動を小さく抑えることができると共に、ハンドル切り込み操作時、運転者の旋回後進意思に合わせ応答良く近景表示状態へ変更することができる。

実施例４は、実施例１〜３のハンドル操舵角による二平面接続位置の変更制御に、ハンドル操舵角による仮想カメラの自転制御を組み合わせた複合制御例である。

まず、構成を説明する。
図７は実施例４の後進時運転支援装置においてハンドル操舵角に応じて位置／姿勢が制御される仮想カメラと仮想立体スクリーンと仮想立体ＣＣＤを使った視点変換手法の一例を説明する模式図である。

実施例４におけるモニタ画像データ生成手段としての前記座標変換処理部２２では、旋回後進時、中立位置からのハンドル操舵角θの大きさに応じて前記仮想カメラ８を車両の旋回方向に自転させると共に、自転する仮想カメラ８の仮想立体ＣＣＤ９と仮想立体スクリーン７の相対的な位置関係を維持し、自転する仮想カメラ８と仮想立体ＣＣＤ９と仮想立体スクリーン７を用いた視点変換により、近景の俯瞰映像と遠景の斜め視点映像をシームレスに接合する映像を前記モニタ３に映し出すモニタ画像データが生成される。なお、他の構成は、実施例１〜３と同様であるので、図示並びに説明を省略する。

次に、作用を説明する。
操舵系ハンドル１０を右に切っての左旋回後進時、または、操舵系ハンドル１０を左に切っての右旋回後進時、シフトレバー位置センサ５において、リーバース選択操作が検出されると共に、ハンドル操舵角センサ４において、ハンドル操舵角θが検出される。この旋回後進時、座標変換処理部２２において、ハンドル操舵角θに応じて車両イラスト１２を画面中央上部位置にて回転表示すると共に、自車が将来必ず通ると予想される予測位置（この予測位置は、例えば、モニタ画面３１の中央下部に表示しても良い。）が動かないように、仮想カメラ８を車両の旋回方向に自転させると共に仮想カメラ８の位置を地面と平行に移動させる。

そして、自転と共に移動する仮想カメラ８を用いた視点変換により、座標変換処理部２２において、モニタ画像データが生成される。

このため、自転する仮想カメラ８を用いた視点変換により生成された画像データによりモニタ画面３１に映し出される映像は、操舵系ハンドル１０の回転動作に逐次対応して車両後方の映像全体が回転することになり、旋回後進時、モニタ３のモニタ画面３１には、予想進路領域を画面中央部に捉えて表示することができる。他の作用については、実施例１〜３と同様であるので説明を省略する
次に、効果を説明する。
実施例４の後進時運転支援装置にあっては、実施例１〜３の効果に加え、下記に列挙する効果を得ることができる。

(7) 前記モニタ画像データ生成手段は、旋回後進時、中立位置からのハンドル操舵角θの大きさに応じて前記仮想カメラ８を車両の旋回方向に自転させ、自転する仮想カメラ８と仮想立体ＣＣＤ９と仮想立体スクリーン７を用いた視点変換により、近景の俯瞰映像と遠景の斜め視点映像をシームレスに接合した映像を前記モニタ３に映し出すモニタ画像データを生成するため、旋回後進時、モニタ画面３１の画面中央部に予想進路領域の映像を捉えて表示しながら、運転場面に応じた最適な俯瞰映像領域３Ｂと斜め視点映像領域３Ｐの表示比率によるモニタ映像３１の表示変更制御を行うことができる。

(8) 前記モニタ画像データ生成手段は、旋回後進時、中立位置からのハンドル操舵角θの大きさに応じて前記仮想カメラ８を車両の旋回方向に自転させると共に、自転する仮想カメラ８の仮想立体ＣＣＤ９と仮想立体スクリーン７の相対的な位置関係を維持するため、仮想立体スクリーン７を固定とした場合、ハンドル操舵角θが大きな領域でモニタ画面３１の端部映像に歪みが生じるのに対し、ハンドル操舵角θが大きな領域であっても、映像歪みを無くして、モニタ画面３１に近景の俯瞰映像と遠景の斜め視点映像をシームレスに接合した映像を表示することができる。

以上、本発明の運転支援装置を実施例１〜実施例４に基づき説明してきたが、具体的な構成については、これらの実施例に限られるものではなく、特許請求の範囲の各請求項に係る発明の要旨を逸脱しない限り、設計の変更や追加等は許容される。

実施例１〜３では、ハンドル操舵角による仮想立体スクリーン／仮想立体ＣＣＤ（二平面立体モデル）の二平面接続位置を変更する制御例を示し、実施例４では、「二平面立体モデルの二平面接続位置変更制御」と「二平面立体モデルの仮想カメラ自転制御」との複合制御例を示した。しかし、「二平面立体モデルの二平面接続位置変更制御」、あるいは、「二平面接続位置変更制御と仮想カメラ自転制御との複合制御」に、
・「二平面立体モデルの二平面交差角度変更制御（ハンドル操舵角が大きいほどモニタに表示される斜め視点映像を俯瞰映像化する制御）」
・「二平面立体モデルの二平面画角変更制御（ハンドル操舵角が大きいほどモニタに表示される映像領域を拡大する制御）」
・「二平面立体モデルのモデル形状変更制御（ハンドル操舵角が大きいほどモニタに表示される映像を左右方向に広範囲とする制御）」
のうち、少なくとも１つの制御を加えて、複合的に利用することも可能である。

実施例１〜４では、視点変換モデルとして仮想立体スクリーン／仮想立体ＣＣＤ（二平面立体モデル）を用いた例を示した。しかし、視点変換モデルとしては、これらのモデルに限られるものではなく、三平面以上の複数の平面で構成した立体モデル、或いは、平面と平面とのつなぎ目を円筒面や楕円筒面等の曲面で構成した立体モデル、或いは、無数の平面を組み合わせた自由曲面で構成した立体モデルにも適用することができる。

実施例１〜４では、ハンドル操舵角情報と後進情報を用いて後進時に運転支援を行う例を示したが、例えば、車庫入れ時や車庫出し時や駐車時に特定して運転支援を行う場合、車速センサを用い、車速が設定車速以下の低速域あるいは停止域にて本発明の二平面接続位置制御を実行するような例としても良い。

実施例１〜４では、実カメラをリアカメラとし、直線後進時や旋回後進時に運転支援する後進時運転支援装置の例を示したが、実カメラを車両のフロント側やサイド側の映像データを取得するフロントカメラやドアミラーカメラ等とし、直線前進時や旋回前進時に運転支援する前進時運転支援装置としても適用することができる。

実施例１の後進時運転支援装置（運転支援装置の一例）を示す全体システム図である。実施例１の後進時運転支援装置において仮想カメラとハンドル操舵角に基づく領域制御による仮想立体スクリーン／仮想立体ＣＣＤ（二平面立体モデル）を用いた視点変換手法の一例を説明する模式図である。実施例１の後進時運転支援装置においてハンドル操舵角に対する二平面接続位置の移動量の関係を示す単調型特性図である。実施例１の後進時運転支援装置において旋回後進時におけるモニタ画像であり、(a)はハンドル操舵角が中立域でのモニタ画像を示し、(b)はハンドル操舵角を大きく与えたときのモニタ画像を示す。実施例２の後進時運転支援装置においてハンドル操舵角に対する二平面接続位置の移動量の関係を示すステップ型特性図である。実施例３の後進時運転支援装置においてハンドル操舵角に対する二平面接続位置の移動量の関係を示す加速型特性図である。実施例４の後進時運転支援装置においてハンドル操舵角に応じて位置／姿勢が制御される仮想カメラと仮想立体スクリーンと仮想立体ＣＣＤを使った視点変換手法の一例を説明する模式図である。

符号の説明

１リアカメラ（実カメラ）
２画像処理コントローラ
２１デコーダ間変換部
２２座標変換処理部
２３ＲＯＭ
２４ＲＡＭ
２５エンコーダ変換部
３モニタ
４ハンドル操舵角センサ（ハンドル操舵角検出手段）
５シフトレバー位置センサ
６仮想カメラ位置調整操作ダイアル
７仮想立体スクリーン（仮想立体投影面）
71 近景用スクリーン（近景用投影面）
72 遠景用スクリーン（遠景用投影面）
８仮想カメラ
９仮想立体ＣＣＤ（仮想立体撮像面）
91 近景用ＣＣＤ（近景用撮像面）
92 遠景用ＣＣＤ（遠景用撮像面）
１０操舵系ハンドル
１１シフトレバー

Claims

車両に設置した実カメラとは異なる位置に設定した仮想カメラと、実カメラにより映し出される被写体側に設定した仮想投影面と、を用いた視点変換により、実カメラのカメラ映像データから車室内のモニタに映し出すモニタ画像データを生成するモニタ画像データ生成手段を備えた運転支援装置において、
前記仮想投影面として、俯瞰映像を得る近景用投影面と斜め視点映像を得る遠景用投影面を有する仮想立体投影面を設定する仮想立体投影面設定手段と、
前記仮想カメラの仮想撮像面として、俯瞰映像を得る近景用撮像面と斜め視点映像を得る遠景用撮像面を有する仮想立体撮像面を設定する仮想立体撮像面設定手段と、
ハンドル操舵角を検出するハンドル操舵角検出手段と、を設け、
前記モニタ画像データ生成手段は、車両旋回時、中立位置からのハンドル操舵角の大きさが大きいほど前記近景用投影面と前記近景用撮像面による俯瞰映像領域を拡大し、仮想カメラと領域制御による仮想立体投影面及び仮想立体撮像面を用いた視点変換により、前記モニタに映し出すモニタ画像データを生成することを特徴とする運転支援装置。
請求項１に記載された運転支援装置において、
前記実カメラは、車両後部位置に設定されたリアカメラであり、
前記モニタ画像データ生成手段は、操舵系ハンドルを右に切っての左旋回後進時、または、操舵系ハンドルを左に切っての右旋回後進時、ハンドル操舵角が中立位置のとき、モニタ画像の全部もしくは大半の部分を前記遠景用投影面と前記遠景用撮像面による斜め視点映像領域に設定し、ハンドル操舵角が中立位置から大きくなるほどモニタ画像の斜め視点映像領域を縮小しつつ俯瞰映像領域を拡大することを特徴とする運転支援装置。
請求項１または請求項２に記載された運転支援装置において、
前記モニタ画像データ生成手段は、旋回時、中立位置からのハンドル操舵角の大きさが不感角度以下の領域のとき、ハンドル操舵角の微小変化にかかわらず斜め視点映像領域を固定とすることを特徴とする運転支援装置。
請求項３に記載された運転支援装置において、
前記モニタ画像データ生成手段は、旋回時、中立位置からのハンドル操舵角の大きさが不感角度を超えた角度領域であるとき、前記仮想立体投影面と前記仮想立体撮像面の二平面接続位置を、ハンドル操舵角の大きさに比例して増加する単調型特性により移動させることを特徴とする運転支援装置。
請求項３に記載された運転支援装置において、
前記モニタ画像データ生成手段は、旋回時、中立位置からのハンドル操舵角の大きさが不感角度を超えた角度領域であるとき、前記仮想立体投影面と前記仮想立体撮像面の二平面接続位置を、ハンドル操舵角が不感角度を超えると一気に増加するステップ型特性により移動させることを特徴とする運転支援装置。
請求項３に記載された運転支援装置において、
前記モニタ画像データ生成手段は、旋回時、中立位置からのハンドル操舵角の大きさが不感角度を超えた角度領域であるとき、前記仮想立体投影面と前記仮想立体撮像面の二平面接続位置を、ハンドル操舵角が不感角度を超えた小操舵角領域では緩やかに増加し、ハンドル操舵角が小操舵角領域から離れるほど増加勾配が急となる加速型特性により移動させることを特徴とする運転支援装置。
請求項１乃至請求項６の何れか１項に記載された運転支援装置において、
前記モニタ画像データ生成手段は、車両旋回時、中立位置からのハンドル操舵角の大きさに応じて前記仮想カメラを車両の旋回方向に自転させ、自転する仮想カメラと仮想立体撮像面と仮想立体投影面を用いた視点変換により、近景の俯瞰映像と遠景の斜め視点映像をシームレスに接合した映像を前記モニタに映し出すモニタ画像データを生成することを特徴とする運転支援装置。
請求項７に記載された運転支援装置において、
前記モニタ画像データ生成手段は、車両旋回時、中立位置からのハンドル操舵角の大きさに応じて前記仮想カメラを車両の旋回方向に自転させると共に、自転する仮想カメラの仮想立体撮像面と仮想立体投影面の相対的な位置関係を維持することを特徴とする運転支援装置。