JP5020621B2

JP5020621B2 - 運転支援装置

Info

Publication number: JP5020621B2
Application number: JP2006339625A
Authority: JP
Inventors: 博隆岩野
Original assignee: Clarion Co Ltd
Current assignee: Faurecia Clarion Electronics Co Ltd
Priority date: 2006-12-18
Filing date: 2006-12-18
Publication date: 2012-09-05
Anticipated expiration: 2026-12-18
Also published as: JP2008149879A

Description

本発明は、仮想カメラと仮想立体投影面／仮想立体撮像面（二平面立体モデル）を用いた視点変換により、カメラ映像データからモニタ画像データを生成する運転支援装置、特に、ハンドル操舵に基づいて二平面立体モデルによる画角を制御する運転支援装置に関する。

従来、運転支援装置としては、車両の動きに応じて画面構成及び、視点位置を連続的に変更することにより、ドライバに理解しやすい映像を提供することを目的とし、車両の動きに連動して、複数の撮影装置により撮像された複数のカメラ映像を１つの視点から見た俯瞰映像として表示させる１視点映像と、複数のカメラ映像を分割画面に表示した多視点映像とを切り換えるものが知られている（例えば、特許文献１参照）。

また、従来の画像生成装置としては、数台のカメラで撮影された複数枚の画像について、画像を互いに独立して表示するのではなく、数台のカメラで撮影しているエリアの全体の様子が直感的に分かるように、一枚に合成した画像を表示するものが知られている（例えば、特許文献２参照）。
特開２００５−２３６４９３号公報特許第３２８６３０６号公報

しかしながら、上記特許文献１の運転支援装置及び特許文献２の画像生成装置にあっては、いずれもハンドル操舵角にかかわらず、仮想カメラのレンズが撮像面上に写し出せる範囲である画角が一定であるため、この一定画角による視点変換手法によるモニタ映像は、例えば、同じ映像視野範囲による近景の俯瞰映像のみのままであったり、同じ映像視野範囲による遠景のパース映像のみのままであったりというように、固定視野による映像表示となる。

このように、固定視野による映像表示で、どのような場面にも対応するためには、最も一般的な表示、あるいは、妥協的な表示をするしかなく、リアカメラを用いた運転支援装置では、結果的に、真後ろへ直進するときに車両後方を視認できる画角設定による表示になる。これでは、旋回後進時という運転場面においては、これから進もうとする斜め後ろ進行方向の映像をモニタ画面に表示することができない、という問題があった。

これを解決する案として、例えば、リアカメラをズームカメラとし、モニタ映像の画角を運転場面に応じて調整操作するという案があるが、駐車時など煩雑な運転操作の最中にモニタ映像の画角を手動操作にて調整するのは不便であるし、安全性までも損なうおそれがある。

本発明は、上記問題に着目してなされたもので、ハンドル操舵に基づく二平面立体モデルの画角制御手法を提案し、旋回時、運転場面に応じた最適なモニタ映像の表示変更制御を行うことで、的確な駐車操作支援や安全確認支援を達成することができる運転支援装置を提供することを目的とする。

上記目的を達成するため、本発明では、車両に設置した実カメラとは異なる位置に設定した仮想カメラと、実カメラにより映し出される被写体側に設定した仮想投影面と、を用いた視点変換により、実カメラのカメラ映像データから車室内のモニタに映し出すモニタ画像データを生成するモニタ画像データ生成手段を備えた運転支援装置において、
前記仮想投影面として、俯瞰映像を得る近景用投影面と斜め視点映像を得る遠景用投影面を有する仮想立体投影面を設定する仮想立体投影面設定手段と、
前記仮想カメラの仮想撮像面として、俯瞰映像を得る近景用撮像面と斜め視点映像を得る遠景用撮像面を有する仮想立体撮像面を設定する仮想立体撮像面設定手段と、
ハンドル操舵角を検出するハンドル操舵角検出手段と、を設け、
前記モニタ画像データ生成手段は、車両旋回時、中立位置からのハンドル操舵角の大きさが不感角度以下の領域のとき、ハンドル操舵角の微小変化にかかわらず画角を固定とし、不感角度を超えた小操舵角領域では緩やかに増加し、ハンドル操舵角が小操舵角領域から離れるほど増加勾配が急となる加速型特性により画角を拡大し、画角制御による仮想カメラと仮想立体投影面と仮想立体撮像面を用いた視点変換により、前記モニタに映し出すモニタ画像データを生成することを特徴とする。

なお、仮想カメラのレンズが仮想立体撮像面上に写し出せる範囲である「画角」と、仮想カメラのレンズの中心である主点から仮想立体撮像面までの距離である「焦点距離」とは、その関係が対応している。このため、本発明では、「画角制御」として記述するが、「焦点距離制御」と記述しても良く、「画角制御」と「焦点距離制御」とは、どちらでも同じ制御として取り扱う。

よって、本発明の運転支援装置にあっては、ハンドル操舵角検出手段において、ハンドル操舵角が検出される。そして、モニタ画像データ生成手段において、車両旋回時、中立位置からのハンドル操舵角の大きさが大きいほど、仮想カメラのレンズが仮想立体撮像面上に写し出せる範囲である画角が拡大され、画角制御による仮想カメラと仮想立体投影面と仮想立体撮像面を用いた視点変換により、モニタに映し出すモニタ画像データが生成される。
一般に、真後ろへ直進するときには、広い視野範囲を必要としないため、後方風景中の障害物等が小さく映し出される広い画角表示よりも後方風景中の障害物等が大きく映し出される狭い画角表示の方が望ましいが、駐車時等で後方へ旋回運動するときには、狭い画角表示よりも旋回により進行しようとする方向の障害物等を写し出せる広い画角表示の方が望ましい。
これに対し、本発明では、ハンドル操舵角が中立位置にあるときには、モニタ画面において、予め定めた領域配分に基づいて俯瞰映像領域と斜め視点映像領域が設定され、ハンドル操舵角が中立位置から大きくなるほど、例えば、俯瞰映像領域の画角が車幅方向に視野拡大されると共に、斜め視点映像領域の画角が車幅方向と車両上方向に視野拡大されることになる。すなわち、旋回時、ハンドル操舵角が大きいほどモニタ画面の画角を拡大化するという、運転場面に応じた最適なモニタ映像の表示変更制御が行われる。
このように、ハンドル操舵角に基づく画角変更制御を行うことで、ハンドル操舵角の大きさにかかわらず、モニタ画面を注視するだけで予想進路領域情報が確実に取得されることで、的確な駐車操作支援や安全確認支援が達成される。
この結果、旋回時、運転場面に応じた最適なモニタ映像の表示変更制御を行うことで、的確な駐車操作支援や安全確認支援を達成することができる。

以下、本発明の運転支援装置を実現する最良の形態を、図面に示す実施例１〜実施例４に基づいて説明する。

まず、構成を説明する。
図１は実施例１の後進時運転支援装置（運転支援装置の一例）を示す全体システム図である。図２は実施例１の後進時運転支援装置においてハンドル操舵角に基づく画角制御による仮想カメラと仮想立体スクリーン／仮想立体ＣＣＤ（二平面立体モデル）を用いた視点変換手法の一例を説明する模式図である。図３は実施例１の後進時運転支援装置においてハンドル操舵角に対する画角の関係を示す単調型特性図である。図４は実施例１の後進時運転支援装置において旋回後進時におけるモニタ画像であり、(a)はハンドル操舵角が中立域でのモニタ画像を示し、(b)はハンドル操舵角を大きく与えたときのモニタ画像を示す。

実施例１における後進時運転支援装置は、図１に示すように、リアカメラ１（実カメラ）と、画像処理コントローラ２と、モニタ３と、ハンドル操舵角センサ４（ハンドル操舵角検出手段）と、シフトレバー位置センサ５と、仮想カメラ位置調整操作ダイアル６と、仮想立体スクリーン７（仮想立体投影面）と、仮想カメラ８と、仮想立体ＣＣＤ９（仮想立体撮像面）と、操舵系ハンドル１０と、シフトレバー１１と、を備えている。ここで、「ＣＣＤ」とは、「Charge Coupled Device」の略で、電荷結合素子のことをいう。

実施例１の後進時運転支援装置は、車両に設置したリアカメラ１とは異なる位置に設定した仮想カメラ８と、リアカメラ１により映し出される被写体側に設定した仮想立体スクリーン７と、を用いた視点変換により、リアカメラ１のカメラ映像データからモニタ３に映し出すモニタ画像データを生成する装置である。

前記リアカメラ１は、図１に示すように、車両の後部位置に取り付けられ、車両の後方景色を映し出す。このリアカメラ１の実撮像面（リアカメラＣＣＤ）に投影される画像によりカメラ映像データを取得する。

このリアカメラ１の被写体側（レンズ軸側）には、図１及び図２に示すように、仮想投影面として、二平面立体モデルとしての仮想立体スクリーン７が設定される（仮想立体投影面設定手段）。
前記仮想立体スクリーン７は、地面に沿って設定した俯瞰映像を得る近景用スクリーン71（近景用投影面）と、近景用スクリーン71から上向き傾斜角度αにより連接して設定した斜め視点映像を得る遠景用スクリーン72（遠景用投影面）と、を有する。

また、リアカメラ１より高い位置には、図１及び図２に示すように、リアカメラ１からの水平方向距離ａ、地面からの垂直方向距離ｂ、により規定される位置に仮想カメラ８が設定される。

さらに、前記仮想カメラ８の仮想撮像面として、図１及び図２に示すように、仮想立体スクリーン７と相似な二平面立体モデルとしての仮想立体ＣＣＤ９が設定される（仮想立体撮像面設定手段）。

前記仮想立体ＣＣＤ９は、仮想カメラ８の背面側から前面側に移した状態において、近景用スクリーン71に平行に設定され俯瞰映像を得る近景用ＣＣＤ91（近景用撮像面）と、近景用ＣＣＤ91から上向き傾斜角度βにより連接して設定した斜め視点映像を得る遠景用ＣＣＤ92（遠景用撮像面）を有する。なお、実施例１では、傾斜角度αと傾斜角度βの関係を、α＝βとしているため、仮想立体スクリーン７と仮想立体ＣＣＤ９とは相似形が保たれる。

前記画像処理コントローラ２は、図１に示すように、デコーダ間変換部２１と、座標変換処理部２２と、ＲＯＭ２３と、ＲＡＭ２４と、エンコーダ変換部２５と、を有する。

前記デコーダ間変換部２１は、リアカメラ１に接合されているデコーダと、座標変換処理部２２にて想定しているデコーダと、の相違に基づき、両デコーダ間でカメラ入力座標系からデコーダ変換座標系へとデータ座標系を変換する。なお、「デコーダ」とは、一定の規則に基づいて符号化されたデータを復元し、元のデータを取り出すソフトウェアをいう。

前記座標変換処理部２２は、リアカメラ１により取得した単独のカメラ映像データとして前記デコーダ間変換部２１からのデコーダ変換座標系を入力し、前記ＲＯＭ２３に予め記憶設定されているマッピングテーブルを用いる。そして、座標変換にしたがって仮想カメラ８の仮想立体ＣＣＤ９上にカメラ映像データの各画素を移し、仮想カメラ８から仮想立体スクリーン７を見たときに仮想立体ＣＣＤ９に投影される画像をモニタ画像とし、このモニタ画像を得るモニタ画像データを生成する（モニタ画像データ生成手段）。

前記ＲＯＭ２３は、仮想立体ＣＣＤ９上での一つの画素位置を指定し、仮想立体スクリーン７上で指定した一つの画素位置に対応する第１対応位置を決め、リアカメラ１の撮像面上で第１対応位置に対応する第２対応位置を決めるという順番により、各画素位置の座標変換を行って作成したマッピングテーブルを記憶設定しておくメモリである。

このマッピングテーブルの作成時、リアカメラ１により取得した単独のカメラ映像データの各画素位置と、仮想立体スクリーン７を介した仮想カメラ８の仮想立体ＣＣＤ９上の各画素位置と、の間で座標変換される。また、マッピングテーブルの作成時、歪み映像による光軸位置からの画素の距離と無歪み映像による光軸位置からの画素の距離との変換量関係特性を予め定め、各画素の光軸位置からの距離と変換量関係特性とを用い、リアカメラ１により取得した単独のカメラ映像データの各画素位置の座標系歪みを補正変換し、仮想立体ＣＣＤ９の座標系としている。なお、マッピングテーブルには、仮想カメラ８の位置（ａ，ｂ）と、仮想立体スクリーン７／仮想立体ＣＣＤ９による二平面立体モデルの画角の大きさに応じて、複数のマッピングテーブルが記憶設定されている。そして、細かなカメラ位置設定や画角設定に対しては、例えば、補間法を用いて対応するようにしている。

前記ＲＡＭ２４は、書き換え可能な情報を記憶設定しておくメモリである。
実施例１は、視点変換手法に基づき作成したマッピングテーブルを予めＲＯＭ２３に記憶設定しておき、カメラ映像データをモニタ３に映し出すモニタ画像データとするために座標変換処理を行うようにした例である。しかし、例えば、演算処理速の速いハードウェアを搭載し、リアルタイムで座標変換を行いながらモニタ画像データを生成するようなシステムとした場合、このＲＡＭ２４に、各画素等の座標変換式を記憶設定しておく。

前記エンコーダ変換部２５は、前記座標変換処理部２２により生成されたモニタ画像データを、例えば、運転者視点対応の左右反転処理を含んで、モニタ３に映し出す画像データに変換する。なお、「エンコーダ」とは、データを一定の規則に基づいて符号化するソフトウェアをいう。

前記モニタ３は、車室内のインスツルメントパネル位置等に設定され、画像処理コントローラ２からの画像データに基づいて、モニタ画面３１に車両後方側風景のうち、近景を俯瞰映像により表示し、遠景を斜め視点映像により表示する。そして、モニタ画面３１には、図４(a),(b)に示すように、後進時、近景の俯瞰映像表示と遠景の斜め視点映像表示に加え、車両イラスト１２を画面中央下部に表示する。

前記ハンドル操舵角センサ４は、操舵系ハンドル１０を操作した場合、ハンドル操作方向と共に、操舵中立位置からのハンドル操舵角θを検出する。実施例１のシステムにおいて、このハンドル操舵角センサ４からは、ハンドル操作方向情報とハンドル操舵角情報を得る。

前記シフトレバー位置センサ５は、シフトレバー１１を操作した場合、レバー操作位置を検出するもので、例えば、自動変速機のシフトレバー１１である場合、パーキングレンジ位置（Ｐ）、ドライブレンジ位置（Ｄ）、ニュートラルレンジ位置（Ｎ）、リバースレンジ位置（Ｒ）などの選択操作位置に応じたセンサ信号を出力する。実施例１のシステムにおいて、このシフトレバー位置センサ５からは、リバースレンジ位置の選択情報（＝後進情報）を得る。

前記仮想カメラ位置調整操作ダイアル６は、運転者等による外部からの設定操作により任意の空間位置に仮想カメラ８を設定するための仮想カメラ位置調整操作手段である。この仮想カメラ位置調整操作ダイアル６では、図１に示すように、リアカメラ１からの水平方向距離ａ（例えば、2m）と、地面からの垂直方向距離ｂ（例えば、3m）と、を独立に設定できるようにしている。

実施例１におけるモニタ画像データ生成手段としての前記座標変換処理部２２では、旋回後進時、中立位置からのハンドル操舵角θの大きさが大きいほど、仮想カメラ８のレンズが仮想立体ＣＣＤ９上に写し出せる範囲である画角を拡大し、画角制御による仮想カメラ８と仮想立体スクリーン７と仮想立体ＣＣＤ９を用いた視点変換により、モニタ３に映し出すモニタ画像データが生成される。

そして、前記座標変換処理部２２では、操舵系ハンドル１０を右に切っての左旋回後進時、または、操舵系ハンドル１０を左に切っての右旋回後進時、ハンドル操舵角θが中立位置のとき、モニタ画面３１を予め定めた領域配分（例えば、50％：50％）に基づいて俯瞰映像領域３Ｂと斜め視点映像領域３Ｐに設定し（図４(a)参照）、ハンドル操舵角θが中立位置から大きくなるほど、俯瞰映像領域３Ｂの画角を車幅方向に視野拡大すると共に、斜め視点映像領域３Ｐの画角を車幅方向と車両上方向に視野拡大する制御が行われる（図４(b)参照）。なお、ハンドル操舵角θの大きさにかかわらず、モニタ画面３１への映像表示は、全画面表示とする。

さらに、前記座標変換処理部２２では、旋回時であっても、図３に示すように、中立位置からのハンドル操舵角θの大きさが不感角度θ₀以下の領域のとき、ハンドル操舵角θの微小変化にかかわらず画角が固定される。そして、旋回時、中立位置からのハンドル操舵角θの大きさが不感角度θ₀を超えた角度領域であるとき、ハンドル操舵角θの大きさに比例して増加する単調型特性（図３）により画角を変化させる制御が行われる。

次に、作用を説明する。
実施例１の後進時運転支援装置は、仮想カメラ８と仮想立体スクリーン７／仮想立体ＣＣＤ９（二平面立体モデル）を用いた視点変換により、カメラ映像データからモニタ画像データを生成し、旋回後進時、モニタ３に映し出される映像を運転支援情報として活用するものである。
実施例１の発明ポイントは、ハンドル操舵角θに基づいて仮想カメラ８と仮想立体スクリーン７／仮想立体ＣＣＤ９（二平面立体モデル）による画角を制御すること、言い換えると、ハンドル操舵角θにより斜め視点映像領域の大きさを変更制御することにある。
以下、実施例１の後進時運転支援装置における作用として、［カメラ映像データからのモニタ映像生成作用］、［運転支援作用］について説明する。

［カメラ映像データからのモニタ映像生成作用］
本発明者は、二平面立体スクリーン／二平面立体ＣＣＤ（二平面立体モデル）を用いたリアカメラ映像の視点変換技術を先に提案している。その技術では、車両近景の路面映像は真上から見下ろした俯瞰映像（＝頂上俯瞰映像）に変換し、遠景映像は斜め見下ろしの斜め視点映像（＝斜め俯瞰映像）に変換し、それらを連続的に同時表示している。

しかし、二平面立体モデルを用いたリアカメラ映像の視点変換技術では、ハンドル操舵角にかかわらず、画角が固定されているため、この固定画角による二平面立体モデルを用いた視点変換手法によるモニタ映像は、例えば、近景の俯瞰映像領域と遠景の斜め視点映像領域の視野範囲が固定された映像表示となる。

このように、画角固定による映像表示では、視野範囲が狭い画角とし直線後進を重視する表示、視野範囲が広い画角とし旋回後進を重視する表示、直線後進と旋回後進とで妥協的な視野範囲による画角とする表示、の３パターンの表示から選択するしかない。
視野範囲が狭い画角（望遠レンズ化）によるモニタ表示を選択した場合、前進走行時や高速での直線後進時等において、離れた障害物等の存在を確認することができるが、低速で旋回後進させる駐車時において、進行方向の映像が視野範囲から外れ、進行方向に存在する障害物等を確認することができない。
また、視野範囲が広い画角（広角レンズ化）によるモニタ表示を選択した場合、低速で旋回後進させる駐車時において、進行方向に存在する障害物等を確認することができるが、前進走行時や高速での直線後進時等において、離れた障害物等が画面上で小さく写し出され、障害物等の存在を早期に確認することができない。
さらに、直線後進と旋回後進とで妥協的な視野範囲（標準レンズ化）による画角表示を選択した場合、直線後進しようとしても旋回後進しようとしても進行方向に存在する障害物等の存在確認が中途半端なものとなるし、車庫入れするときや車庫出しするとき、予想進路領域情報を確実に取得したいという要求に応えることができない。

これに対し、実施例１の後進時運転支援装置にあっては、操舵系ハンドル１０を右に切っての左旋回後進時、または、操舵系ハンドル１０を左に切っての右旋回後進時、シフトレバー位置センサ５において、リーバース選択操作が検出されると共に、ハンドル舵角センサ４において、ハンドル操舵角θが検出される。この旋回後進時、座標変換処理部２２において、中立位置からのハンドル操舵角θの大きさが大きいほど、仮想カメラ８のレンズが仮想立体ＣＣＤ９上に写し出せる範囲である画角が拡大され、画角制御による仮想カメラ８と仮想立体スクリーン７と仮想立体ＣＣＤ９を用いた視点変換により、モニタ３に映し出すモニタ画像データが生成される。

一般に、真後ろへ直進するときには、広い視野範囲を必要としないため、後方風景中の障害物等が小さく映し出される広い画角表示よりも後方風景中の障害物等が大きく映し出される狭い画角表示の方が望ましい。逆に、駐車時等で後方へ旋回運動するときには、狭い画角表示よりも旋回により進行しようとする方向の障害物等を写し出せる広い画角表示の方が望ましい。

これに対し、実施例１では、ハンドル操舵角θが中立位置にあるときには、モニタ画面において、図４(a)に示すように、予め定めた領域配分に基づいて俯瞰映像領域３Ｂと斜め視点映像領域３Ｐが設定され、ハンドル操舵角θが中立位置から大きくなるほど、図４(b)に示すように、俯瞰映像領域３Ｂの画角が車幅方向に視野拡大されると共に、斜め視点映像領域３Ｐの画角が車幅方向と車両上方向に視野拡大されることになる。なお、図４(a),(b)の比較からも明らかなように、モニタ画面３１において、画角の拡大に伴って車両イラスト１２を小さく表示することで、画角の拡大程度を画面注視により容易に判別することができる。

さらに、座標変換処理部２２では、旋回後進時であっても、図３に示すように、中立位置からのハンドル操舵角θの大きさが不感角度θ₀以下の領域のときには、ハンドル操舵角θの微小変化にかかわらず画角を固定する制御が行われる（図４(a)参照）。

加えて、旋回後進時、中立位置からのハンドル操舵角θの大きさが不感角度θ₀を超えた角度領域であるとき、図３に示すように、ハンドル操舵角θの大きさに比例して増加する単調型特性により画角を変化させる制御が行われる。

［運転支援作用］
上記のように、旋回後進時、ハンドル操舵角θが不感角度θ₀以下の中立位置領域にあるときには、モニタ画面３１の画角を固定し、中立位置からのハンドル操舵角θの大きさが不感角度θ₀を超えると、ハンドル操舵角θが中立位置から大きくなるほど、モニタ画面３１の画角を拡大する制御が行われる。すなわち、旋回時、ハンドル操舵角θが大きいほどモニタ画面３１に全画面表示されるモニタ映像の画角を拡大化するという、運転場面に応じた最適なモニタ映像の表示変更制御が行われる。

このように、ハンドル操舵角θに基づく画角変更制御を行うことで、ハンドル操舵角θの大きさにかかわらず、モニタ画面３１を注視するだけで予想進路領域情報が確実に取得されることで、的確な駐車操作支援や安全確認支援が達成される。

例えば、車庫入れや車庫出しをするときには、ハンドル操舵角θが大きいほど画角が拡大化するモニタ表示により、進行方向に存在する障害物等を見逃すことなく確認することができるというように、予想進路領域情報の確実な取得により的確な運転支援となる。

また、屋外駐車場での駐車時等で大きなハンドル操舵角θにより後方へ旋回運動するときには、拡大画角（縮小映像）によるモニタ表示により、予想進路領域情報を確実に取得できるというように、後進の旋回操作を伴う駐車時に駐車操作支援となる。

また、ハンドル操舵角θを中立域として真後ろへ直進するときには、縮小画角（拡大映像）によるモニタ表示により、遠く離れた場所にある障害物等の存在を早期に確認できるというように、後進の直線走行時に安全確認支援となる。

さらに、実施例１では、中立位置からのハンドル操舵角θの大きさが不感角度θ₀以下の領域のときには、ハンドル操舵角θの微小変化にかかわらずモニタ画面３１の画角を固定する制御が行われる。このため、車両挙動の直線後進を確保するように、修正操舵を行いながらの後進時、モニタ画面３１の映像が、わずかなハンドル操作に応答して変動することが無く、修正操舵を伴う直線後進時、モニタ画面３１上でブレの無い安定した俯瞰映像と斜め視点映像によるモニタ画面３１を確保することができる。

加えて、実施例１では、旋回後進時、中立位置からのハンドル操舵角θの大きさが不感角度θ₀を超えた角度領域であるとき、ハンドル操舵角θの大きさに比例して増加する単調型特性により画角を変化させる制御が行われる。このため、モニタ画面３１の映像は、運転者意思により与えたハンドル操舵角θに応じて、画角の拡大化や画角の縮小化が進むことで、運転者に違和感を与えることがない。

次に、効果を説明する。
実施例１の後進時運転支援装置にあっては、下記に列挙する効果を得ることができる。

(1) 車両に設置した実カメラとは異なる位置に設定した仮想カメラ８と、実カメラにより映し出される被写体側に設定した仮想投影面と、を用いた視点変換により、実カメラのカメラ映像データから車室内のモニタ３に映し出すモニタ画像データを生成するモニタ画像データ生成手段を備えた運転支援装置において、前記仮想投影面として、俯瞰映像を得る近景用スクリーン71と斜め視点映像を得る遠景用スクリーン72を有する仮想立体スクリーン７を設定する仮想立体投影面設定手段と、前記仮想カメラ８の仮想撮像面として、俯瞰映像を得る近景用ＣＣＤ91と斜め視点映像を得る遠景用ＣＣＤ92を有する仮想立体ＣＣＤ９を設定する仮想立体撮像面設定手段と、ハンドル操舵角θを検出するハンドル操舵角センサ４と、を設け、前記モニタ画像データ生成手段は、車両旋回時、中立位置からのハンドル操舵角θの大きさが大きいほど、前記仮想カメラ８のレンズが仮想立体ＣＣＤ９上に写し出せる範囲である画角を拡大し、画角制御による仮想カメラ８と仮想立体スクリーン７と仮想立体ＣＣＤ９を用いた視点変換により、前記モニタ３に映し出すモニタ画像データを生成するため、旋回時、運転場面に応じた最適なモニタ映像の表示変更制御を行うことで、的確な駐車操作支援や安全確認支援を達成することができる。特に、回転運動中の視認性が、固定型の二平面立体モデルに比べ向上し、的確な駐車操作や安全確認に効果がある。

(2) 前記実カメラは、車両後部位置に設定されたリアカメラ１であり、前記モニタ画像データ生成手段は、操舵系ハンドル１０を右に切っての左旋回後進時、または、操舵系ハンドル１０を左に切っての右旋回後進時、ハンドル操舵角θが中立位置のとき、モニタ画面３１を予め定めた領域配分に基づいて俯瞰映像領域３Ｂと斜め視点映像領域３Ｐに設定し、ハンドル操舵角θが中立位置から大きくなるほど、俯瞰映像領域３Ｂの画角を車幅方向に視野拡大すると共に、斜め視点映像領域３Ｐの画角を車幅方向と車両上方向に視野拡大するモニタ画像データを生成するため、旋回後進時、運転場面に応じた最適なモニタ映像３１の表示変更制御を行うことができる。特に、車庫入れや車庫出しをするとき、状況変化に応じた的確な運転支援を行うことができる。

(3) 前記モニタ画像データ生成手段は、旋回後進時、中立位置からのハンドル操舵角θの大きさが不感角度θ₀以下の領域のとき、ハンドル操舵角θの微小変化にかかわらず画角を固定とするモニタ画像データを生成するため、修正操舵を伴う直線後進時、モニタ画面３１上でブレの無い安定したモニタ映像を確保することができる。

(4) 前記モニタ画像データ生成手段は、旋回後進時、中立位置からのハンドル操舵角θの大きさが不感角度θ₀を超えた角度領域であるとき、ハンドル操舵角θの大きさに比例して増加する単調型特性により画角を変化させるため、運転者意思により与えたハンドル操舵角θに応じたモニタ画面３１の映像変化となり、運転者に違和感を与えることがない。

実施例２は、ハンドル操舵角が不感角度を超えると一気に増加するステップ型特性により画角を変化させるようにした例である。

まず、構成を説明する。
図５は実施例２の後進時運転支援装置においてハンドル操舵角に対する画角の関係を示すステップ型特性図である。

実施例２におけるモニタ画像データ生成手段としての前記座標変換処理部２２では、旋回後進時、中立位置からのハンドル操舵角θの大きさが不感角度θ₀を超えた角度領域であるとき、ハンドル操舵角θが不感角度θ₀を超えると一気に増加するステップ型特性により画角を変化させるようにしている。なお、他の構成は、実施例１と同様であるので、図示並びに説明を省略する。

次に、作用を説明すると、実施例２では、旋回後進時、中立位置からのハンドル操舵角θの大きさが不感角度θ₀を超えると一気に増加するステップ型特性により画角を変化させる制御が行われる。

したがって、モニタ画面３１の映像は、運転者の持つ旋回意思に基づいて、不感角度θ₀を超えるハンドル操舵角θを与えると、例えば、図４(a)に示すように、俯瞰映像領域３Ｂと斜め視点映像領域３Ｐとが連続性を持って表示されている状態から、図４(b)に示すように、俯瞰映像領域３Ｂと斜め視点映像領域３Ｐの画角が一気に拡大、特に、斜め視点映像領域３Ｐの斜め視点映像の画角拡大化が一気に進んだ表示状態へとオン／オフ的に切り替わる。

このため、手動によるモニタ表示のズーム切り替え操作に代え、ハンドル操舵角θの大きさが不感角度θ₀を超えるか否かで、自動的に直線後進時に好ましい狭い画角による全画面モニタ表示と旋回後進時に好ましい広い画角による全画面モニタ表示との切り替えを行うことができる。

さらに、不感角度θ₀を超えてハンドル操舵角θが増大すると、徐々に画角の拡大化が進むことで、旋回後進時にハンドル切り込み操作に合わせた画角の最適化を図ることができる。尚、他の作用は実施例１と同様である。

次に、効果を説明する。
実施例２の後進時運転支援装置にあっては、実施例１の(1),(2),(3)の効果に加え、下記の効果を得ることができる。

(5) 前記モニタ画像データ生成手段は、旋回後進時、中立位置からのハンドル操舵角θの大きさが不感角度θ₀を超えた角度領域であるとき、ハンドル操舵角θが不感角度θ₀を超えると一気に増加するステップ型特性により画角を変化させるため、ハンドル操舵角θの大きさが不感角度θ₀を超えるか否かで、自動的に直線後進時の遠景表示と旋回後進時の近景表示の切り替えを行うことができると共に、ハンドル操舵角θが不感角度θ₀を超えるとハンドル切り込み操作に合わせた画角の最適化を図ることができる。

実施例３は、ハンドル操舵角が不感角度を超えた小操舵角領域では緩やかに増加し、ハンドル操舵角が小操舵角領域から離れるほど増加勾配が急となる加速型特性により画角を変化させるようにした例である。

まず、構成を説明する。
図６は実施例３の後進時運転支援装置においてハンドル操舵角に対する画角の関係を示す加速型特性図である。

実施例３におけるモニタ画像データ生成手段としての前記座標変換処理部２２では、旋回後進時、中立位置からのハンドル操舵角θの大きさが不感角度θ₀を超えた角度領域であるとき、ハンドル操舵角θが不感角度θ₀を超えた小操舵角領域では緩やかに増加し、ハンドル操舵角θが小操舵角領域から離れるほど増加勾配が急となる加速型特性により画角を変化させるようにしている。なお、他の構成は、実施例１と同様であるので、図示並びに説明を省略する。

次に、作用を説明すると、実施例３では、中立位置からのハンドル操舵角θの大きさが不感角度θ₀を超えた小操舵角領域では緩やかに増加し、ハンドル操舵角θが小操舵角領域から離れるほど増加勾配が急となる加速型特性により画角を変化させる制御が行われる。

したがって、モニタ画面３１の映像は、運転者がゆっくりとしたハンドル操作を行ったり、ハンドル切り込み操作とハンドル戻し操作を繰り返したりするとき、不感角度θ₀を超えるハンドル操舵角θを与えても、例えば、図４(a)に示すように、モニタ画面３１の斜め視点映像領域３Ｐの斜め視点映像による視野がわずかに拡大化する全画面表示状態となる。このため、運転者がゆっくりとしたハンドル操作を行ったり、ハンドル切り込み操作とハンドル戻し操作を繰り返したりするとき、モニタ表示における斜め視点映像領域３Ｐの斜め視点映像の拡大・縮小による画角変動を小さく抑えることができる。
そして、運転者が一方向への旋回後進意思を持って大きなハンドル操舵角θを与えると、図４(a)に示す予め決められた領域配分による俯瞰映像領域３Ｂと斜め視点映像領域３Ｐの全画面表示状態から、図４(b)に示すように、俯瞰映像領域３Ｂの俯瞰映像と斜め視点映像領域３Ｐの斜め視点映像の画角が加速度的に拡大化するように全画面表示状態が変更される。
このため、旋回後進時には、ハンドル切り込み操作に合わせて応答良く広い画角による表示状態へ変更されることで、運転者の旋回後進意思に合わせたモニタ表示の最適化を図ることができる。尚、他の作用は実施例１と同様である。

次に、効果を説明する。
実施例３の後進時運転支援装置にあっては、実施例１の(1),(2),(3)の効果に加え、下記の効果を得ることができる。

(6) 前記モニタ画像データ生成手段は、旋回後進時、中立位置からのハンドル操舵角θの大きさが不感角度θ₀を超えた角度領域であるとき、ハンドル操舵角θが不感角度θ₀を超えた小操舵角領域では緩やかに増加し、ハンドル操舵角θが小操舵角領域から離れるほど増加勾配が急となる加速型特性により画角を変化させるため、運転者がゆっくりとしたハンドル操作を行ったり、ハンドル切り込み操作とハンドル戻し操作を繰り返したりするとき、モニタ表示変動を小さく抑えることができると共に、ハンドル切り込み操作時、運転者の旋回後進意思に合わせ応答良く画角を拡大するモニタ表示状態へ変更することができる。

実施例４は、実施例１〜３のハンドル操舵角による画角変更制御に、ハンドル操舵角による仮想カメラの自転制御を組み合わせた複合制御例である。

まず、構成を説明する。
図７は実施例４の後進時運転支援装置においてハンドル操舵角に応じて位置／姿勢が制御される仮想カメラと仮想立体スクリーンと仮想立体ＣＣＤを使った視点変換手法の一例を説明する模式図である。

実施例４におけるモニタ画像データ生成手段としての前記座標変換処理部２２では、旋回後進時、中立位置からのハンドル操舵角θの大きさに応じて前記仮想カメラ８を車両の旋回方向に自転させると共に、自転する仮想カメラ８の仮想立体ＣＣＤ９と仮想立体スクリーン７の相対的な位置関係を維持し、自転する仮想カメラ８と仮想立体ＣＣＤ９と仮想立体スクリーン７を用いた視点変換により、近景の俯瞰映像と遠景の斜め視点映像をシームレスに接合する映像を前記モニタ３に映し出すモニタ画像データが生成される。なお、他の構成は、実施例１〜３と同様であるので、図示並びに説明を省略する。

次に、作用を説明する。
操舵系ハンドル１０を右に切っての左旋回後進時、または、操舵系ハンドル１０を左に切っての右旋回後進時、シフトレバー位置センサ５において、リーバース選択操作が検出されると共に、ハンドル舵角センサ４において、ハンドル操舵角θが検出される。この旋回後進時、座標変換処理部２２において、ハンドル操舵角θに応じて車両イラスト１２を画面中央下部位置にて回転表示すると共に、自車が将来必ず通ると予想される予測位置（この予測位置は、例えば、モニタ画面３１の中央上部に表示しても良い。）が動かないように、仮想カメラ８を車両の旋回方向に自転させると共に仮想カメラ８の位置を地面と平行に移動させる。

そして、自転と共に移動する仮想カメラ８を用いた視点変換により、座標変換処理部２２において、モニタ画像データが生成される。

このため、自転する仮想カメラ８を用いた視点変換により生成された画像データによりモニタ画面３１に映し出される映像は、操舵系ハンドル１０の回転動作に逐次対応して車両後方の映像全体が回転することになり、旋回後進時、モニタ３のモニタ画面３１には、予想進路領域を画面中央部に捉えて表示することができる。他の作用については、実施例１〜３と同様であるので説明を省略する
次に、効果を説明する。
実施例４の後進時運転支援装置にあっては、実施例１〜３の効果に加え、下記に列挙する効果を得ることができる。

(7) 前記モニタ画像データ生成手段は、旋回後進時、中立位置からのハンドル操舵角θの大きさに応じて前記仮想カメラ８を車両の旋回方向に自転させ、自転する仮想カメラ８と仮想立体ＣＣＤ９と仮想立体スクリーン７を用いた視点変換により、近景の俯瞰映像と遠景の斜め視点映像をシームレスに接合した映像を前記モニタ３に映し出すモニタ画像データを生成するため、旋回後進時、モニタ画面３１の画面中央部に予想進路領域の映像を捉えて表示しながら、運転場面に応じた最適な画角によるモニタ画面３１の表示変更制御を行うことができる。

(8) 前記モニタ画像データ生成手段は、旋回後進時、中立位置からのハンドル操舵角θの大きさに応じて前記仮想カメラ８を車両の旋回方向に自転させると共に、自転する仮想カメラ８の仮想立体ＣＣＤ９と仮想立体スクリーン７の相対的な位置関係を維持するため、仮想立体スクリーン７を固定とした場合、ハンドル操舵角θが大きな領域でモニタ画面３１の端部映像に歪みが生じるのに対し、ハンドル操舵角θが大きな領域であっても、映像歪みを無くして、モニタ画面３１に近景の俯瞰映像と遠景の斜め視点映像をシームレスに接合した映像を表示することができる。

以上、本発明の運転支援装置を実施例１〜実施例４に基づき説明してきたが、具体的な構成については、これらの実施例に限られるものではなく、特許請求の範囲の各請求項に係る発明の要旨を逸脱しない限り、設計の変更や追加等は許容される。

実施例１〜３では、ハンドル操舵角による仮想立体スクリーン／仮想立体ＣＣＤ（二平面立体モデル）の画角を変更する制御例を示し、実施例４では、「二平面立体モデルの画角変更制御」と「二平面立体モデルの仮想カメラ自転制御」との複合制御例を示した。しかし、「二平面立体モデルの画角変更制御」、あるいは、「画角変更制御と仮想カメラ自転制御との複合制御」に、
・「二平面立体モデルの二平面接続位置変更制御（ハンドル操舵角が大きいほどモニタに表示される俯瞰映像領域を拡大する制御）」
・「二平面立体モデルの二平交差角度変更制御（ハンドル操舵角が大きいほどモニタに表示される斜め視点映像領域を俯瞰映像化する制御）」
・「二平面立体モデルのモデル形状変更制御（ハンドル操舵角が大きいほどモニタに表示される映像を左右方向に広範囲とする制御）」
のうち、少なくとも１つの制御を加えて、複合的に利用することも可能である。

実施例１〜４では、視点変換モデルとして仮想立体スクリーン／仮想立体ＣＣＤ（二平面立体モデル）を用いた例を示した。しかし、視点変換モデルとしては、これらのモデルに限られるものではなく、三平面以上の複数の平面で構成した立体モデル、或いは、平面と平面とのつなぎ目を円筒面や楕円筒面等の曲面で構成した立体モデル、或いは、無数の平面を組み合わせた自由曲面で構成した立体モデルにも適用することができる。

実施例１〜４では、ハンドル操舵角情報と後進情報を用いて後進時に運転支援を行う例を示したが、例えば、車庫入れ時や車庫出し時や駐車時に特定して運転支援を行う場合、車速センサを用い、車速が設定車速以下の低速域あるいは停止域にて本発明の画角変更制御を実行するような例としても良い。

実施例１〜４では、モニタ画面３１の中央部下部に車両イラスト１２を表示し、画角変更に応じて車両イラスト１２の大きさを変える例を示したが、車両イラスト１２をモニタ画面３１の中央部上部に表示しても良いし、また、車両イラスト１２を表示することなく、自車の俯瞰映像をそのまま表示するようにしても良い。

実施例１〜４では、実カメラをリアカメラとし、直線後進時や旋回後進時に運転支援する後進時運転支援装置の例を示したが、実カメラを車両のフロント側やサイド側の映像データを取得するフロントカメラやドアミラーカメラ等とし、直線前進時や旋回前進時に運転支援する前進時運転支援装置としても適用することができる。

実施例１の後進時運転支援装置（運転支援装置の一例）を示す全体システム図である。実施例１の後進時運転支援装置においてハンドル操舵角に基づく画角制御による仮想カメラと仮想立体スクリーン／仮想立体ＣＣＤ（二平面立体モデル）を用いた視点変換手法の一例を説明する模式図である。実施例１の後進時運転支援装置においてハンドル操舵角に対する画角の関係を示す単調型特性図である。実施例１の後進時運転支援装置において旋回後進時におけるモニタ画像であり、(a)はハンドル操舵角が中立域でのモニタ画像を示し、(b)はハンドル操舵角を大きく与えたときのモニタ画像を示す。実施例２の後進時運転支援装置においてハンドル操舵角に対する画角の関係を示すステップ型特性図である。実施例３の後進時運転支援装置においてハンドル操舵角に対する画角の関係を示す加速型特性図である。実施例４の後進時運転支援装置においてハンドル操舵角に応じて位置／姿勢が制御される仮想カメラと仮想立体スクリーンと仮想立体ＣＣＤを使った視点変換手法の一例を説明する模式図である。

符号の説明

１リアカメラ（実カメラ）
２画像処理コントローラ
２１デコーダ間変換部
２２座標変換処理部
２３ＲＯＭ
２４ＲＡＭ
２５エンコーダ変換部
３モニタ
４ハンドル操舵角センサ（ハンドル操舵角検出手段）
５シフトレバー位置センサ
６仮想カメラ位置調整操作ダイアル
７仮想立体スクリーン（仮想立体投影面）
71 近景用スクリーン（近景用投影面）
72 遠景用スクリーン（遠景用投影面）
８仮想カメラ
９仮想立体ＣＣＤ（仮想立体撮像面）
91 近景用ＣＣＤ（近景用撮像面）
92 遠景用ＣＣＤ（遠景用撮像面）
１０操舵系ハンドル
１１シフトレバー

Claims

車両に設置した実カメラとは異なる位置に設定した仮想カメラと、実カメラにより映し出される被写体側に設定した仮想投影面と、を用いた視点変換により、実カメラのカメラ映像データから車室内のモニタに映し出すモニタ画像データを生成するモニタ画像データ生成手段を備えた運転支援装置において、
前記仮想投影面として、俯瞰映像を得る近景用投影面と斜め視点映像を得る遠景用投影面を有する仮想立体投影面を設定する仮想立体投影面設定手段と、
前記仮想カメラの仮想撮像面として、俯瞰映像を得る近景用撮像面と斜め視点映像を得る遠景用撮像面を有する仮想立体撮像面を設定する仮想立体撮像面設定手段と、
ハンドル操舵角を検出するハンドル操舵角検出手段と、を設け、
前記モニタ画像データ生成手段は、車両旋回時、中立位置からのハンドル操舵角の大きさが不感角度以下の領域のとき、ハンドル操舵角の微小変化にかかわらず画角を固定とし、不感角度を超えた小操舵角領域では緩やかに増加し、ハンドル操舵角が小操舵角領域から離れるほど増加勾配が急となる加速型特性により画角を拡大し、画角制御による仮想カメラと仮想立体投影面と仮想立体撮像面を用いた視点変換により前記モニタに映し出すモニタ画像データを生成する
ことを特徴とする運転支援装置。
請求項１に記載された運転支援装置において、
前記モニタ画像データ生成手段は、車両旋回時、中立位置からのハンドル操舵角の大きさに応じて前記仮想カメラを車両の旋回方向に自転させ、自転する仮想カメラと仮想立体撮像面と仮想立体投影面を用いた視点変換により、近景の俯瞰映像と遠景の斜め視点映像をシームレスに接合した映像を前記モニタに映し出すモニタ画像データを生成する
ことを特徴とする運転支援装置。
請求項２に記載された運転支援装置において、
前記モニタ画像データ生成手段は、車両旋回時、中立位置からのハンドル操舵角の大きさに応じて前記仮想カメラを車両の旋回方向に自転させると共に、自転する仮想カメラの仮想立体撮像面と仮想立体投影面の相対的な位置関係を維持する
ことを特徴とする運転支援装置。