JP5052708B2 - 運転支援装置、運転支援システム、および運転支援カメラユニット - Google Patents

Description

この発明は、停止した車両を後退あるいは前進させる際に、車両の周囲の状況を運転者に視認させることにより、運転を支援する運転支援装置に関するものである。

運転支援装置は、車両に取り付けたカメラにより車両の周囲の状況を撮像し、撮像したカメラ画像を車両の状態に応じて変化させて表示させるようにしている。例えば、車両の周囲の状況を複数のカメラで撮像し、車両が停車しているときには運転者が周囲の状況を把握しやすいようカメラ数に対応した視点数の画像を表示し、車両が移動しているときには運転者が表示を理解しやすいよう各カメラで撮像した画像を１視点の画像に合成して表示する運転支援装置がある（特許文献１）。また、実際のカメラの位置とは異なる位置に仮想カメラを設定し、ハンドルの操舵角が大きいときには仮想カメラの画角を大きくし、ハンドルの操舵角が小さいときには仮想カメラの画角を小さくすることにより、車両移動時の障害物までの距離を把握しやすくする運転支援装置がある（特許文献２）。

特開２００５−２３６４９３号公報 特開２００８−１４９８７９号公報

特許文献１の運転支援装置は、車両が移動し始めるとすぐに複数視点から１視点の画像に切り換えるようにしているため、移動を開始するとすぐに周囲の確認がしにくくなる。そのため、車両の周囲の状況を確認しつつゆっくりと車両を移動させることができないという問題がある。また、特許文献２の運転支援装置は、ハンドルの操舵角が小さい状態で移動を開始する場合には画角の小さい画像を表示するため、車両の移動開始時にも関わらず周囲の状況が確認しにくいという問題がある。このように、特許文献１および２に係る運転支援装置では、画像の表示が車両の状況に応じて適切に切り換えられていない。

そこで、本願発明は、車両の移動開始前と移動を開始してから所定の期間は、車両が移動する方向の路面の広い範囲を確認できる画像を、車両が移動を開始してから所定の期間が経過した後は、距離感が掴みやすい画像を表示できる運転支援装置を提供することを目的とする。

この発明に係る運転支援装置は、車両に取り付けられ前記車両が移動する方向の路面を撮像する広角レンズを有するカメラと接続され、前記カメラが撮像した画像であるカメラ画像に基づく画像を表示装置に表示する運転支援装置であって、前記カメラのレンズ形状による前記カメラ画像の歪を示すレンズ歪情報、前記広角レンズの射影方式による前記カメラ画像の歪を示す射影情報を含む画像生成用情報を記憶する情報記憶部と、前記車両の変速機の状態であるギア状態と速度とを含む車両情報を取得する車両情報取得部と、前記車両情報に基づいて、前記車両の状態である車両状態を判断する車両状態判断部と、前記画像生成用情報を利用して、前記カメラ画像を前記車両状態に応じて処理して前記表示装置に表示する画像を生成する画像生成部とを備え、前記車両状態判断部が、前記車両状態として、前記車両が移動可能で停止している状態である移動準備状態、移動を開始してから所定の移動中条件が成立するまでで前記車両が移動している状態である移動開始状態、前記移動中条件が成立した後で前記車両が移動している状態である移動中状態を判断し、前記画像生成部が、前記車両状態が前記移動準備状態または前記移動開始状態である場合に歪を有するが広い範囲が見える画像である広角画像を生成し、前記車両状態が前記移動中状態である場合に前記カメラ画像から前記レンズ形状による歪と前記射影方式による歪を除去した画像である無歪画像を生成することを特徴とするものである。

この発明に係る運転支援カメラユニットは、車両が移動する方向の路面の画像を撮像して、撮像したカメラ画像に基づく画像を表示装置に表示する運転支援カメラユニットであって、前記車両に取り付けられ前記路面を撮像する広角レンズを有するカメラと、前記カメラのレンズ形状による前記カメラ画像の歪を示すレンズ歪情報、前記広角レンズの射影方式による前記カメラ画像の歪を示す射影情報を含む画像生成用情報を記憶する情報記憶部と、前記車両の変速機の状態であるギア状態と速度とを含む車両情報を取得する車両情報取得部と、前記車両情報に基づいて、前記車両の状態である車両状態を判断する車両状態判断部と、前記画像生成用情報を利用して、前記カメラ画像を前記車両状態に応じて処理して前記表示装置に表示する画像を生成する画像生成部とを備え、前記車両状態判断部が、前記車両状態として、前記車両が移動可能で停止している状態である移動準備状態、移動を開始してから所定の移動中条件が成立するまでで前記車両が移動している状態である移動開始状態、前記移動中条件が成立した後で前記車両が移動している状態である移動中状態を判断し、前記画像生成部が、前記車両状態が前記移動準備状態または前記移動開始状態である場合に歪を有するが広い範囲が見える画像である広角画像を生成し、前記車両状態が前記移動中状態である場合に前記カメラ画像から前記レンズ形状による歪と前記射影方式による歪を除去した画像である無歪画像を生成することを特徴とするものである。

この発明によれば、車両の移動開始前と移動を開始してから所定の期間は、車両が移動する方向の路面の広い範囲を確認できる画像を、車両が移動を開始してから所定の期間が経過した後は、距離感が掴みやすい画像を表示できる。

実施の形態１に係る運転支援システムの構成を示すブロック図である。 実施の形態１に係る運転支援システムのガイド線計算部の構成を示すブロック図である。 実施の形態１に係る運転支援システムのガイド線生成部で計算される実空間上におけるガイド線の例である。 実施の形態１に係る運転支援システムのカメラ画像補正部の構成を示すブロック図である。 実施の形態１に係る運転支援システムにおいて第１の表示条件で表示されるガイド線画像の例である。 実施の形態１に係る運転支援システムにおいて第２の表示条件で表示されるガイド線画像の例である。 実施の形態１に係る運転支援システムにおいて第１の表示条件で表示される広角画像と第２の表示条件で表示される無歪画像の関係を例により説明する表示装置に表示される画像の写真である。 実施の形態１に係る運転支援システムにおいて第１の表示条件で表示される広角画像と第３の表示条件で表示される別視点無歪画像の関係を例により説明する表示装置に表示される画像の写真である。 実施の形態１に係る運転支援システムにおいて第４の表示条件で表示されるガイド線画像の例である。 実施の形態１に係る運転支援システムの表示条件決定部が認識する車両状態の変化を説明する図である。 実施の形態１に係る運転支援システムの表示条件決定部における車両状態を判断する動作を説明するフロー図である。 実施の形態１に係る運転支援システムの表示条件決定部における車両状態を判断する動作を説明するフロー図である。 実施の形態２に係る運転支援システムの構成を示すブロック図である。 実施の形態２に係る運転支援システムの表示条件決定部が認識する車両状態の変化を説明する図である。 実施の形態２に係る運転支援システムの表示条件決定部における車両状態を判断する動作を説明するフロー図である。 実施の形態２に係る運転支援システムの表示条件決定部における車両状態を判断する動作を説明するフロー図である。 実施の形態３に係る運転支援システムの構成を示すブロック図である。 実施の形態４に係る運転支援システムの構成を示すブロック図である。

実施の形態１．
図１は、実施の形態１に係る運転支援システムの構成を示すブロック図である。図１において、運転支援システムは、運転支援装置であるホストユニット１とカメラユニット２とを含んで構成されている。電子制御ユニット３は車両に搭載された電子機器を電子回路により制御する一般に車両に搭載されているＥＣＵ（Electric Control Unit）であり、車両情報を検出してホストユニット１に出力する車両情報出力装置である。本実施の形態において車両情報出力装置は特に、車両の変速機の状態（以下、ギア状態と呼ぶ）を変化させる運転者の操作が操作するセレクトバーの位置を示すギア状態情報、車両の速度を示す速度情報、車両の加速度を示す加速度情報、車両情報が検出される１周期での車両の移動距離を示す移動距離情報、サイドブレーキの位置を示すサイドブレーキ情報などの車両情報をホストユニット１に対して出力する。車両は、運転者がクラッチを操作する必要が無いＡＴ(Automatic Transmission)車であるとする。

自動車（車両）には、目的地への経路を案内するナビゲーション装置が搭載される場合が多く、ナビゲーション装置には車両に予め搭載されているものと、車両とは別に販売されて車両に取り付けられるものがある。そこで、市販のナビゲーション装置を取り付けられるように、ＥＣＵには車両情報を出力する端子が設けられている。そのため、本実施の形態に係る運転支援システムでは、ホストユニット１をこの出力端子と接続することにより車両情報を取得することができる。なお、ホストユニット１は、ナビゲーション装置と一体であってもよいし、別装置であってもよい。

ホストユニット１は、カメラユニット２が有する撮像部である広角レンズを有するカメラが撮像する車両の周囲（とくに背後）の画像であるカメラ画像に、車両の後方の車両に対して所定の位置に設定されたガイド線の画像であるガイド線画像を重ね合わせて、例えば車室内のモニターなどである表示部１８（表示装置）に表示する。車両の速度やギア状態などから移動に関する車両の状態である車両状態を判断して、判断した車両状態に応じて表示する画像を変化させて、運転者が周囲の状況を認識しやすくする。

ホストユニット１は、画像を表示する表示部１８、電子制御ユニット３から出力される車両情報を取得する車両情報取得部１０、ガイド線を計算するための情報が記憶された情報記憶部１１（ガイド線生成情報記憶部）、車両情報取得部１０が取得した車両情報に基づいてガイド線画像およびカメラ画像をどのように表示部１８に表示させるかという表示条件情報を生成する表示条件決定部１２（車両状態判断部）、情報記憶部１１に記憶された情報および表示条件情報に基づいて、ガイド線の描画位置および形状についての情報であるガイド線情報を計算するガイド線計算部１３（ガイド線情報生成部）、ガイド線計算部１３にて計算されたガイド線情報に基づいてガイド線が描画されたガイド線画像を生成する線描画部１４（ガイド線画像生成部）、カメラユニット２から送信されるカメラ画像を受信するカメラ画像受信部１５、情報記憶部１１に記憶された情報および表示条件情報に基づいて、カメラ画像受信部１５にて受信されたカメラ画像を補正するカメラ画像補正部１６（画像生成部）、線描画部１４から出力されるガイド線画像とカメラ画像補正部１６から出力される補正カメラ画像とを異なるレイヤーの画像に設定することにより、ガイド線画像および補正カメラ画像を重畳する画像重畳部１７を有する。画像重畳部１７から出力されるレイヤーの異なるガイド線画像および補正カメラ画像は、表示部１８では１つの画像に合成されて表示される。なお、カメラ画像補正部１６および画像重畳部１７は画像出力部を構成する。

ホストユニット１の車両情報取得部１０が取得した車両のギア状態がリバース（後退）である場合に、ホストユニット１は、カメラユニット２のカメラを動作させて、撮像したカメラ画像を送信するように制御する。以上の構成により、表示部１８には、カメラユニット２から送信されたカメラ画像に対して線描画部１４で生成したガイド線画像が重畳した画像が表示され、車両の運転者はこの画像を確認することにより、運転する車両の背後や周囲の状況を視認しながら、ガイド線を目安として車両を駐車することができる。なお、運転者からの指示があった場合に、カメラで撮像した画像を表示部１８に表示するようにしてもよい。
以下、運転支援装置を構成する各構成要素について、説明する。

図１において、情報記憶部１１には、後述するガイド線を計算するためのガイド線計算情報として以下の情報が記憶される。
（Ａ）取り付け情報。取り付け情報とは、車両に対してカメラがどのように取り付けられているか、すなわちカメラの取り付け位置と取り付け角度とを示す情報である。
（Ｂ）画角情報。画角情報とは、カメラユニット２のカメラで撮像される被写体の範囲を示す角度情報、および表示部１８での画像表示時における表示範囲を示す表示情報である。角度情報には、カメラの最大水平画角Ｘａおよび最大垂直画角Ｙａもしくは対角画角が含まれている。表示情報には、表示部１８の最大水平描画ピクセルサイズＸｐおよび最大垂直描画ピクセルサイズＹｐが含まれている。
（Ｃ）射影情報。射影情報とは、カメラユニット２のカメラに用いられるレンズの射影方式を示す情報である。本実施の形態では、カメラが有する広角レンズとして魚眼レンズを用いているため、射影情報の値としては、立体射影、等距離射影、等立体角射影、および正射影のいずれかをとる。
（Ｄ）レンズ歪情報。レンズ歪情報は、レンズによる画像の歪に関するレンズの特性の情報である。
（Ｅ）視点情報。視点情報は、カメラがあると想定する別の位置に関する情報である。
（Ｆ）ガイド線間隔情報。ガイド線間隔情報とは、駐車幅情報、車両幅情報、および車両後部端からの安全距離、注意距離、警告距離の距離情報である。駐車幅情報とは、車両の幅に所定の余裕幅を加えた駐車幅（例えば駐車区画の幅）を示す情報である。車両後部端からの安全距離、注意距離、警告距離の距離情報とは、車両の後部の端からの後方に対する距離で、例えば、安全距離は車両後部端から１ｍ、注意距離は５０ｃｍ、警告距離は１０ｃｍとして、車両後方における距離の目安を示す。車両後部端からの安全距離、注意距離、警告距離により、車両後方に映る障害物が、車両後部端からどの程度の距離を持つかを運転者が把握することができる。
なお、（Ｃ）射影情報、（Ｄ）レンズ歪情報、（Ｅ）視点情報は、カメラで撮像したカメラ画像を変換するために使用する画像生成用情報でもある。

図２は、ガイド線計算部１３の構成を示すブロック図である。ガイド線計算部１３は、ガイド線生成部１３１、レンズ歪関数演算部１３２、射影関数演算部１３３、投影面変換関数演算部１３４、視点変換関数演算部１３５、および映像出力変換関数演算部１３６を含んで構成されている。レンズ歪関数演算部１３２、射影関数演算部１３３、視点変換関数演算部１３５については、表示条件情報によって動作させない場合がある。そのため、簡単のために、まず上記各構成のすべてが動作する場合について説明する。

ガイド線生成部１３１は、車両情報取得部１０から車両のギア状態がリバースであるギア状態情報が入力された場合に、情報記憶部１１から取得したガイド線間隔情報に基づいて、車両の後方の路面に仮想的にガイド線を設定する。図３にガイド線生成部１３１で計算される実空間上におけるガイド線の例を示す。図３において、直線Ｌ１は駐車区画の幅を示すガイド線であり、直線Ｌ２は車両の幅を示すガイド線であり、直線Ｌ３〜Ｌ５は車両後部端からの距離を示すガイド線である。Ｌ３が警告距離、Ｌ４が注意距離、Ｌ５が安全距離を示す。直線Ｌ１およびＬ２は、車両に最も近い直線Ｌ３から始まり、車両から遠い側に駐車区画の長さ程度以上の長さを有する。直線Ｌ３〜Ｌ５は両側の直線Ｌ２を結ぶように描画する。方向Ｄ１は駐車区画に車両が進入する方向を示している。なお、車両幅と駐車幅の両方のガイド線を表示したが、どちらかだけを表示させてもよい。また、車両後部端からの距離を示すガイド線は、２本以下または４本以上でもよい。例えば、直線Ｌ３〜Ｌ５のどれかから車長と同じ距離の位置にガイド線を表示してもよい。車両の進行方向に平行なガイド線（図３ではＬ１とＬ２）と、車両後部端からの距離を示すガイド線のどちらかだけを表示してもよい。車両の進行方向に平行なガイド線の表示形態（色、太さ、線種など）を、車両後部端からの距離によって変化させてもよい。車両後部端からの距離を示すガイド線だけを表示する場合に、その長さは駐車幅または車両幅のどちらでもよい。駐車幅の長さを表示する場合には、車両幅に対応する部分とそれ以外の区分を異なる表示形態で表示させてもよい。

ガイド線生成部１３１では、図３に示す各ガイド線の始点および終点の座標を求めて出力する。後段の各関数演算部では、各ガイド線上の必要な箇所の点について、カメラで撮像されるときに受ける影響と同様の影響を与えた座標の値を演算する。演算された結果としてのガイド線情報に基づいて、線描画部１４でガイド線画像を生成する。そして、表示部１８にはカメラ画像に対してずれなくガイド線画像が重畳された画像が表示される。以下では、簡単のために図３に示す車両の後方の路面に仮想的に設定されたガイド線上の１つの座標Ｐ＝(x, y)を例に挙げて説明する。なお、座標Ｐは例えば車両から所定距離離れた車両後方の路面上の点を原点とする直交座標上の位置として定義することができる。

レンズ歪関数演算部１３２は、ガイド線生成部１３１で計算されたガイド線を示す座標Ｐに対して、情報記憶部１１から取得したレンズ歪情報に基づいて決められるレンズ歪関数ｉ()を演算することによりレンズ歪を受けた座標ｉ(Ｐ)に変換する。レンズ歪関数ｉ()とは、カメラユニット２のカメラで被写体を撮像する際に、レンズ形状によってカメラ画像が受ける歪を関数で表現したものである。レンズ歪関数ｉ()は、例えばレンズ歪に関するＺｈａｎｇのモデルにより求めることができる。Ｚｈａｎｇのモデルでは、放射歪曲でレンズ歪をモデル化しており、以下のような計算をする。
(u, v)をレンズ歪の影響を受けない正規化座標とし、(um, vm)をレンズ歪の影響を受けた正規化座標とすると、以下の関係が成立する。
um＝u + u*(k1*r²+k2*r⁴)
vm＝v + v*(k1*r²+k2*r⁴)
r²＝u² + u²
ここで、ｋ_１およびｋ_２は、放射歪曲によるレンズ歪を多項式で表したときの係数であり、レンズにより固有の定数である。

座標Ｐ＝(x, y)と、レンズ歪を受けた座標ｉ(Ｐ)＝(xm, ym)の間には、以下の関係がある。
xm＝x + (x - x₀)*(k1*r²+k2*r⁴)
ym＝y + (y - y₀)*(k1*r²+k2*r⁴)
r²＝(x - x₀)² + (y - y₀)²
ここに、(x₀, y₀)は、レンズ歪の影響を受けていない座標における放射歪曲の中心である主点に対応する路面上の点である。カメラユニット２の取り付け情報から、(x₀, y₀)を求めておく。なお、レンズ歪関数演算部１３２と射影関数演算部１３３では、レンズの光軸は、路面に垂直であり、上記の(x₀, y₀)を通るものとする。

射影関数演算部１３３は、レンズ歪関数演算部１３２から出力されるレンズ歪を受けた座標ｉ(Ｐ)に対し、さらに情報記憶部１１から取得した射影情報に基づいて決められる射影方式による関数ｈ()を演算することにより、射影方式による影響（以下、射影歪）を受けた座標ｈ(ｉ(Ｐ))に変換する。射影方式による関数ｈ()とは、レンズに対して角度θで入射した光が、レンズ中心からどれだけ離れた位置に集光するかを関数で示したものである。射影方式による関数ｈ()は、レンズの焦点距離をｆ、入射光の入射角度すなわち半画角をθ、カメラの撮像面における像高（レンズ中心と集光位置の距離）をＹとすると、射影方式ごとに、以下のどれかの式を使用して、像高Ｙを演算する。
立体射影 Ｙ=２*ｆ*ｔａｎ(θ/2)
等距離射影 Ｙ=ｆ*θ
等立体角射影 Ｙ=２*ｆ*ｓｉｎ(θ/2)
正射影 Ｙ=ｆ*ｓｉｎθ
射影関数演算部１３３は、レンズ歪関数演算部１３２から出力されるレンズ歪を受けた座標ｉ(Ｐ)を、レンズに対する入射角度θに変換し、上記の射影式の何れかに代入して像高Ｙを計算し、像高Ｙを座標に戻すことにより、射影歪を受けた座標ｈ(ｉ(Ｐ))を演算する。

投影面変換関数演算部１３４は、射影関数演算部１３３から出力される射影歪を受けた座標ｈ(ｉ(Ｐ))に対して、さらに情報記憶部１１から取得した取り付け情報に基づいて決められる投影面変換関数ｆ()を演算することにより、投影面変換を受けた座標ｆ(ｈ(ｉ(Ｐ)))に変換する。投影面変換とは、カメラで撮像される画像がカメラの取り付け位置や角度といった取り付け状態に依存することから、取り付け状態による影響を加える変換のことである。この変換により、ガイド線を示す各座標が取り付け情報で規定される位置で車両に取り付けたカメラで撮像したような座標に変換される。投影面変換関数ｆ()で使用する取り付け情報は、路面に対するカメラの取り付け位置の高さＬ、鉛直線に対するカメラの光軸の傾き角度である取り付け垂直角度φ、車両を前後に縦断する中心線に対する傾き角度である取り付け水平角度θh、車両幅の中心からの距離Ｈである。投影面変換関数ｆ()は、これらを使用する幾何学関数で表される。なお、カメラは光軸を回転軸とするチルト回転の方向にはずれておらず、正しく取り付けられているものとする。

視点変換関数演算部１３５は、投影面変換関数演算部１３４から出力される投影面変換を受けた座標ｆ(ｈ(ｉ(Ｐ)))に対し、さらに情報記憶部１１から取得した視点情報に基づいて決められる視点変換関数ｊ()を演算することにより、視点変換を行った座標ｊ(ｆ(ｈ(ｉ(Ｐ))))に変換する。被写体をカメラで撮像したときに得られる画像は、カメラが取り付けられた位置から被写体を見たような画像になっている。この画像を、別の位置に存在するカメラ（例えば、車両後方の路面において所定の高さの位置に路面に向くように仮想的に設置されたカメラ）が撮像したような画像、すなわち別の視点からの画像に変換することが、視点変換である。この視点変換は、元の画像に対し、アフィン変換と呼ばれる種類の変換を加えるものである。アフィン変換とは、平行移動と線形写像を組み合わせた座標変換のことである。アフィン変換における平行移動は、取り付け情報で規定される取り付け位置から上記別の位置までカメラを移動させることに対応している。線形写像は、カメラを取り付け情報で規定される方向から上記別の位置に存在するカメラの向きに合うようにカメラを回転させることに対応している。視点情報は、カメラの取り付け位置と別の視点の位置との差に関する平行移動情報と、カメラの取り付け情報で規定される方向と別の視点の向きの差に関する回転情報とから構成される。なお、視点変換に用いる画像変換は、アフィン変換に限られるものではなく、他の種類の変換によってもよい。

映像出力関数演算部１３６は、視点変換を受けた座標ｊ(ｆ(ｈ(ｉ(Ｐ))))に対して、さらに情報記憶部１１から取得した画角情報に基づいて決められる映像出力関数ｇ()を演算することにより、映像出力用の座標ｇ(ｊ(ｆ(ｈ(ｉ(Ｐ)))))に変換する。カメラで撮像されたカメラ画像のサイズと表示部１８が表示可能な画像のサイズとは一般的に異なっているため、カメラ画像は表示部１８が表示可能なサイズに変更される。そこで、映像出力関数演算部１３６において、視点変換を受けた座標ｊ(ｆ(ｈ(ｉ(Ｐ))))に対してカメラ画像の表示部１８に表示可能なサイズへの変更に相当する変換を適用することで、カメラ画像とスケールを一致させることができる。映像出力変換関数ｇ()は、カメラの最大水平画角Ｘａと最大垂直画角Ｙａと、映像出力における最大水平描画ピクセルサイズＸｐと最大垂直描画ピクセルサイズＹｐを使用する写像関数で表される。

なお、以上の説明では、ガイド線を示す各座標に対して、レンズ歪関数、射影関数、視点変換関数、投影面変換関数、映像出力関数の順で演算するものとしたが、各関数を演算する順番はこの順番でなくともよい。

なお、投影面変換関数演算部１３４における投影面変換関数ｆ()には、撮像されたカメラ画像のサイズを示す情報としてカメラ画角（カメラの最大水平画角Ｘａと最大垂直画角Ｙａ）が含まれている。そのため、カメラ画像受信部１５にて受信したカメラ画像の一部を切り出して表示させる場合でも、投影面変換関数ｆ()におけるカメラ画角の係数を変更することにより、一部を切り出したカメラ画像に合うようにガイド線を表示させることができる。

図４は、カメラ画像補正部１６の構成を示すブロック図である。カメラ画像補正部１６は、レンズ歪逆関数演算部１６１、射影歪逆関数演算部１６２、視点変換関数演算部１６３を含んで構成されている。これらの構成については、表示条件情報によって動作させない場合がある。そのため、簡単のために、まずこれら構成のすべてが動作する場合について説明する。

レンズ歪逆関数演算部１６１は、画像生成用情報に含まれるレンズ歪情報に基づいて上述のレンズ歪関数ｉ()の逆関数ｉ^-1()を求め、カメラ画像に対して演算する。カメラユニット２から送信されたカメラ画像は、カメラで撮像した際にレンズ歪の影響を受けているため、レンズ歪逆関数ｉ^-1()を演算することにより、レンズ歪の影響を受けていないカメラ画像に補正することができる。

射影逆関数演算部１６２は、画像生成用情報に含まれる射影情報に基づいて上述の射影関数ｈ()の逆関数ｈ^-1()を求め、レンズ歪逆関数演算部１６１から出力されたレンズ歪の影響を受けていないカメラ画像に対して演算する。カメラユニット２から送信されたカメラ画像は、カメラで撮像した際にレンズの射影方式による歪を受けているため、射影逆関数ｈ^-1()を演算することにより、射影歪を受けていないカメラ画像に補正することができる。

視点変換関数演算部１６３は、射影逆関数演算部１６２から出力された射影歪を受けていないカメラ画像に対して、画像生成用情報に含まれる視点情報に基づいて上述の視点変換関数ｊ()を適用する。こうして、視点変換を行ったカメラ画像を得ることができる。

図１において、画像重畳部１７は、線描画部１４にて演算描画されたガイド線画像が、カメラ画像補正部１６から出力される補正カメラ画像にオーバーレイされるよう、ガイド線画像および補正カメラ画像を別レイヤーの画像として重畳する。表示部１８は、レイヤーの異なるガイド線画像および補正カメラ画像のうち、補正カメラ画像に対し映像出力関数ｇ()を適用することにより、補正カメラ画像のサイズを表示部１８が表示可能なサイズに変更する。そして、ガイド線画像およびサイズの変更された補正カメラ画像を合成し、表示する。映像出力関数ｇ()をカメラ画像補正部１６で実行するようにしてもよい。ガイド線画像に対して、ガイド線計算部１３ではなく表示部１８で、映像出力関数ｇ()を実行するようにしてもよい。

次に動作について説明する。ガイド線計算部１３およびカメラ画像補正部１６の動作は、表示条件決定部１２から出力される表示条件情報により異なる。表示条件情報としては、カメラ画像補正部１６の動作すなわちカメラ画像の表示方法の違いにより、例えば以下の４個の表示条件が考えられる。なお、どの表示条件の場合でも、カメラ画像に整合するようにガイド線画像を描画する。

（１）第１の表示条件では、カメラ画像補正部１６はカメラ画像を補正しない。ガイド線計算部１３は、レンズ歪と射影方式による歪を加えて投影面変換を適用したガイド線情報を計算する。カメラユニット２のカメラのレンズは、１８０度以上の画角を有するいわゆる魚眼レンズであるため、カメラ画像にはカメラの設置場所の周辺を含んだ広い範囲が表示され、車両周辺の状況が把握しやすく、車両の発進時に車両の周囲に歩行者などがいないかを確認するのに適している。
第１の表示条件で表示される画像は歪を有するが広い範囲が見える画像であるので、第１の表示条件で表示される画像を広角画像と呼ぶ。

（２）第２の表示条件では、カメラ画像補正部１６はレンズ歪および射影方式による歪を取り除くようにカメラ画像を補正する。ガイド線計算部１３は、投影面変換だけを適用したガイド線情報を計算する。距離間の掴みやすい直角座標系の画像となるため、距離感を掴むことが重要な後退中に適した画像である。なお、直線性を保てる程度の画角には限界があり、第１の表示条件と比較して視野は狭くなる。レンズ形状による歪と射影方式による歪を除去した画像である第２の表示条件で表示される画像を、無歪画像と呼ぶ。

（３）第３の表示条件では、カメラ画像補正部１６はレンズ歪および射影方式による歪を取り除き、視点変換されたようにカメラ画像を補正する。ガイド線計算部１３は、投影面変換と視点変換を適用したガイド線情報を計算する。視点変換後の視点は、例えば車両の後部端中央が画像の端に来るような所定の位置と所定の高さ（例えば、５ｍ）にあり、真下を向いているとする。この視点に視点変換されたカメラ画像は、車両後方の路面を真上から見た画像となり、車両に平行または垂直な方向の間の角度が直角であるように見え、横方向ならびに縦方向の実距離に近い距離感をつかめる画像となるので、路面における車両の位置関係を把握しやすい。第３の表示条件で表示される画像を、別視点無歪画像と呼ぶ。

（４）第４の表示条件では、カメラ画像補正部１６は視点変換されたようにカメラ画像を補正する。ガイド線計算部１３は、レンズ歪と射影方式による歪を加えて投影面変換および視点変換を適用したガイド線情報を計算する。視点変換後の視点は、第３の表示条件の場合と同じである。この視点に視点変換されたカメラ画像は、車両後方の路面を真上から見た画像となり、歪はあるものの車両の周囲の広い範囲を見ることができる。第４の表示条件で表示される画像を、別視点広角画像と呼ぶ。また、第３の表示条件または第４の表示条件で表示される画像を、別視点画像と呼ぶ。

表示条件情報が第１の表示条件である場合、図２に示すガイド線計算部１３の構成のうち、視点変換関数演算部１３５以外の構成を動作させる。すなわち、視点変換関数演算部１３２、射影関数演算部１３３、および投影面変換関数演算部１３４による計算結果が映像出力変換関数演算部１３６に入力される。その結果、線描画部１４で生成されたガイド線画像は、図５のようになる。図５は、第１の表示条件で生成されたガイド線画像の例である。レンズ歪と射影方式による歪を有するカメラ画像と整合するように、同様な歪を加えたガイド線画像が生成される。図５において、線Ｌ１ａは駐車区画の幅を示すガイド線であり図３における直線Ｌ１に対応している。線Ｌ２ａは車両の幅を示すガイド線であり図３における直線Ｌ２に対応している。線Ｌ３ａ〜Ｌ５ａは車両からの距離を示すガイド線であり図３における直線Ｌ３〜Ｌ５に対応している。また、図４に示すカメラ画像補正部１６のすべての構成を動作させないようにする。すなわち、カメラ画像補正部１６は入力されたカメラ画像をそのまま画像重畳部１７に出力する。

表示条件情報が第２の表示条件である場合、図２に示すガイド線計算部１３の構成のうち、視点変換関数演算部１３２、射影関数演算部１３３、視点変換関数演算部１３５を動作させないようにする。すなわち、投影面変換関数演算部１３４にはガイド線生成部１３１から出力された座標Ｐがそのまま入力される。その結果、線描画部１４で生成されたガイド線画像は、図６のようになる。図６は、第２の表示条件のもとで生成されたガイド線画像の例である。レンズ歪と射影方式による歪を除いたカメラ画像と整合するように、歪がないガイド線画像が生成される。図６において、直線Ｌ１ｂは駐車区画の幅を示すガイド線であり図３における直線Ｌ１に対応している。直線Ｌ２ｂは車両の幅を示すガイド線であり図３における直線Ｌ２に対応している。直線Ｌ３ｂ〜Ｌ５ｂは車両からの距離を示すガイド線であり図３における直線Ｌ３〜Ｌ５に対応している。また、図４に示すカメラ画像補正部１６の構成うち、視点変換関数演算部１６３以外の構成を動作させる。すなわち、射影逆関数演算部１６２から出力されるカメラ画像が、補正カメラ画像として画像重畳部１７に入力される。

第１の表示条件で表示される広角画像と第２の表示条件で表示される無歪画像の関係を例により説明する表示装置に表示される画像の写真を、図７に示す。図７の上側が第１の表示条件で表示される広角画像であり、画像の周辺部が歪んでいるが広い範囲が表示されている。下側が第２の表示条件で表示される無歪画像である。無歪画像では、広角画像の中央部の黒い四角で囲んだ部分が、歪が無い状態で表示される。

魚眼レンズを使用することの利点について説明する。画像から歪を除く補正をする場合には、直線性を保てる程度の画角には射影方式により決まる限界がある。また、画角が広くなるほど、画像の端に近づくほど違和感が大きくなる。例えば、通常のレンズを用いた場合、レンズの焦点距離をｆ、入射光の入射角度すなわち半画角をθ、カメラの撮像面における像高をＹとすると、Ｙ＝ｆ*ｔａｎθの関係を満たすことになる。像高Ｙは正接関数（ｔａｎθ）であるため、正接関数を直線で近似できる範囲、すなわちθ＝−４５〜＋４５度程度の範囲の入射角度の入射光は少ない歪で撮像面に到達するが、その範囲外の入射角度の入射光は大きく歪んでしまうため、撮像面に到達できない、またはできたとしても大きく歪んだ像を形成することになる。この点、本実施の形態に係るカメラユニット２では、魚眼レンズを用いているので、通常のレンズよりも、より広い画角を少ない歪で撮像することができる。例えば、魚眼レンズの射影方式の１つである立体射影においてはＹ＝２*ｆ*ｔａｎ（θ／２）の関係を満たすが、正接関数がθ／２の関数となっているため、θ＝−９０〜＋９０度程度の範囲でＹはθにほぼ比例して変化する。つまり、１８０度程度の画角でほぼ歪がない画像に補正できることになる。

表示条件情報が第３の表示条件である場合、図２に示すガイド線計算部１３の構成のうち、レンズ歪関数演算部１３２および射影関数演算部１３３以外の構成を動作させる。すなわち、視点変換関数演算部１３５にはガイド線生成部１３１で生成されたガイド線上の点の座標Ｐがそのまま入力される。その結果、線描画部１４で生成されたガイド線画像は、図３のようになる。また、図４に示すカメラ画像補正部１６のすべての構成を動作させる。レンズ歪と射影方式による歪を除いて別の視点から撮像したようなカメラ画像に、別の視点から見たような歪が無いガイド線画像を重畳させて表示する。

第１の表示条件で表示される広角画像と第３の表示条件で表示される別視点無歪画像の関係を例により説明する表示装置に表示される画像の写真を、図８に示す。図８の下側が第３の表示条件で表示される無歪画像である。別視点無歪画像では、広角画像の中央部の黒い四角で囲んだ部分が、車両後方の上空にある視点から見た歪が無い画像として表示される。

表示条件情報が第４の表示条件である場合、図２に示すガイド線計算部１３のすべての構成を動作させる。その結果、線描画部１４で生成されたガイド線画像は、図９のようになる。図９は、第４の表示条件のもとで生成されたガイド線画像の例である。別の視点から撮像したようなレンズ歪と射影方式による歪を有するカメラ画像と整合するように、同様な歪を加え別の視点から見たようなガイド線画像が生成される。図９において、線Ｌ１ｃは駐車区画の幅を示すガイド線であり図３における直線Ｌ１に対応している。線Ｌ２ｃは車両の幅を示すガイド線であり図３における直線Ｌ２に対応している。線Ｌ３ｃ〜Ｌ５ｃは車両からの距離を示すガイド線であり図３における直線Ｌ３〜Ｌ５に対応している。また、図４に示すカメラ画像補正部１６の構成うち、視点変換関数演算部１６３のみ動作させる。すなわち、視点変換関数演算部１６３にはカメラ画像受信部１５が受信したカメラ画像がそのまま入力され、視点変換関数演算部１６３にて視点変換を行った画像が補正カメラ画像として画像重畳部１７に出力される。

車両を後退させて駐車する場合に、表示条件決定部１３がどのように動作して、車両状態を認識するかを説明する。図１０は、表示条件決定部１３が認識する車両状態の変化を説明する図である。
表示条件決定部１３が認識する車両状態には、以下の状態がある。なお、車両の速度は、後退方向に車両が移動している場合を正とする。

初期状態（ＪＡ）：下記以外の状態。車両のエンジンが入ると初期状態になる。運転支援装置の支援対象の状態ではない。下記のどれかの状態になった後で、停止していない状態でギア状態がリバース（後退）でなくなる、速度Ｖが所定速度(Ｖｒ１)以上になるなどの場合に、初期状態（ＪＡ）に戻る。速度Ｖが所定速度(Ｖｒ１)以上である場合は、運転者が移動方向を注意深く見る必要がないと思っていると考えられるので、初期状態（ＪＡ）に戻している。
下記が初期状態（ＪＡ）である条件のすべてではないが、下記の条件が満足する場合は、初期状態（ＪＡ）であると判断できる。下記の条件Ｃ_ＪＡを、明らかに初期状態である条件と呼ぶ。
Ｃ_ＪＡ＝速度Ｖが負である、または
速度Ｖが所定速度(Ｖｒ１)以上である、または
（速度Ｖがゼロでなく、かつギア状態がリバース以外である）。

後退準備状態（ＪＢ）：後退の準備をしている状態。後退準備状態（ＪＢ）であるための条件Ｃ_ＪＢは、以下のようになる。
Ｃ_ＪＢ＝ギア状態がリバースであり、かつ
移動距離Ｌがゼロ、かつ
速度Ｖがゼロである。

後退開始状態（ＪＣ）：後退を開始してから所定距離(Ｌ１)を移動するまでの状態。後退準備状態（ＪＢ）において速度Ｖが正になると後退開始状態になる。
Ｃ_ＪＣ＝ギア状態がリバースであり、かつ
移動距離Ｌが正かつ所定距離(Ｌ１)未満、かつ
速度Ｖが正で所定速度(Ｖｒ１)未満である。

後退可能状態（ＪＤ）：後退を開始してから所定距離(Ｌ１)を移動するまでで、停止した状態。
Ｃ_ＪＤ＝ギア状態がリバースであり、かつ
移動距離Ｌが正かつ所定距離(Ｌ１)未満、かつ
速度Ｖがゼロであり、かつ
サイドブレーキがＯＦＦ（効いていない）である。
なお、後退可能状態（ＪＤ）でサイドブレーキがＯＮ（効いている）になれば、後述する後退停止状態（ＪＭ）とする。

後退不可状態（ＪＥ）：後退可能状態（ＪＤ）において変速機がリバース以外になり、所定時間（Ｔｎ１）が経過していない状態。所定時間（Ｔｎ１）が経過すれば、初期状態（ＪＡ）とする。
Ｃ_ＪＤ＝移動距離Ｌが正かつ所定距離(Ｌ１)未満、かつ
速度Ｖがゼロであり、かつ
ギア状態がリバース以外であり、かつ
リバース以外の継続時間（Ｔｎ）が所定時間（Ｔｎ１）未満であり、かつ
サイドブレーキがＯＦＦである。
なお、後退不可状態（ＪＥ）でサイドブレーキがＯＮになれば、後述する後退停止状態（ＪＭ）とする。ギア状態がリバースになれば、後退可能状態（ＪＤ）とする。
車両を駐車させる場合に、車両を停止させた後でサイドブレーキをＯＮにする前にギア状態を変更した場合でも後退停止状態（ＪＭ）に変化できるように、所定時間（Ｔｎ１）までは後退不可状態（ＪＥ）として扱うことにしている。

後退状態（ＪＦ）：後退を開始してから所定距離(Ｌ１)以上を移動しても後退を継続しており、停止移行検出条件である減速の条件が成立していない状態。減速の条件が成立する場合は、次の後退停止移行状態（ＪＧ）とする。減速の条件は、減速すなわち加速度ａが負であることが所定時間（Ｔａ１）継続していることである。減速に継続時間の条件を持たせているのは、加速度ａが負とゼロ以上との間での変動が頻繁に発生するような場合に、後退状態（ＪＦ）と後退停止移行状態（ＪＧ）とが、短い間隔で頻繁に切替ることを防止するためである。
Ｃ_ＪＦ＝ギア状態がリバースであり、かつ
移動距離Ｌが所定距離(Ｌ１)以上であり、かつ
速度Ｖが正で所定速度(Ｖｒ１)未満であり、かつ
減速の条件Ｃ_ｇｎが成立しない。
Ｃ_ｇｎ＝加速度ａが負、かつ
加速度ａが負である継続時間（Ｔａ）が所定時間（Ｔａ１）以上である。

後退停止移行状態（ＪＧ）：後退状態（ＪＦ）になった後で、減速の条件が成立したまま後退している状態。
Ｃ_ＪＧ＝ギア状態がリバースであり、かつ
移動距離Ｌが所定距離(Ｌ１)以上であり、かつ
速度Ｖが正で所定速度(Ｖｒ１)未満であり、かつ
減速の条件Ｃ_ｇｎが成立する。

再後退可能状態（ＪＨ）：後退停止移行状態（ＪＧ）になった後で、後退可能な状態で車両が停止している状態。
Ｃ_ＪＨ＝ギア状態がリバースであり、かつ
サイドブレーキがＯＦＦであり、
移動距離Ｌが所定距離(Ｌ１)以上であり、かつ
速度Ｖがゼロである。

再後退不可状態（ＪＫ）：再後退可能状態（ＪＨ）において変速機がリバース以外になり、所定時間（Ｔｎ１）が経過していない状態。所定時間（Ｔｎ１）が経過すれば、初期状態（ＪＡ）とする。
Ｃ_ＪＤ＝移動距離Ｌが所定距離(Ｌ１)以上、かつ
速度Ｖがゼロであり、かつ
ギア状態がリバース以外であり、かつ
リバース以外の継続時間（Ｔｎ）が所定時間（Ｔｎ１）未満であり、かつ
サイドブレーキがＯＦＦである。
なお、後退不可状態（ＪＥ）でサイドブレーキがＯＮになれば、後述する後退停止状態（ＪＭ）とする。ギア状態がリバースになれば、再後退可能状態（ＪＨ）とする。

再後退状態（ＪＬ）：再後退可能状態（ＪＨ）のすぐ後で、車両が後退している状態。
Ｃ_ＪＬ＝ギア状態がリバースであり、かつ
速度Ｖが正で所定速度(Ｖｒ１)未満であり、かつ
移動距離Ｌが所定距離(Ｌ１)以上である。

後退停止状態（ＪＭ）：後退準備状態（ＪＢ）でない状態をとった後で、後退可能でない状態で車両が停止している状態。
Ｃ_ＪＭ＝速度Ｖがゼロで、かつ
サイドブレーキがＯＮである。

このような車両状態に対して、表示条件決定部１３は以下のように表示条件を決める。
（１）後退準備状態（ＪＢ）、後退開始状態（ＪＣ）、後退可能状態（ＪＤ）および後退不可状態（ＪＥ）では、第１の表示条件とする。カメラ画像はカメラで撮像された画像そのままであり、レンズ歪と射影方式による歪を有している。カメラユニット２のカメラのレンズは、１８０度以上の画角を有するいわゆる魚眼レンズであるため、カメラ画像にはカメラの設置場所の周辺を含んだ広い範囲が表示され、車両周辺の状況が把握しやすく、車両の発進時に車両の周囲に歩行者などがいないかを確認するのに適している。カメラ画像に整合するようにガイド線画像も表示されるので、駐車区画との距離が把握しやすくなる。

ここで、後退準備状態（ＪＢ）、後退可能状態（ＪＤ）および後退不可状態（ＪＥ）が、移動可能で車両が停止している状態である移動準備状態である。この実施の形態では、車両が移動中状態であると判断する所定の移動中条件は、車両が所定距離（Ｌ１）を移動することとしている。車両が所定距離（Ｌ１）を移動するまでで後退している状態である後退開始状態（ＪＣ）が、移動開始状態である。

（２）後退状態（ＪＦ）では、第２の表示条件とする。レンズ歪および射影方式による歪を取り除いたカメラ画像と、それに整合するガイド線画像が表示される。距離間の掴みやすい直角座標系の画像となるため、距離感を掴むことが重要な後退中に適した画像である。
車両が所定距離（Ｌ１）を移動した後で後退している後退状態（ＪＦ）が、移動中条件が成立した後で車両が移動している状態である移動中状態である。

（３）後退停止移行状態（ＪＧ）、再後退可能状態（ＪＨ）、後退停止状態（ＪＭ）および再後退不可状態（ＪＫ）では、第３の表示条件とする。視点変換されたカメラ画像は、車両後方の路面を真上から見た画像となり、車両に平行または垂直な方向の間の角度が直角であるように見え、横方向ならびに縦方向の実距離に近い距離感をつかめる画像となるので、路面における車両の位置関係を把握しやすい。
後退停止移行状態（ＪＧ）が、車両が停止し始めていることを検出する所定の停止移行検出条件（この実施の形態では減速の条件Ｃ_ｇｎ）が成立することを検出している状態である停止移行状態である。再後退可能状態（ＪＨ）、後退停止状態（ＪＭ）および再後退不可状態（ＪＫ）は、停止移行状態の後で車両が停止している状態である停止状態である。

（４）再後退状態（ＪＬ）では、その状態に変化してから数秒程度の移動方向状況確認期間では、車両の後方の広い範囲が表示するように、第１の表示条件で表示する。その後、停止移行状態と同様な第３の表示条件で表示する。
再後退状態（ＪＬ）が、停止状態の後で車両が移動している状態である再移動状態である。

初期状態（ＪＡ）はこの発明の運転支援装置の支援対象の状態ではないので、表示装置にはナビゲーション装置の画面が表示される。後退準備状態（ＪＢ）になった後で初期状態（ＪＡ）に戻った場合は、後退準備状態（ＪＢ）になる前に表示していた画面または初期状態（ＪＡ）に戻った時点での状態で決まる画面を表示する。なお、画面の表示を変えるような事象が発生するまでは、初期状態（ＪＡ）に変化する直前の状態での画面を表示するようにしてもよい。

図１１と図１２は、表示条件決定部１２における車両状態を判断する動作を説明するフロー図である。以下で、図１１と図１２について、図１０の状態変化を説明する図との関連も含めて説明する。

Ｓ１で車両のエンジンが始動すると、Ｓ２で表示条件決定部１２は、車両状態（以下、Ｓ_Ｏと表記する）を初期状態（ＪＡ）に設定し、移動距離Ｌ＝０とする。以後、ＥＣＵから車両情報が入力される周期（ΔＴ）で、Ｓ３以降の処理が繰り返し実行され、新たな車両状態（以下、Ｓ_Ｎと表記する）を決定する。Ｓ３では、明らかに初期状態である条件Ｃ_ＪＡが成立するかどうかをチェックする。なお、図１１と図１２では、リバース（後退）をＲと表記する。Ｃ_ＪＡが成立する場合は、Ｓ４でＳ_Ｎを初期状態（ＪＡ）とし、移動距離Ｌ＝０とする（図１０の初期状態（ＪＡ）に入るすべての矢印）。Ｓ３に戻る前に、Ｓ５でＳ_Ｏ＝Ｓ_Ｎとする。
Ｓ４でＣ_ＪＡが成立しない場合は、Ｓ６でＳ_Ｏが初期状態（ＪＡ）であるかどうかをチェックする。なお、Ｃ_ＪＡが成立しない場合は、速度Ｖがゼロ以上で所定速度(Ｖｒ１)未満であり、速度Ｖがゼロでない場合は、ギア状態はリバースであることになる。

（１）初期状態（ＪＡ）での処理
Ｓ６でＳ_Ｏが初期状態（ＪＡ）である場合は、Ｓ７で条件Ｃ_ＪＢが成立するかどうかをチェックする。Ｃ_ＪＢが成立する場合は、Ｓ８でＳ_Ｎを後退準備状態（ＪＢ）とする（図１０の矢印ｔ１）。Ｃ_ＪＢが成立しない場合は、Ｓ９でＳ_Ｎを初期状態（ＪＡ）とする（図１０の矢印ｔ２）。

Ｓ６でＳ_Ｏが初期状態（ＪＡ）でない場合は、Ｓ１０からＳ１６で、車両状態を判断するために必要な情報を計算する。Ｓ１０で移動距離Ｌに車両情報から得られる前回の処理時点からの移動距離Ｌｍを加算する（Ｌ＝Ｌ＋Ｌｍ）。Ｓ１１でギア状態がＲかどうかをチェックする。ギア状態がＲ（リバース）の場合は、Ｓ１２でギア状態がＲ以外である継続時間（Ｔｎ）をゼロにする（Ｔｎ＝０）。ギア状態がＲの場合は、Ｓ１３で継続時間（Ｔｎ）に１周期の時間（ΔＴ）を加算する（Ｔｎ＝Ｔｎ＋ΔＴ）。さらに、Ｓ１４で加速度ａが負かどうか（ａ＜０）をチェックする。加速度ａが負の場合は、Ｓ１５で加速度ａが負の継続時間（Ｔａ）に１周期の時間（ΔＴ）を加算する（Ｔａ＝Ｔａ＋ΔＴ）。加速度ａが負でない場合は、Ｓ１６で加速度ａが負の継続時間（Ｔａ）をゼロにする（Ｔａ＝０）。
Ｓ１７でＳ_Ｏが後退準備状態（ＪＢ）であるかどうかをチェックする。

（２）後退準備状態（ＪＢ）での処理
Ｓ１７でＳ_Ｏが後退準備状態（ＪＢ）である場合は、Ｓ１８で速度Ｖがゼロかどうかをチェックする。速度Ｖがゼロでない場合は、Ｓ１９でＳ_Ｎを後退開始状態（ＪＣ）とする（図１０の矢印ｔ３）。速度Ｖがゼロである場合は、Ｓ２０でギア状態がＲであり、かつサイドブレーキがＯＦＦであるかどうかをチェックする。ギア状態がＲであり、かつサイドブレーキがＯＦＦである場合は、Ｓ２１でＳ_Ｎを後退準備状態（ＪＢ）とする（図１０の矢印ｔ４）。そうでない場合は、Ｓ２２でＳ_Ｎを初期状態（ＪＡ）とし、移動距離Ｌ＝０とする（図１０の矢印ｔ５）。
Ｓ１７でＳ_Ｏが後退準備状態（ＪＢ）でない場合は、Ｓ２３でＳ_Ｏが後退開始状態（ＪＣ）であるかどうかをチェックする。

（３）後退開始状態（ＪＣ）での処理
Ｓ２３でＳ_Ｏが後退開始状態（ＪＣ）である場合は、Ｓ２４で移動距離Ｌが所定距離(Ｌ１)以上であるかどうか（Ｌ≧Ｌ１）をチェックする。Ｌ≧Ｌ１である場合は、Ｓ２５で後退状態（ＪＦ）とする（図１０の矢印ｔ６）。Ｌ＜Ｌ１である場合は、Ｓ２６で速度Ｖがゼロ（Ｖ＝０）であるかどうかチェックする。速度Ｖがゼロでない場合は、Ｓ２７でＳ_Ｎを後退開始状態（ＪＣ）とする（図１０の矢印ｔ７）。速度Ｖがゼロである場合は、Ｓ２８でＳ_Ｎを後退可能状態（ＪＤ）とする（図１０の矢印ｔ８）。
Ｓ２３でＳ_Ｏが後退開始状態（ＪＣ）でない場合は、Ｓ２９でＳ_Ｏが後退可能状態（ＪＤ）であるかどうかをチェックする。

（４）後退可能状態（ＪＤ）での処理
Ｓ２９でＳ_Ｏが後退可能状態（ＪＤ）である場合は、Ｓ３０で速度Ｖがゼロ（Ｖ＝０）であるかどうかチェックする。速度Ｖがゼロでない場合は、Ｓ３１でＳ_Ｎを後退開始状態（ＪＣ）とする（図１０の矢印ｔ１０）。速度Ｖがゼロである場合は、Ｓ３２でサイドブレーキがＯＮであるかどうかをチェックする。サイドブレーキがＯＮである場合は、Ｓ３３で移動距離ＬをＬ１とし（Ｌ＝Ｌ１）、Ｓ_Ｎを後退停止状態（ＪＭ）とする（図１０の矢印ｔ１１）。サイドブレーキがＯＦＦである場合は、Ｓ３４でギア状態がＲかどうかをチェックする。ギア状態がＲである場合は、Ｓ３５でＳ_Ｎを後退可能状態（ＪＤ）とする（図１０の矢印ｔ１２）。ギア状態がＲ以外である場合は、Ｓ３６でＳ_Ｎを後退不可状態（ＪＥ）とする（図１０の矢印ｔ１３）。
Ｓ２９でＳ_Ｏが後退可能状態（ＪＤ）でない場合は、Ｓ３７でＳ_Ｏが後退不可状態（ＪＥ）であるかどうかをチェックする。

（５）後退不可状態（ＪＥ）での処理
Ｓ３７でＳ_Ｏが後退不可状態（ＪＥ）である場合は、Ｓ３８でサイドブレーキがＯＮであるかどうかをチェックする。サイドブレーキがＯＮである場合は、Ｓ３９で移動距離ＬをＬ１とし（Ｌ＝Ｌ１）、Ｓ_Ｎを後退停止状態（ＪＭ）とする（図１０の矢印ｔ１４）。サイドブレーキがＯＦＦである場合は、Ｓ４０でギア状態がＲかどうかをチェックする。ギア状態がＲである場合は、Ｓ４１でＳ_Ｎを後退可能状態（ＪＤ）とする（図１０の矢印ｔ１５）。ギア状態がＲ以外である場合は、Ｓ４２でギア状態がＲ以外である継続時間（Ｔｎ）が所定時間（Ｔｎ１）以上であるかどうかをチェックする。所定時間（Ｔｎ１）以上である場合は、Ｓ４３でＳ_Ｎを初期状態（ＪＡ）とし、移動距離Ｌ＝０とする（図１０の矢印ｔ１６）。所定時間（Ｔｎ１）以上でない場合は、Ｓ４４でＳ_Ｎを後退不可状態（ＪＥ）とする（図１０の矢印ｔ１７）。
Ｓ３７でＳ_Ｏが後退不可状態（ＪＥ）でない場合は、Ｓ４５でＳ_Ｏが後退状態（ＪＦ）または後退停止移行状態（ＪＧ）であるかどうかをチェックする。

（６）後退状態（ＪＦ）または後退停止移行状態（ＪＧ）での処理
図１２に示すＳ４５でＳ_Ｏが後退状態（ＪＦ）または後退停止移行状態（ＪＧ）である場合は、Ｓ４６で速度Ｖがゼロ（Ｖ＝０）であるかどうかチェックする。速度Ｖがゼロである場合は、Ｓ４７でＳ_Ｎを再後退可能状態（ＪＨ）とする（図１０の矢印ｔ１８、ｔ１９）。速度Ｖがゼロでない場合は、Ｓ４８で減速の条件Ｃ_ｇｎが成立するかどうかをチェックする。Ｃ_ｇｎが成立する場合は、Ｓ４９でＳ_Ｎを後退停止移行状態（ＪＧ）とする（図１０の矢印ｔ２０、ｔ２１）。Ｃ_ｇｎが成立しない場合は、Ｓ５０でＳ_Ｎを後退状態（ＪＦ）とする（図１０の矢印ｔ２２、ｔ２３）。
Ｓ４５でＳ_Ｏが後退状態（ＪＦ）または後退停止移行状態（ＪＧ）でない場合は、Ｓ５１でＳ_Ｏが再後退可能状態（ＪＨ）であるかどうかをチェックする。

（７）再後退可能状態（ＪＨ）での処理
Ｓ５１でＳ_Ｏが再後退可能状態（ＪＨ）である場合は、Ｓ５２で速度Ｖがゼロかどうかをチェックする。速度Ｖがゼロでない場合は、Ｓ５３でＳ_Ｎを再後退状態（ＪＬ）とする（図１０の矢印ｔ２６）。速度Ｖがゼロである場合は、Ｓ５４でサイドブレーキがＯＮであるかどうかをチェックする。サイドブレーキがＯＮである場合は、Ｓ５５でＳ_Ｎを後退停止状態（ＪＭ）とする（図１０の矢印ｔ２７）。サイドブレーキがＯＦＦである場合は、Ｓ５６でギア状態がＲかどうかをチェックする。ギア状態がＲである場合は、Ｓ５７でＳ_Ｎを再後退可能状態（ＪＨ）とする（図１０の矢印ｔ２８）。ギア状態がＲ以外である場合は、Ｓ５８でＳ_Ｎを再後退不可状態（ＪＫ）とする（図１０の矢印ｔ２９）。
Ｓ５１でＳ_Ｏが再後退可能状態（ＪＨ）でない場合は、Ｓ５９でＳ_Ｏが再後退不可状態（ＪＫ）であるかどうかをチェックする。

（８）再後退不可状態（ＪＫ）での処理
Ｓ５９でＳ_Ｏが再後退不可状態（ＪＫ）である場合は、Ｓ６０でサイドブレーキがＯＮであるかどうかをチェックする。サイドブレーキがＯＮである場合は、Ｓ６１でＳ_Ｎを後退停止状態（ＪＭ）とする（図１０の矢印ｔ３１）。サイドブレーキがＯＦＦである場合は、Ｓ６２でギア状態がＲかどうかをチェックする。ギア状態がＲである場合は、Ｓ６３でＳ_Ｎを再後退可能状態（ＪＨ）とする（図１０の矢印ｔ３２）。ギア状態がＲ以外である場合は、Ｓ６４でギア状態がＲ以外である継続時間（Ｔｎ）が所定時間（Ｔｎ１）以上であるかどうかをチェックする。所定時間（Ｔｎ１）以上である場合は、Ｓ６５でＳ_Ｎを初期状態（ＪＡ）とし、移動距離Ｌ＝０とする（図１０の矢印ｔ３３）。所定時間（Ｔｎ１）以上でない場合は、Ｓ６６でＳ_Ｎを再後退不可状態（ＪＫ）とする（図１０の矢印ｔ３４）。
Ｓ５９でＳ_Ｏが再後退不可状態（ＪＫ）でない場合は、Ｓ６７でＳ_Ｏが再後退状態（ＪＬ）であるかどうかをチェックする。

（９）再後退状態（ＪＬ）での処理
Ｓ６７でＳ_Ｏが再後退状態（ＪＬ）である場合は、Ｓ６８で速度Ｖがゼロかどうかをチェックする。速度Ｖがゼロである場合は、Ｓ６９でＳ_Ｎを再後退可能状態（ＪＨ）とする（図１０の矢印ｔ３５）。速度Ｖがゼロでない場合は、Ｓ７０でＳ_Ｎを再後退状態（ＪＬ）とする（図１０の矢印ｔ３６）。
Ｓ６６でＳ_Ｏが再後退不可状態（ＪＫ）でない場合は、後退停止状態（ＪＭ）であることになる。

（１０）後退停止状態（ＪＭ）での処理
Ｓ_Ｏが後退停止状態（ＪＭ）である場合は、Ｓ７１でＣ_ＪＭが成立するかどうかをチェックする。Ｃ_ＪＭが成立する場合は、Ｓ７２でＳ_Ｎを後退停止状態（ＪＭ）とする（図１０の矢印ｔ３８）。Ｃ_ＪＭが成立しない場合は、Ｓ７３でＳ_Ｎを初期状態（ＪＡ）とし、移動距離Ｌ＝０とする（図１０の矢印ｔ３９）。

このようにして、変速機の状態（ギア状態）、速度Ｖ、移動距離Ｌ、加速度ａ、およびサイドブレーキの状態から、車両がどのような状態にあるか、すなわち、後退準備状態（ＪＢ）、後退開始状態（ＪＣ）、後退可能状態（ＪＤ）、後退不可状態（ＪＥ）、後退状態（ＪＦ）、後退停止移行状態（ＪＧ）、再後退可能状態（ＪＨ）、再後退不可状態（ＪＫ）、再後退状態（ＪＬ）、後退停止状態（ＪＭ）、初期状態（ＪＡ）のいずれの状態にあるかを判断する。判断した車両状態に応じて、運転者を支援する上で適切なカメラ画像を表示させることができる。

具体的には、車両が移動可能で停止している状態である移動準備状態すなわち後退準備状態（ＪＢ）、後退可能状態（ＪＤ）および後退不可状態（ＪＥ）、移動を開始してから所定の移動中条件が成立するまでの車両が移動している状態である移動開始状態すなわち後退開始状態（ＪＣ）では、魚眼レンズによる歪があるが広い範囲のカメラ画像である広角画像を表示するので、移動開始時に周囲の状況を確認しやすい。
移動中条件が成立した後で車両が移動している状態である移動中状態すなわち後退状態（ＪＦ）ではレンズ歪および射影方式による歪を取り除いた画像である無歪画像を表示するので、距離感が把握しやすく、適切な位置まで容易に後退させることができる。

移動している車両が停止し始めていることを検出する所定の停止移行検出条件が成立することを検出している状態である停止移行状態すなわち後退停止移行状態（ＪＧ）、停止移行状態の後で車両が停止している状態である停止状態すなわち再後退可能状態（ＪＨ）、再後退不可状態（ＪＫ）および後退停止状態（ＪＭ）では、レンズ歪および射影方式による歪を取り除き、車両の後方の上空にある別の視点から見た画像である別視点無歪画像を表示するので、路面における車両の位置関係を把握しやすい。
停止状態の後で車両が移動している状態である再移動状態すなわち再後退状態（ＪＬ）では、再移動状態になってから所定の移動方向状況確認期間は、魚眼レンズによる歪があるが広い範囲のカメラ画像である広角画像を表示するので、移動再開時に周囲の状況を確認しやすい。移動方向状況確認期間が経過した後は、別視点無歪画像を表示するので、路面における車両の位置関係を把握しやすい。

ここでは、車両状態が後退停止状態（ＪＭ）まで変化する場合で説明したが、後退停止移行状態（ＪＧ）になる前に初期状態（ＪＡ）に変化した場合でも、後退開始時に魚眼レンズによる広い範囲のカメラ画像（歪がある）を表示するので、後退開始時に周囲の状況を確認しやすい。後退状態（ＪＦ）から初期状態（ＪＡ）に変化した場合には、後退時に歪を取り除いた距離感が把握しやすい画像するので、適切な位置まで容易に後退させることができる。

ここでは、ガイド線画像をカメラ画像に重ねて表示したが、カメラ画像を車両状態に応じて変化させて表示するだけで上述の効果が得られる。ガイド線画像も表示することにより、車両の移動後の位置を把握しやすくなり、特に駐車するために停車する場合に有効である。

所定の移動中条件として、移動を開始してからの移動距離が所定距離以上になる場合としたが、移動を開始してからの時間が所定時間以上になる、車両の速度が所定速度以上になるなどの、他の条件でもよい。移動している車両が停止し始めていることを検出する所定の停止移行検出条件として、減速が所定時間継続した場合としたが、車両の速度が所定速度以下になる、移動を開始してから所定距離を移動した後で車両の速度が所定速度以下になるなど、他の条件でもよい。車両が停止したと判断する条件を、速度がゼロでサイドブレーキがＯＮであることとしたが、停止してから所定時間が経過するなど他の条件でもよい。

車両情報として車両の進行方向を変化させる操舵装置の操舵角の情報も入力し、移動状態であり、かつ操舵角から車両がほぼ直進していると判断できる場合だけ、車両後方の無歪画像を表示するようにしてもよい。操舵角が大きく車両が回転しながら移動する場合には、車両の近くにある障害物を回避しようとしている場合もあるので、車両が障害物を回避できているかどうかを把握しやすい広角画像の方が望ましい。

車両情報取得部が、電子制御ユニットから１周期での車両の移動距離を取得するとしたが、速度だけを取得し、前回と今回の速度と１周期の時間を使って台形近似により１周期の移動距離を求めてもよい。加速度は、電子制御ユニットが出力してもよいし、車両情報取得部において前回と今回の速度から求めてもよい。車両情報取得部は、運転支援装置に必要な車両状態を取得するものであれば、どのようなものでもよい。
以上のことは、他の実施の形態にもあてはまる。

実施の形態２．
実施の形態１にかかる運転支援システムでは、車両を後退させて駐車する場合について説明したが、車両を前進させて駐車させる場合もある。前進して駐車させる場合、小型車では運転者が車両の周囲の状況を直接視認できるため運転支援装置は特に必要にならないが、運転席が高い位置に設けられる大型車などでは、車両の前方の状況についても運転席から確認することが難しいため、運転支援装置の必要性が高い。そこで、車両を前進させて駐車する場合に車両の状態を判断し、表示するカメラ画像を切り換えるようにしたのが、実施の形態２にかかる運転支援システムである。また、路面にガイド線画像を表示しないようにしている。

図１３は、実施の形態２に係る運転支援システムの構成を示すブロック図である。実施の形態１の場合の構成である図１と異なる点だけを説明する。図１３において、運転支援システムは、運転支援装置であるホストユニット１ａとカメラユニット２とを含んで構成されている。
ホストユニット１ａは、ガイド線計算部１３（ガイド線情報生成部）、線描画部１４（ガイド線画像生成部）、画像重畳部１７を有しない。そのため、カメラ画像補正部１６が出力する画像が表示部１８に表示され、カメラ画像補正部１６が画像出力部を構成する。

情報記憶部１１ａには、画角情報、射影情報、レンズ歪情報および視点情報が記憶されている。車両情報取得部１０ａは、車両の変速機の状態（ギア状態）を示すギア状態情報、車両の速度を示す速度情報、車両情報が検出される１周期での車両の移動距離を示す移動距離情報を取得する。表示条件決定部１２ａ（車両状態判断部）は、車両情報取得部１０ａが取得した車両情報に基づいてカメラ画像をどのように表示部１８に表示させるかという表示条件情報を生成する。

カメラユニット２は、車両の前方で運転席からは見えない部分を撮像できる位置に設置されたカメラを有している。ホストユニット１ａの車両情報取得部１０ａが取得したギア状態が、前進できる状態、例えば、ロー（Ｌ）、セカンド（Ｓ）、ドライブ（Ｄ）、ニュートラル（Ｎ）の何れかである場合に、ホストユニット１は、カメラユニット２のカメラを、撮像してカメラ画像を送信するように制御する。ギア状態が前進できる状態であることを、前進ギア（Ｆｗと略記する）と呼ぶ。

車両を前進させて駐車する場合に、表示条件決定部１３がどのように動作するかを説明する。図１４は、表示条件決定部１３が認識する車両状態の変化を説明する図である。
表示条件決定部１３が認識する車両状態には、以下の状態がある。なお、車両の速度は、前進方向に車両が移動している場合を正とする。

初期状態（ＫＡ）：下記以外の状態。車両のエンジンが入ると初期状態になる。運転支援装置の支援対象の状態ではない。ギア状態が前進ギアでなくなる、速度Ｖが所定速度(Ｖｒ１)以上になるなどの場合に、初期状態（ＫＡ）に戻る。
下記が初期状態（ＫＡ）である条件のすべてではないが、下記の条件が満足する場合は、初期状態（ＫＡ）であると判断できる。下記の条件Ｃ_ＫＡを、前進時の明らかに初期状態である条件と呼ぶ。
Ｃ_ＫＡ＝速度Ｖが負である、または
速度Ｖが所定速度(Ｖｒ１)以上である、または
ギア状態が前進ギア以外である。

前進準備状態（ＫＢ）：前進の準備をしている状態。前進準備状態（ＫＢ）であるための条件Ｃ_ＫＢは、以下のようになる。
Ｃ_ＫＢ＝ギア状態が前進ギアであり、かつ
移動距離Ｌがゼロ、かつ
速度Ｖがゼロである。

前進開始状態（ＫＣ）：前進を開始してから所定距離を移動するまでの状態。前進準備状態（ＫＢ）において速度Ｖが正になると前進開始状態になる。
Ｃ_ＫＣ＝ギア状態が前進ギアであり、かつ
移動距離Ｌが正かつ所定距離(Ｌ１)未満、かつ
速度Ｖが正で所定速度(Ｖｒ１)未満である。

前進可能状態（ＫＤ）：前進を開始してから所定距離を移動するまでで停止しており、停止してから所定時間（Ｔｚ１）が経過していない状態。
Ｃ_ＫＤ＝ギア状態が前進ギアであり、かつ
移動距離Ｌが正かつ所定距離(Ｌ１)未満、かつ
速度Ｖがゼロであり、かつ
速度Ｖがゼロである継続時間（Ｔｚ）が所定時間（Ｔｚ１）未満である。
なお、停止が所定時間（Ｔｚ１）以上、経過すれば、初期状態（ＫＡ）とする。

前進状態（ＫＥ）：前進を開始してから所定距離(Ｌ１)以上を移動しても前進を継続しており、停止移行検出条件である低速の条件が成立していない状態。低速の条件が成立する場合は、次の前進停止移行状態（ＫＦ）とする。低速の条件は、速度Ｖが所定速度(Ｖｒ２、Ｖｒ２＜Ｖｒ１)未満であることが所定時間（Ｔｖ２）継続することである。速度Ｖが所定速度(Ｖｒ２)未満に継続時間の条件を持たせているのは、速度Ｖが所定速度(Ｖｒ２)以上と未満との間での変動が頻繁に発生するような場合に、前進状態（ＫＥ）と前進停止移行状態（ＫＦ）とが、短い間隔で頻繁に切替ることを防止するためである。
速度Ｖが所定速度(Ｖｒ２)以上になることなく所定距離(Ｌ１)以上を移動した場合は、所定距離(Ｌ１)以上を移動したことを検出してから所定時間（Ｔｖ２）までは、前進状態（ＫＥ）である。
Ｃ_ＫＥ＝ギア状態が前進ギアであり、かつ
移動距離Ｌが所定距離(Ｌ１)以上であり、かつ
速度Ｖが正で所定速度(Ｖｒ１)未満であり、かつ
低速の条件Ｃ_ｌｗが成立しない。
Ｃ_ｌｗ＝速度Ｖが所定速度(Ｖｒ２)未満、かつ
速度Ｖが所定速度(Ｖｒ２)未満の継続時間（Ｔｖ）が所定時間（Ｔｖ２）以上である。

前進停止移行状態（ＫＦ）：前進状態（ＫＥ）になった後で、低速の条件が成立したまま前進している状態。
Ｃ_ＫＦ＝ギア状態が前進ギアであり、かつ
移動距離Ｌが所定距離(Ｌ１)以上であり、かつ
速度Ｖが正で所定速度(Ｖｒ１)未満であり、かつ
低速の条件Ｃ_ｌｗが成立する。

前進停止状態（ＫＧ）：前進状態（ＫＥ）になった後で車両が停止しており、停止してから所定時間（Ｔｚ１）が経過していない状態。
Ｃ_ＫＧ＝速度Ｖがゼロで、かつ
ギア状態が前進ギアであり、かつ
速度Ｖがゼロである継続時間（Ｔｚ）が所定時間（Ｔｚ１）未満である。

再前進状態（ＫＨ）：再前進可能状態（ＪＨ）の後で、車両が前進している状態。
Ｃ_ＫＨ＝ギア状態が前進ギアであり、かつ
速度Ｖが正で所定速度(Ｖｒ１)未満であり、かつ
移動距離Ｌが所定距離(Ｌ１)以上である。

このような車両状態に対して、表示条件決定部１３は以下のように表示条件を決める。
（１）前進準備状態（ＫＢ）、前進開始状態（ＫＣ）および前進可能状態（ＫＤ）では、第１の表示条件とする。カメラ画像はカメラで撮像された画像そのままであり、レンズ歪と射影方式による歪を有している。カメラユニット２のカメラのレンズは、１８０度以上の画角を有するいわゆる魚眼レンズであるため、カメラ画像にはカメラの設置場所の周辺を含んだ広い範囲が表示され、車両周辺の状況が把握しやすく、車両の発進時に車両の周囲に歩行者などがいないかを確認するのに適している。

ここで、前進準備状態（ＫＢ）と前進可能状態（ＫＤ）が、移動可能で車両が停止している状態である移動準備状態である。この実施の形態では、車両が移動中状態であると判断する所定の移動中条件は、車両が所定距離（Ｌ１）を移動することとしている。車両が所定距離（Ｌ１）を移動するまでで前進している状態である前進開始状態（ＫＣ）が移動開始状態である。

（２）前進状態（ＫＥ）では、第２の表示条件とする。レンズ歪および射影方式による歪を取り除いたカメラ画像が表示される。距離間の掴みやすい直角座標系の画像となるため、距離感を掴むことが重要な前進中に適した画像である。
車両が所定距離（Ｌ１）を移動した後で前進している前進状態（ＫＥ）が、移動中条件が成立した後で車両が移動している状態である移動中状態である。

（３）前進停止移行状態（ＫＦ）と前進停止状態（ＫＧ）では、第３の表示条件とする。視点変換後の視点は、例えば車両の前部端中央が画像の端に来るような所定の位置と所定の高さ（例えば、５ｍ）にあり、真下を向いているとする。この視点に視点変換されたカメラ画像は、車両前方の路面を真上から見た画像となり、車両に平行または垂直な方向の間の角度が直角であるように見え、横方向ならびに縦方向の実距離に近い距離感をつかめる画像となるので、路面における車両の位置関係を把握しやすい。
前進停止移行状態（ＫＦ）が、車両が停止し始めていることを検出する所定の停止移行検出条件（この実施の形態では低速の条件Ｃ_ｌｗ）が成立することを検出している状態である停止移行状態である。前進停止状態（ＫＧ）は、停止移行状態の後で車両が停止している状態である停止状態である。

（４）再前進状態（ＫＨ）では、その状態に変化してから数秒程度の移動方向状況確認期間では、車両の後方の広い範囲が表示するように、第１の表示条件で表示する。その後、停止状態と同じ第３の表示条件で表示する。
再前進状態（ＫＨ）が、停止状態の後で車両が移動している状態である再移動状態である。

初期状態（ＫＡ）はこの発明の運転支援装置の支援対象の状態ではないので、表示装置にはナビゲーション装置の画面が表示される。前進準備状態（ＫＢ）になった後で初期状態（ＫＡ）に戻った場合は、前進準備状態（ＫＢ）になる前に表示していた画面または初期状態（ＫＡ）に戻った時点での状態で決まる画面を表示する。なお、画面の表示を変えるような事象が発生するまでは、初期状態（ＫＡ）に変化する直前の状態での画面を表示するようにしてもよい。

図１５と図１６は、表示条件決定部１２ａにおける車両状態を判断する動作を説明するフロー図である。以下で、図１５と図１６について、図１４の状態変化を説明する図との関連も含めて説明する。

まず、Ｕ１で車両のエンジンが始動すると、Ｕ２で表示条件決定部１２は、車両状態（Ｓ_Ｏ）を初期状態（ＫＡ）に設定する。以後、ＥＣＵから車両情報が入力される周期（ΔＴ）で、Ｕ３以降の処理が繰り返し実行され、新たな車両状態（Ｓ_Ｎ）を決定する。Ｕ３では、前進時の明らかに初期状態である条件Ｃ_ＫＡが成立するかどうかをチェックする。Ｃ_ＫＡが成立する場合は、Ｕ４でＳ_Ｎを初期状態（ＫＡ）とし、移動距離Ｌ＝０とする（図１４の初期状態（ＫＡ）に入るすべての矢印）。Ｕ３に戻る前に、Ｕ５でＳ_Ｏ＝Ｓ_Ｎとする。
Ｕ３でＣ_ＫＡが成立しない場合は、Ｕ６でＳ_Ｏが初期状態（ＫＡ）であるかどうかをチェックする。なお、Ｃ_ＫＡが成立しない場合は、速度Ｖがゼロ以上で所定速度(Ｖｒ１)未満であり、ギア状態は前進ギアであることになる。

（１）初期状態（ＫＡ）での処理
Ｕ６でＳ_Ｏが初期状態（ＫＡ）である場合は、Ｕ７で条件Ｃ_ＫＢが成立するかどうかをチェックする。Ｃ_ＫＢが成立する場合は、Ｕ８でＳ_Ｎを前進準備状態（ＫＢ）とする（図１４の矢印ｗ１）。Ｃ_ＫＢが成立しない場合は、Ｕ９でＳ_Ｎを初期状態（ＫＡ）とし、移動距離Ｌ＝０とする（図１４の矢印ｗ２）。

Ｕ６でＳ_Ｏが初期状態（ＫＡ）でない場合は、Ｕ１０からＵ１６で、車両状態を判断するために必要な情報を計算する。Ｕ１０で移動距離Ｌに車両情報から得られる前回の処理時点からの移動距離Ｌｍを加算する（Ｌ＝Ｌ＋Ｌｍ）。Ｕ１１で速度Ｖがゼロであるかどうかをチェックする。速度Ｖがゼロである場合は、Ｕ１２で継続時間（Ｔｚ）に１周期の時間（ΔＴ）を加算する（Ｔｚ＝Ｔｚ＋ΔＴ）。速度Ｖがゼロでない場合は、Ｕ１３で速度Ｖがゼロである継続時間（Ｔｚ）をゼロにする（Ｔｚ＝０）。さらに、Ｕ１４で速度Ｖが所定速度(Ｖｒ２)未満であるかどうか（Ｖ＜Ｖｒ２）をチェックする。速度Ｖが所定速度(Ｖｒ２)未満である場合は、Ｕ１５で速度Ｖが所定速度(Ｖｒ２)未満である継続時間（Ｔｖ）に１周期の時間（ΔＴ）を加算する（Ｔｖ＝Ｔｖ＋ΔＴ）。速度Ｖが所定速度(Ｖｒ２)未満でない場合は、Ｕ１６で速度Ｖが所定速度(Ｖｒ２)未満である継続時間（Ｔｖ）をゼロにする（Ｔｖ＝０）。
Ｕ１７でＳ_Ｏが前進準備状態（ＫＢ）であるかどうかをチェックする。

（２）前進準備状態（ＫＢ）での処理
Ｕ１７でＳ_Ｏが前進準備状態（ＫＢ）である場合は、Ｕ１８で速度Ｖがゼロかどうかをチェックする。速度Ｖがゼロである場合は、Ｕ１９でＳ_Ｎを前進準備状態（ＫＢ）とする（図１４の矢印ｗ３）。速度Ｖがゼロでない場合は、Ｕ２０でＳ_Ｎを前進開始状態（ＫＣ）とする（図１４の矢印ｗ４）。
Ｕ１７でＳ_Ｏが前進準備状態（ＫＢ）でない場合は、Ｕ２１でＳ_Ｏが前進開始状態（ＫＣ）であるかどうかをチェックする。

（３）前進開始状態（ＫＣ）での処理
Ｕ２１でＳ_Ｏが前進開始状態（ＫＣ）である場合は、Ｕ２２で移動距離Ｌが所定距離(Ｌ１)以上であるかどうか（Ｌ≧Ｌ１）をチェックする。Ｌ≧Ｌ１である場合は、Ｕ２３でＳ_Ｎを前進状態（ＫＥ）とする（図１４の矢印ｗ６）。Ｌ＜Ｌ１である場合は、Ｕ２４で速度Ｖがゼロ（Ｖ＝０）であるかどうかチェックする。速度Ｖがゼロである場合は、Ｕ２５でＳ_Ｎを前進可能状態（ＫＤ）とする（図１４の矢印ｗ７）。速度Ｖがゼロでない場合は、Ｕ２６でＳ_Ｎを前進開始状態（ＫＣ）とする（図１４の矢印ｗ８）。
Ｕ２１でＳ_Ｏが前進開始状態（ＫＣ）でない場合は、Ｕ２７でＳ_Ｏが前進可能状態（ＫＤ）であるかどうかをチェックする。

（４）前進可能状態（ＫＤ）での処理
図１６に示すＵ２７でＳ_Ｏが前進可能状態（ＫＤ）である場合は、Ｕ２８で速度Ｖがゼロ（Ｖ＝０）であるかどうかチェックする。速度Ｖがゼロでない場合は、Ｕ２９でＳ_Ｎを前進開始状態（ＫＣ）とする（図１４の矢印ｗ１０）。速度Ｖがゼロである場合は、Ｕ３０で速度Ｖがゼロである経過時間（Ｔｚ）が所定値（Ｔｚ１）以上であるかどうか（Ｔｚ≧Ｔｚ１）をチェックする。Ｔｚ≧Ｔｚ１である場合は、Ｕ３１でＳ_Ｎを初期状態（ＫＡ）とし、移動距離Ｌ＝０とする（図１４の矢印ｗ１１）。Ｔｚ＜Ｔｚ１である場合は、Ｕ３２でＳ_Ｎを前進可能状態（ＫＤ）とする（図１４の矢印ｗ１２）。
Ｕ２７でＳ_Ｏが前進可能状態（ＫＤ）でない場合は、Ｕ３３でＳ_Ｏが前進不可状態（ＪＥ）であるかどうかをチェックする。

（５）前進状態（ＫＥ）または前進停止移行状態（ＫＦ）での処理
Ｕ３３でＳ_Ｏが前進状態（ＫＥ）または前進停止移行状態（ＫＦ）である場合は、Ｕ３４で速度Ｖがゼロ（Ｖ＝０）であるかどうかチェックする。速度Ｖがゼロである場合は、Ｕ３５でＳ_Ｎを前進停止状態（ＫＧ）とする（図１４の矢印ｗ１３、ｗ１４）。速度Ｖがゼロでない場合は、Ｕ３６で低速の条件Ｃ_ｌｗが成立するかどうかをチェックする。Ｃ_ｌｗが成立する場合は、Ｕ３７でＳ_Ｎを前進停止移行状態（ＫＦ）とする（図１４の矢印ｗ１５、ｗ１６）。Ｃ_ｌｗが成立しない場合は、Ｕ３８でＳ_Ｎを前進状態（ＫＥ）とする（図１４の矢印ｗ１７、ｗ１８）。
Ｕ３３でＳ_Ｏが前進状態（ＫＥ）または前進停止移行状態（ＫＦ）でない場合は、Ｕ３９でＳ_Ｏが前進停止状態（ＫＧ）であるかどうかをチェックする。

（６）前進停止状態（ＫＧ）での処理
Ｕ３９でＳ_Ｏが前進停止状態（ＫＧ）である場合は、Ｕ４０で速度Ｖがゼロ（Ｖ＝０）であるかどうかチェックする。速度Ｖがゼロでない場合は、Ｕ４１でＳ_Ｎを再前進状態（ＫＨ）とする（図１４の矢印ｗ２１）。速度Ｖがゼロである場合は、Ｕ４２で速度Ｖがゼロである経過時間（Ｔｚ）が所定値（Ｔｚ１）以上であるかどうか（Ｔｚ≧Ｔｚ１）をチェックする。Ｔｚ≧Ｔｚ１である場合は、Ｕ４３でＳ_Ｎを初期状態（ＫＡ）とし、移動距離Ｌ＝０とする（図１４の矢印ｗ２２）。Ｔｚ＜Ｔｚ１である場合は、Ｕ４４でＳ_Ｎを前進停止状態（ＫＧ）とする（図１４の矢印ｗ２３）。
Ｕ３９でＳ_Ｏが前進停止状態（ＫＧ）でない場合は、再前進状態（ＫＨ）であることになる。

（７）再前進状態（ＫＨ）での処理
Ｓ_Ｏが再前進状態（ＫＨ）である場合は、Ｕ４５で速度Ｖがゼロかどうかをチェックする。速度Ｖがゼロである場合は、Ｕ４６でＳ_Ｎを前進停止状態（ＫＧ）とする（図１４の矢印ｗ２４）。速度Ｖがゼロでない場合は、Ｕ４７でＳ_Ｎを再前進状態（ＫＨ）とする（図１４の矢印ｗ２５）。

このようにして、変速機の状態（ギア状態）、速度Ｖおよび移動距離Ｌから、車両がどのような状態にあるか、すなわち、前進準備状態（ＫＢ）、前進開始状態（ＫＣ）、前進可能状態（ＫＤ）、前進状態（ＫＥ）、前進停止移行状態（ＫＦ）、前進停止状態（ＫＧ）、再前進状態（ＫＨ）、初期状態（ＫＡ）のいずれの状態に車両があるかを判断する。判断した車両状態に応じて、運転者を支援する上で適切なカメラ画像を表示させることができる。具体的には、前進準備状態（ＫＢ）と前進開始状態（ＫＣ）では、魚眼レンズによる広い範囲のカメラ画像（歪がある）を表示するので、前進開始時に周囲の状況を確認しやすい。前進状態（ＫＥ）ではレンズ歪および射影方式による歪を取り除いた画像を表示するので、距離感が把握しやすく、適切な位置まで容易に前進させることができる。前進停止移行状態（ＫＦ）、再前進可能状態（ＪＨ）および前進停止状態（ＫＧ）では、レンズ歪および射影方式による歪を取り除き車両の上から見た画像を表示するので、路面における車両の位置関係を把握しやすい。

ここでは、車両状態が前進停止状態（ＫＧ）まで変化する場合で説明したが、前進停止移行状態（ＫＦ）になる前に初期状態（ＫＡ）に変化した場合でも、前進開始時に魚眼レンズによる広い範囲のカメラ画像を表示するので、前進開始時に周囲の状況を確認しやすい。前進状態（ＫＥ）から初期状態（ＫＡ）に変化した場合には、前進時に歪を取り除いた距離感が把握しやすい画像するので、適切な位置まで容易に前進させることができる。

実施の形態１では車両が後退する場合、実施の形態２では車両が前進する場合で、運転者が移動する方向の路面の状況を把握しやすくなるような画像を表示した。後退と前進のどちらであっても車両が移動を開始する場合に、移動する方向の路面を車両状態に応じて適切な表示方法で表示するようにしてもよい。
これまでの実施の形態では、車両が移動を停止した後で、再度、移動する場合に、停止する前と同じ方向に移動する場合だけ、運転者を支援している。車両が移動を停止した後で、再度、移動する場合に、停止する前と異なる方向に移動する場合も、運転者を支援するようにしてもよい。
以上のことは、他の実施の形態にもあてはまる。

実施の形態３．
実施の形態１および２では、ホストユニットは表示部を備えているものとしたが、カメラ画像にガイド線画像が重畳された合成画像を出力する画像出力装置４と、外部の表示装置５例えば車載ナビゲーション装置とを組み合わせて、画像出力装置４が出力する合成画像を表示装置５に表示するように構成することもできる。この実施の形態では、画像出力装置４が運転支援装置である。図１７は、実施の形態３に係る運転支援システムの構成を示すブロック図である。図１と同一または対応する構成については、同一の符号を付し、説明を省略する。図１７において、電子制御ユニット３からギア状態情報が車両情報取得部１０および表示装置５に出力される。画像出力装置４における電子制御ユニット３との接続インターフェースは一般のナビゲーション装置と同じものになっているので、特別なインターフェースを用意しなくても画像出力装置４と電子制御ユニット３との間で通信を行うことができる。画像出力装置４が出力する画像信号は、表示装置５の外部入力端子に入力される。

表示装置５は、電子制御ユニット３から車両のギア状態がリバースであるギア状態情報が入力されている間、外部入力端子に入力される画像を表示するモードに切り換わり、画像出力装置４から出力される画像を表示する。そのため、車両の運転者が車両の変速機をリバースに入れると画像出力装置４からは合成画像が出力され、表示装置５には合成画像が表示されることになる。このようにして、駐車時に車両後方の路面の画像を表示し駐車を支援することができる。

なお、上述では表示装置５は、電子制御ユニット３から車両のギア状態がリバースであるギア状態情報が入力された場合に画像出力装置４から出力される画像を表示するようにした。これに加えて、表示装置５の外部入力端子に入力される画像を表示するモードに切り換える切り替えスイッチを表示装置５に設け、ユーザがこの切り替えスイッチを押した場合に画像出力装置４から出力される画像を表示させるようにしてもよい。この点は、他の実施の形態にもあてはまる。

実施の形態４．
実施の形態１においては、ホストユニットで車両状態に基づいて表示条件を決め、カメラユニットから送信されるカメラ画像とガイド線画像とを合成するようにした。カメラユニット内に、車両情報取得部、表示条件決定部、カメラ画像補正部を持たせることもできる。撮像したカメラ画像を基に、車両状態に応じて適切な表示条件での画像を出力するカメラユニットを運転支援カメラユニットと呼ぶ。この実施の形態４では、運転支援カメラユニットと、運転支援カメラユニットが出力する画像を表示する表示装置を組み合わせて、運転支援システムを構成する。
この実施の形態の運転支援カメラユニットは、情報記憶部、ガイド線計算部、線描画部といったガイド線画像を生成するための構成も有し、カメラ画像にガイド線画像が重畳された合成画像を出力する。

図１８は、実施の形態４に係る運転支援システムの構成を示すブロック図である。図１８において図１７と同一または対応する構成については同一の符号を付し、説明を省略する。カメラユニット２ａの撮像部２１は、車両情報取得部１０から車両のギア状態がリバースであるギア状態情報を受けている間、車両の後方の路面を撮像する。撮像部２１が撮像したカメラ画像はカメラ画像補正部１６に出力される。カメラ画像補正部１６は、実施の形態１などと同様に、カメラ画像を補正する。画像重畳部１８では、カメラ画像補正部１６が出力する画像と線描画部１４を出力するガイド線画像が重畳した合成画像を出力する。カメラユニット２ａが出力する画像信号は、表示装置５の外部入力端子に入力される。

本実施の形態における表示装置５も、実施の形態３の場合と同様に、電子制御ユニット３から車両のギア状態がリバースであるギア状態情報が入力されている間、外部入力端子に入力される画像を表示するモードに切り換わる。そのため、車両の運転者の操作に応じて車両の変速機がリバースの状態になると表示装置５に運転支援のための画像が表示される。

１，１ａ ホストユニット（運転支援装置）
２ カメラユニット（カメラ）
２ａ カメラユニット（運転支援カメラユニット）
３ 電子制御ユニット
４ 画像出力装置（運転支援装置）
５ 表示装置
１０ 車両情報取得部
１１ 情報記憶部（ガイド線情報記憶部）
１１ａ 情報記憶部
１２，１２ａ 表示条件決定部（車両状態判断部）
１３ ガイド線計算部（ガイド線情報生成部）
１４ 線描画部（ガイド線画像生成部）
１５ カメラ画像受信部
１６ カメラ画像補正部（画像生成部）
１７ 画像重畳部
１８ 表示部（表示装置）
２１ 撮像部（カメラ）

Claims (9)

1. 車両に取り付けられ前記車両が移動する方向の路面を撮像する広角レンズを有するカメラと接続され、前記カメラが撮像した画像であるカメラ画像に基づく画像を表示装置に表示する運転支援装置であって、
   前記カメラのレンズ形状による前記カメラ画像の歪を示すレンズ歪情報、前記広角レンズの射影方式による前記カメラ画像の歪を示す射影情報を含む画像生成用情報を記憶する情報記憶部と、
   前記車両の変速機の状態であるギア状態と速度とを含む車両情報を取得する車両情報取得部と、
   前記車両情報に基づいて、前記車両の状態である車両状態を判断する車両状態判断部と、
   前記画像生成用情報を利用して、前記カメラ画像を前記車両状態に応じて処理して前記表示装置に表示する画像を生成する画像生成部とを備え、
   前記車両状態判断部が、前記車両状態として、前記車両が移動可能で停止している状態である移動準備状態、移動を開始してから所定の移動中条件が成立するまでで前記車両が移動している状態である移動開始状態、前記移動中条件が成立した後で前記車両が移動している状態である移動中状態を判断し、
   前記画像生成部が、前記車両状態が前記移動準備状態または前記移動開始状態である場合に歪を有するが広い範囲が見える画像である広角画像を生成し、前記車両状態が前記移動中状態である場合に前記カメラ画像から前記レンズ形状による歪と前記射影方式による歪を除去した画像である無歪画像を生成することを特徴とする運転支援装置。
2. 前記情報記憶部に、前記カメラとは別の位置に存在する視点の位置と前記カメラの取り付け位置との差である平行移動情報と前記視点の向きと前記カメラが取り付けられている向きとの差である回転情報からなる視点情報が記憶され、
   前記車両状態判断部は、移動している前記車両が停止し始めていることを検出する所定の停止移行検出条件が成立することを検出している状態である停止移行状態を判断し、
   前記画像生成部は、前記車両状態が前記停止移行状態である場合に前記カメラ画像から前記レンズ形状による歪と前記射影方式による歪を除去し前記視点から見た画像である別視点無歪画像を生成することを特徴とする請求項１に記載の運転支援装置。
3. 前記車両状態判断部は、前記停止移行状態の後で車両が停止している状態である停止状態を判断し、
   前記画像生成部は、前記車両状態が前記停止状態である場合に前記別視点無歪画像を生成することを特徴とする請求項２に記載の運転支援装置。
4. 前記車両状態判断部は、前記停止状態の後で前記車両が移動している状態である再移動状態を判断し、
   前記画像生成部は、前記車両状態が前記再移動状態になってから所定の移動方向状況確認期間は前記広角画像を生成することを特徴とする請求項３に記載の運転支援装置。
5. 前記画像生成部は、前記移動方向状況確認期間の後で前記車両状態が前記再移動状態である場合に前記別視点無歪画像を生成することを特徴とする請求項４に記載の運転支援装置。
6. 前記車両状態判断部は、所定の停止確定条件が成立するまでに前記車両が移動している場合に前記再移動状態を判断し、前記停止確定条件が成立した後では前記移動準備状態、前記移動開始状態および前記移動中状態を判断することを特徴とする請求項４または請求項５に記載の運転支援装置。
7. 前記車両が移動する方向の路面に設定されるガイド線の間隔に関するガイド線間隔情報、および前記カメラの前記車両への取り付け位置および角度を示す取り付け情報を記憶するガイド線情報記憶部と、
   前記ガイド線情報記憶部に記憶された情報に基づいて、前記路面に設定される前記ガイド線の前記画像生成部が生成する画像における位置に関するガイド線情報を生成するガイド線情報生成部と、
   前記ガイド線情報に基づいて前記ガイド線を表すガイド線画像を生成するガイド線画像生成部とを備え、
   前記画像生成部が生成する画像に前記ガイド線画像が重畳した画像を前記表示装置に表示することを特徴とする請求項１ないし請求項６の何れかに記載の運転支援装置。
8. 車両に取り付けられ前記車両が移動する方向の路面を撮像する広角レンズを有するカメラと、
   前記カメラに接続され、前記カメラが撮像したカメラ画像に基づく画像を表示装置に表示する請求項１ないし請求項７の何れかに記載の運転支援装置とを備える運転支援システム。
9. 車両が移動する方向の路面の画像を撮像して、撮像したカメラ画像に基づく画像を表示装置に表示する運転支援カメラユニットであって、
   前記車両に取り付けられ前記路面を撮像する広角レンズを有するカメラと、
   前記カメラのレンズ形状による前記カメラ画像の歪を示すレンズ歪情報、前記広角レンズの射影方式による前記カメラ画像の歪を示す射影情報を含む画像生成用情報を記憶する情報記憶部と、
   前記車両の変速機の状態であるギア状態と速度とを含む車両情報を取得する車両情報取得部と、
   前記車両情報に基づいて、前記車両の状態である車両状態を判断する車両状態判断部と、
   前記画像生成用情報を利用して、前記カメラ画像を前記車両状態に応じて処理して前記表示装置に表示する画像を生成する画像生成部とを備え、
   前記車両状態判断部が、前記車両状態として、前記車両が移動可能で停止している状態である移動準備状態、移動を開始してから所定の移動中条件が成立するまでで前記車両が移動している状態である移動開始状態、前記移動中条件が成立した後で前記車両が移動している状態である移動中状態を判断し、
   前記画像生成部が、前記車両状態が前記移動準備状態または前記移動開始状態である場合に歪を有するが広い範囲が見える画像である広角画像を生成し、前記車両状態が前記移動中状態である場合に前記カメラ画像から前記レンズ形状による歪と前記射影方式による歪を除去した画像である無歪画像を生成することを特徴とする運転支援カメラユニット。

Images