JP5379913B2 - 駐車支援装置、駐車支援システム、および駐車支援カメラユニット - Google Patents

Description

この発明は、運転者が車両を駐車するときに、車両の背後の状況を運転者に視認させることにより、車両を背後の駐車区画に移動させて駐車することを支援する駐車支援装置に関するものである。

駐車支援装置は、車両に取り付けたカメラにより車両の後方の駐車面を撮像し、撮像したカメラ画像に基づいて、車両の運転者が車両を駐車する際の駐車位置の目安となるガイド線が駐車面に設定された画像を表示する。このような表示は、ガイド線を表すガイド線画像をカメラ画像に重ねて表示することでなされている。従来は、駐車面に対して所定の基準状態で駐車された車両のカメラにより駐車面を撮像し、撮像した基準カメラ画像に対してガイド線を設定したガイド線画像を予め生成していた。そして、車両を駐車する際に予め生成されたガイド線画像をカメラ画像に重ねて表示することにより、駐車を支援していた。また、このように生成したガイド線画像であっても、カメラを実際に車両に取り付けた際には取り付け誤差が発生する場合には、適切な位置にガイド線を表示できない。そこで、ガイド線画像を利用して、取り付け誤差を修正するものがある（特許文献１）。

特開２００７−１５８６９５号公報

しかし、基準カメラ画像を撮像するには、車両を基準状態に正確に駐車しておき、カメラを車両の種類ごとに決まる所定の取り付け位置に所定の角度で正確に取り付ける必要がある。また、カメラ画像は広い範囲を撮像するために歪んでおり、ガイド線画像をカメラ画像の歪みに合わせて描画するのは手作業で行っていた。そのため、ガイド線画像の生成に時間がかかり、駐車支援装置を製造するメーカにとって大きな負担となっていた。

そこで、本願発明は、ガイド線画像を容易に生成することが可能な駐車支援装置を提供することを目的とする。

本発明に係る駐車支援装置は、車両に取り付けられ前記車両の後方の駐車面を撮像するカメラと接続され、前記カメラが撮像したカメラ画像に基づいて、前記車両を駐車する際の目安となるガイド線が前記駐車面に設定された画像を表示装置に表示する駐車支援装置であって、前記ガイド線の間隔に関するガイド線間隔情報、および前記カメラの前記車両への取り付け位置および角度を示す取り付け情報を記憶する情報記憶部と、前記ガイド線間隔情報、および前記取り付け情報に基づいて、前記駐車面に設定される前記ガイド線の前記カメラ画像における位置に関するガイド線情報を生成するガイド線情報生成部と、前記ガイド線情報に基づいて前記ガイド線を表すガイド線画像を生成するガイド線画像生成部と、前記ガイド線画像と前記カメラ画像に基づいて前記ガイド線が前記駐車面に設定された画像を前記表示装置に出力する画像出力部とを備えるものである。

本発明によれば、ガイド線画像を容易に生成することができる。

実施の形態１に係る駐車支援システムの構成を示すブロック図である。 実施の形態１に係る駐車支援システムのガイド線計算部の構成を示すブロック図である。 実施の形態１に係る駐車支援システムのガイド線生成部で計算される実空間上におけるガイド線の例である。 実施の形態１に係る駐車支援システムのカメラ画像補正部の構成を示すブロック図である。 実施の形態１に係る駐車支援システムにおいて第１の表示条件で表示されるガイド線画像の例である。 実施の形態１に係る駐車支援システムにおいて第２の表示条件で表示されるガイド線画像の例である。 実施の形態１に係る駐車支援システムにおいて第３の表示条件で表示されるガイド線画像の例である。 実施の形態２に係る駐車支援システムの構成を示すブロック図である。 実施の形態３に係る駐車支援システムの構成を示すブロック図である。 実施の形態４に係る駐車支援システムの構成を示すブロック図である。 実施の形態５に係る駐車支援システムの構成を示すブロック図である。 実施の形態６に係る駐車支援システムの構成を示すブロック図である。 実施の形態７に係る駐車支援システムの構成を示すブロック図である。

実施の形態１．
図１は、実施の形態１に係る駐車支援システムの構成を示すブロック図である。図１において、駐車支援システムは、駐車支援装置であるホストユニット１および当該ホストユニット１と接続されるカメラユニット２とを含んで構成されている。電子制御ユニット３は車両に搭載された電子機器を電子回路により制御する一般に車両に搭載されているＥＣＵ（Electric Control Unit）であり、車両情報を検出してホストユニット１に出力する車両情報出力装置である。本実施の形態において車両情報出力装置は特に、シフト位置情報出力装置として運転者の操作に応じて変化する車両の変速機の状態を示すシフト位置情報をホストユニット１に対して出力する。自動車には、目的地への経路を案内するカーナビゲーション装置が搭載される場合が多く、カーナビゲーション装置には車両に予め搭載されているものと、車両とは別に販売されて車両に取り付けられるものがある。そこで、市販のカーナビゲーション装置を取り付けられるように、ＥＣＵにはシフト位置情報を出力する端子が設けられている。そのため、本実施の形態に係る駐車支援システムでは、ホストユニット１をこの出力端子と接続することによりシフト位置情報を取得することができる。なお、ホストユニット１は、カーナビゲーション装置と一体であってもよいし、別装置であってもよい。

ホストユニット１は、電子制御ユニット３から出力されるシフト位置情報に基づいて車両の変速機の状態を検出するシフト位置検出部１０、後述するガイド線を計算するための情報が記憶された情報記憶部１１、後述するガイド線画像およびカメラ画像をどのように表示部１８に表示させるのかを決める表示条件情報を記憶する表示条件記憶部１２、情報記憶部１１に記憶された情報および表示条件記憶部１２に記憶された表示条件情報に基づいて、後述する表示部１８に表示された際のガイド線の描画位置すなわちカメラが撮像するカメラ画像における位置と形状についての情報であるガイド線情報を計算するガイド線計算部１３（ガイド線情報生成部）、ガイド線計算部１３にて計算されたガイド線情報に基づいて当該ガイド線が描画されたガイド線画像を生成する線描画部１４（ガイド線画像生成部）、カメラユニット２から送信されるカメラ画像を受信するカメラ画像受信部１５、情報記憶部１１に記憶された情報および表示条件記憶部１２に記憶された表示条件情報に基づいて、カメラ画像受信部１５にて受信されたカメラ画像を補正するカメラ画像補正部１６、線描画部１４から出力されるガイド線画像とカメラ画像補正部１６から出力される補正カメラ画像とを異なるレイヤーの画像に設定することにより、ガイド線画像および補正カメラ画像を重畳する画像重畳部１７、画像重畳部１７から出力されるレイヤーの異なるガイド線画像および補正カメラ画像を１つの画像に合成し表示する表示部１８（例えば車室内のモニター）から構成されている。また、カメラユニット２は、車両の周囲（とくに背後）を撮像する撮像部としてのカメラ（図示せず）を有しており、ホストユニット１のシフト位置検出部１０から車両の変速機がリバース（後退）の状態である旨のシフト位置情報が入力された場合に、ホストユニット１に対しカメラで撮像したカメラ画像を送信する。なお、カメラ画像補正部１６および画像重畳部１７は画像出力部を構成する。以上の構成により、表示部１８には、カメラユニット２から送信されたカメラ画像に対して線描画部１４で生成したガイド線画像が重畳した画像が表示され、車両の運転者は当該画像を確認することにより、運転する車両の背後や周囲の状況を視認しながら、ガイド線を目安として車両を駐車することができる。以下、駐車支援システムを構成する各構成について、詳細に説明する。

図１において、情報記憶部１１には、後述するガイド線を計算するためのガイド線計算情報、すなわち、取り付け情報、画角情報、射影情報、視点情報、レンズ歪情報、駐車幅情報、車両幅情報、および車両後部端からの安全距離、注意距離、警告距離の距離情報が記憶されている。取り付け情報とは、車両に対してカメラがどのように取り付けられているか、すなわち取り付け位置と取り付け角度とを示す情報である。画角情報とは、カメラユニット２のカメラで撮像される被写体の範囲を示す角度情報、および表示部１８での画像表示時における表示範囲を示す表示情報である。角度情報には、カメラの最大水平画角Ｘａおよび最大垂直画角Ｙａもしくは対角画角が含まれている。表示情報には、表示部１８の最大水平描画ピクセルサイズＸｐおよび最大垂直描画ピクセルサイズＹｐが含まれている。射影情報とは、カメラユニット２のカメラに用いられるレンズの射影方式を示す情報である。本実施の形態では、カメラのレンズとして魚眼レンズを用いているため、射影情報の値としては、立体射影、等距離射影、等立体角射影、および正射影のいずれかをとる。視点情報は、カメラがあると想定する別の位置に関する情報である。レンズ歪み情報は、レンズによる画像の歪みに関するレンズの特性の情報である。なお、射影情報、レンズ歪情報、視点情報は、後述のカメラ補正情報を構成している。駐車幅情報とは、車両の幅に所定の余裕幅を加えた駐車幅（例えば駐車区画の幅）を示す情報である。車両後部端からの安全距離、注意距離、警告距離の距離情報とは、車両の後部の端からの後方に対する距離で、例えば、安全距離は、車両後方端から１ｍ、注意距離は、５０ｃｍ、警告距離は、１０ｃｍとして、車両後方における距離の目安を示す。車両後部端から安全距離、注意距離、警告距離に引かれたガイド線を目安にして、車両後方に映る障害物が、車両後方端からどの程度の距離を持つかを運転者が把握することができる。なお、駐車幅情報、車両幅情報および車両後部端からの安全距離、注意距離、警告距離の距離情報は、ガイド線画像に設定描画されるガイド線の間隔に関するガイド線間隔情報である。

図２は、ガイド線計算部１３の構成を示すブロック図である。ガイド線計算部１３は、ガイド線生成部１３１、レンズ歪関数演算部１３２、射影関数演算部１３３、投影面変換関数演算部１３４、視点変換関数演算部１３５、および映像出力変換関数演算部１３６とを含んで構成されている。レンズ歪関数演算部１３２、射影関数演算部１３３、視点変換関数演算部１３５については、表示条件情報によって動作させない場合がある。そのため、簡単のために、まず上記各構成のすべてが動作する場合について説明する。

ガイド線生成部１３１は、シフト位置検出部１０から車両の変速機がリバース（後退）の状態である旨のシフト位置情報が入力された場合に、情報記憶部１１から取得した駐車幅情報および車両幅情報に基づいて、車両の後方の車両を駐車する位置の面である駐車面に仮想的にガイド線を設定する。図３にガイド線生成部１３１で計算される実空間上におけるガイド線の例を示す。図３において、直線Ｌ１は駐車区画の幅を示すガイド線であり、直線Ｌ２は車両の幅を示すガイド線であり、直線Ｌ３〜Ｌ５は車両後端部からの距離を示すガイド線である。Ｌ３が警告距離、Ｌ４が注意距離、Ｌ５が安全距離を示す。直線Ｌ１およびＬ２は、車両に最も近い直線Ｌ３よりも車両側から始まり、車両から遠い側に駐車区画の長さ程度以上の長さを有する。直線Ｌ３〜Ｌ５は両側の直線Ｌ２を結ぶように描画する。方向Ｄ１は駐車区画に車両が進入する方向を示している。なお、車両幅と駐車幅の両方のガイド線を表示したが、どちらかだけを表示させてもよい。また、車両後端部からの距離を示すガイド線は、２本以下または４本以上でもよい。例えば、直線Ｌ３〜Ｌ５のどれかから車長と同じ距離のガイド線を表示してもよい。車両の進行方向に平行なガイド線（図３ではＬ１とＬ２）と、車両後端部からの距離を示すガイド線のどちらかだけを表示してもよい。車両の進行方向に平行なガイド線の表示形態（色、太さ、線種など）を、車両後端部からの距離によって変化させたり、車両後端部から所定の距離を示す目印を付けたりしてもよい。車両後端部からの距離を示すガイド線の長さは駐車幅、車両幅、あるいはそれ以外でもよい。駐車幅以上の長さを表示する場合には、車両幅と駐車幅のどちらかまたは両方に対応する部分が分かるように表示させてもよい。

ガイド線生成部１３１では、図３に示す各ガイド線の始点および終点の座標を求めて出力する。後段の各関数演算部では、各ガイド線上の必要な箇所の点について、カメラで撮像されるときに受ける影響と同様の影響を与えた座標の値を演算する。演算された結果としてのガイド線情報に基づいて、線描画部１４でガイド線画像を生成する。そして、表示部１８にはカメラ画像に対してずれなくガイド線画像が重畳された画像が表示される。以下では、簡単のために図３に示す車両の後方の駐車面に仮想的に設定されたガイド線上の１つの座標Ｐ＝(x, y)を例に挙げて説明する。なお、座標Ｐは例えば車両から所定距離離れた車両後方の駐車面上の点を原点とする直交座標上の位置として定義することができる。

レンズ歪関数演算部１３２は、ガイド線生成部１３１で計算されたガイド線を示す座標Ｐに対して、情報記憶部１１から取得したレンズ歪情報に基づいて決められるレンズ歪関数ｉ()を演算することによりレンズ歪みを受けた座標ｉ(Ｐ)に変換する。レンズ歪関数ｉ()とは、カメラユニット２のカメラで被写体を撮像する際に、レンズ形状によってカメラ画像が受ける歪みを関数で表現したものである。レンズ歪関数ｉ()は、例えばレンズ歪みに関するＺｈａｎｇのモデルにより求めることができる。Ｚｈａｎｇのモデルでは、放射歪曲でレンズ歪みをモデル化しており、以下のような計算をする。
(u, v)をレンズ歪みの影響を受けない正規化座標とし、(um, vm)をレンズ歪みの影響を受けた正規化座標とすると、以下の関係が成立する。
um＝u + u*(k1*r²+k2*r⁴)
vm＝v + v*(k1*r²+k2*r⁴)
r²＝u² + u²
ここで、ｋ_１およびｋ_２は、放射歪曲によるレンズ歪みを多項式で表したときの係数であり、レンズにより固有の定数である。
座標Ｐ＝(x, y)と、レンズ歪みを受けた座標ｉ(Ｐ)＝(xm, ym)の間には、以下の関係がある。
xm＝x + (x - x₀)*(k1*r²+k2*r⁴)
ym＝y + (y - y₀)*(k1*r²+k2*r⁴)
r²＝(x - x₀)² + (y - y₀)²
ここに、(x₀, y₀)は、レンズ歪みの影響を受けていない座標における放射歪曲の中心である主点に対応する駐車面上の点である。カメラユニット２の取り付け情報から、(x₀, y₀)を求めておく。なお、レンズ歪関数演算部１３２と射影関数演算部１３３では、レンズの光軸は、駐車面に垂直であり、上記の(x₀, y₀)を通るものとする。

射影関数演算部１３３は、レンズ歪関数演算部１３２から出力されるレンズ歪みを受けた座標ｉ(Ｐ)に対し、さらに情報記憶部１１から取得した射影情報に基づいて決められる射影方式による関数ｈ()を演算することにより、射影方式による影響（以下、射影歪み）を受けた座標ｈ(ｉ(Ｐ))に変換する。射影方式による関数ｈ()とは、レンズに対して角度θで入射した光が、レンズ中心からどれだけ離れた位置に集光するかを関数で示したものである。射影方式による関数ｈ()は、レンズの焦点距離をｆ、入射光の入射角度すなわち半画角をθ、カメラの撮像面における像高（レンズ中心と集光位置の距離）をＹとすると、射影方式ごとに、以下のどれかの式を使用して、像高Ｙを演算する。
立体射影 Ｙ=２*ｆ*ｔａｎ(θ/2)
等距離射影 Ｙ=ｆ*θ
等立体角射影 Ｙ=２*ｆ*ｓｉｎ(θ/2)
正射影 Ｙ=ｆ*ｓｉｎθ
射影関数演算部１３３は、レンズ歪関数演算部１３２から出力されるレンズ歪みを受けた座標ｉ(Ｐ)を、レンズに対する入射角度θに変換し、上記の射影式の何れかに代入して像高Ｙを計算し、像高Ｙを座標に戻すことにより、射影歪みを受けた座標ｈ(ｉ(Ｐ))を演算する。

投影面変換関数演算部１３４は、射影関数演算部１３３から出力される射影歪みを受けた座標ｈ(ｉ(Ｐ))に対して、さらに情報記憶部１１から取得した取り付け情報に基づいて決められる投影面変換関数ｆ()を演算することにより、投影面変換を受けた座標ｆ(ｈ(ｉ(Ｐ)))に変換する。投影面変換とは、カメラで撮像される画像がカメラの取り付け位置や角度といった取り付け状態に影響することから、取り付け状態による影響を加える変換のことである。この変換により、ガイド線を示す各座標が取り付け情報で規定される位置で車両に取り付けたカメラで撮像したような座標に変換される。投影面変換関数ｆ()で使用する取り付け情報は、駐車面に対するカメラの取り付け位置の高さＬ、鉛直線に対するカメラの光軸の傾き角度である取り付け垂直角度φ、車両を前後に縦断する中心線に対する傾き角度である取り付け水平角度θ、車両幅の中心からの距離Ｈである。投影面変換関数ｆ()は、これらを使用する幾何学関数で表される。なお、カメラは光軸を回転軸とするチルト回転の方向にはずれておらず、正しく取り付けられているものとする。

視点変換関数演算部１３５は、投影面変換関数演算部１３４から出力される投影面変換を受けた座標ｆ(ｈ(ｉ(Ｐ)))に対し、さらに情報記憶部１１から取得した視点情報に基づいて決められる視点変換関数ｊ()を演算することにより、視点変換を行った座標ｊ(ｆ(ｈ(ｉ(Ｐ))))に変換する。被写体をカメラで撮像したときに得られる画像は、カメラが取り付けられた位置から被写体を見たような画像になっている。この画像を、別の位置に存在するカメラ（例えば、車両後方の駐車面において所定の高さの位置に駐車面に向くように仮想的に設置されたカメラ）が撮像したような画像、すなわち別の視点からの画像に変換するのが、視点変換である。この視点変換は、元の画像に対し、アフィン変換と呼ばれる種類の変換を加えることで得ることができる。アフィン変換とは、平行移動と線形写像を組み合わせた座標変換のことである。アフィン変換における平行移動は、取り付け情報で規定される取り付け位置から上記別の位置までカメラを移動させることに対応している。線形写像は、カメラを取り付け情報で規定される方向から上記別の位置に存在するカメラの向きに合うようにカメラを回転させることに対応している。なお、視点変換に用いる画像変換は、アフィン変換に限られるものではなく、他の種類の変換によってもよい。

映像出力関数演算部１３６は、視点変換を受けた座標ｊ(ｆ(ｈ(ｉ(Ｐ))))に対して、さらに情報記憶部１１から取得した画角情報に基づいて決められる映像出力変換関数ｇ()を演算することにより、映像出力用の座標ｇ(ｊ(ｆ(ｈ(ｉ(Ｐ)))))に変換する。カメラで撮像されたカメラ画像のサイズと表示部１８が表示可能な画像のサイズとは一般的に異なっているため、カメラ画像は表示部１８が表示可能なサイズに変更される。そこで、映像出力関数演算部１３６において、視点変換を受けた座標ｊ(ｆ(ｈ(ｉ(Ｐ))))に対してカメラ画像の表示部１８に表示可能なサイズへの変更に相当する変換を適用することで、カメラ画像とスケールを一致させることができる。映像出力変換関数ｇ()は、カメラの最大水平画角Ｘａと最大垂直画角Ｙａと、映像出力における最大水平描画ピクセルサイズＸｐと最大垂直描画ピクセルサイズＹｐを使用する写像関数で表される。

なお、以上の説明では、ガイド線を示す各座標に対して、レンズ歪関数、射影関数、視点変換関数、投影面変換関数、映像出力関数の順で、演算するものとしたが、各関数を演算する順番はこの順番でなくともよい。

なお、投影面変換関数演算部１３４における投影面変換関数ｆ()には、撮像されたカメラ画像のサイズを示す情報としてカメラ画角（カメラの最大水平画角Ｘａと最大垂直画角Ｙａ）が含まれている。そのため、カメラ画像受信部１５にて受信したカメラ画像の一部を切り出して表示させる場合でも、投影面変換関数ｆ()におけるカメラ画角の係数を変更することにより、一部を切り出したカメラ画像に合うようにガイド線を表示させることができる。

図４は、カメラ画像補正部１６の構成を示すブロック図である。カメラ画像補正部１６は、レンズ歪逆関数演算部１６１、射影歪逆関数演算部１６２、視点変換関数演算部１６３を含んで構成されている。これらの構成については、表示条件情報によって動作させない場合がある。そのため、簡単のために、まずこれら構成のすべてが動作する場合について説明する。

レンズ歪逆関数演算部１６１は、カメラ補正情報に含まれるレンズ歪情報に基づいて上述のレンズ歪関数ｉ()の逆関数ｉ^-1()を求め、カメラ画像に対して演算する。カメラユニット２から送信されたカメラ画像は、カメラで撮像した際にレンズ歪の影響を受けているため、レンズ歪逆関数ｉ^-1()を演算することにより、レンズ歪の影響を受けていないカメラ画像に補正することができる。

射影逆関数演算部１６２は、カメラ補正情報に含まれる射影情報に基づいて上述の射影関数ｈ()の逆関数ｈ^-1()を求め、レンズ歪逆関数演算部１６１から出力されたレンズ歪の影響を受けていないカメラ画像に対して演算する。カメラユニット２から送信されたカメラ画像は、カメラで撮像した際にレンズの射影方式による歪みを受けているため、射影逆関数ｈ^-1()を演算することにより、射影歪みを受けていないカメラ画像に補正することができる。

視点変換関数演算部１６３は、射影逆関数演算部１６２から出力された射影歪みを受けていないカメラ画像に対して、カメラ補正情報に含まれる視点情報に基づいて上述の視点変換関数ｊ()を適用する。こうして、視点変換を行ったカメラ画像を得ることができる。

図１において、画像重畳部１７は、線描画部１４にて演算描画されたガイド線画像が、カメラ画像補正部１６から出力される補正カメラ画像にオーバーレイされるよう、ガイド線画像および補正カメラ画像を別レイヤーの画像として重畳する。表示部１８は、レイヤーの異なるガイド線画像および補正カメラ画像のうち、補正カメラ画像に対し映像出力関数ｇ()を適用することにより、補正カメラ画像のサイズを当該表示部１８が表示可能なサイズに変更する。そして、ガイド線画像およびサイズの変更された補正カメラ画像を合成し、表示する。映像出力関数ｇ()をカメラ画像補正部１６で実行するようにしてもよい。

次に動作について説明する。ガイド線計算部１３およびカメラ画像補正部１６の動作は、表示条件記憶部１２を参照して得た表示条件情報により異なる。表示条件情報としては、カメラ画像補正部１６の動作すなわちカメラ画像の表示方法の違いにより、例えば以下の４個の表示条件が考えられる。
（１）第１の表示条件では、カメラ画像補正部１６はカメラ画像を補正しない。ガイド線計算部１３は、レンズ歪みと射影方式による歪みを加えて投影面変換を適用したガイド線情報を計算する。
（２）第２の表示条件では、カメラ画像補正部１６はレンズ歪みおよび射影方式による歪みを取り除くようにカメラ画像を補正する。ガイド線計算部１３は、投影面変換だけを適用したガイド線情報を計算する。
（３）第３の表示条件では、カメラ画像補正部１６は視点変換されたようにカメラ画像を補正する。ガイド線計算部１３は、レンズ歪みと射影方式による歪みを加え、投影面変換と視点変換を適用したガイド線情報を計算する。
（４）第４の表示条件では、カメラ画像補正部１６はレンズ歪みおよび射影方式による歪みを取り除き、視点変換されたようにカメラ画像を補正する。ガイド線計算部１３は、投影面変換と視点変換を適用したガイド線情報を計算する。
どの表示条件の場合でも、カメラ画像に整合するようにガイド線画像が描画される。

表示条件情報が第１の表示条件を示す場合、図２に示すガイド線計算部１３の構成のうち、視点変換関数演算部１３５以外の構成を動作させる。すなわち、視点変換関数演算部１３２、射影関数演算部１３３、および投影面変換関数演算部１３４による計算結果が映像出力変換関数演算部１３６に入力される。その結果、線描画部１４で生成されたガイド線画像は、図５のようになる。図５は、第１の表示条件で生成されたガイド線画像の例である。レンズ歪みと射影方式による歪みを有するカメラ画像に、同様な歪みを加えたガイド線画像を重畳させて表示する。図５において、直線Ｌ１ａは駐車区画の幅を示すガイド線であり図３における直線Ｌ１に対応している。直線Ｌ２ａは車両の幅を示すガイド線であり図３における直線Ｌ２に対応している。直線Ｌ３ａ〜Ｌ５ａは車両からの距離を示すガイド線であり図３における直線Ｌ３〜Ｌ５に対応している。また、図４に示すカメラ画像補正部１６のすべての構成を動作させないようにする。すなわち、カメラ画像補正部１６は入力されたカメラ画像をそのまま画像重畳部１７に出力する。

表示条件情報が第２の表示条件を示す場合、図２に示すガイド線計算部１３の構成のうち、レンズ歪み関数演算部１３２、射影関数演算部１３３、視点変換関数演算部１３５を動作させないようにする。すなわち、投影面変換関数演算部１３４にはガイド線生成部１３１から出力された座標Ｐがそのまま入力される。その結果、線描画部１４で生成されたガイド線画像は、図６のようになる。図６は、第２の表示条件のもとで生成されたガイド線画像の例である。レンズ歪みと射影方式による歪みを除いたカメラ画像に、歪みがないガイド線画像を重畳させて表示する。図６において、直線Ｌ１ｂは駐車区画の幅を示すガイド線であり図３における直線Ｌ１に対応している。直線Ｌ２ｂは車両の幅を示すガイド線であり図３における直線Ｌ２に対応している。直線Ｌ３ｂ〜Ｌ５ｂは車両からの距離を示すガイド線であり図３における直線Ｌ３〜Ｌ５に対応している。また、図４に示すカメラ画像補正部１６の構成うち、視点変換関数演算部１６３以外の構成を動作させる。すなわち、射影逆関数演算部１６２から出力されるカメラ画像が、補正カメラ画像として画像重畳部１７に入力される。

表示条件情報が第３の表示条件を示す場合、図２に示すガイド線計算部１３のすべての構成を動作させる。その結果、線描画部１４で生成されたガイド線画像は、図７のようになる。図７は、第３の表示条件のもとで生成されたガイド線画像の例である。別の視点から撮像したようなレンズ歪みと射影方式による歪みを有するカメラ画像に、同様な歪みを加え別の視点から見たようなガイド線画像を重畳させて表示する。図７において、直線Ｌ１ｃは駐車区画の幅を示すガイド線であり図３における直線Ｌ１に対応している。直線Ｌ２ｃは車両の幅を示すガイド線であり図３における直線Ｌ２に対応している。直線Ｌ３ｃ〜Ｌ５ｃは車両からの距離を示すガイド線であり図３における直線Ｌ３〜Ｌ５に対応している。また、図４に示すカメラ画像補正部１６の構成うち、視点変換関数演算部１６３のみ動作させる。すなわち、視点変換関数演算部１６３にはカメラ画像受信部１５が受信したカメラ画像がそのまま入力され、視点変換関数演算部１６３にて視点変換を行った画像が補正カメラ画像として画像重畳部１７に出力される。

表示条件情報が第４の表示条件を示す場合、図２に示すガイド線計算部１３の構成のうち、レンズ歪関数演算部１３２および射影関数演算部１３３以外の構成を動作させる。すなわち、視点変換関数演算部１３５にはガイド線生成部１３１で生成されたガイド線上の点の座標Ｐがそのまま入力される。その結果、線描画部１４で生成されたガイド線画像は、図３のようになる。また、図４に示すカメラ画像補正部１６のすべての構成を動作させる。レンズ歪みと射影方式による歪みを除いて別の視点から撮像したようなカメラ画像に、別の視点から見たような歪みが無いガイド線画像を重畳させて表示する。

以上のように、実施の形態１にかかる駐車支援システムにおいては、ガイド線計算部において計算したガイド線の座標に対し、レンズ歪関数演算部１３２においてレンズの形状によるレンズ歪を与える変換をし、射影関数演算部１３３においてレンズの射影方式による射影変換をし、投影面変換関数演算部１３４において車両に取り付けられたカメラから撮像した画像になるような投影面変換をすることにより、カメラユニット２のカメラで撮像されたカメラ画像に対応するように、運転者が車両を駐車する際の目安となるガイド線画像を表示部１８に表示させることができる。

また、カメラの取り付け状態を、駐車面に対するカメラの取り付け位置の高さＬ、鉛直線に対するカメラの光軸の傾き角度である取り付け垂直角度φ、車両を前後に縦断する中心線に対する傾き角度である取り付け水平角度θ、車両幅の中心からの距離Ｈとしてパラメータ化し、パラメータの値によってガイド線の描画位置を自動計算するようにしたので、ガイド線画像を容易に生成できる。例えば、本実施の形態に係る駐車支援システムを搭載する車両の製造時に、設計上で決められた所定の取り付け位置に所定の取り付け角度でカメラを固定し、その設計上で決められた所定の取り付け位置および角度を情報記憶部１１に記憶させておくようにする。これにより、車両の種類に対応したガイド線画像を容易に生成することができる。なお、駐車支援システムを搭載する車両の製造時においては、カメラの向きを変更できないとして説明したが、カメラとホストユニットからなる駐車支援システムを車両やナビゲーション装置とは別に販売するような場合には、カメラの車両への取り付け状態を調整できるように、例えば取り付け垂直角度φを変えられるよう構成することもできる。

また、車両の種類によって車両の大きさや形状が異なるため、カメラの取り付け位置は当然異なってくるが、本実施の形態に係る駐車支援システムによれば、カメラを設計上で決められた所定の取り付け位置および所定の角度で車両に取り付け、その設計上で決められた所定の取り付け位置および角度を記憶させておくことで、撮像したカメラ画像とガイド線画像を容易に一致させることができる。なお、取り付け誤差の影響を折り除くために、特許文献１に記載された方法などにより、取り付け誤差を測定し、取り付け位置および角度を修正するようにしてもよい。

実施の形態２．
図８は、実施の形態２に係る駐車支援システムの構成を示すブロック図である。図８において、図１と同一または対応する構成については、同一の符号を付し、説明を省略する。図１におけるホストユニット１ａは、外部からの入力情報を取得する入力情報取得部１９を有しており、入力情報取得部１９が取得した入力情報に応じて情報記憶部１１に記憶された情報を変更する。入力情報取得部１９はＨＭＩ（ヒューマンインターフェース）を有するように構成することができ、使用者がＨＭＩを操作することにより情報を入力できる。情報記憶部１１に記憶されている情報のうち、駐車面に対するカメラの取り付け位置の高さＬ、鉛直線に対するカメラの光軸の傾き角度である取り付け垂直角度φ、車両を前後に縦断する中心線に対する傾き角度である取り付け水平角度θ、車両幅の中心からの距離Ｈ、カメラの最大水平画角Ｘａと最大垂直画角Ｙａと、映像出力における最大水平描画ピクセルサイズＸｐと最大垂直描画ピクセルサイズＹｐ並びに、被写体映像パターンの座標、投影方式、視点変換する別の視点は、駐車支援システムに固有のパラメータである。入力情報取得部１９を設けることにより、任意の時点で、これらのパラメータの値を変更することができ、カメラユニット２におけるカメラの取り付け位置の変更や、カメラ自体の変更に対し容易く対応できる。

使用者はカメラの取り付け位置の高さＬおよび車両幅の中心からの距離Ｈをメジャーなどで計測し、カメラの取り付け水平角度θおよび取り付け垂直角度φを角度計などで測定することにより、カメラの取り付け状態に係るパラメータの測定値を得ることができる。入力情報取得１９により情報記憶部１１に記憶された駐車面に対するカメラの取り付け位置の高さＬ、鉛直線に対するカメラの光軸の傾き角度である取り付け垂直角度φ、車両を前後に縦断する中心線に対する傾き角度である取り付け水平角度θ、車両幅の中心からの距離Ｈを測定した値に変更することにより、取り付けた車両に対応したガイド線を容易に表示できる。なお、取り付ける車両の種類ごとに取り付け位置のデータをまとめた一覧表などが用意されている場合には、一覧表などに書かれた値を入力してもよい。

実施の形態３
図９は、実施の形態３に係る駐車支援システムの構成を示すブロック図である。図９において、ホストユニット１ｂは、外部の電子制御ユニット３ａから送信される車両の操舵情報を取得する操舵情報取得部２０を有しており、情報記憶部１１ｂには操作情報取得部２０が取得した操舵情報が記憶される。また、ガイド線計算部１３ｂのガイド線生成部（図示せず）において、ガイド線の座標と走行ガイド線の座標を計算するようにする。なお、ガイド線は、現在の操舵角を変化させないで所定距離だけ車両を走行させた位置に設定する。走行ガイド線は、現在位置からガイド線を設定した位置に車両が移動する際に、車両の前輪および後輪がそれぞれどのような軌跡をとるかという予想進路を示す推定移動軌跡を示す曲線である。走行ガイド線も表示することにより、内輪差あるいは外輪差により車両が障害物などに接触するかどうかを車両の運転者が判断できるようになる。
ガイド線の座標だけでなく走行ガイド線の座標に対してもレンズ歪関数演算等の演算を行うことにより、車両のステアリング操作による操舵情報（角度）の変更に対応する、走行ガイド線を演算描画することができる。

実施の形態４．
実施の形態１から３では、ホストユニットは表示部を備えているものとしたが、ガイド線画像が重畳された合成画像などを出力する画像出力装置４と、外部の表示装置５例えば車載用ナビゲーション装置とを組み合わせて、画像出力装置４が出力する合成画像を表示装置５に表示するように構成することもできる。この実施の形態では、画像出力装置４が駐車支援装置である。図１０は、実施の形態４に係る駐車支援システムの構成を示すブロック図である。図１と同一または対応する構成については、同一の符号を付し、説明を省略する。図１０において、電子制御ユニット３からシフト位置情報がシフト位置検出部１０および表示装置５に出力される。画像出力装置４における電子制御ユニット３との接続インターフェースは一般のナビゲーション装置と同じものになっているので、特別なインターフェースを用意しなくても画像出力装置４と電子制御ユニット３との間で通信を行うことができる。表示装置５は、電子制御ユニット３から車両の変速機がリバースの状態である旨のシフト位置情報が入力されている間、入力される画像を表示するモードに切り換わり、画像出力装置４から出力される画像を表示する。そのため、車両の運転者が車両のギアをリバースに入れると画像出力装置４からは合成画像が出力され、表示装置５には当該合成画像が表示されることになる。このようにして、駐車時に車両後方の駐車面の画像を表示し駐車を支援することができる。
なお、上述では表示装置５は、電子制御ユニット３から車両の変速機がリバースの状態である旨のシフト位置情報が入力された場合に画像出力装置４から出力される画像を表示するようにした。これに加えて、表示装置５に当該表示装置５を入力される画像を表示するモードに切り換える切り替えスイッチを設け、ユーザが当該切り替えスイッチを押した場合に画像出力装置４から出力される画像を表示させるようにしてもよい。

実施の形態５．
図１１は、実施の形態５に係る駐車支援システムの構成を示すブロック図である。図１１において、図１０と同一または対応する構成については、同一の符号を付し、説明を省略する。画像出力装置４ａは、入力情報を取得する入力情報取得部１９を有している。画像出力装置４ａに設けたディップスイッチ、ダイアル、押しボタンなど数値の入力または値を選択する入力情報取得部１９を用いることにより、情報記憶部１１に入力情報を記憶させることができる。画像出力装置４aは、実施の形態１などのホストユニット１と異なり画像を表示する画像表示部を有していないので、運転者が情報記憶部１１に記憶されている情報を変更する場合には、情報記憶部１１に記憶されている情報を表示装置５に表示させ、表示された情報を使用者が見て、入力しようとする値が情報記憶部１１に記憶されているかどうかを判断し、記憶されていない場合には使用者が入力情報取得部１９を用いて変更するようにする。

実施の形態６．
実施の形態１においては、ホストユニットにてカメラユニットから送信されらカメラ画像とガイド線画像とを合成するようにしたが、カメラユニット内に、情報記憶部、ガイド線計算部、線描画部といったガイド線画像を生成するための構成を設けることもできる。カメラ画像にガイド線画像が重畳された合成画像を出力するカメラユニットを駐車支援カメラユニットと呼ぶ。この実施の形態６では、駐車支援カメラユニットと、駐車支援カメラユニットが出力する画像を表示する表示装置を組み合わせて、駐車支援システムを構成する。
図１２は、実施の形態６に係る駐車支援システムの構成を示すブロック図である。図１２において図１０と同一または対応する構成については同一の符号を付し、説明を省略する。カメラユニット２ａの撮像部２１は、シフト位置検出部１０から車両の変速機がリバースの状態である旨のシフト位置情報を受けている間、車両の後方の駐車面を撮像する。撮像部２１が撮像したカメラ画像はカメラ画像補正部１６に出力される。カメラ画像補正部１６は、実施の形態１などと同様に、カメラ画像にガイド線画像が重畳した合成画像を表示装置に出力する。
本実施の形態における表示装置も、実施の形態４における表示装置５と同様、電子制御ユニット３から車両の変速機がリバースの状態である旨のシフト位置情報が入力されている間、入力される画像を表示するモードに切り換わる。そのため、車両の運転者の操作に応じて車両の変速機がリバースの状態になると表示装置５に駐車支援のための画像が表示される。

実施の形態７．
図１３は、実施の形態７に係る駐車支援システムの構成を示すブロック図である。図１３において、図１２と同一または対応する構成については、同一の符号を付し、説明を省略する。カメラユニット２ｂは、入力情報を取得し情報記憶部１１に記憶させる入力情報取得部１９をさらに有している。入力情報取得部１９は、カメラユニット２ｂが有するディップスイッチ、ダイアル、押しボタンなど数値の入力または値を選択する装置である。使用者が入力情報取得部１９を用いて、情報記憶部１１に入力情報を記憶させる。カメラユニット２ｂは、実施の形態１などのホストユニット１と異なり画像を表示する画像表示部を有していない。そのため、運転者が情報記憶部１１に記憶されている情報を入力または変更する場合には、情報記憶部１１に記憶されている情報を表示装置５に表示させ、表示された情報を使用者が見て、入力しようとする値が情報記憶部１１に記憶されているかどうかを判断する。

なお、上述の実施の形態では、実空間上のガイド線の被写体画像パターンの座標は２次元の値（x, y）であるものとしたが、３次元の値とすることもできる。

なお、上述における駐車支援システムは、例えばホストユニットとしての車載用ナビゲーション装置とカメラユニットとしての車載用カメラとで構成することが可能である。

なお、上述における駐車支援システムにおいては、表示部にレイヤーの異なるガイド線画像および補正カメラ画像が入力され、表示部の内部で合成されるものとしたが、画像重畳部においてこれらの画像を合成し表示部に出力するようにしてもよい。この場合、画像重畳部において、補正カメラ画像に対し映像出力関数ｇ（）を演算することにより、補正カメラ画像のサイズを表示部が表示可能なサイズに変更し、その上でガイド線画像およびサイズの変更された補正カメラ画像を合成するようにすればよい。

１，１ａ，１ｂ ホストユニット（駐車支援装置）
２ カメラユニット
２ａ，２ｂ カメラユニット（駐車支援カメラユニット）
３，３ａ 電子制御ユニット
４，４ａ 画像出力装置（駐車支援装置）
５ 表示装置
１１，１１ｂ 情報記憶部
１２ 表示条件記憶部
１３，１３ｂ ガイド線計算部（ガイド線情報生成部）
１４ 線描画部（ガイド線画像生成部）
１５ カメラ画像受信部
１６ カメラ画像補正部（画像出力部）
１７ 画像重畳部（画像出力部）
１８ 表示部
１９ 入力情報取得部
２０ 操舵情報取得部
２１ 撮像部

Claims (10)

1. 車両に取り付けられ前記車両の後方の駐車面を撮像するカメラと接続され、前記カメラが撮像したカメラ画像に基づいて、前記車両を駐車する際の目安となるガイド線が前記駐車面に設定された画像を表示装置に表示する駐車支援装置であって、
   前記ガイド線の間隔に関する駐車幅情報、車両幅情報、及び車両後部端からの距離情報を持つガイド線間隔情報、および前記カメラの前記車両への取り付け位置および角度を示す取り付け情報を記憶する情報記憶部と、
   前記ガイド線間隔情報、および前記取り付け情報に基づいて、前記駐車面に設定される前記ガイド線の前記カメラ画像における位置に関するガイド線情報を生成するガイド線情報生成部と、
   前記ガイド線情報に基づいて前記ガイド線を表すガイド線画像を生成するガイド線画像生成部と、
   前記ガイド線画像と前記カメラ画像に基づいて前記ガイド線が前記駐車面に設定された画像を前記表示装置に出力する画像出力部と
   を備える駐車支援装置。
2. 前記カメラは、前記車両の種類によって決まる所定の取り付け位置に所定の取り付け角度で取り付けられ、
   前記取り付け情報は、前記所定の取り付け位置および前記所定の取り付け角度を示すことを特徴とする請求項１に記載の駐車支援装置。
3. 前記車両の変速機の状態を示すシフト位置情報を出力するシフト位置情報出力装置と接続され、
   前記画像出力部は、前記シフト位置情報が前記車両の変速機がリバースの状態であることを示す場合に、前記ガイド線が前記駐車面に設定された画像を前記表示装置に出力することを特徴とする請求項１に記載の駐車支援装置。
4. 前記情報記憶部は、前記カメラのレンズ形状による前記カメラ画像の歪みを示すレンズ歪情報と、前記レンズの射影方式による前記カメラ画像の歪みを示す射影歪情報とを記憶しており、
   前記ガイド線情報生成部は、前記レンズ歪情報および前記射影歪情報に基づいて前記ガイド線情報を生成することを特徴とする請求項１から３のいずれかに記載の駐車支援装置。
5. 前記情報記憶部は、前記カメラのレンズ形状による前記カメラ画像の歪みを示すレンズ歪情報と、前記レンズの射影方式による前記カメラ画像の歪みを示す射影歪情報とを記憶しており、
   前記画像出力部は、前記レンズ歪情報と前記射影歪情報に基づいて、前記カメラ画像を前記レンズ形状および前記射影方式による歪みを除去したカメラ画像に補正し、補正した前記カメラ画像と前記ガイド線画像に基づいて、前記ガイド線が前記駐車面に設定された画像を前記表示装置に出力することを特徴とする請求項１から３のいずれかに記載の駐車支援装置。
6. 前記情報記憶部は、前記カメラのレンズ形状による前記カメラ画像の歪みを示すレンズ歪情報と、前記レンズの射影方式による前記カメラ画像の歪みを示す射影歪情報と、前記カメラとは別の位置に存在する視点の位置と向きを示す視点情報とを記憶しており、
   前記ガイド線情報生成部は、前記レンズ歪情報と、前記射影歪情報と、前記視点情報とに基づいて、前記ガイド線情報を生成し、
   前記画像出力部は、前記視点情報に基づいて、前記カメラ画像を前記視点から撮像したようなカメラ画像に補正し、補正した前記カメラ画像と前記ガイド線画像に基づいて、前記ガイド線が前記駐車面に設定された画像を前記表示装置に出力することを特徴とする請求項１から３のいずれかに記載の駐車支援装置。
7. 前記情報記憶部は、前記カメラのレンズ形状による前記カメラ画像の歪みを示すレンズ歪情報と、前記レンズの射影方式による前記カメラ画像の歪みを示す射影歪情報と、前記カメラとは別の位置に存在する視点の位置と向きを示す視点情報とを記憶しており、
   前記ガイド線情報生成部は、前記視点情報に基づいて、前記ガイド線情報を生成し、
   前記画像出力部は、前記レンズ歪情報と、前記射影歪情報と、前記視点情報に基づいて、前記カメラ画像を前記視点から撮像された、前記レンズ形状および前記射影方式による歪みを除去したカメラ画像に補正し、補正した前記カメラ画像と前記ガイド線画像に基づいて、前記ガイド線が前記駐車面に設定された画像を前記表示装置に出力することを特徴とする請求項１から３のいずれかに記載の駐車支援装置。
8. 外部からの入力に基づいて、前記情報記憶部が記憶した情報の内容を変更する情報変更部を有することを特徴とする請求項１〜７のいずれかに記載の駐車支援装置。
9. 車両に取り付けられ前記車両の後方の駐車面を撮像する前記カメラと、
   前記カメラに接続され、前記カメラが撮像したカメラ画像に基づいて、前記ガイド線が前記駐車面に設定された画像を表示装置に表示する請求項１〜８のいずれかに記載の駐車支援装置とを備える駐車支援システム。
10. 車両を駐車する際の目安となるガイド線が前記車両の後方の駐車面に設定された画像を表示装置に表示する駐車支援カメラユニットであって、
    前記車両に取り付けられ前記車両の後方の駐車面を撮像するカメラと、
    前記ガイド線の間隔に関するガイド線間隔情報、および前記カメラの前記車両への取り付け位置および角度を示す取り付け情報を記憶する情報記憶部と、
    前記ガイド線間隔情報、および前記取り付け情報に基づいて、前記駐車面に設定される前記ガイド線の前記カメラ画像における位置に関するガイド線情報を生成するガイド線情報生成部と、
    前記ガイド線情報に基づいて前記ガイド線を表すガイド線画像を生成するガイド線画像生成部と、
    前記ガイド線画像と前記カメラ画像に基づいて前記ガイド線が前記駐車面に設定された画像を前記表示装置に出力する画像出力部と
    を備える駐車支援カメラユニット。

Images