JP5447490B2 - 車両用監視装置 - Google Patents

Description

本発明は、車両の進行方向の視界を撮像手段により撮像してその画像を車室内に設けられた表示手段に表示する車両用監視装置に関するものである。

従来、駐車時における安全確認等のために、車両の進行方向（例えば、後方向）の視界を撮像手段（カメラなど）により撮像してその画像を車室内に設けられた表示手段（モニタ画面など）に表示する車両用監視装置が知られている。

ところで、こうした車両用監視装置において、例えば後方向を撮像するために車両後部に搭載されるカメラは、車両の意匠上の制約やバックドアハンドル、ロック機構、ライセンスランプ及び灯火装置等の部品との干渉回避のために車両前後方向の中心軸から外れた位置に搭載せざるを得ない状況にある。

従って、図５（ａ）に示されるように、車両１の前後方向の中心軸（以下、「車両主軸」という）Ｌが略平行な対の駐車区画線ｐによって区画される駐車区画Ｓの中心軸に略一致しているとき、カメラ２が車両主軸Ｌを含む垂直面内の位置Ｏ２に搭載されていれば、同カメラ２により撮像される画像は左右略対称となって車室内のモニタ画面３に表示される。なお、カメラ２の光軸は、パン角及びロール角が略零であって所定のチルト角のみを有しているものとする。すなわち、カメラ２は、その光軸が車両主軸Ｌを含む垂直面内に設定されるように搭載されている。

しかしながら、図５（ｂ）に示されるように、カメラ２が上記車両主軸Ｌを含む垂直面からずれた位置Ｏ１に搭載されていれば、上記車両主軸Ｌが駐車区画Ｓの中心軸に略一致していても、同カメラ２により撮像される画像は左右略対称とならずに車室内のモニタ画面３に表示される。これは、当該カメラ２の座標系はワールド座標系の上で並進成分Ｔと回転成分Ｒとを有するためである。この結果、モニタ画面３上において駐車区画Ｓに対する自車両１の配置について運転者に違和感を与えてしまう。

本発明は、車室内に表示される車両の進行方向の視界に基づく画像内における自車両の位置関係と、実際の自車両の位置関係との違和感を抑制することを目的とする。

上記問題点を解決するために、請求項１に記載の発明は、車両の進行方向の視界を車両主軸を含む垂直面から車両幅方向にずれた位置にある第１の視点において撮像する車両に搭載されたカメラを有する撮像手段と、前記撮像手段が撮像した前記第１の視点の画像を該第１の視点とは異なる車両主軸を含む垂直面の車両内にあたかもカメラが搭載されたような第２の視点から見た画像に変換する変換手段と、前記変換された第２の視点から見た画像を車室内に表示する表示手段とを備え、前記第２の視点及び光軸は、車両内における車両主軸を含む垂直面内に設定されるとともに、前記表示手段上には、車両の走行予想軌跡が重畳描画されることを要旨とする。

請求項２に記載の発明は、請求項１に記載の車両用監視装置において、前記表示手段は、シフトレバーのリバーススイッチがオンになったときのみ画像を表示してなることを要旨とする。

（作用）
請求項１に記載の発明によれば、車両主軸を含む垂直面から車両幅方向にずれた位置にある第１の視点において車両に搭載されたカメラにより撮像された車両の進行方向の視界の画像は、第１の視点とは異なる車両主軸を含む垂直面の車両内にあたかもカメラが搭載されたような第２の視点から見た画像に変換されて車室内に表示される。そして、第２の視点及び光軸は、車両内における車両主軸を含む垂直面内に設定されている。従って、車室内に表示される画像は、第１の視点（撮像手段の位置）に関わらず、撮像手段を車両主軸を含む垂直面の車両内に配置して車両の進行方向の視界を撮像した画像と略同等になる。従って、例えば車両主軸に対して３次元的に左右略対称の物体は、表示手段上において左右略対称の画像として表示されるため、同画像に対する違和感が抑制される。また、車両の走行予想軌跡が表示手段上に表示されることで駐車操作が容易なものとされる。

請求項２に記載の発明によれば、例えば車両の後方視界を撮像・表示する場合において、車両後退時以外は一般に不要な後方視界を表示手段上に表示することを回避できる。

以上詳述したように、請求項１に記載の発明によれば、車室内に表示される車両の進行方向の視界に基づく画像内における自車両の位置関係と、実際の自車両の位置関係との違和感を抑制することができる。また、車両の走行予想軌跡が表示手段上に表示されることで駐車操作が容易なものとされる。

請求項２に記載の発明によれば、例えば車両の後方視界を撮像・表示する場合において、車両後退時以外は一般に不要な後方視界を表示手段上に表示することを回避できる。

本発明の一実施形態を示すシステム構成図。 同実施形態を搭載した車両の概略図。 第１の視点のカメラ画像を第２の視点から見た画像に変換する態様を説明する説明図。 ワールド座標系、カメラ座標系及び画像座標系を説明する説明図。 カメラの搭載位置とモニタ画面上の画像とを示す概略図。

以下、本発明を具体化した一実施形態を図１〜図５に従って説明する。
図２は、本実施形態の車両用監視装置１０を搭載した車両１を示す概略図である。同図に示されるように、この車両用監視装置１０は、撮像手段として機能し車両１の後方視界を撮像するカメラ（ＣＣＤカメラ）２、モニタ画面３及びコントローラ４を備えている。

上記カメラ２は、車両１の後部において車両主軸Ｌを含む垂直面からずれた位置Ｏ１（図５（ｂ）参照）に搭載されており、その光軸は下方に傾けて設定されている。なお、いうまでもなく上記垂直面は車両１の幅方向と直交し、高さ方向に立設される面となっている。このカメラ２自体は広角レンズにより、例えば左右１４０度の視野を確保し、例えば後方８ｍ程度までの領域を撮像できるようになっている。

モニタ画面３は、例えば車室内のセンターコンソール上に設置されている。このモニタ画面３には、上記カメラ２により撮像された車両１の後方画像が表示される。
上記コントローラ４は、例えばインストルメントパネル内部に設けられており、上記カメラ２からの映像信号（画像信号）に基づき上記モニタ画面３に車両１の後方画像を表示する。

図１は、車両用監視装置１０のシステム構成図である。同図に示されるように、車両用監視装置１０を制御するコントローラ４の内部には、その中枢部となるマイコン（マイクロコントローラ）１１、ビデオ入力バッファ１２、同期分離回路１３、クロック生成回路１４、Ａ／Ｄ（アナログ／デジタル）変換回路１５、アドレスカウンタ１６、フレームメモリ１７、同期信号生成回路１８、クロック生成回路１９、Ｄ／Ａ変換回路２０、映像信号生成回路２１及びビデオ出力バッファ２２が設けられている。

上記同期分離回路１３は、ビデオ入力バッファ１２を介して入力されたカメラ２からの画像（生画像）を同期信号と輝度信号とに分離する。そして、同期分離回路１３は、同期信号をクロック生成回路１４に出力し、輝度信号をＡ／Ｄ変換回路１５に出力する。

上記クロック生成回路１４は、上記同期信号に基づきサンプリングクロックを生成する。そして、クロック生成回路１４は、このサンプリングクロックを上記Ａ／Ｄ変換回路１５及びアドレスカウンタ１６に出力する。

上記Ａ／Ｄ変換回路１５は、サンプリングクロックに基づき同期分離回路１３からの輝度信号をデジタル変換してデータバスを介してフレームメモリ１７に入力する。一方、アドレスカウンタ１６は、サンプリングクロックに基づきアドレスを順次、インクリメントしてアドレスバスを介してフレームメモリ１７に入力する。これにより、アドレスカウンタ１６により設定されたフレームメモリ１７のアドレスに、順次対応するデータ（輝度信号）が記憶され、同フレームメモリ１７にカメラ２の生画像に対する画像データとして記憶される。

マイコン１１は、上記フレームメモリ１７に記憶された画像データ（生画像に対する画像データ）をデータバス及びアドレスバスを介して読み込んで、後述の態様で座標変換処理を実行する。そして、マイコン１１は、座標変換処理された画像データをデータバス及びアドレスバスを介して別途、フレームメモリ１７に記憶する。

同期信号生成回路１８は、マイコン１１からのイネーブル信号に基づき同期信号を生成してクロック生成回路１９に出力する。そして、上記クロック生成回路１９は、上記同期信号に基づきサンプリングクロックを生成して上記Ｄ／Ａ変換回路２０及びアドレスカウンタ１６に出力する。

上記アドレスカウンタ１６は、サンプリングクロックに基づきアドレスを順次、インクリメントしてアドレスバスを介してフレームメモリ１７に入力する。これにより、アドレスカウンタ１６により設定されたフレームメモリ１７のアドレスに対応する座標変換処理されたデータ（画像データ）が順次、データバスを介してＤ／Ａ変換回路２０に出力される。そして、Ｄ／Ａ変換回路２０は、サンプリングクロックに基づき座標変換処理されたデータをアナログ変換して上記映像信号生成回路２１に出力する。

上記映像信号生成回路２１は、Ｄ／Ａ変換回路２０からの信号に基づき映像信号を生成してビデオ出力バッファ２２を介してモニタ画面３に出力する。以上により、モニタ画面３には、カメラ２の生画像を座標変換した画像が表示される。

次に、マイコン１１による座標変換処理に係る幾何学的演算処理の概要について図３及び図４に基づき説明する。
図４は、カメラを中心として定義したカメラ座標系（ｘｃ，ｙｃ，ｚｃ）、基準となるワールド座標系（ｘｗ，ｙｗ，ｚｗ）及びモニタ画面３上に画像が撮像される画像座標系（ｘ，ｙ）との関係を示す説明図である。ここで、ワールド座標系からカメラ座標系へは３次元の回転Ｒ及び並進Ｔによって下記数１式のように変換されることが知られている。

そして、数１式は上記回転Ｒ及び並進Ｔを組み合わせた４×４行列を用いて下記数２式のように表される。

ここで、３次元の回転Ｒは各軸に対する回転成分であるチルト角θｘ、パン角θｙ、ロール角θｚによって下記数３式のように表される。また、３次元の並進Ｔは各軸に対する並進成分Ｔｘ，Ｔｙ，Ｔｚによって下記数４式のように表される。

そして、ワールド座標系における点（ｘｗ，ｙｗ，ｚｗ）は、３次元の回転Ｒ及び並進Ｔの合成によって画像座標系における点ｍ＝（ｘ，ｙ，１）に下記数５式のように投影される。

ここで、行列Ｃは、カメラの内部パラメータ行列であって、搭載するカメラ２の特性に対応する既知のものである。

次に、このようなワールド座標系における点（ｘｗ，ｙｗ，ｚｗ）から画像座標系における点ｍ＝（ｘ，ｙ，１）への変換態様を参照して、位置Ｏ１（以下、第１の視点Ｏ１という）に配置されたカメラ２の画像を位置Ｏ２（以下、第２の視点Ｏ２という）から見た画像に変換する態様を図３に基づき説明する。なお、図３において第２の視点Ｏ２及び光軸は、車両主軸Ｌを含む垂直面内に設定されている。ここで、ワールド座標系Ｗは一般的な３次元空間、すなわち車両が存在している３次元空間を示す座標である。すなわち、カメラ２もワールド座標系Ｗ上に存在する（図３参照）。また、図３に示すように、カメラ２はワールド座標系Ｗ上に独立したカメラ座標系２１を有する。このカメラ座標系２１とワールド座標系Ｗとの間には、ワールド座標系Ｗ上における車両の位置と、車両に対するカメラ２の取り付け位置により決定される所定の位置関係が存在する。ただし、本実施形態においては単純化のため、ワールド座標系Ｗの原点Ｏｗを車両の重心に設定し、車両主軸をＺｗ軸に、車両左右方向をＸｗ軸に、車両高さ方向（車両の存在する平面に対して垂直な方向）をＹｗ軸にそれぞれ対応させて設定される３次元空間をワールド座標系Ｗと想定して説明する。

上記したように、カメラ座標系２１の原点Ｏｃ２１は、ワールド座標系Ｗ上において、車両の重心に対するカメラ２の取り付け位置により決まる。すなわち、カメラ２の取り付け位置が車両の重心位置から車両の前後左右高さ方向にそれぞれどれだけ離れているかにより決まる。そして、この原点Ｏｃ２１からカメラ２の光軸と、光軸に直交する２本の直線により、所定のカメラ座標系２１は決まる。ただし、本実施形態においては、カメラ光軸はカメラ座標系２１のＺｃ２１軸と同一であるとする。カメラ２により撮像される画像は、カメラ光軸（Ｚｃ２１軸）に直交する撮像面に投影されたものとなる。

このとき、カメラ２の回転成分Ｒ及び並進成分Ｔを用いてカメラ座標系２１がワールド座標系Ｗの任意の位置に存在するように変換することが可能である（数１及び数２参照）ことが知られている。ここで、上記したようにワールド座標系Ｗとカメラ座標系２１とを設定したことにより、並進成分Ｔ（数４参照）は、基準位置（上記した例では車両重心）に対するカメラ取り付け位置の座標となり既知のものとなる。また、回転成分Ｒ（数３参照）のチルト角θｘ、パン角θｙ及びロール角θｚはカメラ２の取り付け角度の設計値により既知のものとすることができる。

そして、この数５式に従って座標変換を行う際に、並進成分Ｔの値のうち、カメラ２の取り付け位置が車両主軸に対して車両左右方向にずれていることを示すＸｗ軸方向成分（ｘ成分）を車両主軸上に位置となる（すなわち、カメラ座標系２１の原点Ｏｃ２１がワールド座標系ＷのＺｗ軸を通る平面状に存在する）ように調整する（本実施形態においてはｘ成分を０とする）。これにより、座標変換の結果は、カメラ２が車両主軸Ｌを含む平面上に配置されたときのものと略一致したもの、すなわち図３及び図４に示された、原点Ｏｃ２２がワールド座標系ＷのＺｗ軸を通る平面上（すなわち、車両主軸を通る平面上）に存在するカメラ座標系２２とすることができる。上記した変換式に基づいて座標変換を行うとカメラ座標系２１により撮像された画像はカメラ座標系２２のカメラ光軸（Ｚｃ２２軸）に直交する画像座標系ｘに投影された画像に変換される。これにより、カメラ２の搭載位置にかかわらず、カメラ２が車両主軸を通る平面上に配置されたものと略同等な画像を得ることができる。

なお、上記幾何学的演算処理に基づくマイコン１１による座標変換処理を介して前記フレームメモリ１７に記憶されたデータがＤ／Ａ変換回路２０へと出力される。これにより、第１の視点Ｏ１（カメラ２の位置）に関わらずモニタ画面３に表示される画像はカメラ２を車両主軸Ｌを含む垂直面内に配置して車両１の後方向の視界を撮像した画像と略同等になる（図５（ａ）におけるモニタ画面参照）。

以上詳述したように、本実施形態によれば、以下に示す効果が得られるようになる。
（１）本実施形態では、第１の視点Ｏ１において撮像された車両１の後方向の視界の画像は、第１の視点Ｏ１とは異なる第２の視点Ｏ２から見た画像に変換されて車室内に表示される。そして、この第２の視点Ｏ２及び光軸は、車両主軸Ｌを含む垂直面内に設定されている。従って、車室内に表示される画像は、第１の視点Ｏ１（カメラ２の位置）に関わらず、カメラ２を車両主軸Ｌを含む垂直面内に配置して車両１の後方向の視界を撮像した画像と略同等になる。従って、例えば車両主軸Ｌに対して３次元的に左右略対称の物体はモニタ画面３上において左右略対称の画像として表示されるため、同画像に対する違和感を抑制できる。そして、モニタ画面３上において上記車両主軸Ｌを基準とした車両１の左右の現状を容易に推定することができる。

（２）本実施形態では、車室内のモニタ画面３において対の駐車区画線ｐが左右略対称に表示されるように車両１を操作・配置させた場合において、実際の車両主軸Ｌが駐車区画Ｓの中心軸からずれている問題を解消できる。

（３）本実施形態では、カメラ２を車両主軸Ｌを含む垂直面内に配置する必要がないため、車両１の意匠や機構設計の自由度を向上できる。
（４）本実施形態では、車室内に表示される画像は、第１の視点Ｏ１（カメラ２の位置）に関わらず、カメラ２を車両主軸Ｌを含む垂直面内に配置して車両１の後方向の視界を撮像した画像と略同等になる。従って、違和感を感じることなく車両１の駐車操作ができる。

なお、本発明の実施の形態は上記実施形態に限定されるものではなく、次のように変更してもよい。
・前記実施形態においては、モニタ画面３上に画像を表示する車両１の操作状態について特に言及していないが、例えばシフトレバー（セレクトレバー）のリバーススイッチがオンになったときのみカメラ画像（後方視界）を表示するようにしてもよい。この場合、車両後退時以外は一般に不要な後方視界をモニタ画面３上に表示することを回避できる。

・前記実施形態においては、車両１の後方にカメラ２を設け、車両１の後方向を監視する車両用監視装置１０として説明した。これに対して、車両１の前方にカメラを設け、車両１の前方向を監視する車両用監視装置であってもよい。あるいは車両１の前後両方向を監視する車両用監視装置であってもよい。

・前記実施形態において、例えばモニタ画面３上に車両１の走行予想軌跡を重畳描画して運転者の駐車操作を補助する駐車補助装置に本発明を適用してもよい。この場合、運転者に駐車操作の違和感を与えることなく補助できる。また、車両１の走行予想軌跡がモニタ画面３上に表示されることで駐車操作が容易なものとされる。

１…車両、２…撮像手段としてのカメラ、３…表示手段としてのモニタ画面、４…コントローラ。

Claims (2)

1. 車両の進行方向の視界を車両主軸を含む垂直面から車両幅方向にずれた位置にある第１の視点において撮像する車両に搭載されたカメラを有する撮像手段と、
   前記撮像手段が撮像した前記第１の視点の画像を該第１の視点とは異なる車両主軸を含む垂直面の車両内にあたかもカメラが搭載されたような第２の視点から見た画像に変換する変換手段と、
   前記変換された第２の視点から見た画像を車室内に表示する表示手段とを備え、
   前記第２の視点及び光軸は、車両内における車両主軸を含む垂直面内に設定されるとともに、前記表示手段上には、車両の走行予想軌跡が重畳描画されることを特徴とする車両用監視装置。
2. 前記表示手段は、シフトレバーのリバーススイッチがオンになったときのみ画像を表示してなることを特徴とする請求項１に記載の車両用監視装置。