JP6805900B2 - 画像処理装置およびカメラ装置並びに運転支援装置 - Google Patents

Description

本発明は、車両に搭載された撮像装置で魚眼レンズを通じて撮像された画像に画像変換処理を施し出力する画像処理装置、および、そうした画像処理装置を備えるカメラ装置並びに運転支援装置に関する。

特許文献１は、車両に搭載された撮像装置の魚眼レンズから投影される被写体を撮像する撮像素子を開示する。撮像された画像には画像データ変換装置で画像変換処理が施される。魚眼レンズにより歪んだ画像は歪みを低減した画像に補正される。画面形式の画像では、撮像画像において垂直方向に上下に伸びる直線の直線性は維持されるとともに、消失点に向かって伸びる直線の直線性は維持される。車両が直進方向にこれから進む直進路の範囲において水平線と平行な直線はその直線性が維持される。

特開２００８−３１１８９０号公報

特許文献１に記載の画像変換処理では、車両が直進方向にこれから進む直進路の範囲以外では画像が歪むことから、所定の操舵角で車両が走行する場合（車両が旋回する場合）には車両がこれから進む進路の画像が歪んでしまい、進路上の障害物の位置が正しく認識されることができない。

本発明は、車両の旋回時であっても車両がこれから進む進路上で障害物位置を正しく認識することができる画像を出力する画像処理装置を提供することを目的とする。

本発明の一形態によれば、車両に搭載された撮像装置で撮像された画像に画像変換処理を施し出力する画像処理装置であって、任意の位置から前記車両が直進する操舵角で走行する第１走行で所定距離進行するときに、前記車両が通過すると予測される地上の領域を第１領域、前記任意の位置から前記車両が直進以外で進む操舵角で走行する第２走行で所定距離進行したときに、前記車両が通過すると予想される地上の領域を第２領域、前記第２領域のうち前記第１領域に含まれない領域を第３領域としたとき、前記第２走行時に前記画像処理装置から出力される画像の前記第３領域の歪みが、前記第１走行時に前記画像処理装置から出力される画像の前記第３領域の歪みより小さくなる様に画像変換処理を施す画像処理装置が提供される。

第１走行時には車両は第１領域を通過することから、第１領域外の第３領域に画像の歪みが残存しても、進路上の障害物の位置の認識に影響しない。第２走行時には車両は第２領域を通過することから、第１領域外であっても第２領域内の第３領域で画像の歪みが補正されると、車両の進路上で障害物の位置は正しく画像から認識されることができる。こうして直進走行であっても旋回走行であっても進路上の障害物の位置は画像から正しく認識されることができる。

画像処理装置は、前記画像変換処理にあたって、前記第２走行時に前記画像処理装置から出力される画像で、前記第２領域を構成する内輪（車両の回転中心側の車輪）側の線と水平方向に隣接する隣接域を水平方向に拡大してもよい。これから車両が向かう方面の画像が拡大されるので、内輪側の隣接域から進路に進入する障害物の位置が認識されやすくなる。

画像処理装置は運転支援装置に組み込まれて利用されてもよい。運転支援装置は一形態に係る画像処理装置を備えることができる。画像処理装置はカメラ装置に組み込まれて利用されてもよい。カメラ装置は一形態に係る画像処理装置を備えることができる。

以上のように開示の画像処理装置によれば、車両の旋回時であっても車両の進路上で正しく障害物の位置を認識することができる画像を出力することができる。

一実施形態に係る車両すなわち自動車の全体像を概略的に示す斜視図である。 運転支援装置の構成を概略的に示すブロック図である。 魚眼レンズから投影される被写体の撮像画像の一具体例を示す写真である。 直進する操舵角が検出された際に表示画面の一具体例を示す写真である。 直進以外で進む操舵角が検出された際に表示画面の一具体例を示す写真である。 第１領域、第２領域および第２領域の概念を説明する模式図である。 座標変換モデルを概略的に示す概念図である。 直進以外で進む操舵角が検出された際に表示画面の一具体例を示す写真である。

以下、添付図面を参照しつつ本発明の一実施形態を説明する。

図１は一実施形態に係る車両すなわち自動車１１を概略的に示す。自動車１１は左右の前輪ＦＷおよび左右の後輪ＲＷで地面に支えられる車体１２を備える。前輪ＦＷには操舵システム１３が連結される。操舵システム１３は、乗員室に設置されるハンドル１３ａと、ハンドル１３ａおよび左右の前輪ＦＷに連結されて、ハンドル１３ａの回転運動を左右方向の直線運動に変換するリンク機構１３ｂとを備える。リンク機構１３ｂには例えばラックアンドピニオン機構が用いられることができる。ハンドル１３ａの回転操作に応じて左右の前輪ＦＷは操舵される。リンク機構１３ｂには前輪ＦＷの操舵角を検出する操舵角センサ１４が接続される。操舵角センサ１４は、検出した操舵角を特定する電気信号（以下「角度信号」）を出力する。

車体１２には運転支援装置１５が搭載される。運転支援装置１５はナビゲーション装置１６を備える。ナビゲーション装置１６は例えばダッシュボードに組み込まれることができる。ナビゲーション装置１６の表示画面には地図その他の情報が表示されることができる。

運転支援装置１５はカメラ装置１７を備える。カメラ装置１７は例えば車体１２のフロントノーズに設置される。カメラ装置１７は例えばフロントバンパーの左右方向中央位置に取り付けられる。カメラ装置１７はナンバープレートの下方に配置されればよい。カメラ装置１７は車体１２の前方を撮像する。ここでは、光軸１８に対して水平方向および垂直方向にいずれも少なくとも±９０°の画角範囲で被写体の撮像画像は取得される。カメラ装置１７は撮像画像の画像信号（以下「撮像信号」という）を出力する。

カメラ装置１７には画像データ変換装置（画像処理装置）１９が接続される。画像データ変換装置１９はカメラ装置１７から撮像信号を受信する。画像データ変換装置１９は撮像信号に基づき表示画像の画像信号（以下「表示用画像信号」という）を生成する。画像データ変換装置１９では撮像画像の画素位置から表示画面の画素位置への座標変換が実施され歪みが低減される。

画像データ変換装置１９にナビゲーション装置１６が接続される。ナビゲーション装置１６には画像データ変換装置１９から表示用画像信号が供給される。ナビゲーション装置１６の表示画面には表示用画像信号に基づき車体１２前方の画像が表示されることができる。この運転支援装置１５では、路地の交差点などで運転手は左右から交差点に進入する他の車両を確実に確認することができ、運転手は状況に応じてフロントノーズの真下の地面も確認することができる。こうして運転支援装置１５は運転手の前方確認を支援することができる。

図２に示されるように、カメラ装置１７は魚眼レンズ２１を備える。被写体からの光は、光軸１８に対して水平方向および垂直方向にいずれも少なくとも±９０°の画角範囲で入射する。

カメラ装置１７は撮像素子２２を備える。撮像素子２２は、魚眼レンズ２１から投影される被写体の像を電気信号に変換する。撮像素子２２はマトリクス状に配置された画素を備える。撮像素子２２の撮像面に設定される二次元座標系に従って個々の画素の位置は特定される。例えばベイヤー配列ではＲＧＧＢ（赤緑緑青）の電気信号で被写体の色が表現される。

カメラ装置１７は出力処理部２３を備える。出力処理部２３は撮像素子２２に電気的に接続される。出力処理部２３は画素の位置すなわちアドレスを順次指定しながら画素の電気信号を読み出す。出力処理部２３はデジタルの撮像信号を出力する。

画像データ変換装置１９は画像メモリ２４を備える。画像メモリ２４はカメラ装置１７の出力処理部２３に電気的に接続される。画像メモリ２４は、魚眼レンズ２１から投影される被写体の撮像画像を記憶する。画像メモリ２４では撮像素子２２の個々の画素ごとにアドレスが割り当てられる。アドレスには個々の画素ごとに二次元座標系の座標値（以下「撮像画素位置」という）が関連づけられる。アドレスに従って画素ごとに画像情報が記憶される。特定される撮像画素位置に応じて画素ごとに画像情報は取り出されることができる。

画像データ変換装置１９は画像変換部２５および画像変換メモリ２６を備える。画像変換部２５は画像メモリ２４に電気的に接続される。画像変換メモリ２６は画像変換部２５に電気的に接続される。画像変換部２５は、撮像画像に座標変換を施し、出力画像を生成し出力する。画像変換メモリ２６には座標変換データが記憶される。座標変換データは、予め設定されたテーブルに従って、表示画面の二次元面に設定される二次元座標系の座標値（以下「表示画素位置」という）と撮像画素位置との対応関係を記述する。対応関係の記述にあたって画像変換メモリ２６では表示画面の個々の画素ごとにアドレスが割り当てられる。個々のアドレスごとに撮像画素位置が記憶される。こうして画像変換メモリ２６では、特定される表示画素位置に応じて表示画面の画素ごとに撮像画素位置が取得されることができる。

画像変換部２５は所定の順番に従って表示画素位置を指定する。指定される表示画素位置に応じて画像変換部２５は画像変換メモリ２６から撮像画素位置を取得する。画像変換部２５は、取得した撮像画素位置に対応して画像メモリ２４から画像情報を取り出す。このとき、後述されるように、表示画素位置に対して算出された撮像画素位置は小数を含む実数であって、そのままでは画像メモリ２４のアドレスとして用いられることができない。したがって、画像変換部２５は、算出された撮像画素位置の整数部分に相当するアドレスで画像メモリ２４から画像情報を読み出す。この動作により画像変換が行われる。

画像変換部２５には操舵角センサ１４が接続される。画像変換部２５には操舵角センサ１４から角度信号が供給される。画像変換メモリ２６には、操舵角の所定角度（例えば２２．５度）ごとに複数の異なる座標変換データからなるテーブルが記憶されている。画像変換部は、操舵角センサ１４からの角度信号に応じて、画像変換メモリ２６から対応づけられた座標変換データを取得する。

ナビゲーション装置１６は演算処理部２７を備える。演算処理部２７は画像データ変換装置１９の画像変換部２５に電気的に接続される。演算処理部２７は例えばＭＰＵ（マイクロプロセッサユニット）およびメモリを有することができる。例えばメモリに格納されるソフトウェアに従ってＭＰＵは動作することができる。演算処理部２７はソフトウェアで実行される処理に従って画像変換部２５から座標変換後の画像情報を取得することができる。演算処理部２７は地図および進行ルート等を表示しナビゲーション動作を行うナビゲーション機能を備えてもよい。

ナビゲーション装置１６はディスプレイユニット２８を備える。ディスプレイユニット２８は演算処理部２７に電気的に接続される。ディスプレイユニット２８には演算処理部２７から画像信号が供給される。供給される画像信号に応じてディスプレイユニット２８の表示画面には地図や車体１２前方の画像が映し出されることができる。

画像変換部２５は撮像画像から出力画像（以下「表示画像」という）を生成する。撮像画像は、図１および図３に示されるように、魚眼レンズ２１の光軸１８を含む水平方向に少なくとも±９０°、および魚眼レンズ２１の光軸１８を含む垂直方向に少なくとも±９０°の範囲を含む。魚眼レンズ２１の特性に起因し撮像画像は湾曲している。

画像変換部２５は、所定の操舵角の範囲ごとに異なる座標変換データを用い画像変換を実施する。例えば、図４に示されるように、表示画像はこれから自動車１１が通過する直進路３１の範囲で歪みが低減される。また図５に示されるように、直進以外で進む操舵角が検出されると、表示画像では、当該操舵角で自動車１１がこれから走行する旋回路３４のうち、直進路３１から外れた領域３４ａの歪みが低減される。消失点３２は地平線（ここでは水平線に対応する）の中央位置に相当する。

図６に示されるように、任意の位置から自動車１１が操舵角を０度（自動車１１が直進する範囲の操舵角を０度と称している。以下同じ。）で走行する第１走行で所定距離（ここでは３ｍ）これから進行する場合、自動車１１が通過すると予測される地上の領域を第１領域３５、当該任意の位置から自動車１１が操舵角を０度以外で走行する第２走行で所定距離これから進行する場合、自動車１１が通過する地上の領域を第２領域３６、第２領域３６のうち第１領域３５に含まれない領域を第３領域３７とする。第１領域３５は直進路３１に相当する。第２領域３６は旋回路３４に相当する。ここでは、地上には１辺１ｍの正方形で構成される格子柄が描かれる。図４および図５の比較から明らかなように、第２走行時に画像変換部２５から出力される画像の第３領域３７の歪みは、第１走行時に画像変換部２５から出力される画像の第３領域３７に相当する部分の歪みより小さい。

第１走行時には自動車１１は第１領域３５を通過すると予測されることから、第１領域３５外の第３領域３７に画像の歪みが残存しても、進路上の障害物の位置の認識に影響しない。第２走行時には自動車１１は第２領域３６を通過すると予測されることから、第１領域３５外であっても第２領域３６内の第３領域３７で画像の歪みが補正されると、自動車１１の進路上で障害物の位置は正しく画像から認識されることができる。こうして直進走行であっても旋回走行であっても進路上の障害物の位置は画像から正しく認識されることができる。

また、第２走行時に画像変換部２５から出力される画像では、図８に示されるように、第２領域３６を構成する車両１１の内輪側の線３８に水平方向に隣接する隣接域４１を水平方向に拡大してもよい。拡大の様子は図５との対比で明らかとなる。こうすることで、これから自動車１１が向かう方面の画像が拡大される。進行方向にある障害物の認識はより確実なものとなる。また、このとき第２領域３６を構成する外輪側の線３４に水平方向に隣接する隣接域は水平方向に縮小されてもよい。こうすることで隣接域４１を水平方向に拡大しても、拡大する前と比較し、水平方向の表示画角が維持されることができる。

次に座標変換データを生成する際の原理を詳述する。座標変換データの算出にあたって、図７に示されるように、画像変換モデル３９が構築される。この画像変換モデル３９では魚眼レンズ２１を有する撮像装置１７で撮像された画像は、点Ｏから半球面４３に投影される。点Ｏと、半球面４３上に投影された画像は、次に点Ｏと投影された点とを通過する直線の延長線と仮想湾曲面４０とが交わる点Ｈに転写される。転写された画像は正射影法に従って矩形の表示画面４２の二次元面上の点Ｐに投影される。この原理に則り、撮像画像のある位置に対応する表示画像の位置が定義される。これが画像変換データとなる。なお、本原理は特許第４６６１８２９号において開示されている。

上記の原理により生成された画像変換データにより画像変換を実施した画像は、仮想湾曲面４０の中央面４５と左側面４６の境界付近、および中央面４５と右側面４７との境界付近で部分的に画像の歪みが発生する。所定の操舵角で走行する第２走行で所定距離これから進行する地上の領域である第２領域がこの境界を跨ぐと、歪みの影響を受け障害物の位置を正確に認識できなくなる。そこで本願では例えば左に操舵をした場合、点Ｏを含み、表示平面４２と平行な仮想平面２２と左側面４６との成す角α１を操舵角０度のときに比べ大きくとる。これにより中央面４５がＸ軸方向に長くなり、第２領域全体が中央面４５に収まる。結果これから進行する領域（第２領域）の歪みは低減され、障害物の位置を正確に認識できる様になる。

また、図８の説明において、隣接域４１を拡大することを述べたが、それに対応する座標変換データの生成原理を以下説明する。例えば左に操舵をした場合、点Ｏを含み、表示平面４２と平行な仮想平面２２と、左側面４６との成す角α１を操舵角０度のときに比べ小さくする。こうすることで隣接域４１は表示平面４２上で拡大する。仮想湾曲面４０の中央面４５、左側面４６、右側面４７の配置を操舵角０度のときから変更することにより、表示平面４２の左右部分の水平方向の拡大、縮小は可能となる。

以上により、直進する操舵角が検出されると、直進路３１内で画像の歪みは補正される。したがって、自動車１１の進路上で障害物の位置は正しく画像から認識されることができる。直進以外で進む操舵角が検出されると、直進路３１から外れた第３領域３７であっても旋画像の歪みは補正される。したがって、自動車１１が旋回しても、自動車１１の進路上で障害物の位置は正しく画像から認識されることができる。

運転支援装置１５は、車体１２の後部に設置されるカメラ装置を備えてもよい。カメラ装置は例えば自動車１１のリアバンパーの上方に取り付けられればよい。カメラ装置の光軸は、車体１２から後方に離れるにつれて地面に近づくように傾斜すればよい。この場合には、自動車１１のシフトギアがバックギアに入れられると、ナビゲーション装置１６の演算処理部２７は自動車１１の制御システムからバックギアの信号を受けてナビゲーション動作から運転支援動作にナビゲーション装置１４を切り替える。カメラ装置の撮像信号は前述と同様に処理されることができる。

１１…車両（自動車）、１７…撮像装置（カメラ装置）、１９…画像処理装置（画像データ変換装置）、２１…魚眼レンズ、３５…第１領域、３６…第２領域、３８…内輪の線、３７…第３領域。

Claims (4)

1. 車両に搭載された撮像装置で魚眼レンズを通じて撮像された画像に画像変換処理を施し出力する画像処理装置であって、
   任意の位置から前記車両が直進する操舵角で走行する第１走行で所定距離進行したときに、前記車両が通過すると予測される地上の領域を第１領域、
   前記任意の位置から前記車両が直進以外で進む操舵角で走行する第２走行で所定距離進行したときに、前記車両が通過すると予想される地上の領域を第２領域、
   前記第２領域のうち前記第１領域に含まれない領域を第３領域としたとき、
   前記第２走行時に前記画像処理装置から出力される画像の前記第３領域の歪みが、前記第１走行時に前記画像処理装置から出力される画像の前記第３領域の歪みより小さくなる様に画像変換処理を施す、
   ことを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、前記画像変換処理にあたって、前記第２走行時に前記画像処理装置から出力される画像で、前記第２領域を構成する内輪側の線と水平方向に隣接する隣接域を水平方向に拡大することを特徴とする画像処理装置。
3. 請求項１〜２のいずれか１項に記載の画像処理装置を備えることを特徴とする運転支援装置。
4. 請求項１〜２のいずれか１項に記載の画像処理装置を備えることを特徴とするカメラ装置。