JP5999043B2 - 車両周辺監視装置およびプログラム - Google Patents

Description

本発明は、自車両の前方および後方のうち少なくとも一方の路面を含む周辺を撮影して、その画像を車室内に表示することにより、路面の状態等を、車両運転者が車室内から監視できるように構成された車両周辺監視装置、およびプログラムに関する。

従来、この種の車両周辺監視装置として、車両の後部にバックカメラを取り付けて設置し、バックカメラが撮影した車両後方の原画像を加工して仮想的な鳥瞰画像を生成し、その鳥瞰画像を車室内の表示装置に表示する装置が知られている。

このような車両周辺監視装置において、例えば原画像から鳥瞰画像への座標変換を行う際には、バックカメラの位置姿勢を示す外部パラメータを用いた座標変換が行われる。この場合、バックカメラの取付誤差や車両の揺れによって、バックカメラの位置姿勢が変動すると、座標変換に影響して鳥瞰画像を正しく生成できなくなる可能性があるため、原画像から車両のバンパの位置を検出し、検出したバンパの位置に基づいてバックカメラの取付角度を算出することにより、外部パラメータを補正することが提案されている（例えば、特許文献１参照）。

特開２００４−６４４４１号公報

しかしながら、従来の車両周辺監視装置では、例えば車室内の表示装置に鳥瞰画像として路面の状態だけが映し出される場合があり、このような鳥瞰画像からは車両と路面との位置関係や高さ方向の情報が車両運転者に伝わりにくく、車両運転者に違和感や圧迫感を与えてしまうおそれがあった。

本発明は、上記事情に鑑みてなされたものであり、その目的は、車室内の表示画像において、車両運転者の違和感や圧迫感をより抑制することが可能な車両周辺監視装置およびプログラムを提供することにある。

上記目的を達成するためになされた本発明の車両周辺監視装置は、撮影手段と、画像処理手段と、表示手段とを備える。撮影手段は、自車両に取り付けられて、その自車両の前方および後方のうち少なくとも一方の路面を含む周辺を撮影可能に構成されている。表示手段は、画像処理手段によって生成された座標変換画像に基づく撮影画面を、車室内において所定の表示領域に表示するように構成されている。

ここで、本発明において、画像処理手段は、撮影手段によって撮影された原画像において、自車両の端辺位置および自車両に対する水平線位置を算出可能なパラメータを用いて、これら端辺位置および水平線位置によって上下方向に区画される３つの各区画領域の割合が予め設定された目標割合に近づくように所定の座標変換を含む画像補正を施すことにより、原画像に基づく仮想的な座標変換画像を生成する。

このような構成では、例えば、座標変換画像における３つの各区画領域を、それぞれ、端辺位置より下側の領域である端部領域、端辺位置と水平線位置との間の領域である路面領域、水平線位置より上側の領域である空領域とすると、これら端部領域、路面領域、空領域が所定の割合でバランスよく配分された撮影画面を表示することが可能となる。

つまり、本発明の構成では、車室内の表示装置に座標変換画像として路面の状態だけでなく、自車両の端辺位置と自車両に対する水平線位置とをわかりやすく車両運転者に示すことができ、このような座標変換画像から自車両と路面との位置関係や高さ方向の情報を、車両運転者に直感的に認知させることが可能となる。

したがって、本発明によれば、車室内の表示画像において、自車両と路面との位置関係が直感的に認知できないという違和感や、路面よりも高い位置の情報が得られないことに起因する圧迫感、つまり、車両運転者の違和感や圧迫感をより抑制することができる。

なお、上記パラメータは、撮影手段の位置姿勢を示す外部パラメータを含むものであり、画像処理手段は、このパラメータを用いて例えばカメラキャリブレーションを行うことにより、撮影手段が搭載される車両（自車両）の形状に応じて、予め原画像における自車両の端辺位置および自車両に対する水平線位置を算出しておくことができる。つまり、撮影手段が搭載される車両の種類（車種）が異なる場合であっても、予め原画像における自車両の端辺位置および自車両に対する水平線位置に関する情報を算出しておくことができる。

また、本発明は、プログラムとして市場に流通させることができる。具体的には、撮影手段および表示手段に接続されるコンピュータを、上記の画像処理手段として機能させるためのプログラムである。

このプログラムは、１ないし複数のコンピュータに組み込まれることにより、本発明の車両周辺監視装置によって奏する効果と同等の効果を得ることができる。なお、本発明のプログラムは、コンピュータに組み込まれるＲＯＭやフラッシュメモリ等に記憶され、これらＲＯＭやフラッシュメモリ等からコンピュータにロードされて用いられてもよいし、ネットワークを介してコンピュータにロードされて用いられてもよい。

また、上記のプログラムは、コンピュータにて読み取り可能なあらゆる形態の記録媒体に記録されて用いられてもよい。この記録媒体としては、例えば、持ち運び可能な半導体メモリ（例えばＵＳＢメモリやメモリカード（登録商標））等が含まれる。

車両周辺監視装置の全体構成を例示するブロック図である。 自車両へのカメラ２の取り付け態様を例示する説明図である。 画像において各区画領域を例示する説明図である。 車両周辺監視装置（制御部）が行う画像処理の内容を例示するフローチャートである。 画像処理における模擬画像（バンパ画像・空画像）の合成を例示する説明図である。

以下に、本発明の実施形態を図面と共に説明する。
なお、本発明は、下記の実施形態によって何ら限定して解釈されない。また、下記の実施形態の一部を、課題を解決できる限りにおいて省略した態様も本発明の実施形態である。また、特許請求の範囲に記載した文言のみによって特定される発明の本質を逸脱しない限度において考え得るあらゆる態様も本発明の実施形態である。また、下記の実施形態の説明で用いる符号を特許請求の範囲にも適宜使用しているが、各請求項に係る発明の理解を容易にする目的で使用しており、各請求項に係る発明の技術的範囲を限定する意図ではない。

＜全体構成＞
図１に示すように、本実施形態の車両周辺監視装置１は、撮影手段として車両に取り付けられて、その車両（以下「自車両」という）の前方および後方のうち少なくとも一方の路面を含む周辺を撮影可能なカメラ２と、表示手段として自車両の車室内において所定の表示領域に画像を表示する表示部４と、画像処理手段として後述する所定の座標変換を含む画像補正（以下「画像処理」という）を行う制御部６と、各種情報を記憶する記憶部８などを備えている。

制御部６は、マイクロコンピュータを中心に構成された周知の電子制御装置であり、この制御部６によって車両周辺監視装置１の各部が制御される。なお、制御部６は、車両周辺監視装置１の制御専用に用意されたものであってもよいし、車両周辺監視装置１以外の制御も行う汎用のものであってもよい。また、単一の制御部６で構成してもよいし、複数の制御部６が協働して機能するものであってもよい。

カメラ２は、自車両の後部に設置された複数の魚眼レンズによって、自車両の後方の路面とともに、自車両の後端部としてのバンパや、路面よりも高い位置の風景を含む車両周辺を広域に撮影できるようになっている。また、カメラ２は、制御装置を有して構成されており、制御部６から切り出し画角の指示を与えられると、その指示に応じた画角にて原画像の一部を原画像から切り出して提供する機能を備えている。本実施形態では、制御部６からカメラ２に、原画像のうち歪みの少ない中央部を切り出すための指示が与えられ、カメラ２が、この指示に従って原画像から中央部を切り出した画像（以下「カメラ画像」という）を制御部６に提供するように構成されている。

表示部４は、自車両の車室内においてダッシュボードまたはその付近に設置されるセンターディスプレイであり、このセンターディスプレイには、制御部６がカメラ２から取得したカメラ画像に画像処理を施すことで生成した画像（詳細については後述する）に基づく撮影画面が表示されるようになっている。

記憶部８は、制御部６が実施する画像処理を規定しているプログラムや、カメラ２固有の内部パラメータ（即ち、レンズの焦点距離、画角、画素数等）に加えて、ワールド座標系におけるカメラ２の位置姿勢を示す外部パラメータ（以下「カメラ２の取り付けパラメータ」という）等を記憶する不揮発性メモリである。また、記憶部８には、原画像において自車両のバンパ位置および自車両に対する水平線位置を示す情報（以下「バンパ・水平線位置情報」という）が格納されている。

詳細には、このバンパ・水平線位置情報は、図２に示すように、カメラ２から見て、車両後部のバンパのうち最も端に位置する辺（車幅方向に延びる辺）を端辺とし、この端辺位置（即ち、バンパ位置）を構成する各点が原画像のどこに投影されるかを座標で示すバンパ位置情報と、同様に、カメラ２を起点とした場合の水平方向を示す位置（即ち、水平線位置）が原画像のどこに投影されるかを座標で示す水平線位置情報とからなる。

また、カメラ２の取り付けパラメータは、ワールド座標系において、自車両に対し、カメラ２の取り付け位置を３次元（Ｘ，Ｙ，Ｚ）で表す位置情報と、カメラ２の取り付け角度をロール、ピッチ、ヨーで表す角度情報とを含むものであり、制御部６（またはカメラ２の制御装置）は、このカメラ２の取り付けパラメータ（および内部パラメータ）を用いて、例えばカメラキャリブレーションを行うことにより、バンパ・水平線位置情報を予め算出しておくことができる。

このため、バンパ・水平線位置情報（ひいてはカメラ２の取り付けパラメータ等）は、カメラ２が設置される車両（自車両）の形状に応じて、予め算出しておくことが可能であることから、自車両の種類（車種）が異なる場合であっても、予め原画像における自車両のバンパ位置および自車両に対する水平線位置を算出しておくことができる。

なお、以下では、カメラ２から取得可能な原画像（またはカメラ画像）や、制御部６が画像処理を実施することで生成される画像（後述する座標変換画像または補正画像）において、図３に示すように、バンパ位置よりも下側の領域は、主に車両後部のバンパを示す領域となるためバンパ領域と称し、バンパ位置と水平線位置との間の領域は、主に路面の状態を示す領域となるため路面領域と称し、水平線位置よりも上側の領域は、障害物がない場合に主に空の風景を示す領域となるため空領域と称することにする。

＜画像処理＞
次に、制御部６が実施する画像処理について、図４のフローチャートに沿って説明する。なお、本処理は、例えばエンジン始動に伴い、シフト位置センサ（非図示）から供給される検知情報に基づいてシフトレンジの検知を行い、シフトレンジがＲに変更されると開始される。また、制御部６は、記憶部８に記憶されているプログラムに基づいて、本処理を実行するようになっている。

本処理が開始されると、まず、制御部６は、Ｓ１１０において、記憶部８からバンパ・水平線位置情報を読み込み、続くＳ１２０において、カメラ２から原画像を取得する。
そして、続くＳ１３０では、Ｓ１１０において読み込んだバンパ・水平線位置情報と、Ｓ１２０において取得した原画像とに基づいて、原画像においてバンパ位置および水平線位置によって上下方向に区画される３つの各区画領域（バンパ領域、路面領域および空領域）をそれぞれ示す座標群（複数の座標の集まり）を特定する。

続くＳ１４０では、Ｓ１２０において取得した原画像に基づき、この原画像のうち歪みの少ない中央部を原画像から切り出すための指示をカメラ２に供給する。カメラ２は、この指示を制御部６から受け取ると、前述したカメラ画像を制御部６に提供することになる。

そして、続くＳ１５０では、Ｓ１４０に伴ってカメラ２から取得したカメラ画像と、Ｓ１３０において特定した３つの各区画領域をそれぞれ示す座標群とに基づいて、カメラ画像において、各区画領域の割合が予め設定された目標割合に近づくように所定の座標変換を含む画像補正を施すことにより、Ｓ１１０において取得した原画像に基づく仮想的な座標変換画像を生成する。本実施形態では、カメラ画像において、少なくとも、各区画領域のうち、バンパ領域および空領域の大きさがそれぞれ目標割合に基づく大きさを超えない範囲で目標割合に近づくように画像補正を行うようになっている。

なお、目標割合は、座標変換画像（および後述する補正画像）において、各区画領域（バンパ領域、路面領域、空領域）が視覚上バランスよく配分されるように、官能検査等によって予め決められた所定割合である。また、座標変換では、カメラ２の取り付けパラメータ（つまり、カメラ２の取り付けに関する位置情報や角度情報など）を用いて、カメラ２からの実際の視点から、路面の状態を認識しやすくなる程度に俯瞰した視点に変換する公知の視点変換処理が行われる。さらに、画像補正では、必要に応じ、視点変換処理に加えて、画像の縦横比を変更することも行われる。

続くＳ１６０では、Ｓ１５０において生成した座標変換画像について、各区画領域の割合が目標割合と等しいか否かを判断し、ここで、肯定判断した場合には、Ｓ１７０に移行し、否定判断した場合には、Ｓ１８０に移行する。

Ｓ１７０では、Ｓ１６０において各区画領域の割合が目標割合と等しいと判断した座標変換画像に基づく撮影画面を表示部４に表示させることを許可し、本処理を終了する。
一方、Ｓ１８０では、Ｓ１６０において各区画領域の割合が目標割合と等しくないと判断した座標変換画像について、目標割合に対し、バンパ領域が少ないか否か（目標割合に基づく大きさに比べて、バンパ領域が小さいか否か）を判断し、バンパ領域が小さい場合には、Ｓ１９０に移行する。また、Ｓ１８０において否定判断した場合、即ち、バンパ領域が目標割合に基づく大きさである場合には、空領域が少ない（目標割合に基づく大きさに比べて、空領域が小さい）ことになり、Ｓ２１０に移行する。

Ｓ１９０では、Ｓ１５０において生成した座標変換画像について、バンパ領域が目標割合に基づく大きさとなるように、自車両の後端部（バンパ）を模擬した画像（バンパ画像）を、バンパ領域の少なくとも一部に合成し（図５（ａ）参照）、このようにバンパ画像を座標変換画像に合成する合成処理を施すことで生成した画像（以下「第１の補正画像」という）に基づく撮影画面を表示部４に表示させることを許可して、本処理を終了する。なお、この合成処理では、バンパ領域において目標割合に基づく大きさに足りない領域に、対応する大きさのバンパ画像を加入してもよいし、目標割合に基づくバンパ領域の全ての領域に対応する大きさのバンパ画像を加入してもよい。また、バンパ画像は、自車両の後端部（バンパ）を模擬した画像であれば、どのような画像でもよく、例えば簡易なものとしては黒系の色を塗りつぶした画像であってもよい。

続くＳ２００では、Ｓ１６０において各区画領域の割合が目標割合と等しくないと判断した座標変換画像について、目標割合に対し、空領域が少ないか否か（目標割合に基づく大きさに比べて、空領域が小さいか否か）を判断し、空領域が小さい場合には、Ｓ２１０に移行し、ここで肯定判断した場合、即ち、空領域が目標割合に基づく大きさである場合には、本処理を終了する。

最後に、Ｓ２１０では、Ｓ１５０において生成した座標変換画像（またはＳ１９０において生成した第１の補正画像）について、空領域が目標割合に基づく大きさとなるように、空の風景を模擬した画像（空画像）を、空領域の少なくとも一部に合成し（図５（ｂ）参照）、このように空画像を座標変換画像（または第１の補正画像）に合成する合成処理を施すことで生成した画像（第２の補正画像）に基づく撮影画面を表示部４に表示させることを許可して、本処理を終了する。なお、この合成処理では、空領域において目標割合に基づく大きさに足りない領域に、対応する大きさの空画像を加入してもよいし、目標割合に基づく空領域の全ての領域に対応する大きさの空画像を加入してもよい。また、空画像は、空の風景を模擬した画像であれば、どのような画像でもよく、例えば簡易なものとしては青系の色を塗りつぶした画像であってもよい。

＜効果＞
以上説明したように、車両周辺監視装置１は、カメラ２と、制御部６と、表示部４とを備える。カメラ２は、自車両に取り付けられて、その自車両の後方の路面を含む車両周辺を撮影可能に構成されている。表示部４は、制御部６によって生成された座標変換画像に基づく撮影画面（補正画像に基づく撮影画面を含む）を、車室内において所定の表示領域に表示するように構成されている。

ここで、制御部は、カメラ２によって撮影された原画像において、自車両の端辺位置（バンパ位置）および自車両に対する水平線位置を算出可能なカメラ２の取り付けパラメータを用いて、これらバンパ位置および水平線位置によって上下方向に区画される３つの各区画領域の割合が予め設定された目標割合に近づくように所定の座標変換を含む画像補正を施すことにより、原画像に基づく仮想的な座標変換画像を生成する。

このような構成では、座標変換画像における３つの各区画領域を、それぞれ、バンパ位置より下側の領域であるバンパ領域、端辺位置と水平線位置との間の領域である路面領域、水平線位置より上側の領域である空領域として、これらバンパ領域、路面領域、空領域が所定の割合でバランスよく配分された撮影画面を表示することが可能となる。

つまり、車両周辺監視装置１では、車室内の表示部４に座標変換画像として路面の状態だけでなく、自車両のバンパ位置と自車両に対する水平線位置とをわかりやすく車両運転者に示すことができ、このような座標変換画像から自車両と路面との位置関係や高さ方向の情報を、車両運転者に直感的に認知させることが可能となる。

したがって、車両周辺監視装置１によれば、車室内の表示画像において、自車両と路面との位置関係が直感的に認知できないという違和感や、路面よりも高い位置の情報が得られないことに起因する圧迫感、つまり、車両運転者の違和感や圧迫感をより抑制することができ、車両運転者にとってわかりやすく見映えのよい撮影画面を表示することができる。

また、車両周辺監視装置１において、制御部６は、座標変換画像における３つの各区画領域の割合が目標割合と等しい場合に、表示部４による撮影画面の表示を許可するようにしている。このような構成によれば、車室内の表示画像において、自車両のバンパ位置および自車両に対する水平線位置が常に一定に保たれるため、車両運転者に対して違和感をより与えないようにすることができる。

また、車両周辺監視装置１において、制御部６は、目標割合に対し、バンパ領域が少ない場合、自車両の後端部（バンパ）を模擬した画像を座標変換画像に合成するようにしている。つまり、座標変換画像において、自車両のバンパ位置が所定の基準位置に対して下方にずれている場合や、端辺位置が消失している場合等に、視認性を上げるために自車両の端部を示す模擬画像を加入することにより、自車両のバンパ位置を所定の基準位置に合わせることができる。

これにより、座標変換を含む画像補正だけでは所望のバランスでバンパ領域が配分された表示画像を得ることができない場合にも、容易に対応することが可能となるため、車両運転者の違和感を好適に抑制することができる。なお、この場合、自車両と路面との位置関係において、実際よりも自車両のバンパ位置が前方または後方に出っ張った感覚を車両運転者に与えてしまう可能性もあるが、仮にそうなったとしても、自車両の運転にとっては安全方向に作用することになる（障害物との衝突を早期に回避させるように運転操作させ易くなる）ため、安全面からは問題がないと考えられる。

また、車両周辺監視装置１において、制御部６は、目標割合に対し、空領域が少ない場合、空の風景を模擬した画像を座標変換画像に合成するようにしている。つまり、座標変換画像において、自車両に対する水平線位置が所定の基準位置に対して上方にずれている場合や、水平線位置が消失している場合等に、視認性を上げるために空の風景を示す模擬画像を加入することにより、自車両に対する水平線位置を所定の基準位置に合わせることができる。これにより、座標変換を含む画像補正だけでは所望のバランスで空領域が配分された表示画像を得ることができない場合にも、容易に対応することが可能となるため、車両運転者の圧迫感を好適に抑制することができる。

＜他の実施形態＞
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、様々な態様にて実施することが可能である。

例えば、上記実施形態の車両周辺監視装置１では、表示部４が自車両のセンターディスプレイによって構成されているが、表示部４は、これに限らず、メータディスプレイやヘッドアップディスプレイ等の各種の表示装置によって構成され得る。

また、上記実施形態の車両周辺監視装置１では、カメラ２が自車両の後部に設置されて自車両の後方の路面を含む車両周辺を撮影可能なリアビューカメラによって構成されているが、カメラ２は、これに限らず、自車両の前部に設置されて自車両の前方の路面を含む車両周辺を撮影可能なフロントビューカメラによって構成されてもよい。

また、上記実施形態の画像処理では、Ｓ１５０において生成した座標変換画像について、各区画領域の割合が目標割合と等しい場合に（Ｓ１６０；ＹＥＳ）、この座標変換画像に基づく撮影画面を表示部４に表示させることを許可しているが（Ｓ１７０）、これに限らず、例えば、各区画領域の割合が目標割合に基づいて予め設定された許容範囲内である場合に、上記の座標変換画像に基づく撮影画面を表示部４に表示させることを許可してもよい。また、例えば、各区画領域のうちバンパ領域が目標割合に基づく大きさ以上であり、且つ、空領域が目標割合に基づく大きさ以上である場合に、上記の座標変換画像に基づく撮影画面を表示部４に表示させることを許可してもよい。

１…車両周辺監視装置、２…カメラ、４…表示部、６…制御部、８…記憶部。

Claims (5)

1. 自車両に取り付けられて、該自車両の前方および後方のうち少なくとも一方の路面を含む周辺を撮影可能な撮影手段（２）と、
   前記撮影手段によって撮影された原画像において、前記自車両の端辺位置および前記自車両に対する水平線位置を算出可能なパラメータを用いて、前記端辺位置および前記水平線位置によって上下方向に区画される３つの各区画領域の割合が予め設定された目標割合に近づくように所定の座標変換を含む画像補正を施すことにより、該原画像に基づく仮想的な座標変換画像を生成する画像処理手段（６）と、
   前記画像処理手段によって生成された座標変換画像に基づく撮影画面を、車室内において所定の表示領域に表示する表示手段（４）と、
   を備えることを特徴とする車両周辺監視装置。
2. 前記画像処理手段は、前記座標変換画像における前記３つの各区画領域の割合が前記目標割合と等しい場合に、前記表示手段による前記撮影画面の表示を許可することを特徴とする請求項１に記載の車両周辺監視装置。
3. 前記座標変換画像における前記３つの各区画領域を、それぞれ、前記端辺位置より下側の領域である端部領域、前記端辺位置と前記水平線位置との間の領域である路面領域、前記水平線位置より上側の領域である空領域とし、
   前記画像処理手段は、前記目標割合に対し、前記端部領域が少ない場合、前記自車両の端部を模擬した画像を前記座標変換画像に合成することを特徴とする請求項１または請求項２に記載の車両周辺監視装置。
4. 前記座標変換画像における前記３つの各区画領域を、それぞれ、前記端辺位置より下側の領域である端部領域、前記端辺位置と前記水平線位置との間の領域である路面領域、前記水平線位置より上側の領域である空領域とし、
   前記画像処理手段は、前記目標割合に対し、前記空領域が少ない場合、空の風景を模擬した画像を前記座標変換画像に合成することを特徴とする請求項１ないし請求項３のいずれか１項に記載の車両周辺監視装置。
5. 請求項１ないし請求項４のいずれか１項に記載の前記撮影手段および前記表示手段に接続されるコンピュータを前記画像処理手段として機能させるためのプログラム。