JP4560716B2

JP4560716B2 - 車両の周辺監視システム

Info

Publication number: JP4560716B2
Application number: JP2004281910A
Authority: JP
Inventors: 準天野; 一矢渡邊; 智晴鈴木; 功祐佐藤; 克彦梅野
Original assignee: Aisin Seiki Co Ltd; Aisin Corp
Current assignee: Aisin Corp
Priority date: 2004-09-28
Filing date: 2004-09-28
Publication date: 2010-10-13
Anticipated expiration: 2024-09-28
Also published as: US20060072788A1; JP2006100965A; EP1640212B1; EP1640212A1; US7486801B2; DE602005009457D1

Description

本発明は、車両の水平方向に複数設置されたカメラによって撮影される撮影画像を車室内の表示装置に表示する車両の周辺監視システムに関する。

近年、ナビゲーションシステムの普及とも相まって、車両の周囲の状況を車室内の表示装置に表示するモニタシステムを搭載する車両が増加している。車両の周囲の状況としては、例えば、他車の位置、障害物の状況、センターラインや停止線等の道路標示等がある。そして、これら周囲の状況は、車両をバックさせる場合のバックモニタや、前方のバンパー下やコーナー部の死角モニタ等の表示装置に表示される。このようなモニタシステムは、運転者の負担の軽減を図るものであり、運転中に運転者が取得することが必要な情報の多さに鑑みると、視認性に優れ、違和感無く一見して運転者が必要な情報を取得できる画像を表示することが望ましい。そして、当然にその画像の視野は広いことが望ましい。一般的に人間の静体視野は、両眼で一点を注視している状態で約２００度である。この内、赤、青、黄色等の色彩を含めて確認できるのは７０度くらいまでと言われている。さらに、動きながら物を見る場合の動体視野は、動作速度に応じて狭くなり、時速４０ｋｍ程度で、静体視野の半分の約１００度まで低下する。これを補うため、運転者は通常、一点注視しないようにして視野角を広く保つように努めているが、上記のようなモニタシステムは、このような人間の生理的限界や努力を好適に補完するものであることが望まれる。

しかしながら、一般的にカメラ等によって撮影される画像の視野角は５０〜６５度程度と狭く、単にカメラを車両に設置しただけでは充分な視野角を得ることができない。そこで、これを補うための様々な方法が提案されている。例えば、図１１〜１２のように運転席からの死角となり得る場所を重点的に撮影し、これを表示装置の夫々別の表示枠の中に表示する方法がある。

また、特許文献１には、一台又は複数のカメラと、前記カメラより入力された画像を透視変換により他の座標に変換する手段と、この変換画像を自車の画像との関連において一枚の画像に合成する手段と、この画像を乗員（運転者）に表示するディスプレイ（表示装置）とを有するものが提案されている。本文献中で実施される透視変換とは、カメラのスクリーン画像から、車両中央を原点、車両進行方向に対して左右側をＸ軸、車両の進行方向をＹ軸とする路面（平面）座標に変換するものである。そして、合成された画像は、イラストで示された自車両と、透視変換された他車両や道路標示、物体等が平面座標で示されたものとなり、これが表示装置に表示される。

特開平３−９９９５２号公報（第２頁、第１〜３図）

透視変換は視点変換とも呼ばれるものであるが、特許文献１の技術を例とすると、Ｘ軸及びＹ軸で構成されるＸＹ平面に対して平行する方向から見たスクリーン座標をＸＹ平面に対して直交する方向から見た平面座標へ変換するものである。従って、ポールや壁等、ＸＹ平面に対して垂直に立っている物体は、スクリーン座標においては、はっきりと視認できる状態となるが、平面座標においては、点や線等に集約されてしまい、視認できなくなるか、あるいは極めて違和感を覚える画像となって表示されてしまう。この例ほど極端ではなくとも、立体空間をある視点から撮影した画像を、平面画像に視点変換すると、変換対象となる平面上にないものは正しく変換されずに、違和感を覚える画像となってしまう。

また、平面座標に変換することなく、図１１〜１２のように運転席からの死角となり得る場所を重点的に撮影し、これを表示装置の夫々別の表示枠の中に表示する方法を採った場合、通常の視点からの画像であるので、各画像に対する違和感は少ない。しかし、このように分割表示すると、運転者は各撮影画像の相互関係位置を意識しなければ充分な環境把握ができないので、一見して車両の周辺情報を得にくいという課題がある。

本願発明は上記課題に鑑みてなされたもので、自車両周辺のできるだけ広い周囲環境を違和感なく一見で把握することのできる車両の周辺監視システムを提供することを目的とする。

この目的を達成するための本発明に係る車両に複数設置されたカメラによって撮影される撮影画像を車室内の表示装置に表示する車両の周辺監視装置の特徴構成は、これら複数のカメラからの撮影画像を水平方向に合成するための境界を指数関数曲線に近似させることにより定める境界決定手段と、この境界を直線による垂直境界とするために夫々の撮影画像を水平方向に正規化する水平正規化手段と、前記垂直境界における撮影画像同士の垂直方向のずれを整合する垂直整合手段と、一つに整合された画像の画素数を前記表示装置の表示に適した画素数へ調整する画素数調整手段と、を有する画像処理部を備え、この画像処理部で生成した合成画像を前記表示装置に表示する点にある。

水平方向に広い視野角を有する画像を得るに際して、複数のカメラからの撮影画像（以下、適宜「画像」と称する。）を基にしてこれらを合成する場合、隣合う画像との境界を定める必要がある。本特徴構成によれば、この境界をレンズの特性によく一致する指数関数曲線に近似させることによって定めるので、例えば広角レンズを用いたカメラによって撮影された画像の歪みを、境界を定める時点で取り除くことができる。また、カメラの視点の違いによる撮影画像の傾きもこの境界を定める時点で補正することができる。従って、水平方向に複数設置するカメラの台数を２から３台程度に少なくすることもでき、合成が必要な撮影画像の数を減じることができるので、合成を行うための演算が少なくて済む。また、例えば、この指数関数曲線への近似に際して、二次関数を用いると少ない演算量で良好に近似できるので好適である。また、定められた境界を垂直境界とするために、水平方向の画素を正規化する場合にも、水平方向の座標位置を演算し易い。従って、演算の能力の高いマイクロコンピュータ（マイコン）等を使用しなくても良く、消費電力の軽減や製品コストの低減が可能である。また、動画を滑らかに表示するには、１秒間に３０フレーム以上の画像が必要となるが、本特徴構成のように演算が簡潔であると、処理時間も短くなり、動画の合成にも好適である。さらに、垂直境界における垂直方向の画像のずれを整合し、表示装置の画素数に応じた画素数へ調整して表示するので、人間の目に違和感のない合成画像を得ることができる。

ここで、前記撮影画像の垂直方向の所定位置に水平基準を有し、前記境界決定手段は、前記境界を、前記水平基準との交点を変曲点として垂直方向の上下で異なる関数によって近似すると好適である。

車両の周囲環境を撮影する場合、一般的にカメラはやや下向きに設置される。従ってカメラによって撮影される画像には、画面の下側に地面、画面の上側に空や建物等の地上の設置物が写っている。カメラの設置高さにほぼ一致する撮影画像の垂直方向の所定位置を水平基準とすると、この水平基準を境として下側がカメラ位置よりも下側の画像、即ち概ね地面が写った画像となる。また、この水平基準を境として上側がカメラ位置よりも下側の画像、即ち地上の設置物が写った画像となる。このように撮影される角度にも依存して、この水平基準を境に上側と下側との画像で境界が変曲する。この変曲点を、例えば一つの二次関数の頂点とすることもできるが、カメラが水平位置からやや下向きに設置されることが多いため、撮影画像の上下で被写体の距離が異なっている可能性も高く、一つの二次関数で表現すると誤差が増大する可能性が高くなる。そこで、上記のように水平基準との交点を変曲点として垂直方向の上下で異なる関数、例えば二次関数によって指数関数に近似すると、撮影画像の上下夫々に最適な境界を定めることができて好ましい。関数を２種類持つことになるが、近似させる関数、特に二次関数の演算は簡潔であるので、演算の負荷を増大させることなく、画像の合成に際して誤差の少ない境界を定めることができる。

さらに、前記水平正規化手段が、正規化後の撮影画像の水平方向の画素数が均等となるように画素の伸張及び圧縮の内少なくとも何れか一方を行うものであると好ましい。

水平方向の画素数が均一になるように正規化を行う場合に、少なくとも足りない画素を画像から創り出す伸張、過剰な画素を削減する圧縮の何れか一方を行うので、撮影画像データが有する分解能や濃度等を大きく損なうことなく正規化を行うことができる。

さらに、隣合う撮影画像の前記水平基準と前記境界との交点同士を一致させて正規化後の画像を接合すると共に、この接合の際に前記垂直境界において生じる垂直方向の画像のずれを隣合う撮影画像の少なくとも一方の垂直方向の縮尺を部分的に変更することによって整合すると好適である。

上述したようなカメラの設置角度等の影響によって、一つの画像中であっても撮影画像中の縮尺は均一ではない。従って、合成した画像が垂直境界においてずれを生じていた場合、それを画像全体の縮尺を変更することによって整合することは困難である。そこで、垂直方向の全体ではなく、部分的に垂直方向の縮尺を変更することによって、このずれを整合すると好適である。

本発明に係る車両の周辺監視システムは、前記複数のカメラによる各撮影画像上に直線状に撮像された遠方の水平線を、前記合成画像において垂直方向の下方を中心側とした円弧状で連続した一つの曲線となるように補正して遠方水平線とすると共に、各撮影画像上に直線状に撮像された近傍の水平線を、前記合成画像において垂直方向の上方を中心側とし、且つ前記遠方水平線よりも大きな曲率を有する円弧状で連続した一つの曲線となるように補正して近傍水平線とする知覚補正手段を前記画像処理部に備えることを特徴とする。

各カメラによって撮影された画像は、指数関数曲線に近似させた曲線境界、及びこれが直線状の垂直境界になるようにする正規化処理によっても、ある程度の補正を施すことができるが、以下のように遠方の水平線及び近傍の水平線が直線的となる場合がある。具体的には、遠方の水平線は垂直境界の上部から逆側の側方の中央部へ傾斜しており、近傍の水平線は垂直境界の下部から逆側の側方の中央部へ傾斜している。従って、例えば左右２台のカメラによって撮影された画像を合成した場合には、遠方の水平線は傘型になり、近傍の水平線は逆傘型になり、これら２つの水平線により中央部に菱形状の空間を有した画像となる。これは、違和感を覚える画像であり、人間の知覚とは一致し得ない画像である。そこで、本特徴構成のように、知覚補正手段を設けて、遠方の水平線を合成画像において垂直方向の下方を中心側とした円弧状で連続した一つの曲線となるように補正し、近傍の水平線を合成画像において垂直方向の上方を中心側とし、且つ遠方水平線よりも大きな曲率を有する円弧状で連続した一つの曲線となるように補正すると、人間の知覚に一致して違和感を覚えない合成画像を得ることができる。

以下、本発明の実施形態を図面に基づいて説明する。
〔概要〕
本実施形態に係る車両の周辺監視システムは、図１に示すように車両１０のフロント部にカメラ１を備え、撮影された画像（撮影画像）を車室内のモニタ（表示装置）３に表示するものである。車室内のモニタ３は、ナビゲーションシステム等のものと兼用してもよい。尚、本実施形態において、カメラ１は複数備えられており、複数のカメラ１による撮影画像は、マイクロコンピュータ等で構成されるＥＣＵ（Electronic Control Unit）２のソフトウェア及びハードウェアが協働する画像処理部２０で一つの画像（合成画像）に合成されて、モニタ３に表示される。

合成画像の視野角は、人間の静体視野角程度の１８０度〜２００度であることが望ましく、本実施形態では図２に示すように、視野角１２０度程度の広角撮影が可能な一対のカメラ１（左カメラ１Ｌ、右カメラ１Ｒ）を互いの視野角が重なるように配置することによって、広角撮影を行うようにしている。また、カメラ１は、水平に取り付けると、撮影画像の半分程度が空を撮影したものとなってしまうため、水平からやや下方へ向けて、即ち概ね１５度〜３０度程度の俯角をもって配置する。

広角撮影を行うと、一般にはレンズの収差等によって撮影される画像に歪が生じることが多いので、視野角の小さいカメラを多数用いる方法もあるが、その一方で合成が必要な画像の数が増えるので、合成処理の負荷は増大する。本実施形態では、後述するように、レンズの収差等によって生じる歪の影響を少なくする画像の合成方法を採用することにより、一対のカメラ１によって撮影される画像を用いて広角画像を合成するようにしている。従って、合成が必要な画像の数が少なく、処理能力の高いマイクロコンピュータ（マイコン）等を使用することなく、高速且つ低コストで合成処理が実現できる。尚、視野角７０度〜９０度程度の撮影が可能な３台のカメラ１（左カメラ１Ｌ、中央カメラ、右カメラ１Ｒ）を互いの視野角が重なるように配置することによって、広角撮影を行うようにしてもよい。

以下、上記説明したような車両１０に設置された一対のカメラによって撮影される撮影画像を車室内の表示装置に表示する車両の周辺監視システムを例として本発明を説明する。図３は、本実施形態に係る車両の周辺監視システムのブロック図である。図３に示すように、左カメラ１Ｌ及び右カメラ１Ｒ（複数のカメラ１）によって撮影された画像（撮影画像）Ｐ（左撮影画像ＰＬ、右撮影画像ＰＲ）は、マイクロコンピュータ等で構成されるＥＣＵ２のソフトウェア及びハードウェアが協働する画像処理部２０で一つの画像（広角画像）Ｗに合成されて、モニタ３に表示される。画像処理部２０は、少なくとも、複数の撮影画像Ｐを水平方向に合成するための境界を指数関数曲線への近似により定める境界決定手段２１と、この境界を直線による垂直境界とするために夫々の撮影画像Ｐを水平方向に正規化する水平正規化手段２２と、垂直境界における撮影画像Ｐ同士の垂直方向のずれを整合する垂直整合手段２３と、一つに整合された画像の画素数をモニタ（表示装置）３の表示に適した画素数へ調整する画素数調整手段２４と、の画像合成機能を有している。また、これら各手段に加えて、人間の目に、より違和感の少ない広角画像Ｗを得るための知覚補正手段２５を備えていてもよい。

上記、画像処理部２０に於ける画像の合成処理を、図４に示すように分岐路から本道へと進む車両１０が、Ｔ字路の交差点において停止線１１の手前に位置した時に撮影される画像を例として説明する。尚、図４に示すように車両１０の右には街路樹１２があり、車両１０が合流しようとしている本道を挟んで車両１０の正面には建物１３が有り、交差点中央部には設置物１５がある。また、本道は、車両１０から見て左側に横断歩道１４を有している。

〔境界決定〕
既に説明したように、視野角１２０度程度の広角撮影が可能な一対のカメラ１（左カメラ１Ｌ、右カメラ１Ｒ）が互いの視野角が重なるように、概ね１５度〜３０度程度の俯角をもって配置されている。夫々、カメラ１Ｌ、カメラ１Ｒによって撮影された撮影画像ＰＬ、ＰＲは、図５に示すように、重複する撮影対象を有して、異なった方向へ歪んだ画像となる。また、撮影画像ＰＬ、ＰＲの下部には車両１０のバンパー部が写っている。この２つの画像ＰＬ、ＰＲから広角画像Ｗを作るには、撮影画像ＰＬの右側と撮影画像ＰＲの左側とを接合する必要がある。そこで、これら両画像の水平方向の路面上での一致を演算して、図６に示すような境界Ｂを算出する。この境界Ｂを指数関数曲線に合わせると、歪みやカメラの視点の違いによる撮影画像の傾きを補正することができる。本実施形態では、後述するように、指数関数曲線を二次関数で近似している。

境界Ｂを定めるに際して、隣合う撮影画像ＰＬとＰＲとの水平方向の一致度を演算するが、図５及び６からも判るように、また、上述したように撮影画像ＰＬ、ＰＲは、異なった方向へ歪んでおり、そのままの状態で撮影画像ＰＬとＰＲとを重ね合わせたとしても、高い一致度とはなりにくい。そこで、撮影画像ＰＬ又はＰＲの何れか一方の画像をレンズの歪みを取って、両画像を重ね合わせると、視野角の重なった部分において高い一致度を得易くなる。また、理想的には、２つのカメラ１Ｌと１Ｒとは、水平位置や俯角の与え方に狂いがないように設置されるが、実際には取り付け誤差等によって、多少のずれが生じている。従って、単に水平方向に撮影画像ＰＬとＰＲとをずらすことで一致度を演算するのではなく、垂直方向へもずらしながら一致度を演算する。

撮影画像ＰＬ及びＰＲには、図６に示すように垂直方向の所定位置に水平基準Ｈが設定されている。これは、例えばカメラ１の地面からの高さ等や、運転者の想定視点等の水平基準である。理想的には撮影画像ＰＬとＰＲとで、同じ位置になるが、やはり、２つのカメラ１Ｌと１Ｒとの取り付け誤差等によって、多少のずれが生じていることが多い。

曲線状の境界Ｂは、この水平基準Ｈ上に頂点を有する二次関数を用いて指数関数曲線に近似することによって定められる。図５及び６からも明らかなように水平基準Ｈを挟んで、画像の歪みや傾きの方向が逆になることから、境界Ｂは、図６に示すように点Ｂ０を頂点、又は変曲点とする曲線となる。これを、水平基準Ｈ上に頂点を有する一つの二次関数によって近似してもよいし、同じ点を頂点とし、水平基準Ｈの上下で異なる二次関数によって近似してもよい。どちらの方法を用いても、図６に示す点Ｂ０が二次関数の頂点となる。後述する水平正規化処理では、曲線境界が垂直線である垂直境界となるように撮影画像Ｐを正規化するが、この際に図６に示す点Ｂ０に於ける図６の接線Ｖが垂直線であると、正規化する画像に乱れを生じることがなくて好ましい。

曲線境界Ｂは、指数関数を用いて表すと物理現象、つまりレンズの収差や２つのカメラの視点の違いに対して良く整合する。しかし、１秒間に３０フレームの画像が流れるような動画を扱う本システムにおいて、厳密な整合性は求められない。従って、指数関数曲線にその変域の一部でよく一致する二次関数を用いて近似することにより、より簡潔にシステムを構成できるので好適である。

指数関数に対して近似されるこれらの二次関数は、隣合う二つの画像に於いて重複する部分の一致度を演算することによって求められる。即ち、水平基準Ｈ上での一致度と、撮影画像Ｐの上端付近での一致度と、下端付近での一致度とに基づいて、水平基準上の点Ｂ０（原点Ｂ０）と、上方境界点Ｂ１（Ｂ３）と、下方境界点Ｂ２（Ｂ４）とを定め、これらを通る曲線として境界Ｂが算出される。このとき、原点Ｂ０を頂点として、上方境界点Ｂ１と下方境界点Ｂ２とを共に通る二次曲線は存在しない場合もある。従って、同じ点である原点Ｂ０を頂点とし、水平基準Ｈの上下で異なる二次関数を求めるようにしておくと好適である。

例えば、水平方向をｘ軸、垂直方向をｙ軸とし、原点Ｂ０、上方境界点Ｂ１、下方境界点Ｂ２の各点の座標（ｘ、ｙ）を、
Ｂ０＝（Ｘｃｔｒ，Ｙｃｔｒ）、
Ｂ１＝（Ｘｔｏｐ，Ｙｔｏｐ）、
Ｂ２＝（Ｘｂｔｍ，Ｙｂｔｍ）、
とすると、
ｘ＝ａ＊Ｙ²・・・〔式１〕
で表される水平基準Ｈの上方の曲線は、ｘ、ｙに夫々Ｂ０、Ｂ１の座標を代入して、
Ｘｔｏｐ−Ｘｃｔｒ＝ａ＊（Ｙｔｏｐ−Ｙｃｔｒ）²
となり、
ａ＝−（Ｘｃｔｒ−Ｘｔｏｐ）／（Ｙｔｏｐ−Ｙｃｔｒ）²
となるので、式１より、水平基準Ｈの上方の曲線は、
ｘ＝−（（Ｘｃｔｒ−Ｘｔｏｐ）／（Ｙｔｏｐ−Ｙｃｔｒ）²）＊Ｙ²・・・〔式２〕
と、簡単な計算で求めることができる。水平基準Ｈの下方の曲線も同様に、
ｘ＝−（（Ｘｃｔｒ−Ｘｂｔｍ）／（Ｙｃｔｒ−Ｙｂｔｍ）²）＊Ｙ²・・・〔式３〕
と、求めることができる。

以上、左カメラ１Ｌによる撮影画像ＰＬ上での境界を求める方法について説明したが、右カメラ１Ｒによる撮影画像ＰＲ上での境界を求める方法についても同様である。即ち、水平方向をｘ軸、垂直方向をｙ軸とし、原点Ｂ０、上方境界点Ｂ３、下方境界点Ｂ４の各点の座標（ｘ、ｙ）により、求めることができるので説明を省略する。尚、二次関数の頂点の向きが反対になるので、式１に於けるａは正の値となる。二次関数の演算は、演算性能の高くないマイクロコンピュータであっても大きな負荷をかけることなく実行することができ、画像処理の高速化や装置の低コスト化にとって好ましい。

また、この曲線境界Ｂは設置されるカメラ１の設置位置が定まれば、ほぼ固定的に設定しても問題はない。従って、車両へカメラ１と設置した時点や、点検時等にいわゆるキャリブレーションと称される処理を行って、曲線境界Ｂの関数を演算し、その関数をＥＣＵ２の記憶部等に記憶しておけばよい。また、カメラ１によって撮影される画像の大きさ（画素数）は一定であるので、演算能力が低いが記憶領域に余裕があるような場合には、曲線境界Ｂ上の座標位置を予め記憶しておいてもよい。尚、記憶部は、キャリブレーションによって書き換え可能であり、電源を切った状態でも保持可能な記憶媒体、例えばハードディスクやフラッシュメモリ等を用いて構成されたものであるとよい。

〔水平正規化〕
境界Ｂが定まると、曲線である境界（曲線境界）Ｂを直線による境界（垂直境界）Ｖとするために、撮影画像Ｐを水平方向に正規化する。具体的には、水平正規化手段２２が、正規化後の撮影画像Ｐの水平方向の画素数が均等となるように画素の伸張及び圧縮の内少なくとも何れか一方を行って正規化する。この水平方向の正規化について、図７及び図８に基づいて説明する。尚、図７には左カメラ１Ｌによる撮影画像ＰＬのみを示している。

曲線境界Ｂを垂直境界Ｖとするためには、図７の（ａ）〜（ｃ）に示すように種々の方法がある。図７（ａ）のように曲線境界Ｂの点Ｂ０（変曲点Ｂ０）を通る直線とする場合、図７（ｂ）に示すように曲線境界Ｂと上方境界点Ｂ１を通る直線とする場合、図７（ｃ）に示すように曲線境界Ｂと交差する直線とする場合である。図７（ａ）のように曲線境界Ｂの変曲点Ｂ０を通る直線とする場合には、例えばＢｎの画素がＶｎの画素の座標位置にくるように、撮影画像Ｐ（ＰＬ）を正規化する。即ち、撮影画像Ｐ（ＰＬ）の左端部から変曲点Ｂ０までの画素数に合うように、各水平位置において画素数を伸張する。図７（ｂ）に示すように曲線境界Ｂと上端との交点Ｂ１を通る直線とする場合は、逆に、撮影画像Ｐ（ＰＬ）の左端部から点Ｂ１までの画素数に合うように、各水平位置において画素数を圧縮する。図７（ｃ）に示すように曲線境界Ｂと交差する直線とする場合は、上記伸張と圧縮との両方を該当する水平位置において行う。ここで、伸張は撮影画像中に存在しない画素を部分的に追加して水平方向の画素数を増やすことであり、圧縮は撮影画像中の画素を部分的に削減して水平方向の画素数を減らすことである。それぞれ、単純に画素の追加・削減を行っても良いが、図８に例示するように伸張、圧縮を行うと、撮影画像の有する分解能や濃度等の情報を正規化後の画像にもある程度保存できて好ましい。

この水平正規化処理に関しても、境界決定処理と同様に、演算能力が低いが記憶領域に余裕があるような場合には、どの座標位置の画素を伸張したり、圧縮したりする必要があるかを座標テーブルとして予め記憶しておいてもよい。記憶部が、ハードディスクやフラッシュメモリ等を用いて構成されたものであると好ましい点も同様である。尚、記憶されるのは座標テーブルであり、図８に示したような伸張・圧縮に関する画素値の演算は都度、その画像に対応して行われる。

〔垂直整合〕
次に垂直整合について説明する。左右の撮影画像ＰＬとＰＲとは同じ垂直位置を撮影するように設置されていることが望ましいが、現実には取り付け誤差等によって少しずれが生じる。例えば、境界決定方法について説明した図６において、水平基準Ｈは左右の撮影画像ＰＬとＰＲとでことなる垂直位置である。水平正規化処理では、水平方向の正規化を行って曲線境界Ｂを直線境界Ｖへ変換しただけであるので、垂直方向のずれに関しては、補正されていない。従って、正規化された左右の撮影画像ＰＬとＰＲとを、水平基準Ｈと境界（垂直境界Ｖ）との交点Ｖ０同士を一致させて、そのまま水平方向に接合した場合には、図９（ａ）に示すように垂直境界Ｖにおいてずれを生じてしまう。そこで、このずれを補正するために垂直整合手段２３において、隣合う撮影画像ＰＬ、ＰＲの少なくとも一方の垂直方向の縮尺を部分的に変更することによって整合する垂直整合処理を実施する。

図９（ｂ）は、水平正規化後の左撮影画像ＰＬをそのままにして、水平正規化後の右撮影画像ＰＲの縮尺を部分的に変更して垂直整合処理を行った場合の例である。垂直整合処理前には、エリアＥ１とＥ４とは、左右の画像で同じ垂直幅であったが、エリアＥ４の垂直幅を例えば上述した伸張処理を垂直方向に用いて拡大することで、左右の画像のずれを整合している。また、同様に左右の画像で同じ垂直幅であったエリアＥ３とエリアＥ６とは、エリアＥ４の垂直幅を例えば上述した圧縮処理を用いて縮小することで、左右の画像のずれを整合している。本例では、エリアＥ２とエリアＥ５は、上下の垂直整合処理に伴って垂直位置はずれているが、垂直幅は変わっていない。このように、エリアによっては拡大縮小の処理が行われない場所があってもよい。尚、これら伸張処理や圧縮処理を伴う拡大縮小の処理は、そのエリアに対して必ずしも均一に行う必要はなく、夫々のエリア内においても部分的に拡大縮小してよい。また、本例では説明を容易にするために、右撮影画像ＰＲのみ、部分的に縮尺を変更したが、両方の撮影画像の縮尺を部分的に変更するものであってもよい。

この垂直正規化処理に関しても、カメラ１の設置位置が固まることによって固定的に実施できるものであれば、予め座標テーブル等を記憶させておくことによって処理を高速化することができる。

〔画素数調整〕
このようにして合成された広角画像Ｗは、車室内に備えられたモニタ３に対応する画素数に調整された上で、モニタ３へ送られ、表示される。合成された広角画像Ｗは、２つのカメラ１による撮影画像を合成したものであるので、重なりあう部分を除いても、モニタ３に表示できる画素数を超えている場合がある。そこで、モニタ３に表示可能な画素数へ調整する。この調整に際しては、水平正規化処理と同様に、伸張や圧縮の処理を行えばよい。また、車室内のモニタ３が標準的な縦横比ではなく、いわゆるワイド型と呼ばれる水平方向に長い画面を有している場合もある。画素数調整手段では、接続されたモニタ３の画面に応じて画素数を調整して出力する。尚、勿論、この画素数調整処理に関しても、上記各処理を経由した結果の画素数やモニタ３の画素数に基づいて、予め座標テーブル等を記憶させておいてもよい。

〔知覚補正〕
合成された広角画像は、図１０（ａ）に示すように、遠方の水平線１７ａ及び近傍の水平線１８ｂが、直線的な状態のままで合成されることがある。即ち、遠方の水平線１７ａは垂直境界Ｖの上部から逆側の側方の中央部へ傾斜しており、近傍の水平線１８ａは垂直境界の下部から逆側の側方の中央部へ傾斜している。従って、遠方の水平線１７ａは傘型になり、近傍の水平線１８ａは逆傘型になり、これら２つの水平線により中央部に菱形状の空間を有した画像となる。これは、違和感を覚える画像であり、人間の知覚とは一致し得ない画像である。

そこで、複数のカメラ１による各撮影画像上に直線状に撮像された遠方の水平線１７ａを、合成画像において垂直方向の下方を中心側とした円弧状で連続した一つの曲線となるように補正して遠方水平線１７ｂとすると共に、各撮影画像上に直線状に撮像された近傍の水平線１８ａを、合成画像において垂直方向の上方を中心側とし、且つ遠方水平線よりも大きな曲率を有する円弧状で連続した一つの曲線となるように補正して近傍水平線１８ｂとする知覚補正手段２５を画像処理部２０に備えて知覚補正処理を実施している。このように補正すると、人間の知覚に一致して違和感を覚えない合成画像を得ることができる。

この知覚補正に準じた処理を、例えば、水平正規化処理と共に行うこともできる。即ち、水平方向に均一に伸張や圧縮を行うのではなく、遠方水平線１７ａや近傍水平線１８ａが、円弧形状となるように伸張や圧縮を行う画素位置を設定するとよい。

このように知覚補正処理は、独立して設けても良いし、水平正規化処理等の他の処理と共に行うようにしてもよい。また、補正に関する座標テーブル等は上述の各処理と同様に予め記憶させておいてもよい。

以上説明したように、本発明によって、自車両周辺のできるだけ広い周環境を違和感なく一見で把握することのできる車両の周辺監視システムを提供することができる。

本発明は、車両をバックさせる場合のバックモニタや、前方のバンパー下やコーナー部の死角モニタ等、車両周辺の状況を車室内に表示する車両の周辺監視システムに利用することができる。

本発明の実施形態に係る車両の周辺監視システムの概要を示す図図１のカメラの配置例を示す図本発明の実施形態に係る車両の周辺監視システムのブロック図本発明の実施形態に係る車両周辺の状況を示す説明図図２のカメラ配置による図４の状況での撮影画像の例を示す図図５の２つの撮影画像の曲線境界を定める方法を説明する図図５の曲線境界を垂直境界へ変換する方法を説明する図図７の変換に於ける伸張及び圧縮の方法を説明する図画像合成時の垂直方向のズレを整合する方法を説明する図合成された画像への知覚補正の方法を説明する図従来の車両の周辺監視装置の撮影範囲の一例を示す図従来の車両の周辺監視装置の撮影画像表示形態の一例を示す図

符号の説明

１カメラ
２画像処理部
３モニタ
２１境界決定手段
２２水平正規化手段
２３垂直整合手段
２４画素数調整手段

Claims

互いの視野角が重なる状態で、且つ水平方向に並んで車両に複数設置されたカメラによって撮影される撮影画像を車室内の表示装置に表示する車両の周辺監視システムにおいて、
これら複数のカメラからの撮影画像を水平方向に合成するための境界を指数関数曲線に近似させることにより定める境界決定手段と、
この境界を直線による垂直境界とするために夫々の撮影画像を水平方向に正規化する水平正規化手段と、
前記垂直境界における撮影画像同士の垂直方向のずれを整合する垂直整合手段と、
一つに整合された画像の画素数を前記表示装置の表示に適した画素数へ調整する画素数調整手段と、を有する画像処理部を備え、
この画像処理部で生成した合成画像を前記表示装置に表示する車両の周辺監視システム。
水平方向に互いの視野角が重なる状態で車両に複数設置されたカメラによって撮影される撮影画像を車室内の表示装置に表示する車両の周辺監視システムにおいて、
これら複数のカメラからの撮影画像を水平方向に合成するための境界を指数関数曲線に近似させることにより定める境界決定手段と、
この境界を直線による垂直境界とするために夫々の撮影画像を水平方向に正規化する水平正規化手段と、
前記垂直境界における撮影画像同士の垂直方向のずれを整合する垂直整合手段と、
一つに整合された画像の画素数を前記表示装置の表示に適した画素数へ調整する画素数調整手段と、を有する画像処理部を備え、
この画像処理部で生成した合成画像を前記表示装置に表示する車両の周辺監視システム。
互いの視野角が重なる状態で車両に複数設置されたカメラによって撮影される撮影画像を車室内の表示装置に表示する車両の周辺監視システムにおいて、
これら複数のカメラからの撮影画像は水平方向に隣り合っており、
これらの撮影画像を水平方向に合成するための境界を指数関数曲線に近似させることにより定める境界決定手段と、
この境界を直線による垂直境界とするために夫々の撮影画像を水平方向に正規化する水平正規化手段と、
前記垂直境界における撮影画像同士の垂直方向のずれを整合する垂直整合手段と、
一つに整合された画像の画素数を前記表示装置の表示に適した画素数へ調整する画素数調整手段と、を有する画像処理部を備え、
この画像処理部で生成した合成画像を前記表示装置に表示する車両の周辺監視システム。
前記撮影画像の垂直方向の所定位置に水平基準を有し、前記境界決定手段は、前記境界を、前記水平基準との交点を変曲点として垂直方向の上下で異なる関数によって近似する請求項１から３の何れか一項に記載の車両の周辺監視システム。
前記水平正規化手段は、正規化後の撮影画像の水平方向の画素数が均等となるように画素の伸張及び圧縮の内少なくとも何れか一方を行う請求項１から４の何れか一項に記載の車両の周辺監視システム。
隣合う撮影画像の前記水平基準と前記境界との交点同士を一致させて正規化後の画像を接合すると共に、この接合の際に前記垂直境界において生じる垂直方向の画像のずれを隣合う撮影画像の少なくとも一方の垂直方向の縮尺を部分的に変更することによって整合する請求項４又は５に記載の車両の周辺監視システム。
前記複数のカメラによる各撮影画像上に直線状に撮像された遠方の水平線を、前記合成画像において垂直方向の下方を中心側とした円弧状で連続した一つの曲線となるように補正して遠方水平線とすると共に、
各撮影画像上に直線状に撮像された近傍の水平線を、前記合成画像において垂直方向の上方を中心側とし、且つ前記遠方水平線よりも大きな曲率を有する円弧状で連続した一つの曲線となるように補正して近傍水平線とする知覚補正手段を前記画像処理部に備える請求項１から６の何れか一項に記載の車両の周辺監視システム。