JP3652678B2

JP3652678B2 - 車両周囲監視装置およびその調整方法

Info

Publication number: JP3652678B2
Application number: JP2002282362A
Authority: JP
Inventors: 修作岡本; 雅通中川; 森村　　淳; 和史水澤; 篤飯阪; 崇吉田
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2001-10-15
Filing date: 2002-09-27
Publication date: 2005-05-25
Anticipated expiration: 2022-09-27
Also published as: JP2003204547A

Description

【０００１】
【発明の属する技術分野】
本発明は、車両の周囲を撮影する複数のカメラを用いた車両周囲監視装置に関するものであり、特に、それぞれのカメラ画像から得た部分画像を合成して、ユーザにとって車両の周囲の状況が分かりやすい画像を提示する技術に属する。
【０００２】
【従来の技術】
車両の周囲をカメラを用いて監視する従来の装置として、特開平１０−２５７４８２号公報（以下、文献１と称する）や、特開平１１−７８６９２号公報（以下、文献２と称する）に記載のものなどが、知られている。
【０００３】
文献１記載の装置では、車のリア部中央に１台、左右のドアミラー付近に各１台ずつ、後向きに取り付けられたカメラの画像同士を、無限遠点が一致するように合わせて、広視野のリアビュー画像をドライバーに提示する。これにより、ユーザは、車の左右後方の道路状況を１枚の仮想的な画像情報として得ることができ、全体の状況を把握し易くなる。
【０００４】
また文献２では、８台の車両用映像提供のためのカメラを車両の周囲に取り付け、各カメラによって撮影された画像を変形・合成して新たな画像を作成しモニタに表示する技術が開示されている。特に、複数のカメラの撮影画像を変形して合成する際に、変形された画像同士が隣接する境界部分において画像の連続性を保つことによって、より的確な画像を運転者に提供することができる。
【０００５】
【特許文献１】
特開平１０−２５７４８２号公報
【特許文献２】
特開平１１−７８６９２号公報
【０００６】
【発明が解決しようとする課題】
ところで、従来の技術において、境界部が連続してつながるように画像を変形・合成する場合は、原理的には、元のカメラ画像に映っている物体の形状や距離を正確にリアルタイムで計算し、この計算結果を用いて各画像の変形処理を行う必要がある。しかしながら、この計算に要するコストは非常に高いため、現実的には実施困難である。したがって通常は、境界部に映っている全てのものについて連続性を保つのではなく、画像に映るある部分が連続してつながるように画像を変形する、という手法が取られる。例えば撮影対象が車両の周囲の場合には、連続性を保つ部分として路面が用いられる。これが、いわゆる路面投影と呼ばれる手法である。
【０００７】
しかしながらこの手法を用いると、境界部分の連続性を維持するために、やむを得ず元のカメラ画像の一部を切り捨てる必要があり、このため、カメラに映っている物体が合成画像上では表示されない、という重大な問題を引き起こす可能性がある。この問題について、図面を参照して説明する。
【０００８】
図１７は従来のシステムにおける車載カメラの配置の典型例を示す模式図である。図１７の例では、左右のドアミラー部にそれぞれカメラＣＺ１，ＣＺ４が、後端部中央に左右後方に向けてそれぞれカメラＣＺ２，ＣＺ３が、車両１の運転席から後方を撮影範囲としてカバーするように設置されている。Ｐはポール、ＷＬは駐車枠を示す白線である。
【０００９】
また図１８は図１７のように配置された各カメラＣＺ１〜ＣＺ４の撮影画像の例、図１９は図１８のカメラ画像を切り出し・変形して繋ぎ合わせることによって、あたかも車両上方から見下ろしたような仮想視点画像を合成した図である。図１９において、ＰＩＺ１〜ＰＩＺ４はそれぞれ、カメラＣＺ１〜ＣＺ４の撮影画像から切り出された部分画像である。図１９の例では、少なくとも路面上の物（典型的には白線ＷＬ）が部分画像ＰＩＺ１〜ＰＩＺ４同士の境界部で一致するように、各カメラ画像の変形・切り出しおよび繋ぎ合わせを行っている。
【００１０】
このような合成方法において問題となるのが、元のカメラ画像の一部を切り捨てることによって生じる、立体物（図１８では車両１の右後に立っているポールＰ）の消滅である。
【００１１】
すなわち、図１９の合成画像では、カメラＣＺ３に係る部分画像ＰＩＺ３とカメラＣＺ４に係る部分画像ＰＩＺ４との境界ＢＬＺ３４が、車両１の右斜め後方に延びるように設定されている。そして、境界ＢＬＺ３４の両側で路面が一致するようにそれぞれのカメラ画像を変形する際に、カメラＣＺ３に映っているポールＰは右向きに伸びるように歪められ（画像ＰＡ）、一方、カメラＣＺ４に映っているポールＰは下向きに伸びるように歪められる（画像ＰＢ）。ところが、ポールＰの画像ＰＡ，ＰＢはともに境界ＢＬＺ３４を越えてしまうので、画像合成時には切り取られてしまう。この結果、合成画像上では、ポールＰの根元が辛うじて残る程度の画像になり、ポールＰがあたかも消失したかのように見えてしまう。
【００１２】
このような物体の消滅を避けるためには、図２０に示すように、カメラＣＺ３からもカメラＣＺ４からも撮影されている領域ＯＬについて、それぞれのカメラ画像を変形した画像を混合することが考えられる。ところがこの場合には、画像ＰＡ，ＰＢがともに表示されることにより、合成画像上でポールＰが二重像になり、見た目に非常に分かりにくい画像になってしまう。
【００１３】
前記の問題に鑑み、本発明は、複数のカメラの撮影画像を合成して表示する車両周囲監視装置において、部分画像同士の境界近傍において、従来よりも正確であり、かつ、ユーザに分かりやすい画像を提供することを課題とする。
【００１４】
【課題を解決するための手段】
ところで、物体が部分画像の境界近傍にある場合であっても、上述したような合成画像上での消失が起こらない場合がある。
【００１５】
図２１は部分画像の境界部にある物体が消えない例を示す概念図である。図２１では、境界ＢＬＺ２３近傍では、部分画像ＰＩＺ２に係るカメラＣＺ２も部分画像ＰＩＺ３に係るカメラＣＺ３も、その撮影方向が、境界ＢＬＺ２３の方向とほぼ一致している。なお、本願明細書でいう「撮影方向」とは、カメラの光軸の向きのことでなく、カメラから対象物（ここでは境界部分）を見る方向、すなわち、合成画像においては、カメラの設置位置と境界部分とを結ぶ直線の方向のことを意味する。このため、ペアカメラＣＺ２，ＣＺ３の直後に立っているポールＰの画像は、カメラＣＺ２，ＣＺ３どちらの画像を変形しても境界ＢＬＺ２３に沿って伸びるように歪む。このため、境界ＢＬＺ２３近傍で、部分画像ＰＩＺ２と部分画像ＰＩＺ３とを混ぜ合わせる処理などを行うことによって、合成画像からポールＰの画像が消滅することを防ぐことができる。
【００１６】
すなわち、本願発明者の検討によると、一般的には、次の条件を満たすとき、合成画像上で物体が消失する現象は起こらないものと考えられる。
条件：隣り合う２つの部分画像について、その境界の近傍で、当該部分画像を撮影しているカメラの撮影方向が、その境界の方向とほぼ一致すること
なお、隣り合う部分画像は、オーバーラップしていてもよいし、単に接しているだけでもよい。境界近傍において、部分画像同士が重なり合っている重複領域がある場合には、ここでいう「境界の方向」とは、その重複領域の長手方向の中心線の方向のことを指すものとする。
【００１７】
この条件が満たされた場合、部分画像同士の境界近傍にある物体の画像は、視点変換によって、その境界に沿って伸びるので、合成画像上で、境界近傍の物体が消えることはなくなる。本発明は、このような知見に基づいて、なされたものである。
【００１８】
すなわち、前記の課題を解決するために、請求項１の発明が講じた解決手段は、車両周囲監視装置として、車両の周囲を撮影する少なくとも第１および第２のカメラを含む複数のカメラと、前記複数のカメラの撮影画像を入力とし、これらのカメラ画像を用いて部分画像を合成し、この合成画像を表示装置に表示させる画像処理部とを備え、前記合成画像は、前記第１のカメラに係る第１の部分画像と前記第２のカメラに係る第２の部分画像とが隣り合うように配置されたものであり、前記第１および第２のカメラは、その撮影方向がそれぞれ、前記第１の部分画像と前記第２の部分画像との境界の近傍において前記境界の方向とほぼ一致するように、かつ、互いに離れて、設置されているものである。
【００１９】
請求項１の発明によると、互いに隣り合う第１および第２の部分画像に係る第１および第２のカメラは、その撮影方向が、部分画像同士の境界の方向とほぼ一致するように、設置されている。このため、画像合成の際に、境界近傍に存在する物体の画像が、カメラの撮影方向、すなわち境界の方向とほぼ一致する方向に沿って伸びるように変形される。このため、その物体の画像は切り取られることがなく、したがって合成画像上で消失することはない。これにより、車の周囲の情報をより正確にユーザに伝えることができ、より安全な運転を支援することが可能となる。
【００２０】
そして、請求項２の発明では、前記請求項１記載の車両周囲監視装置において、前記第１および第２のカメラの撮影方向と前記境界の方向とがなす角度は、それぞれ、１０度以下であるものとする。
【００２１】
そして、請求項３の発明では、前記請求項１記載の車両周囲監視装置における合成画像は、前記第１の部分画像と前記第２の部分画像との境界において、前記第１および第２の部分画像を混合したブレンド画像が配置されたものとする。
【００２２】
また、請求項４の発明では、前記請求項１の車両周囲監視装置において、前記第１のカメラは、当該車両の前の左または右端部に右または左斜め前方に向けて配置されており、前記第２のカメラは、当該車両の左または右側部に左または右斜め前方に向けて配置されているものとする。
【００２３】
そして、請求項５の発明では、前記請求項４の車両周囲監視装置における複数のカメラは、当該車両の左または右側部に左または右斜め後方に向けて配置されている第３のカメラと、当該車両の後ろの左または右端部に右または左斜め後方に向けて配置されている第４のカメラとを含むものとする。
【００２４】
そして、請求項６の発明では、前記請求項１の車両周囲監視装置において、前記第１のカメラは、当該車両の前の右または左端部に左または右斜め前方に向けて配置されており、前記第２のカメラは、当該車両の前の左または右端部に左または右斜め後方に向けて配置されているものとする。
【００２５】
そして、請求項７の発明では、前記請求項６の車両周囲監視装置における複数のカメラは、当該車両の後ろの左または右端部に右または左斜め後方に向けて配置されている第３のカメラと、当該車両の後ろの右または左端部に右または左斜め前方に向けて配置されている第４のカメラとを含むものである。
【００２６】
また、請求項８の発明が講じた解決手段は、車両の周囲を撮影する複数のカメラと、前記複数のカメラの撮影画像から得た部分画像を合成し、この合成画像を表示装置に表示させる画像処理部とを備えた車両周囲監視装置を調整する方法として、前記複数のカメラのうち、前記合成画像において隣り合って配置される部分画像をそれぞれ撮影する第１および第２のカメラを、その撮影領域がオーバーラップするように、かつ、互いに離れるように、配置し、前記第１のカメラに係る部分画像と前記第２のカメラに係る部分画像との境界の近傍において、前記第１および第２のカメラの撮影方向が、それぞれ、前記境界の方向とほぼ一致するように、前記第１および第２のカメラ並びに前記画像処理部の少なくともいずれか１つを調整するものである。
【００２７】
上の各請求項に係る発明において、カメラ配置における「または」とは、監視する範囲を、車両の右側を中心にする場合と、左側を中心にする場合とを含めるための記載である。あるいは、車両の周囲全体を監視する場合に、カメラを右回りに配置する場合と、左周りに配置する場合とを含めるための記載である。このような配置の選択は、例えば車両が右ハンドルか左ハンドルかによって、行えばよいし、それ以外の要因に従って選択してもかまわない。または、任意に選択してもよい。
【００２８】
また、カメラを「斜め」に設置する場合、カメラの上下方向の画角が大きく、カメラ直下も視野に含まれる場合は、カメラの光軸の向きは水平でもよい。ただし、画角が十分に大きくない場合は、カメラ直下の死角を減らすために、カメラを下向きにすることが望ましい。この場合、例えば「右斜め前方」とは、カメラを右斜め前方に向け、さらに仰角を下向きに変えることに相当する。
【００２９】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照して説明する。
【００３０】
図１は本発明の一実施形態に係る車両周囲監視装置の構成を示すブロック図である。図１に示す装置において、画像処理部２０は、複数のカメラ１１を有する撮像手段１０から出力された複数のカメラ画像を入力とし、これらを変形・合成して新たな合成画像を生成する。この合成画像は、表示装置３０によって表示される。
【００３１】
合成画像とは、典型的には仮想視点画像である。仮想視点画像とは、実カメラの画像に加工処理を施し、これらをつなぎ合わせるなどして合成して得た、あたかも仮想のカメラから見たような画像のことである。より具体的な例としては、あたかも車両の上方から真下に見下ろしたような画像（例えば図４）であり、この仮想視点画像は、車両に直に設置された１個または複数個のカメラ（例えば図２におけるＣＡ１〜ＣＡ４）を用い、これらのカメラの撮影画像（例えば図３）にそれぞれ個別の加工処理を施して合成することによって、生成される。
【００３２】
本発明に係る表示装置３０は、典型的には液晶ディスプレイであるが、プラズマディスプレイ等の他の表示デバイスを用いることもできる。また、ここでいうディスプレイは、車両搭載型のＧＰＳ端末ディスプレイ（いわゆるカーナビゲーションシステムのディスプレイ）と共用したものであってもよいし、これとは別に設けられたものであってもよい。
【００３３】
撮影手段１０は、典型的にはＣＣＤ，ＣＭＯＳデバイス等の固体撮像素子を有するカラーまたはモノクロのデジタルカメラ１１を有する。また、撮影手段１０は、たとえばレンズと、プリズムまたはミラーとの組み合わせにより構成され、レンズ、プリズムまたはミラーへの入射光が、所定光路を通って撮影手段から離れた位置にある撮像素子に伝達されるように構成されていてもよい。
【００３４】
画像処理部２０は、複数のカメラ１１からの撮影画像を入力し、これら撮影画像を加工する。ここでの加工は、▲１▼画像切り出し変形処理、▲２▼変形された部分画像の合成処理（境界処理を含む）である。これらの▲１▼と▲２▼の処理は、それぞれ別々になされてもよいし、全部または一部が１つの工程によりなされてもよい。図１では、撮影画像の加工を一つの工程で行うために、マッピングテーブルＭＰＴを備えた構成としている。
【００３５】
マッピングテーブルＭＰＴとは、合成画像の画素と、各カメラ画像の画素データとの対応関係が記述されたテーブルのことをいい、合成画像の生成処理を高速に行うために用いられる。このようなマッピングテーブルを、後述する幾何変換などを用いた計算や手作業などによって予め作成しておくことによって、所望の合成画像を高速に生成することができる。
【００３６】
マッピングテーブルＭＰＴは具体的には、例えばＲＯＭ（ＥＥＰＲＯＭなどの書きこみ・消去可能なＲＯＭを含む）、またはＲＡＭに格納されている。マッピングテーブルＭＰＴの格納は、例えば、画像処理部２０内のプロセッサが計算で求めたマッピングデータをＲＯＭまたはＲＡＭに書きこむことによって実現してもよいし、ファームウェアとして提供されるマッピングテーブルデータを、通信回線やディスクドライブなどのデータ転送手段を用いて、ＲＡＭまたはＲＯＭに書きこむようにしてもよい。
【００３７】
＜カメラの設置＞
本発明に係るカメラ設置について、注意すべきポイントを２つ挙げておく。
１．境界を構成する２つの部分画像の基になるカメラについて、境界近傍を撮影する方向を、境界の方向にほぼ一致させる。これは、課題の項で述べた条件と同一である。
２．隣り合うカメラ画像を、その境界部分で互いにオーバーラップさせる。これは、仮想視点画像において、隣り合うカメラ画像の境界部分で死角となる部分が生じないようにするためである。
【００３８】
以下、本実施形態に係るカメラ設置の具体例を、図面を用いて説明する。なお、以降の説明では、「右」および「左」は、車両の前進方向に対して表すものとする。また、車両は右ハンドルのもの、すなわち、運転席が右側にあり助手席が左側にある車両を対象にする。よって、もし本発明を左ハンドルの車両に適用する場合は、カメラの設置を左右対称にすればよく、以下のカメラの設置態様の説明において「左」と「右」とを逆に解釈すればよい。
【００３９】
（第１の例）
図２は本発明に係るカメラ配置の第１の例、図３は図２のように配置された各カメラＣＡ１〜ＣＡ４の撮影画像の例である。図２の配置例では、４台のカメラＣＡ１〜ＣＡ４が次のように配置されている。

すなわち図２では、車両１の４辺のうち、運転席側の１辺を除く全周囲を見渡す仮想視点画像を合成するために、上記のように４台のカメラＣＡ１〜ＣＡ４を設置している。またＰ１〜Ｐ４はポール、ＷＬは白線である。
【００４０】
なお、カメラＣＡ２，ＣＡ３は、車両１の左側について実質的に１８０度の視野が得られるように、ペアにして配置されている。すなわち、現状のカメラでは、単体で解像度を保ちつつ１８０度の視野を確保することが難しいため、便宜的に、画角が１００度程度のカメラを２台ペアにして配置している。したがって、十分な解像度が得られ、かつ１８０度の視野を得られる単一の撮像手段があれば、それをカメラＣＡ２，ＣＡ３に代えて利用してもかまわない。
【００４１】
図４は図３に示すようなカメラ画像を用いて、車両１の周囲を上から見下ろしたような仮想視点画像を合成した結果を示す模式図である。図４において、ＰＩＡ１〜ＰＩＡ４はそれぞれカメラＣＡ１〜ＣＡ４の撮影画像から切り出した部分画像、ＢＬＡ１２は部分画像ＰＩＡ１，ＰＩＡ２の境界、ＢＬＡ２３は部分画像ＰＩＡ２，ＰＩＡ３の境界、ＢＬＡ３４は部分画像ＰＩＡ３，ＰＩＡ４の境界である。またＤＡはいずれのカメラＣＡ１〜ＣＡ４からも撮影されない死角領域である。
【００４２】
本例のように各カメラＣＡ１〜ＣＡ４を設置することによって、上述の２つのポイントはともに満たされている。すなわち、図４の合成画像において、部分画像同士の境界の近傍では、その部分画像を撮影したカメラの撮影方向と境界の方向とが、ほぼ一致している。例えば図２および図４から分かるように、第１の部分画像としての部分画像ＰＩＡ１と第２の部分画像としての部分画像ＰＩＡ２との境界ＢＬＡ１２の近傍において、部分画像ＰＩＡ１を撮影した第１のカメラとしてのカメラＣＡ１と、部分画像ＰＩＡ２を撮影した第２のカメラとしてのカメラＣＡ２の撮影方向が、境界ＢＬＡ１２の方向にほぼ一致している。境界ＢＬＡ２３，ＢＬＡ３４に関しても同様のことがいえる。
【００４３】
また、カメラＣＡ１の撮影領域ＡＡ１とカメラＣＡ２の撮影領域ＡＡ２とは互いにオーバーラップしており、同様に、カメラＣＡ２とカメラＣＡ３、カメラＣＡ３とカメラＣＡ４とは、撮影領域が互いにオーバーラップしている。
【００４４】
このため、図４の合成画像では、各カメラＣＡ１〜ＣＡ４に映る物体の位置関係を保ちながら、ユーザに分かりやすく見せるという仮想視点画像のメリットをそのまま残しつつ、本発明のカメラ設置のポイントを満たすことによって、物体が消失するという現象が回避されている。これは例えば、車両１の左前角部や左後角部にあるポールＰ３，Ｐ４が、境界ＢＬＡ１２，ＢＬＡ３４の近傍に存在するにもかかわらず、画像合成によって境界に沿って伸びており、合成画像上で消失せずに残っていることから明らかである。
【００４５】
このように本例によると、４台のカメラＣＡ１〜ＣＡ４を用いることによって、運転者が窓越しに目視で確認可能な運転席側のエリアを除く車の周囲を、位置関係を保ちつつ、かつ、死角がないように、画像として表示することが可能となる。
【００４６】
（第２の例）・車両の前方および左側前側方の安全確認
本発明に係るカメラ配置は、車両周囲のどの領域の安全確認を行うかによって、第１の例以外にも様々な形態が考えられる。近年、乗用車の大型化に伴い、車両の前方および左側前側方の死角に対する安全確認を行うための技術に対し、ニーズが高まっている。第２の例は、車両の前方および左側前側方の安全確認を行うためのものである。
【００４７】
図５は本発明に係るカメラ配置の第２の例、図６は図５のように配置された各カメラＣＢ１，ＣＢ２の撮影画像の例である。図５の配置例では、２台のカメラＣＢ１，ＣＢ２が次のように設置されている。

【００４８】
図７は図６のカメラ画像を用いて合成した仮想視点画像の例を示した図である。図７において、ＰＩＢ１，ＰＩＢ２はそれぞれカメラＣＢ１，ＣＢ２の撮影画像から切り出した部分画像、ＢＬＢ１２は部分画像ＰＩＢ１，ＰＩＢ２の境界、ＤＢはいずれのカメラＣＢ１，ＣＢ２からも撮影されない死角領域である。
【００４９】
図５および図７から分かるように、第１の部分画像としての部分画像ＰＩＢ１と第２の部分画像としての部分画像ＰＩＢ２との境界ＢＬＢ１２の近傍において、部分画像ＰＩＢ１を撮影した第１のカメラとしてのカメラＣＢ１と、部分画像ＰＩＢ２を撮影した第２のカメラとしてのカメラＣＢ２の撮影方向が、境界ＢＬＢ１２の方向にほぼ一致している。
【００５０】
図７の合成画像では、図４と比べると、死角領域ＤＢが拡がっており、監視可能な範囲は小さくなっているが、目的とする車両の前方および左側前側方の視野は十分確保されている。しかも、本発明のカメラ設置のポイントを満たすことによって、例えば車両１の左前角部にあるポールＰ３が、境界ＢＬＢ１２の近傍に存在するにもかかわらず、画像合成によって境界に沿って伸びており、消失せずに残っている。
【００５１】
図８は本例の他のカメラ設置態様である。図８の配置例では、２台のカメラＣＣ１，ＣＣ２が次のように設置されている。

【００５２】
図９は図８のように設置されたカメラの画像を用いて合成した仮想視点画像の例であり、仮想視点の位置および向きは図７と共通である。図９において、ＰＩＣ１，ＰＩＣ２はそれぞれカメラＣＣ１，ＣＣ２の撮影画像から切り出した部分画像、ＢＬＣ１２は部分画像ＰＩＣ１，ＰＩＣ２の境界、ＤＣはいずれのカメラＣＣ１，ＣＣ２からも撮影されない死角領域である。
【００５３】
図８および図９から分かるように、第１の部分画像としての部分画像ＰＩＣ１と第２の部分画像としての部分画像ＰＩＣ２との境界ＢＬＣ１２の近傍において、部分画像ＰＩＣ１を撮影した第１のカメラとしてのカメラＣＣ１と、部分画像ＰＩＣ２を撮影した第２のカメラとしてのカメラＣＣ２の撮影方向が、境界ＢＬＣ１２の方向にほぼ一致している。
【００５４】
ここで、図７と比較して注目すべき点は、合成画像における部分画像同士の境界線の位置が、カメラの設置形態によって変わっていることである。もし図８のカメラ配置で、カメラＣＣ１に係る部分画像ＰＩＣ１とカメラＣＣ２に係る部分画像ＰＩＣ２との境界ＢＬＣ１２を、図７の境界ＢＬＢ１２と同一の位置に設定したとすると、ポールＰ３の画像が、足元のほんの少しの部分を残して、他の部分が切り取られてしまうことになる（図示しない）。
【００５５】
このように、合成画像における部分画像同士の境界は、カメラの設置態様を考慮して設定する必要がある。あるいは、それぞれのカメラの設置場所や向きは、合成画像における部分画像同士の境界の設定位置を考慮して決めなければならない。したがって、本発明では、合成画像において隣り合って配置される部分画像をそれぞれ撮影する各カメラ、および画像処理部のうち、少なくともいずれか１つを調整する必要がある。
【００５６】
すなわち、本発明は、合成画像において隣り合って配置される部分画像をそれぞれ撮影する２台のカメラを、その撮影領域がオーバーラップするように配置し、その部分画像同士の境界の近傍において、各カメラの撮影方向がそれぞれ境界の方向とほぼ一致するように、カメラおよび画像処理部の少なくともいずれか１つを、調整する、ものといえる。
【００５７】
ここで、撮影方向と境界の方向とが「ほぼ」一致するとは、例えば次のような条件を満たす程度であればよい。すなわち、その境界を人が通ったときほぼ全身が映ること、または、その境界近傍を物体が移動したとき、その一部が消失したとしても消失度合がその物体を特定可能な範囲であること、を満たせばよい。具体的には、各カメラの撮影方向と境界の方向とがなす角度が、それぞれ、１０度以下であることが好ましい。
【００５８】
（第３の例）・車両の前方を除く全周囲、特に後方の安全確認
第２の例で述べたように、車両前側方の安全確認は、近年の車両の大型化に伴って必要性が高まったものである。これとは対称的に、車両の後側方の安全確認について古くから検討されており、近年では、１台のカメラを用いて後方の死角部分をモニターする安全確認システムが実用化され始めている。ところがこのシステムでは、車両後側方の広範囲をくまなくモニターするのにはやはり不十分であるため、図１７のように複数のカメラを用いたシステムも検討されてはいるが、課題の項で述べたように、カメラ画像同士の境界近傍において物体が一部消滅するという問題が残っている。
【００５９】
上述の第１の例は、運転席側を除く車両全周囲を死角なく見せるものであったが、この第３の例では、第１の例に係るカメラ配置を反時計回りに９０度ずらすことによって、従来技術の問題を解決し、車両の前方を除く全周囲、特に後方の安全確認を行うことができる。
【００６０】
図１０は本発明に係るカメラ配置の第３の例、図１１は図１０のように配置された各カメラＣＤ１〜ＣＤ４の撮影画像の例である。図１０の配置例では、４台のカメラＣＤ１〜ＣＤ４が次のように配置されている。

すなわち図１０では、車両１の前方を除く全周囲を見渡す仮想視点画像を合成するために、上記のように４台のカメラＣＤ１〜ＣＤ４を設置している。
【００６１】
図１２は図１１に示すようなカメラ画像を用いて、車両１の周囲を上から見下ろしたような仮想視点画像を合成した結果を示す模式図である。図１２において、ＰＩＤ１〜ＰＩＤ４はそれぞれカメラＣＤ１〜ＣＤ４の撮影画像から切り出した部分画像、ＢＬＤ１２は部分画像ＰＩＤ１，ＰＩＤ２の境界、ＢＬＤ２３は部分画像ＰＩＤ２，ＰＩＤ３の境界、ＢＬＤ３４は部分画像ＰＩＤ３，ＰＩＤ４の境界である。またＤＤはいずれのカメラＣＤ１〜ＣＤ４からも撮影されない死角領域である。
【００６２】
本例のように各カメラＣＤ１〜ＣＤ４を設置することによって、上述の２つのポイントはともに満たされている。すなわち、図１２の合成画像において、部分画像同士の境界の近傍では、その部分画像を撮影したカメラの撮影方向と境界の方向とが、ほぼ一致している。例えば図１０および図１２から分かるように、第１の部分画像としての部分画像ＰＩＤ１と第２の部分画像としての部分画像ＰＩＤ２との境界ＢＬＤ１２の近傍において、部分画像ＰＩＤ１を撮影した第１のカメラとしてのカメラＣＤ１と、部分画像ＰＩＤ２を撮影した第２のカメラとしてのカメラＣＤ２の撮影方向が、境界ＢＬＤ１２の方向にほぼ一致している。境界ＢＬＤ２３，ＢＬＤ３４に関しても同様のことがいえる。
【００６３】
また、カメラＣＤ１の撮影領域ＡＤ１とカメラＣＤ２の撮影領域ＡＤ２とは互いにオーバーラップしており、同様に、カメラＣＤ２とカメラＣＤ３、カメラＣＤ３とカメラＣＤ４とは、撮影領域が互いにオーバーラップしている。
【００６４】
このため、図１２の合成画像では、各カメラＣＤ１〜ＣＤ４に映る物体の位置関係を保ちながら、見やすく見せるという仮想視点画像のメリットをそのまま残しつつ、本発明のカメラ設置のポイントを満たすことによって、物体が消失するという現象を回避できていることが分かる。これは例えば、車両１の左後角部や右後角部にあるポールＰ３，Ｐ４が、境界ＢＬＤ１２，ＢＬＤ３４の近傍に存在するにもかかわらず、画像合成によって境界に沿って伸びており、合成画像上で消失せずに残っていることから明らかである。
【００６５】
このように本例によると、４台のカメラＣＤ１〜ＣＤ４を用いることによって、車両の前方を除く全周囲を、位置関係を保ちつつ、かつ、死角がないように、画像として表示することが可能となる。
【００６６】
なお、図１２の合成画像において、部分画像ＰＩＤ１，ＰＩＤ２の境界ＢＬＤ１２、および部分画像ＰＩＤ３，ＰＩＤ４の境界ＢＬＤ３４は、車両１の後端の延長線上にほぼ位置している。仮想視点画像では、境界の両側では元のカメラ画像の変形のされ方が異なるため、境界をまたがる物体は不連続な画像になる。この不連続性は、通常は、合成画像の品質を下げると考えられる。しかしながら見方を変えれば、例えば、後方から接近する物体が部分画像ＰＩＤ３の領域から部分画像ＰＩＤ４の領域にさしかかると、画像上不連続に見えるので、この時点で物体は車両１の後端よりも前に来ていると判断することも可能である。このため、図１２のように境界ＢＬＤ１２，ＢＬＤ３４を設定することは非常に意味のあることである。
【００６７】
（第４の例）・車両全周囲
さて、これまでの例では、結果的に、カメラが一直線上に並べて配置されていた。本例では、一直線上にカメラを並べて配置することなく、上述した本発明に係るカメラ設置のポイントを満たす例を示す。具体的には、カメラ４台を用いて、車の全周囲を死角無く見せることができるカメラ設置の態様を示す。
【００６８】
図１３は本発明に係るカメラ配置の第４の例を示す図である。図１３の配置例では、４台のカメラＣＥ１〜ＣＥ４が次のように配置されている。

すなわち図１３では、車両１の全周囲を見渡す仮想視点画像を合成するために、上記のように４台のカメラＣＥ１〜ＣＥ４を設置している。
【００６９】
図１４は図１３に示すようなカメラ画像を用いて、車両１の周囲を上から見下ろしたような仮想視点画像を合成した結果を示す模式図である。図１４において、ＰＩＥ１〜ＰＩＥ４はそれぞれカメラＣＥ１〜ＣＥ４の撮影画像から切り出した部分画像、ＢＬＥ１２は部分画像ＰＩＥ１，ＰＩＥ２の境界、ＢＬＥ２３は部分画像ＰＩＥ２，ＰＩＥ３の境界、ＢＬＥ３４は部分画像ＰＩＥ３，ＰＩＥ４の境界、ＢＬＥ１４は部分画像ＰＩＥ４，ＰＩＥ１の境界である。
【００７０】
本例のように各カメラＣＥ１〜ＣＥ４を設置することによって、上述の２つのポイントはともに満たされている。例えば図１３および図１４から分かるように、第１の部分画像としての部分画像ＰＩＥ１と第２の部分画像としての部分画像ＰＩＥ２との境界ＢＬＥ１２の近傍において、部分画像ＰＩＥ１を撮影した第１のカメラとしてのカメラＣＥ１と、部分画像ＰＩＥ２を撮影した第２のカメラとしてのカメラＣＥ２の撮影方向が、境界ＢＬＥ１２の方向にほぼ一致している。境界ＢＬＥ２３，ＢＬＥ３４，ＢＬＥ１４に関しても同様のことがいえる。
【００７１】
また、カメラＣＥ１の撮影領域ＡＥ１とカメラＣＥ２の撮影領域ＡＥ２とは互いにオーバーラップしており、同様に、カメラＣＥ２とカメラＣＥ３、カメラＣＥ３とカメラＣＥ４、カメラＣＥ４とカメラＣＥ１とは、撮影領域が互いにオーバーラップしている。
【００７２】
このため、図１４の合成画像では、各カメラＣＥ１〜ＣＥ４に映る物体の位置関係を保ちながら、ユーザに分かりやすく見せるという仮想視点画像のメリットをそのまま残しつつ、本発明のカメラ設置のポイントを満たすことによって、物体が消失するという現象が回避されている。これは例えば、車両１の四隅にあるポールＰ１〜Ｐ４が、境界ＢＬＥ１２，ＢＬＥ２３，ＢＬＥ３４，ＢＬＥ１４の近傍に存在するにもかかわらず、画像合成によって境界に沿って伸びており、合成画像上で消失せずに残っていることから明らかである。
【００７３】
図１５は本例の他のカメラ設置態様である。図１５の設置態様は、図１３の設置態様において各カメラの向きを１８０度変えたものに相当する。図１５の配置例では、４台のカメラＣＦ１〜ＣＦ４が次のように配置されている。

【００７４】
図１６は図１５に示すようなカメラ画像を用いて、車両１の周囲を上から見下ろしたような仮想視点画像を合成した結果を示す模式図である。図１６において、ＰＩＦ１〜ＰＩＦ４はそれぞれカメラＣＦ１〜ＣＦ４の撮影画像から切り出した部分画像、ＢＬＦ１２は部分画像ＰＩＦ１，ＰＩＦ２の境界、ＢＬＦ２３は部分画像ＰＩＦ２，ＰＩＦ３の境界、ＢＬＦ３４は部分画像ＰＩＦ３，ＰＩＦ４の境界、ＢＬＦ１４は部分画像ＰＩＦ４，ＰＩＦ１の境界である。
【００７５】
この例でも、上述の２つのポイントはともに満たされている。ただし、図１４と比べると、各カメラの向きが１８０度異なっているので、部分画像同士の境界の位置が異なって設定されている。ただし、図１４と同様に、車両１の四隅にあるポールＰ１〜Ｐ４が、境界ＢＬＦ１４，ＢＬＦ１２，ＢＬＦ２３，ＢＬＦ３４の近傍に存在するにもかかわらず、画像合成によって境界に沿って伸びており、合成画像上で消失せずに残っている。
【００７６】
以上、本発明の主眼となるカメラの設置態様について、いくつかの例を用いて説明した。これらの説明では、いずれも仮想視点画像の例として車周囲の状況を上から見下ろしたような画像を用いたが、もちろんそれに限らず、例えば後方確認のために、車の少し前方の上方から斜め後方を見下ろすような仮想視点を設定しても良い。
【００７７】
また、合成画像の部分画像同士の境界において、その部分画像を混合して得たブレンド画像を配置してもかまわない。合成画像において、隣り合う部分画像がその境界部分で重なり合った領域のことを、本願明細書では「重複領域」と呼ぶ。
【００７８】
図２２は図１７に示す車両１の後ろ部分を抜き出したものであり、重複領域の例を概念的に示している。図２２では、ペアカメラＣＺ２，ＣＺ３が車両１後端のトランクの上部中央に設置されており、カメラＣＺ２は車両１の左後方を撮影しており（撮影領域ＡＲ２）、カメラＣＺ３は車両１の右後方を撮影している（撮影領域ＡＲ３）。また車両１後方中央の領域は、カメラＣＺ２，ＣＺ３からも撮されている。
【００７９】
そして、図２２（ａ）〜図２２（ｃ）は、共通のカメラ設置条件での重複領域の設定の例を、それぞれ示している。ＯＬが重複領域で、ＣＬが重複領域ＯＬの長手方向の中心線であり、本願明細書における「境界の方向」に相当する。図２２（ａ）は重複領域ＯＬを最大限に拡げて設定した例である。図２２（ｂ）は重複領域ＯＬの幅が、車両１に近いほど狭く、離れるにつれて広くなるように設定した例である。図２２（ｃ）は重複領域ＯＬの幅を、車両１に近い部分はなるべく広くとり、ある程度離れた遠方部分についてはほぼ一定になるように設定した例である。
【００８０】
図２２（ａ）〜図２２（ｃ）のいずれの設定例を用いてもよいし、また、ここで示した以外の方法によって、重複領域ＯＬを設定してもよい。ただし、重複領域ＯＬの設定の目安は、次の通りである。
【００８１】
・それぞれのカメラに映っている物体が二重像になって見づらくならないように、あまり広くしすぎないこと。
【００８２】
・重複領域ＯＬに存在する物体が不連続に見えることのないように、狭くしすぎないこと
この２点を考慮した場合には、図２２（ｃ）の例が好ましいといえる。なお、図２２では、重複領域ＯＬは、撮影領域ＡＲ２，ＡＲ３が重なり合った部分の中心に合わせて設定しているが、必ずしも中心に合わせなくてもよい。
【００８３】
なお、本発明は例示の実施形態のみに限定されるものではなく、特許請求の範囲の個々の請求項に記載の事項の範囲内で、具体的な構成を変更して実施可能である。
【００８４】
また、本発明において車両とは、普通自動車、軽自動車、貨物自動車、バス等を含む。また、本発明の技術思想が適用されうるものであれば、クレーン車、シャベルカー等の特殊車両も本発明の車両とすることができる。
【００８５】
なお、上述の例では、合成画像を得るために必要なカメラは一時に設置されることを前提として、説明を行った。これに加えて、例えば、すでに設置されているカメラでは監視範囲が不十分であるため、さらにカメラを増やすような場合でも、本発明は有効である。すなわち、
・追加するカメラを、どの位置でどの向きに設置するか
・追加したカメラの撮影画像を用いて新たな合成画像を作る際に、元々設置されていたカメラに係る部分画像と追加したカメラに係る部分画像との境界を、どこに設定するか
という問題に対しても、すでに説明したような方法が適用可能である。
【００８６】
例えば、車の購入時には、車両の後端部中央に後ろ向きに視野１８０度を見渡すカメラのみが設置されており、その後、後方領域と助手席側領域とを併せて示すような合成画像を表示できるように、助手席側領域を撮影するカメラを新たに追加するような場合が考えられる。このような場合にも、本発明に係る車両周囲監視装置の調整方法は適用可能である。
【００８７】
＜幾何変換＞
合成画像のためのマッピングテーブルを作成するためには、仮想視点から見た合成画像の各画素に対応する各カメラ画像の画素の座標を決める必要がある。
【００８８】
このために、まず、仮想視点からの合成画像の各画素に対応するワールド座標系（Xｗ、Yｗ、Zｗ）を求め、そのワールド座標系の3次元座標に対応するカメラ画像の画素の座標を求める２段階を考えると判りやすい。
【００８９】
最終的に必要な関係は、仮想視点の合成画像の各画素と各カメラ画像の画素との関係だけであり、このワールド座標系を経由するマッピングテーブルに限定されるものではない。ただし、このワールド座標系を経由するマッピングテーブルは、合成画像の実際の世界での座標系であるワールド座標系での意味付けが明確になるため、周囲の状況を実際の距離、位置関係と対応付けやすい合成画像を生成する点で重要である。
【００９０】
仮想視点の位置と向きを表すパラメータとして、視点のワールド座標系での座標を位置ベクトルTv ＝（Txv、Tyv、Tzv）、視線の向きを、視平面座標系をワールド座標系の向きへ一致させる回転を表す３行３列の回転行列Rvで表すとすると、合成画像の視点座標（Vxe, Vye, Vze）の対応するワールド座標（Xw, Yw, Zw）は、式（１）で求められる。
【数１】

【００９１】
図２３は、視点座標系とワールド座標系の関係を説明する模式図である。
【００９２】
図２４に示すように、仮想視点の向きを、視線がワールド座標系Y-Z平面に対して水平回転の角度（方位角）をαv、X-Z平面に対してなす傾きの角度（仰角）をβvとし、カメラの光軸周りの回転（Twist）をγvとすると、回転行列Rvは、
【数２】

となる。
【００９３】
一方、仮想視点の視点座標系（Vxe, Vye, Vze）のVxe、Vyeと、投影面上の2次元座標Uv、Vvの関係は、透視投影変換より焦点距離fvを用いて以下の式（３）で表される。
【数３】

【００９４】
焦点距離の単位としては、投影面をフィルムやCCDとして、その大きさに対応するmmやインチであらわす場合や、合成画像のサイズに対応して画素であらわす場合などがあるが、今回は投影面を投影中心を中心として幅２、高さ２の正規化したものとし、それに対する焦点距離を考える。
【００９５】
よって、投影面上の座標と合成画像の画素の関係は、画像の右上から（Sv、Tv）の位置にある画素に対応する投影面上の座標（Uv, Vv）は、画像の横幅をWv画素、縦幅をHv画素とすれば、
Uv ＝２×Sv／Wv −１
Vv ＝２×Tv／Hv −１ …（４）
として求まる。
【００９６】
以上より、合成画像の任意の画素（Sv, Tv）に対応するワールド座標系の3次元座標（Xw、Yw、Zw）は、式（１）〜（４）より、カメラの位置Txv, Tyv, Tzv,カメラの向きαv、βv、γv, 焦点距離fvより次の式（５）で求めることができる。
【数４】

【００９７】
ただし、式（５）では、合成画像の座標（Sv、Tv）に対応する奥行きVzeが未定である。言い換えると、合成画像に写る対象物までの各画素からの奥行き値を定める必要がある。
【００９８】
仮想視点から見える対象物の3次元形状を知ることができれば、各画素の奥行きを得ることができるが、一般には困難である。そこで、仮想視点から見える対象物の形状に何らかのモデルを仮定することにより、上記Vzeを求め、合成画像の座標とワールド座標系の3次元座標との関係を求めることを行う。
【００９９】
―路面平面モデル―
その一例として、対象物を車が接している路面平面に限定した場合について説明する。
【０１００】
すべての対象物がワールド座標系の平面（路面）に存在すると仮定すると、ワールド座標系の3次元座標（Ｘw,Ｙw,Ｚw）は、以下の平面の方程式を満たす。
【数５】

よって、式（６）を式（５）に代入して、Vzeを求めると、
【数６】

となる。
【０１０１】
よって、式（７）を式（５）に代入することにより、仮想視点の合成画像の画素の座標（Sv, Tv）から、対応するワールド座標系の平面の3次元座標（Xw, Yw,
Ｚｗ）を求めることができる。
【０１０２】
このワールド座標系での３次元座標（Xw, Yw, Zw）に対応する、各カメラ画像の各画像の座標は式（１）と同様な関係式に、各カメラの位置、向きに対応するTx、Ty、Tz、α、β、γのパラメータを代入して計算することにより求めることができる。
【０１０３】
例えば、カメラ１の位置をTx1, Ty1, Tz1, 向きをα1, β1, γ1とすれば、合成画像の画素（Sv,Tv）に対応するカメラ１のカメラ座標系Xe1, Ye1, Ze1が,以下の式（８）より計算できる。
【数７】

このカメラ座標系とカメラ画像の座標系（U1、V1）との関係は、カメラ１の焦点距離をf1として、式（３）より
U1 ＝ f1／Ze1×Xe1
V1 ＝ f1／Ze1×Ye1 …（９）
として計算できる。対応するカメラ画像の画素は、カメラ画像のサイズを縦H1画素、横W1画素として、アスペクト比１：１、カメラ中心が画像の中心と考えると、次の式（１０）で計算できる。
S1 ＝ W1／２×（Uv ＋１）
T1 ＝ H1／２×（Vv ＋１） …（１０）
【０１０４】
以上の手続きにより、仮想視点画像の画素（Sv, Tv）に対応するカメラ１の画像の画素（S1, T1）を求めることができた。同様にカメラ１以外の一般のカメラｎに対しても（Sv, Tv）に対応する画素座標（Sn, Tn）が計算できる。実際にパラメータテーブルには、その中から、（Sn, Tn）が実際のカメラ画像の範囲内に写っているか、画素の拡大、縮小率が大きくないかなどの種々の条件により、その最適なものを１つまたは複数選び、カメラ番号ｎとその座標（Sn, Tn）を書きこむ。
【０１０５】
―円筒モデル―
前記の路面平面モデルでは、カメラ画像で水平線から上に写っている物体は路面平面を無限遠に延ばしても路面平面上には載らないので、仮想視点から見ることことはできない。
【０１０６】
これらの物体を仮想視点からの合成画像に反映するために、対象の３次元形状として図２５に示すような円筒モデルを考える。このモデルは、仮想視点の向きが路面に対して平行に近くなった場合などに有効である。
【０１０７】
いま簡単のために、Ｘ軸、Ｚ軸に軸を持つ円筒モデルを考えると、楕円円筒の中心を(Xc,Zc)とし、楕円のパラメータ(a, c)を用いて、そのモデルを次の式（１１）としてあらわす。なお、Ｘ軸、Ｚ軸以外に軸を持つモデルへも、ＸＺ平面上での回転を考えることにより、容易に拡張できる。
【数８】

【０１０８】
式（１１）を用いて式（５）からVzeを消去することによって、仮想視点の合成画像の座標(Sv, Tv)に対応するワールド座標系の３次元座標（Xw, Yw, Zw）を求めることができる。この座標から、前記路面平面モデルと同様に、各カメラ画像の対応する画素を計算することにより、仮想視点画像の画素(Sv, Tv)と、カメラ画像の画素(Sn, Tn)の関係を求め、マッピングテーブルを作成する。
【０１０９】
また、路面平面モデルと円筒モデルの組合せも可能である。先に路面平面モデルによるワールド座標系の３次元座標を求めて、その３次元座標が、円筒モデルの外側、もしくは平面との交点を持たずに解を生じない場合は、次に円筒モデルによる３次元座標を求める。これにより路面平面モデルと円筒モデルの複合による合成が可能となる。
【０１１０】
―疑似円筒モデル―
路面平面モデルの周辺の遠方の状況を把握しやすくするため、周囲をお椀状の疑似円筒モデルを導入する。モデルの形状を図２６に示す。仮想視点画像の周辺になる程、遠方の部分が圧縮されて合成され、より広い範囲が表示可能となる。この疑似円筒の形状を式（１２）で表す。
【数９】

【０１１１】
お椀の中心が(Xc, Yc, Zc)、Ｘ軸、Ｙ軸、Ｚ軸方向の（a, b, c）の長さを持つ。前記円筒モデルと同様に、式（１２）および式（５）から、仮想視点からの合成画像の座標に対応するワールド座標系の３次元座標（Xw, Yw, Zw）を計算し、合成画像の各画素と、各カメラ画像の画素の対応関係を求めることが可能となる。
【０１１２】
なお、円筒モデルと同様に、路面平面モデルとの組合せによる複合モデルによる合成も可能である。
【０１１３】
【発明の効果】
以上のように本発明によると、部分画像同士の境界近傍に存在する物体の画像がその境界に沿って変形されるので、合成画像上で消失することがない。したがって、車の周囲の情報をより正確に運転者に伝え、より安全な運転を支援することが可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る運転支援装置の構成を示すブロック図である。
【図２】本発明に係る車両におけるカメラの設置の一例を示す図である。
【図３】図２のように配置された各カメラの画像の例を示す図である。
【図４】図３のカメラ画像を用いて生成した合成画像の例を示す図である。
【図５】本発明に係る車両におけるカメラの設置の一例を示す図である。
【図６】図５のように配置された各カメラの画像の例を示す図である。
【図７】図６のカメラ画像を用いて生成した合成画像の例を示す図である。
【図８】本発明に係る車両におけるカメラの設置の一例を示す図である。
【図９】図８のように配置されたカメラの画像から生成した合成画像の例を示す図である。
【図１０】本発明に係る車両におけるカメラの設置の一例を示す図である。
【図１１】図１０のように配置された各カメラの画像の例を示す図である。
【図１２】図１１のカメラ画像を用いて生成した合成画像の例を示す図である。
【図１３】本発明に係るカメラの配置の一例を示す図である。
【図１４】図１３のように配置されたカメラの画像から生成した合成画像の例を示す図である。
【図１５】本発明に係るカメラの配置の一例を示す図である。
【図１６】図１５のように配置されたカメラの画像から生成した合成画像の例を示す図である。
【図１７】従来の運転支援装置におけるカメラの設置の一例を示す図である。
【図１８】図１７のように配置された各カメラの画像の例を示す図である。
【図１９】従来の合成画像の例であり、部分画像の境界部にある物体が消失する場合を示す図である。
【図２０】従来の合成画像の例であり、部分画像の境界部にある物体が二重像になる場合を示す図である。
【図２１】部分画像の境界部にある物体が、消失せず、二重像にもならない場合を示す図である。
【図２２】重複領域の例を示す図である。
【図２３】幾何変換を説明するための図である。
【図２４】幾何変換を説明するための図である。
【図２５】幾何変換を説明するための図である。
【図２６】幾何変換を説明するための図である。
【符号の説明】
１車両
１１カメラ
２０画像処理部
３０表示装置
ＣＡ１カメラ（第１のカメラ）
ＣＡ２カメラ（第２のカメラ）
ＣＡ３カメラ（第３のカメラ）
ＣＡ４カメラ（第４のカメラ）
ＣＢ１カメラ（第１のカメラ）
ＣＢ２カメラ（第２のカメラ）
ＣＣ１カメラ（第１のカメラ）
ＣＣ２カメラ（第２のカメラ）
ＣＥ１カメラ（第２のカメラ）
ＣＥ２カメラ（第１のカメラ）
ＣＥ３カメラ（第４のカメラ）
ＣＥ４カメラ（第３のカメラ）
ＣＤ１〜ＣＤ４，ＣＦ１〜ＣＦ４カメラ
ＰＩＡ１〜ＰＩＡ４，ＰＩＢ１，ＰＩＢ２，ＰＩＣ１，ＰＩＣ２，ＰＩＤ１〜ＰＩＤ４，ＰＩＥ１〜ＰＩＥ４，ＰＩＦ１〜ＰＩＦ４部分画像
ＢＬＡ１２，ＢＬＡ２３，ＢＬＡ３４，ＢＬＢ１２，ＢＬＣ１２，ＢＬＤ１２，ＢＬＤ２３，ＢＬＤ３４，ＢＬＥ１２，ＢＬＥ２３，ＢＬＥ３４，ＢＬＥ１４，ＢＬＦ１２，ＢＬＦ２３，ＢＬＦ３４，ＢＬＦ１４境界

Claims

車両の周囲を撮影する、少なくとも第１および第２のカメラを含む複数のカメラと、
前記複数のカメラの撮影画像を入力とし、これらのカメラ画像から得た部分画像を合成し、この合成画像を表示装置に表示させる画像処理部とを備え、
前記合成画像は、前記第１のカメラに係る第１の部分画像と前記第２のカメラに係る第２の部分画像とが、隣り合うように配置されたものであり、
前記第１および第２のカメラは、
その撮影方向が、それぞれ、前記第１の部分画像と前記第２の部分画像との境界の近傍において、前記境界の方向とほぼ一致するように、かつ、互いに離れて、設置されていることを特徴とする車両周囲監視装置。
請求項１記載の車両周囲監視装置において、
前記第１および第２のカメラの撮影方向と前記境界の方向とがなす角度は、それぞれ、１０度以下である
ことを特徴とする車両周囲監視装置。
請求項１記載の車両周囲監視装置において、
前記合成画像は、
前記第１の部分画像と前記第２の部分画像との境界において、前記第１および第２の部分画像を混合したブレンド画像が配置されたものである
ことを特徴とする車両周囲監視装置。
請求項１記載の車両周囲監視装置において、
前記第１のカメラは、当該車両の前の左または右端部に、右または左斜め前方に向けて配置されており、
前記第２のカメラは、当該車両の左または右側部に、左または右斜め前方に向けて配置されている
ことを特徴とする車両周囲監視装置。
請求項４記載の車両周囲監視装置において、
前記複数のカメラは、
当該車両の左または右側部に、左または右斜め後方に向けて配置されている第３のカメラと、
当該車両の後ろの左または右端部に、右または左斜め後方に向けて配置されている第４のカメラとを含む
ことを特徴とする車両周囲監視装置。
請求項１記載の車両周囲監視装置において、
前記第１のカメラは、当該車両の前の右または左端部に、左または右斜め前方に向けて配置されており、
前記第２のカメラは、当該車両の前の左または右端部に、左または右斜め後方に向けて配置されている
ことを特徴とする車両周囲監視装置。
請求項６記載の車両周囲監視装置において、
前記複数のカメラは、
当該車両の後ろの左または右端部に、右または左斜め後方に向けて配置されている第３のカメラと、
当該車両の後ろの右または左端部に、右または左斜め前方に向けて配置されている第４のカメラとを含む
ことを特徴とする車両周囲監視装置。
車両の周囲を撮影する複数のカメラと、前記複数のカメラの撮影画像から得た部分画像を合成し、この合成画像を表示装置に表示させる画像処理部とを備えた車両周囲監視装置を調整する方法であって、
前記複数のカメラのうち、前記合成画像において隣り合って配置される部分画像をそれぞれ撮影する第１および第２のカメラを、その撮影領域がオーバーラップするように、かつ、互いに離れるように、配置し、
前記第１のカメラに係る部分画像と前記第２のカメラに係る部分画像との境界の近傍において、前記第１および第２のカメラの撮影方向が、それぞれ、前記境界の方向とほぼ一致するように、前記第１および第２のカメラ並びに前記画像処理部の少なくともいずれか１つを、調整する
ことを特徴とする車両周囲監視装置の調整方法。