JP4725233B2

JP4725233B2 - 俯瞰画像表示システム

Info

Publication number: JP4725233B2
Application number: JP2005224388A
Authority: JP
Inventors: 和久松本
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 2005-08-02
Filing date: 2005-08-02
Publication date: 2011-07-13
Anticipated expiration: 2025-08-02
Also published as: JP2007041791A

Description

本発明は、複数のカメラで撮影された撮影画像を俯瞰画像に変換すると共に繋ぎ合わせることで、１つの連続した俯瞰表示画像として表示する俯瞰画像表示システムに関する。

従来、車両の死角となる領域の画像を地面に対して垂直に見下ろした俯瞰画像に変換して表示する俯瞰画像表示システムが知られており、車両の駐車時や狭い道路の通行時などにおいて運転者の視界を補助する目的で利用されている。また、近年では、車両前方、後方、左右両側方の全ての領域の画像を繋ぎ合わせて１つの連続した俯瞰表示画像として表示することで、車両周囲全域の様子を一目で把握できるようにした俯瞰画像表示システムが提案されており、実用化に向けての研究開発が盛んに進められている。

この俯瞰画像表示システムでは、車両の前方、後方、左右両側方にそれぞれ設置された４台のカメラを用いて車両周囲の領域を各々撮影し、これら４台のカメラで撮影された各撮影画像を視点変換処理により俯瞰画像に変換すると共にこれらを繋ぎ合わせることで、１つの連続した俯瞰表示画像として、車室内の表示装置に表示させるようにしいてる。この際、隣り合うカメラが撮影する被撮影領域は、その端部において互いに重複しており、この重複した部分で俯瞰画像の作成に使用する撮影画像を所定の基準に従って選択することで、所定の位置を繋ぎ目とする連続した俯瞰表示画像が作成されることになる。

ところで、以上のような俯瞰画像表示システムでは、互いに異なる位置に設置された複数のカメラの撮影画像を俯瞰画像に変換して繋ぎ合わせ、１つの連続した俯瞰表示画像を作成するようにしているので、作成された俯瞰表示画像はその繋ぎ目部分において不連続性が生じることが避けられず、この俯瞰表示画像の繋ぎ目部分に対応する位置に障害物が存在する場合には、この障害物を認識しにくくなるという問題が指摘されている。

このような問題への対応策として、例えば特許文献１には、隣り合うカメラの被撮影領域が互いに重複する部分において、一方のカメラで撮影した撮影画像の画素と他方のカメラで撮影した撮影画像の画素とを一定の規則に従って交互に配置して俯瞰画像を作成することで、一連の俯瞰表示画像に明確な繋ぎ目を生じさせないようにして、障害物の存在を認識し易くするという技術が開示されている。
特開２００２−３５４４６８号公報

しかしながら、上述した特許文献１にて開示される技術では、２つのカメラで撮影した撮影画像の画素を交互に配置して被撮影領域が重複する部分の俯瞰画像を作成しているので、この部分に存在する障害物が俯瞰画像の中では２重の像として現れることになる。このため、障害物の存在自体は認識できても、当該障害物がポールなどの静止した構造物であるのか、或いは人体などの動く可能性のある物体であるのかといった判定を瞬時に行うことが困難となり、運転者が回避操作の判断に迷う要因となるといった問題が懸念される。

本発明は、以上のような従来の実情に鑑みて創案されたものであって、障害物が存在する位置で不連続性が生じない俯瞰表示画像を表示して、障害物の存在やその種別を適切に認識できるようにした俯瞰画像表示システムを提供することを目的としている。

本発明は、前記目的を達成するために、一部が重複する複数の被撮影領域の画像を複数のカメラで各々撮影し、これら複数のカメラにより撮影された複数の撮影画像をそれぞれ俯瞰画像に変換すると共に繋ぎ合わせることで、１つの連続した俯瞰表示画像として表示装置に表示するにあたり、俯瞰表示画像の繋ぎ目部分に対応する領域に障害物が存在するか否かを判断して、この領域に障害物が存在する場合には、俯瞰表示画像の繋ぎ目部分となる位置を変化させるようにした。

本発明によれば、障害物が存在する領域を避けて繋ぎ目位置が設定され、障害物が存在する位置で不連続性が生じない俯瞰表示画像が表示されるので、この俯瞰表示画像することで障害物の存在やその種別を適切に認識することが可能となる。

以下、本発明の具体的な実施形態について、図面を参照しながら詳細に説明する。なお、ここでは、車両前方、後方、左右両側方の各領域を４つの車載カメラでそれぞれ撮影し、これら４つの車載カメラで撮影された画像を繋ぎ合わせて車両周囲全域を表す１つの連続した俯瞰表示画像を作成して表示する俯瞰画像表示システムに本発明を適用した例について説明するが、本発明は、ここで挙げる例に限らず、複数のカメラで撮影した画像から１つの俯瞰画像を作成して表示する各種の俯瞰画像表示システムに対して広く適用可能である。

（第１の実施形態）
本発明を適用した俯瞰画像表示システムの概略構成を図１に示す。この俯瞰画像表示システムは、図１に示すように、前方カメラ１１、後方カメラ１２、右側方カメラ１３、左側方カメラ１４の４つの車載カメラと、第１のソナー２１、第２のソナー２２、第３のソナー２３、第４のソナー２４の４つのソナーとが画像処理装置３０にそれぞれ接続され、この画像処理装置３０の出力側に、車室内に設置された液晶ディスプレイ等の表示装置４０が接続された構成とされる。また、画像処理装置３０には、表示装置４０の表示画面を切り替えるための画面切替スイッチ４１も接続されている。

前方カメラ１１は、図２に示すように、車両前方の例えばフロントバンパーなどに設置され、車両前方の所定の被撮影領域Ａ１の画像を地面に対して斜めに見下ろす方向で撮影する。また、後方カメラ１２は、車両後方の例えばリアバンパーなどに設置され、車両後方の所定の被撮影領域Ａ２の画像を地面に対して斜めに見下ろす方向で撮影する。また、右側方カメラ１３は、車両右側のサイドミラーなどに設置され、車両右側方の所定の被撮影領域Ａ３の画像を地面に対して斜めに見下ろす方向で撮影する。さらに、左側方カメラ１４は、車両左側のサイドミラーなどに設置され、車両左側方の所定の被撮影領域Ａ４の画像を地面に対して斜めに見下ろす方向で撮影する。

これら４つの車載カメラ１１，１２，１３，１４が撮影する領域Ａ１，Ａ２，Ａ３，Ａ４は、それぞれ端部において、隣り合う他の車載カメラが撮影する領域と互いに重複している。すなわち、前方カメラ１１が撮影する領域Ａ１と右側方カメラ１３が撮影する領域Ａ３とは車両右前方のオーバーラップエリアＯＡ１において重複し、前方カメラ１１が撮影する領域Ａ１と左側方カメラ１４が撮影する領域Ａ４とは車両左前方のオーバーラップエリアＯＡ２において重複する。また、後方カメラ１２が撮影する領域Ａ２と右側方カメラ１３が撮影する領域Ａ３とは車両右後方のオーバーラップエリアＯＡ３において重複し、後方カメラ１２が撮影する領域Ａ２と左側方カメラ１４が撮影する領域Ａ４とは車両左後方のオーバーラップエリアＯＡ４において重複する。言い換えると、オーバーラップエリアＯＡ１の画像は前方カメラ１１と右側方カメラ１３の何れでも撮影可能であり、オーバーラップエリアＯＡ２の画像は前方カメラ１１と左側方カメラ１４の何れでも撮影可能である。また、オーバーラップエリアＯＡ３の画像は後方カメラ１２と右側方カメラ１３の何れでも撮影可能であり、オーバーラップエリアＯＡ４の画像は後方カメラ１２と左側方カメラ１４の何れでも撮影可能である。

本発明を適用した俯瞰画像表示システムでは、以上の４つの車載カメラ１１，１２，１３，１４で撮影した被撮影領域Ａ１，Ａ２，Ａ３，Ａ４の画像をそれぞれ画像処理装置３０に取り込み、画像処理装置３０においてこれらの撮影画像を俯瞰画像に変換して繋ぎ合わせ、車両周囲全域を表す１つの連続した俯瞰表示画像を作成するようにしている。このとき、画像処理装置３０では、詳細を後述する変換テーブルに従って各オーバーラップエリアＯＡ１，ＯＡ２，ＯＡ３，ＯＡ４の俯瞰画像の作成に使用する撮影画像を選択することで、各オーバーラップエリアＯＡ１，ＯＡ２，ＯＡ３，ＯＡ４内の所定の位置にそれぞれ繋ぎ目を有する一連の俯瞰表示画像が作成されることになる。そして、特に本発明を適用した俯瞰画像表示システムでは、この俯瞰表示画像の継ぎ目部分となる位置に障害物が存在する場合に、継ぎ目部分となる位置を変化させることによって障害物が存在する位置で不連続性が生じない俯瞰表示画像を表示するようにしており、俯瞰表示画像の繋ぎ目部分となる位置に存在する障害物を検知する手段として、第１乃至第４の４つのソナー２１，２２，２３，２４を用いている。

第１のソナー２１は、図３に示すように、車両右前方のオーバーラップエリアＯＡ１内の所定領域を検知範囲ＳＡ１とするように、車両右前方の所定の位置に設置され、この検知範囲ＳＡ１内に存在する障害物を検知する。この第１のソナー２１の検知範囲ＳＡ１は、画像処理装置３０で作成される俯瞰表示画像においてオーバーラップエリアＯＡ１内の所定の位置に設定される基本となる繋ぎ目位置ＰＢ１（変更前の繋ぎ目位置）を含む領域に設定される。つまり、俯瞰表示画像の変更前の繋ぎ目位置ＰＢ１上に障害物が存在する場合には、当該障害物が第１のソナー２１によって検知される。そして、この第１のソナー２１が俯瞰表示画像の繋ぎ目位置ＰＢ１上の障害物を検知した場合には、その旨の情報が画像処理装置３０に入力される。

また、第２のソナー２２は、車両左前方のオーバーラップエリアＯＡ２内の所定領域を検知範囲ＳＡ２とするように、車両左前方の所定の位置に設置され、この検知範囲ＳＡ２内に存在する障害物を検知する。この第２のソナー２２の検知範囲ＳＡ２は、画像処理装置３０で作成される俯瞰表示画像においてオーバーラップエリアＯＡ２内の所定の位置に設定される基本となる繋ぎ目位置ＰＢ２（変更前の繋ぎ目位置）を含む領域に設定される。つまり、俯瞰表示画像の変更前の繋ぎ目位置ＰＢ２上に障害物が存在する場合には、当該障害物が第２のソナー２２によって検知される。そして、この第２のソナー２２が俯瞰表示画像の繋ぎ目位置ＰＢ２上の障害物を検知した場合には、その旨の情報が画像処理装置３０に入力される。

また、第３のソナー２３は、車両右後方のオーバーラップエリアＯＡ３内の所定領域を検知範囲ＳＡ３とするように、車両右後方の所定の位置に設置され、この検知範囲ＳＡ３内に存在する障害物を検知する。この第３のソナー２３の検知範囲ＳＡ３は、画像処理装置３０で作成される俯瞰表示画像においてオーバーラップエリアＯＡ３内の所定の位置に設定される基本となる繋ぎ目位置ＰＢ３（変更前の繋ぎ目位置）を含む領域に設定される。つまり、俯瞰表示画像の変更前の繋ぎ目位置ＰＢ３上に障害物が存在する場合には、当該障害物が第３のソナー２３によって検知される。そして、この第３のソナー２３が俯瞰表示画像の繋ぎ目位置ＰＢ３上の障害物を検知した場合には、その旨の情報が画像処理装置３０に入力される。

また、第４のソナー２４は、車両左後方のオーバーラップエリアＯＡ４内の所定領域を検知範囲ＳＡ４とするように、車両左後方の所定の位置に設置され、この検知範囲ＳＡ４内に存在する障害物を検知する。この第４のソナー２４の検知範囲ＳＡ４は、画像処理装置３０で作成される俯瞰表示画像においてオーバーラップエリアＯＡ４内の所定の位置に設定される基本となる繋ぎ目位置ＰＢ４（変更前の繋ぎ目位置）を含む領域に設定される。つまり、俯瞰表示画像の変更前の繋ぎ目位置ＰＢ４上に障害物が存在する場合には、当該障害物が第４のソナー２４によって検知される。そして、この第４のソナー２４が俯瞰表示画像の繋ぎ目位置ＰＢ４上の障害物を検知した場合には、その旨の情報が画像処理装置３０に入力される。

画像処理装置３０は、図４に示すように、４つの車載カメラ１１，１２，１３，１４にそれぞれ対応させて、Ａ／Ｄ変換部３１ａ，３１ｂ，３１ｃ，３１ｄと、デコード部３２ａ，３２ｂ，３２ｃ，３２ｄと、フレームメモリ３３ａ，３３ｂ，３３ｃ，３３ｄとを有している。また、画像処理装置３０は、４つの車載カメラ１１，１２，１３，１４で撮影された撮影画像を俯瞰画像に変換する変換処理部３４と、この変換処理部３４での変換に用いる変換テーブルが格納されたＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）等の記憶部３５と、出力用フレームメモリ３６と、エンコード部３７と、Ｄ／Ａ変換部３８とを有している。

この画像処理装置３０では、前方カメラ１１により被撮影領域Ａ１の画像が撮影されて当該前方カメラ１１からコンポジット信号が入力されると、このコンポジット信号がＡ／Ｄ変換部３１ａにてＡ／Ｄ変換され、デコード部３２ａでＲＧＢ信号にデコードされて、前方カメラ１１の撮影画像のフレームを構成するデータとしてフレームメモリ３３ａに蓄積される。同様に、後方カメラ１２により被撮影領域Ａ２の画像が撮影されて当該後方カメラ１２からコンポジット信号が入力されると、このコンポジット信号がＡ／Ｄ変換部３１ｂにてＡ／Ｄ変換され、デコード部３２ｂでＲＧＢ信号にデコードされて、後方カメラ１２の撮影画像のフレームを構成するデータとしてフレームメモリ３３ｂに蓄積される。

また、右側方カメラ１３により被撮影領域Ａ３の画像が撮影されて当該右側方カメラ１３からコンポジット信号が入力されると、このコンポジット信号がＡ／Ｄ変換部３１ｃにてＡ／Ｄ変換され、デコード部３２ｃでＲＧＢ信号にデコードされて、右側方カメラ１３の撮影画像のフレームを構成するデータとしてフレームメモリ３３ｃに蓄積される。また、左側方カメラ１４により被撮影領域Ａ４の画像が撮影されて当該左側方カメラ１４からコンポジット信号が入力されると、このコンポジット信号がＡ／Ｄ変換部３１ｄにてＡ／Ｄ変換され、デコード部３２ｄでＲＧＢ信号にデコードされて、左側方カメラ１４の撮影画像のフレームを構成するデータとしてフレームメモリ３３ｄに蓄積される。

そして、画像処理装置３０では、これら４つの車載カメラ１１，１２，１３，１４の撮影画像のデータがフレームメモリ３３ａ，３３ｂ，３３ｃ，３３ｄにそれぞれ蓄積されると、変換処理部３４が、記憶部３５に格納されている変換テーブルを参照して、各車載カメラ１１，１２，１３，１４の撮影画像を俯瞰画像に変換して繋ぎ合わせ、１つの連続した俯瞰表示画像を作成して当該俯瞰表示画像のデータを出力用フレームメモリ３６に格納する。そして、この出力用フレームメモリ３６に格納された俯瞰表示画像のデータ（ＲＧＢ信号）がエンコード部３７でコンポジット信号にエンコードされ、Ｄ／Ａ変換部３８にてＤ／Ａ変換されて表示装置４０に出力される。これにより、例えば図５に示すように、車両周囲全域を地面に対して垂直な方向で見下ろした様子を表す俯瞰表示画像が、表示装置４０に表示されることになる。なお、このとき表示装置４０は、俯瞰表示画像の繋ぎ目部分を車両の乗員に視認し易くするために、この繋ぎ目部分に例えば黒色のラインを重畳表示する。

本発明を適用した俯瞰画像表示システムにおいて、画像処理装置３０の変換処理部３４で行われる変換処理は、ポイント・トゥ・ポイント法と呼ばれるものである。このポイント・トゥ・ポイント法は、変換後の画像を構成する各画素のアドレスと変換前の画像を構成する各画素のアドレスとの対応関係を記載した変換テーブルを用い、変換前の画像を構成する各画素の配置を変換テーブルに従って変換することで、変換前の画像とは視点の異なる画像を作成するものである。ここで、特に本実施形態では、変換処理部３４での変換処理に用いる変換テーブルとして、１つの基本変換テーブル５０と、４つのサブテーブル（補助変換テーブル）５１，５２，５３，５４とが、記憶部３５に格納されている。

基本変換テーブル５０は、作成する俯瞰表示画像の繋ぎ目位置を上述した基本となる繋ぎ目位置ＰＢ１，ＰＢ２，ＰＢ３，ＰＢ４としたときの当該俯瞰表示画像を構成する各画素のアドレスと、４つの車載カメラ１１，１２，１３，１４の撮影画像を構成する各画素のアドレスとの対応関係を記載したテーブルである。すなわち、この基本変換テーブル５０には、図６に示すように、繋ぎ目位置ＰＢ１と繋ぎ目位置ＰＢ２とに挟まれる車両前方領域の俯瞰画像の各画素のアドレスと前方カメラ１１の撮影画像の各画素のアドレスとの対応関係と、繋ぎ目位置ＰＢ３と繋ぎ目位置ＰＢ４とに挟まれる車両後方領域の俯瞰画像の各画素のアドレスと後方カメラ１２の撮影画像の各画素のアドレスとの対応関係と、繋ぎ目位置ＰＢ１と繋ぎ目位置ＰＢ３とに挟まれる車両右側方領域の俯瞰画像の各画素のアドレスと右側方カメラ１３の撮影画像の各画素のアドレスとの対応関係と、繋ぎ目位置ＰＢ２と繋ぎ目位置ＰＢ４とに挟まれる車両左側方領域の俯瞰画像の各画素のアドレスと左側方カメラ１４の撮影画像の各画素のアドレスとの対応関係とがそれぞれ記載されている。

本実施形態の俯瞰画像表示システムでは、第１乃至第４のソナー２１，２２，２３，２４が何れも障害物を検知していない間、すなわち、俯瞰表示画像の基本となる繋ぎ目位置ＰＢ１，ＰＢ２，ＰＢ３，ＰＢ４上に障害物が存在しない間は、画像処理装置３０の変換処理部３４が、基本変換テーブル５０を用いて変換処理を行う。したがって、この場合には、基本となる繋ぎ目位置ＰＢ１，ＰＢ２，ＰＢ３，ＰＢ４に繋ぎ目を有する俯瞰表示画像が作成されて表示装置４０に表示されることになる。

サブテーブル５１は、俯瞰表示画像におけるオーバーラップエリアＯＡ１内の繋ぎ目位置を、基本となる繋ぎ目位置ＰＢ１から変化させたときの当該俯瞰画像の変更部分における各画素のアドレスと、車載カメラ（ここでは右側方カメラ１３）の撮影画像の画素のアドレスとの対応関係を記載したテーブルである。すなわち、このサブテーブル５１には、図７に示すように、俯瞰表示画像におけるオーバーラップエリアＯＡ１内の基本となる繋ぎ目位置ＰＢ１と変更後の繋ぎ目位置ＰＳ１との間の領域の俯瞰画像の各画素のアドレスと、この領域の俯瞰画像を右側方カメラ１３の撮影画像を用いて作成する場合の当該右側方カメラ１３の撮影画像の画素のアドレスとの対応関係が記載されている。

本実施形態の俯瞰画像表示システムでは、オーバーラップエリアＯＡ１内の基本となる繋ぎ目位置ＰＢ１上に障害物が存在し、この基本となる繋ぎ目位置ＰＢ１上の障害物を第１のソナー２１が検知したときには、画像処理装置３０の変換処理部３４が、サブテーブル５１を優先的に用いて変換処理を行うとともに、このサブテーブル５１に記載されていない領域については基本変換テーブル５０を用いて変換処理を行う。これにより、オーバーラップエリアＯＡ１内の繋ぎ目が基本となる繋ぎ目位置ＰＢ１から繋ぎ目位置ＰＳ１へと変更された俯瞰表示画像が作成されて表示装置４０に表示されることになる。このように、本実施形態の俯瞰画像表示システムでは、オーバーラップエリアＯＡ１内の基本となる繋ぎ目位置ＰＢ１上に障害物が存在する場合には、この障害物が存在する位置を避けるように繋ぎ目位置を変更して、車両の乗員が障害物を容易に認識しうる俯瞰表示画像を表示するようにしている。

なお、このとき、俯瞰表示画像の繋ぎ目部分には、上述したように当該繋ぎ目部分を視認し易くするためのラインが重畳表示されるが、繋ぎ目位置を変更した場合には、例えばラインの色を黒色から赤色に変化させる、或いはラインを実線から破線に変化させるといったように、ラインの表示形態を変化させて重畳表示することが望ましい。これにより、車両の乗員は、俯瞰表示画像の繋ぎ目部分を表すラインの表示形態の変化からも障害物の存在を認識することが可能となる。

また、サブテーブル５２は、俯瞰表示画像におけるオーバーラップエリアＯＡ２内の繋ぎ目位置を、基本となる繋ぎ目位置ＰＢ２から変化させたときの当該俯瞰画像の変更部分における各画素のアドレスと、車載カメラ（ここでは左側方カメラ１４）の撮影画像の画素のアドレスとの対応関係を記載したテーブルである。すなわち、このサブテーブル５２には、図８に示すように、俯瞰表示画像におけるオーバーラップエリアＯＡ２内の基本となる繋ぎ目位置ＰＢ２と変更後の繋ぎ目位置ＰＳ２との間の領域の俯瞰画像の各画素のアドレスと、この領域の俯瞰画像を左側方カメラ１４の撮影画像を用いて作成する場合の当該左側方カメラ１４の撮影画像の画素のアドレスとの対応関係が記載されている。

本実施形態の俯瞰画像表示システムでは、オーバーラップエリアＯＡ２内の基本となる繋ぎ目位置ＰＢ２上に障害物が存在し、この基本となる繋ぎ目位置ＰＢ２上の障害物を第２のソナー２２が検知したときには、画像処理装置３０の変換処理部３４が、サブテーブル５２を優先的に用いて変換処理を行うとともに、このサブテーブル５２に記載されていない領域については基本変換テーブル５０を用いて変換処理を行う。これにより、オーバーラップエリアＯＡ２内の繋ぎ目が基本となる繋ぎ目位置ＰＢ２から繋ぎ目位置ＰＳ２へと変更された俯瞰表示画像が作成されて表示装置４０に表示されることになる。このように、本実施形態の俯瞰画像表示システムでは、オーバーラップエリアＯＡ２内の基本となる繋ぎ目位置ＰＢ２上に障害物が存在する場合には、この障害物が存在する位置を避けるように繋ぎ目位置を変更して、車両の乗員が障害物を容易に認識しうる俯瞰表示画像を表示するようにしている。

また、サブテーブル５３は、俯瞰表示画像におけるオーバーラップエリアＯＡ３内の繋ぎ目位置を、基本となる繋ぎ目位置ＰＢ３から変化させたときの当該俯瞰画像の変更部分における各画素のアドレスと、車載カメラ（ここでは右側方カメラ１３）の撮影画像の画素のアドレスとの対応関係を記載したテーブルである。すなわち、このサブテーブル５３には、図９に示すように、俯瞰表示画像におけるオーバーラップエリアＯＡ３内の基本となる繋ぎ目位置ＰＢ３と変更後の繋ぎ目位置ＰＳ３との間の領域の俯瞰画像の各画素のアドレスと、この領域の俯瞰画像を右側方カメラ１３の撮影画像を用いて作成する場合の当該右側方カメラ１３の撮影画像の画素のアドレスとの対応関係が記載されている。

本実施形態の俯瞰画像表示システムでは、オーバーラップエリアＯＡ３内の基本となる繋ぎ目位置ＰＢ３上に障害物が存在し、この基本となる繋ぎ目位置ＰＢ３上の障害物を第３のソナー２３が検知したときには、画像処理装置３０の変換処理部３４が、サブテーブル５３を優先的に用いて変換処理を行うとともに、このサブテーブル５３に記載されていない領域については基本変換テーブル５０を用いて変換処理を行う。このように、本実施形態の俯瞰画像表示システムでは、オーバーラップエリアＯＡ３内の基本となる繋ぎ目位置ＰＢ３上に障害物が存在する場合には、この障害物が存在する位置を避けるように繋ぎ目位置を変更して、車両の乗員が障害物を容易に認識しうる俯瞰表示画像を表示するようにしている。

また、サブテーブル５４は、俯瞰表示画像におけるオーバーラップエリアＯＡ４内の繋ぎ目位置を、基本となる繋ぎ目位置ＰＢ４から変化させたときの当該俯瞰画像の変更部分における各画素のアドレスと、車載カメラ（ここでは左側方カメラ１４）の撮影画像の画素のアドレスとの対応関係を記載したテーブルである。すなわち、このサブテーブル５４には、図１０に示すように、俯瞰表示画像におけるオーバーラップエリアＯＡ４内の基本となる繋ぎ目位置ＰＢ４と変更後の繋ぎ目位置ＰＳ４との間の領域の俯瞰画像の各画素のアドレスと、この領域の俯瞰画像を左側方カメラ１４の撮影画像を用いて作成する場合の当該左側方カメラ１４の撮影画像の画素のアドレスとの対応関係が記載されている。

本実施形態の俯瞰画像表示システムでは、オーバーラップエリアＯＡ４内の基本となる繋ぎ目位置ＰＢ４上に障害物が存在し、この基本となる繋ぎ目位置ＰＢ４上の障害物を第４のソナー２４が検知したときには、画像処理装置３０の変換処理部３４が、サブテーブル５４を優先的に用いて変換処理を行うとともに、このサブテーブル５４に記載されていない領域については基本変換テーブル５０を用いて変換処理を行う。このように、本実施形態の俯瞰画像表示システムでは、オーバーラップエリアＯＡ４内の基本となる繋ぎ目位置ＰＢ４上に障害物が存在する場合には、この障害物が存在する位置を避けるように繋ぎ目位置を変更して、車両の乗員が障害物を容易に認識しうる俯瞰表示画像を表示するようにしている。

以上のように、本実施形態の俯瞰画像表示システムでは、画像処理装置３０の変換処理部３４が変換処理の際に用いる変換テーブルを切り替えることによって、俯瞰表示画像の繋ぎ目位置を変化させるようにしているが、変換テーブルの切り替えによって俯瞰表示画像の繋ぎ目位置を変化させる最も単純な手法としては、繋ぎ目位置の組み合わせ毎に俯瞰表示画像全体を作成するための変換テーブル（上述した基本変換テーブルに相当する変換テーブル）を記憶部３５に格納しておくことが考えられる。しかしながら、このような手法を採用した場合には、例えばオーバーラップエリアＯＡ１，ＯＡ２，ＯＡ３，ＯＡ４のそれぞれで２箇所ずつの繋ぎ目位置を設定できるようにするには、俯瞰表示画像全体を作成するための変換テーブルを１６（＝２^４）種類持つ必要があり、記憶部３５の記憶容量として膨大な容量が要求される。具体的には、例えば、俯瞰表示画像全体の画素数が縦４８０ｐｉｘ、横３２０ｐｉｘで約１５４ｋｐｉｘであると仮定すると、俯瞰表示画像全体を作成するための変換テーブルを１６種類持つには、記憶部３５に約２．５Ｍｐｉｘ分の記憶容量が必要とされる。

これに対して、本実施形態の俯瞰画像表示システムでは、上述したように、基本変換テーブル５０と４種類のサブテーブル５１，５２，５３，５４とを用いることで、オーバーラップエリアＯＡ１，ＯＡ２，ＯＡ３，ＯＡ４のそれぞれで２箇所ずつの繋ぎ目位置を設定できるようにしているので、記憶部３５に必要とされる記憶容量を大幅に低減できる。具体的には、俯瞰画像全体の画素数が約１５４ｋｐｉｘで、ＰＢ１−ＰＳ１間の領域、ＰＢ２−ＰＳ２間の領域、ＰＢ３−ＰＳ３間の領域、ＰＢ４−ＰＳ４間の領域の画素数がそれぞれ１０ｋｐｉｘ程度であるとすると、約１９４（＝１５４＋１０×４）ｋｐｉｘ分の容量ですむことになり、記憶部３５に必要とされる記憶容量を上述した例に比べて１０分の１以下とすることができる。

ここで、以上のような本実施形態の俯瞰画像表示システムにおける一連の処理の流れについて、図１１のフローチャートに沿って説明する。この図１１の処理フローは、車両のイグニッションスイッチがオンとされて当該俯瞰画像表示システムが起動された後、画面切替スイッチ４１の操作により、俯瞰表示画像を表示する旨の指示が与えられることにより開始される。

本実施形態の俯瞰画像表示システムでは、図１１の処理フローが開始されると、まず、ステップＳ１において、前方カメラ１１、後方カメラ１２、右側方カメラ１３、左側方カメラ１４の４つの車載カメラが、車両周囲の被撮影領域Ａ１，Ａ２，Ａ３，Ａ４の画像をそれぞれ撮影する。そして、各車載カメラ１１，１２，１３，１４から撮影画像のコンポジット信号が画像処理装置３０に入力されると、画像処理装置３０が、ステップＳ２において、これら各車載カメラ１１，１２，１３，１４からのコンポジット信号をＡ／Ｄ変換部３１ａ，３１ｂ，３１ｃ，３１ｄにてそれぞれＡ／Ｄ変換した後、デコード部３２ａ，３２ｂ，３２ｃ，３２ｄでＲＧＢ信号にデコードし、各撮影画像のフレームを構成するデータとしてフレームメモリ３３ａ，３３ｂ，３３ｃ，３３ｄにそれぞれ蓄積する。

次に、画像処理装置３０の変換処理部３４が、記憶部３５に格納されている変換テーブルを参照しながら、フレームメモリ３３ａ，３３ｂ，３３ｃ，３３ｄに蓄積された各撮影画像のデータを用いて車両周囲全域を表す俯瞰表示画像を作成するが、このとき、変換処理部３４は、第１乃至第４のソナー２１，２２，２３，２４の検知結果に応じて、使用する変換テーブルを切り替えて、必要に応じて俯瞰表示画像の繋ぎ目位置を変化させる。

すなわち、画像処理装置３０の変換処理部３４は、まず、ステップＳ３において、第１のソナー２１が障害物を検知しているか否かを確認し、第１のソナー２１が障害物を検知している場合には、次のステップＳ４において、上述したオーバーラップエリアＯＡ１内のＰＢ１−ＰＳ１間の領域について、サブテーブル５１を用いて変換処理を行ってステップＳ５に進む。一方、第１のソナー２１が障害物を検知していなければ、そのままステップＳ５に処理を移行する。

次に、画像処理装置３０の変換処理部３４は、ステップＳ５において、第２のソナー２２が障害物を検知しているか否かを確認し、第２のソナー２２が障害物を検知している場合には、次のステップＳ６において、上述したオーバーラップエリアＯＡ２内のＰＢ２−ＰＳ２間の領域について、サブテーブル５２を用いて変換処理を行ってステップＳ７に進む。一方、第２のソナー２２が障害物を検知していなければ、そのままステップＳ７に処理を移行する。

次に、画像処理装置３０の変換処理部３４は、ステップＳ７において、第３のソナー２３が障害物を検知しているか否かを確認し、第３のソナー２３が障害物を検知している場合には、次のステップＳ８において、上述したオーバーラップエリアＯＡ３内のＰＢ３−ＰＳ３間の領域について、サブテーブル５３を用いて変換処理を行ってステップＳ９に進む。一方、第３のソナー２３が障害物を検知していなければ、そのままステップＳ９に処理を移行する。

次に、画像処理装置３０の変換処理部３４は、ステップＳ９において、第４のソナー２４が障害物を検知しているか否かを確認し、第４のソナー２４が障害物を検知している場合には、次のステップＳ１０において、上述したオーバーラップエリアＯＡ４内のＰＢ４−ＰＳ４間の領域について、サブテーブル５４を用いて変換処理を行ってステップＳ１１に進む。一方、第４のソナー２４が障害物を検知していなければ、そのままステップＳ１１に処理を移行する。

次に、画像処理装置３０の変換処理部３４は、ステップＳ１１において、変換処理が行われていない残りの全ての領域について、基本変換テーブル５０を用いて変換処理を行う。これにより、各車載カメラ１１，１２，１３，１４の撮影画像を俯瞰画像に変換して繋ぎ合わせた車両周囲全域を表す一連の俯瞰表示画像が作成される。この変換処理部３４が作成した俯瞰表示画像のデータは、出力用フレームメモリ３６に格納される。

俯瞰表示画像のデータが出力用フレームメモリ３６に格納されると、画像処理装置３０が、ステップＳ１２において、この出力用フレームメモリ３６に格納された俯瞰表示画像のデータ（ＲＧＢ信号）をエンコード部３７でコンポジット信号にエンコードし、Ｄ／Ａ変換部３８にてＤ／Ａ変換して表示装置４０へと出力する。

画像処理装置３０から表示装置４０へと俯瞰表示画像のデータが出力されると、表示装置４０が、ステップＳ１３において、画像処理装置３０からのデータに基づいて表示処理を行い、車両周囲全域を地面に対して垂直な方向で見下ろした様子を表す俯瞰表示画像を表示する。このとき、表示装置４０は、俯瞰表示画像の繋ぎ目部分に当該繋ぎ目部分を視認し易くするためのラインを重畳して表示するが、ステップＳ４，Ｓ６，Ｓ８，Ｓ１０の何れかにおいてサブテーブル５１，５２，５３，５４を用いた変換処理が行われた場合、すなわち、繋ぎ目位置が基本となる位置から変更された俯瞰表示画像が作成された場合には、当該変更された繋ぎ目部分のラインを他の繋ぎ目部分とは異なる表示形態で重畳表示する。

本実施形態の俯瞰画像表示システムでは、画面切替スイッチ４１の操作により俯瞰表示画像を表示する旨の指示が与えられている間、以上の一連の処理を所定周期で繰り返し行う。これにより、表示装置４０には、障害物が存在する領域を避けて繋ぎ目位置が設定された適切な俯瞰表示画像が常に表示されることになる。

以上、具体的な例を挙げて詳細に説明したように、本実施形態の俯瞰画像表示システムでは、４つの車載カメラ１１，１２，１３，１４で撮影した撮影画像を俯瞰画像に変換して繋ぎ合わせ、１つの連続した俯瞰表示画像を作成するにあたり、第１乃至第４のソナー２１，２２，２３，２４の何れかによって繋ぎ目部分に対応する領域に障害物が存在することが検知された場合には、俯瞰表示画像の繋ぎ目位置を変化させて、この障害物が存在する領域を避けて繋ぎ目位置が設定された俯瞰表示画像を作成するようにしている。したがって、この俯瞰画像表示システムによれば、障害物が存在する位置で不連続性が生じない適切な俯瞰表示画像を表示装置４０に表示することができ、この俯瞰表示画像を参照した車両の乗員に障害物の存在やその種別を容易に認識させることができる。

また、本実施形態の俯瞰画像表示システムでは、変換処理に用いる変換テーブルとして基本変換テーブル５０の他に４種類のサブテーブル５１，５２，５３，５４を記憶部３５に格納しておき、繋ぎ目位置を変化させる場合には、これらサブテーブル５１，５２，５３，５４を用いて変換処理を行うようにしているので、繋ぎ目位置の設定を簡便且つ適切に行うことができるとともに、記憶部３５に必要とされる記憶容量を大幅に低減させることができる。

また、本実施形態の俯瞰画像表示システムでは、表示装置４０が俯瞰表示画像を表示する際に当該俯瞰表示画像の繋ぎ目部分にラインを重畳表示するとともに、俯瞰表示画像の繋ぎ目部分の位置を変更したときには、当該変更された繋ぎ目部分のラインを他の繋ぎ目部分とは異なる表示形態で重畳表示するようにしているので、この俯瞰表示画像を参照した車両の乗員に対して、俯瞰表示画像の繋ぎ目部分を表すラインの表示形態の変化からも障害物の存在を容易に認識させることが可能となる。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。本実施形態の俯瞰画像表示システムは、基本構成を上述した第１の実施形態と同様とし、画像処理装置３０の変換処理部３４における変換処理の手法が、上述した第１の実施形態とは若干異なるものである。以下、第１の実施形態と同様の部分については同一の符号を付して重複した説明を省略し、本実施形態に特徴的な部分を中心に説明する。

本実施形態の俯瞰画像表示システムでは、図１２に示すように、変換処理部３４での変換処理に用いる変換テーブルとして、１つの基本変換テーブル６０と、各オーバーラップエリアＯＡ１，ＯＡ２，ＯＡ３，ＯＡ４毎にそれぞれ２つずつのサブテーブル（第１の重複部変換テーブル及び第２の重複部変換テーブル）６１ａ，６１ｂ，６２ａ，６２ｂ，６３ａ，６３ｂ，６４ａ，６４ｂとが、記憶部３５に格納されている。また、本実施形態の俯瞰画像表示システムでは、これら基本変換テーブル６０やサブテーブル６１ａ，６１ｂ，６２ａ，６２ｂ，６３ａ，６３ｂ，６４ａ，６４ｂの他、詳細を後述する画素選択マップが記憶部３５に格納されている。

本実施形態の俯瞰画像表示システムにおいて、記憶部３５に格納されている基本変換テーブル６０は、オーバーラップエリアＯＡ１，ＯＡ２，ＯＡ３，ＯＡ４を除く領域の俯瞰画像を構成する各画素のアドレスと、４つの車載カメラ１１，１２，１３，１４の撮影画像を構成する各画素のアドレスとの対応関係を記載したテーブルである。すなわち、この基本変換テーブル６０には、図１３に示すように、オーバーラップエリアＯＡ１及びＯＡ２を除く車両前方領域の俯瞰画像の各画素のアドレスと前方カメラ１１の撮影画像の各画素のアドレスとの対応関係と、オーバーラップエリアＯＡ３及びＯＡ４を除く車両後方領域の俯瞰画像の各画素のアドレスと後方カメラ１２の撮影画像の各画素のアドレスとの対応関係と、オーバーラップエリアＯＡ１及びＯＡ３を除く車両右側方領域の俯瞰画像の各画素のアドレスと右側方カメラ１３の撮影画像の各画素のアドレスとの対応関係と、オーバーラップエリアＯＡ２及びＯＡ４を除く車両左側方領域の俯瞰画像の各画素のアドレスと左側方カメラ１４の撮影画像の各画素のアドレスとの対応関係とがそれぞれ記載されている。

サブテーブル６１ａは、オーバーラップエリアＯＡ１に関する第１の重複部変換テーブルであり、オーバーラップエリアＯＡ１の俯瞰画像を前方カメラ１１の撮影画像を用いて作成する場合における当該俯瞰画像を構成する各画素のアドレスと、前方カメラ１１の撮影画像の各画素のアドレスとの対応関係を記載したテーブルである。また、サブテーブル６１ｂは、オーバーラップエリアＯＡ１に関する第２の重複部変換テーブルであり、オーバーラップエリアＯＡ１の俯瞰画像を右側方カメラ１３の撮影画像を用いて作成する場合における当該俯瞰画像を構成する各画素のアドレスと、右側方カメラ１３の撮影画像の各画素のアドレスとの対応関係を記載したテーブルである。

また、サブテーブル６２ａは、オーバーラップエリアＯＡ２に関する第１の重複部変換テーブルであり、オーバーラップエリアＯＡ２の俯瞰画像を前方カメラ１１の撮影画像を用いて作成する場合における当該俯瞰画像を構成する各画素のアドレスと、前方カメラ１１の撮影画像の各画素のアドレスとの対応関係を記載したテーブルである。また、サブテーブル６２ｂは、オーバーラップエリアＯＡ２に関する第２の重複部変換テーブルであり、オーバーラップエリアＯＡ２の俯瞰画像を左側方カメラ１４の撮影画像を用いて作成する場合における当該俯瞰画像を構成する各画素のアドレスと、左側方カメラ１４の撮影画像の各画素のアドレスとの対応関係を記載したテーブルである。

また、サブテーブル６３ａは、オーバーラップエリアＯＡ３に関する第１の重複部変換テーブルであり、オーバーラップエリアＯＡ３の俯瞰画像を後方カメラ１２の撮影画像を用いて作成する場合における当該俯瞰画像を構成する各画素のアドレスと、後方カメラ１２の撮影画像の各画素のアドレスとの対応関係を記載したテーブルである。また、サブテーブル６３ｂは、オーバーラップエリアＯＡ３に関する第２の重複部変換テーブルであり、オーバーラップエリアＯＡ３の俯瞰画像を右側方カメラ１３の撮影画像を用いて作成する場合における当該俯瞰画像を構成する各画素のアドレスと、右側方カメラ１３の撮影画像の各画素のアドレスとの対応関係を記載したテーブルである。

また、サブテーブル６４ａは、オーバーラップエリアＯＡ４に関する第１の重複部変換テーブルであり、オーバーラップエリアＯＡ４の俯瞰画像を後方カメラ１２の撮影画像を用いて作成する場合における当該俯瞰画像を構成する各画素のアドレスと、後方カメラ１２の撮影画像の各画素のアドレスとの対応関係を記載したテーブルである。また、サブテーブル６４ｂは、オーバーラップエリアＯＡ４に関する第２の重複部変換テーブルであり、オーバーラップエリアＯＡ４の俯瞰画像を左側方カメラ１４の撮影画像を用いて作成する場合における当該俯瞰画像を構成する各画素のアドレスと、左側方カメラ１４の撮影画像の各画素のアドレスとの対応関係を記載したテーブルである。

画素選択マップは、各オーバーラップエリアＯＡ１，ＯＡ２，ＯＡ３，ＯＡ４の俯瞰画像を作成する際に、当該俯瞰画像の各画素毎に、第１の重複部変換テーブルと第２の重複部変換テーブルとの何れのサブテーブルを用いるかを規定したものである。具体的には、この画素選択マップでは、例えば図１４に示すように、オーバーラップエリアＯＡ１，ＯＡ２，ＯＡ３，ＯＡ４の俯瞰画像の各画素毎に、当該画素の変換に第１の重複部変換テーブルと第２の重複部変換テーブルとの何れのサブテーブルを用いるか、すなわち、当該画素のデータとして、隣り合う２つの車載カメラのうちのどちらの車載カメラで撮影された撮影画像のデータを用いるかを「０」と「１」の２値で規定している。なお、図１４は、オーバーラップエリアＯＡ１に関する画素選択マップの例であり、「０」は当該画素をサブテーブル６１ａ（第１の重複部変換テーブル）を用いて変換する、すなわち、当該画素のデータとして前方カメラ１１により撮影された撮影画像のデータを用いることを示しており、「１」は当該画素をサブテーブル６１ｂ（第２の重複部変換テーブル）を用いて変換する、すなわち、当該画素のデータとして右側方カメラ１３により撮影された撮影画像のデータを用いることを示している。本実施形態の俯瞰画像表示システムにおいては、このような画素選択マップが各オーバーラップエリアＯＡ１，ＯＡ２，ＯＡ３，ＯＡ４毎にそれぞれ複数種類作成され、記憶部３５に格納されている。

本実施形態の俯瞰画像表示システムにおいて、画像処理装置３０の変換処理部３４は、各車載カメラ１１，１２，１３，１４により被撮影領域の画像が撮影されて各撮影画像のデータがフレームメモリ３３ａ，３３ｂ，３３ｃ，３３ｄに蓄積されると、オーバーラップエリアＯＡ１，ＯＡ２，ＯＡ３，ＯＡ４を除く領域については、基本変換テーブル６０を用いて変換処理を行うとともに、各オーバーラップエリアＯＡ１，ＯＡ２，ＯＡ３，ＯＡ４については、複数の画素選択マップのうちの何れかに従って、各画素毎に第１の重複部変換テーブルと第２の重複部変換テーブルとを選択的に用いて変換処理を行う。これにより、各オーバーラップエリアＯＡ１，ＯＡ２，ＯＡ３，ＯＡ４内で画素選択マップにより規定される所定の位置に繋ぎ目を有する俯瞰表示画像が作成されることになる。このとき、画像処理装置３０の変換処理部３４は、第１乃至第４のソナー２１，２２，２３，２４が、画素選択マップで規定される所定の繋ぎ目位置上に存在する障害物を検知したときには、利用する画素選択マップを他の画素選択マップに切り替えてオーバーラップエリアＯＡ１，ＯＡ２，ＯＡ３，ＯＡ４の変換処理を行う。これにより、第１乃至第４のソナー２１，２２，２３，２４によって検知された障害物が存在する位置を避けるように繋ぎ目位置が設定された俯瞰表示画像が作成されることになる。

なお、本実施形態の俯瞰画像表示システムにおいて、画像処理装置３０の変換処理部３４での変換処理に利用される画素選択マップは、ｙ＝ａｘといった単純な式で代用することも可能である。すなわち、各オーバーラップエリアＯＡ１，ＯＡ２，ＯＡ３，ＯＡ４の俯瞰画像を構成する各画素の配置を、横方向の並びをｘ軸、縦方向の並びをｙ軸とするｘ−ｙ座標として捉え、第１の重複部変換テーブルを用いる画素のかたまりと第２の重複部変換テーブルを用いる画素のかたまりとの境界線、すなわち俯瞰表示画像において繋ぎ目部分となる位置をｙ＝ａｘで表すようにすれば、この式を用いて、画素選択マップを用いた場合と同様の変換処理を行うことができる。

このようにｙ＝ａｘの式を用いてオーバーラップエリアＯＡ１，ＯＡ２，ＯＡ３，ＯＡ４の変換処理を行うようにした場合には、画素選択マップを用いる場合に比べて、記憶部３５に必要とされる記憶容量を大幅に低減することができる。また、このようにｙ＝ａｘの式を用いて変換処理を行う場合には、ａの値を可変とすることで、俯瞰表示画像における繋ぎ目位置を任意に変更することが可能となり、例えば、車両の乗員の操作入力に応じてａの値を変更するようにすれば、俯瞰表示画像における繋ぎ目位置を車両の乗員が見易いと感じる位置に自由に設定することが可能となる。

以上、具体的な例を挙げて詳細に説明したように、本実施形態の俯瞰画像表示システムでは、４つの車載カメラ１１，１２，１３，１４で撮影した撮影画像を俯瞰画像に変換して繋ぎ合わせ、１つの連続した俯瞰表示画像を作成するにあたり、第１乃至第４のソナー２１，２２，２３，２４の何れかによって繋ぎ目部分に対応する領域に障害物が存在することが検知された場合には、俯瞰表示画像の繋ぎ目位置を変化させて、この障害物が存在する領域を避けて繋ぎ目位置が設定された俯瞰表示画像を作成するようにしているので、上述した第１の実施形態と同様に、障害物が存在する位置で不連続性が生じない適切な俯瞰表示画像を表示装置４０に表示することができ、この俯瞰表示画像を参照した車両の乗員に障害物の存在やその種別を容易に認識させることができる。

また、特に本実施形態の俯瞰画像表示システムにおいては、隣り合う車載カメラで被撮影領域が重複する部分であるオーバーラップエリアＯＡ１，ＯＡ２，ＯＡ３，ＯＡ４については、画素変換マップ或いはｙ＝ａｘの式に従って、各画素毎に第１の重複部変換テーブルと第２の重複部変換テーブルとを選択的に用いて変換処理を行うようにしているので、画素変換マップを利用する場合には画素変換マップの数に応じて、また、ｙ＝ａｘの式を利用する場合にはａの値に応じて俯瞰表示画像の繋ぎ目位置を任意に設定することが可能となり、繋ぎ目位置をよりきめ細かく変化させることが可能となる。

なお、以上説明した第１及び第２の実施形態の俯瞰画像表示システムは、本発明の一適用例を例示したものであり、本発明の技術的範囲は、以上の実施形態の説明で開示した内容に限定されるものではなく、これらの開示から容易に導き得る様々な代替技術も含まれることは勿論である。例えば、上述した俯瞰画像表示システムでは、障害物を検知する手段として第１乃至第４のソナー２１，２２，２３，２４を用いているが、障害物を検知する手段としては、これらソナー２１，２２，２３，２４以外にも、レーザレーダや、カメラで撮影した画像を画像処理する手法など、既知の障害物検知手段が何れも採用可能である。

本発明を適用した俯瞰画像表示システムの概略構成を示すブロック図である。４つの車載カメラの取り付け位置と、各車載カメラの被撮影領域とを説明する図である。第１乃至第４のソナーの検知範囲を説明する図である。画像処理装置の詳細な構成を示すブロック図である。表示装置に表示される俯瞰表示画像の概要を示す図である。第１の実施形態の俯瞰画像表示システムにおいて、俯瞰表示画像を作成する際に用いる基本変換テーブルを説明する図である。第１の実施形態の俯瞰画像表示システムにおいて、俯瞰表示画像を作成する際に用いるサブテーブルを説明する図である。第１の実施形態の俯瞰画像表示システムにおいて、俯瞰表示画像の作成に用いる他のサブテーブルを説明する図である。第１の実施形態の俯瞰画像表示システムにおいて、俯瞰表示画像の作成に用いる更に他のサブテーブルを説明する図である。第１の実施形態の俯瞰画像表示システムにおいて、俯瞰表示画像の作成に用いる更に他のサブテーブルを説明する図である。第１の実施形態の俯瞰画像表示システムにおける一連の処理の流れを示すフローチャートである。第２の実施形態の俯瞰画像表示システムにおいて、記憶部に記憶されている変換テーブルの構成を示す図である。第２の実施形態の俯瞰画像表示システムにおいて、俯瞰表示画像を作成する際に用いる基本変換テーブルを説明する図である。第２の実施形態の俯瞰画像表示システムにおいて、俯瞰表示画像を作成する際に用いる画素選択マップを説明する図である。

符号の説明

１１前方カメラ
１２後方カメラ
１３右側方カメラ
１４左側方カメラ
２１第１のソナー
２２第２のソナー
２３第３のソナー
２４第４のソナー
３０画像処理装置
３４変換処理部
３５記憶部
４０表示装置
５０，６０基本変換テーブル
５１，５２，５３，５４サブテーブル
６１ａ，６２ａ，６３ａ，６４ａサブテーブル（第１の重複部変換テーブル）
６１ｂ，６２ｂ，６３ｂ，６４ｂサブテーブル（第２の重複部変換テーブル）

Claims

一部が重複する複数の被撮影領域の画像を各々撮影する複数のカメラと、
前記複数のカメラにより撮影された複数の撮影画像をそれぞれ俯瞰画像に変換すると共に繋ぎ合わせることで、１つの連続した俯瞰表示画像を作成する画像処理装置と、
前記画像処理装置により作成された俯瞰表示画像を表示する表示装置と、
少なくとも前記画像処理装置により作成される俯瞰表示画像の繋ぎ目部分に対応する領域を検知範囲とし、当該検知範囲内に存在する障害物を検知する障害物検知装置とを備え、
前記画像処理装置は、前記障害物検知装置によって障害物が検知されたときに、前記俯瞰表示画像の繋ぎ目部分となる位置を変化させる俯瞰画像表示システムであって、
前記画像処理装置は、
前記俯瞰表示画像の繋ぎ目部分を第１の位置としたときの当該俯瞰表示画像における画素と前記複数の撮影画像の画素との対応関係を示す基本変換テーブルと、
前記俯瞰表示画像の繋ぎ目部分を前記第１の位置から第２の位置へと変化させたときの当該俯瞰表示画像の変更部分における画素と前記撮影画像の画素との対応関係を示す補助変換テーブルとを有し、
前記障害物検知装置によって障害物が検知されない間は、前記基本変換テーブルに基づいて前記俯瞰表示画像を作成し、前記障害物検知装置によって障害物が検知されたときは、前記基本変換テーブルと前記補助変換テーブルとに基づいて前記俯瞰表示画像を作成することを特徴とする俯瞰画像表示システム。
一部が重複する複数の被撮影領域の画像を各々撮影する複数のカメラと、
前記複数のカメラにより撮影された複数の撮影画像をそれぞれ俯瞰画像に変換すると共に繋ぎ合わせることで、１つの連続した俯瞰表示画像を作成する画像処理装置と、
前記画像処理装置により作成された俯瞰表示画像を表示する表示装置と、
少なくとも前記画像処理装置により作成される俯瞰表示画像の繋ぎ目部分に対応する領域を検知範囲とし、当該検知範囲内に存在する障害物を検知する障害物検知装置とを備え、
前記画像処理装置は、前記障害物検知装置によって障害物が検知されたときに、前記俯瞰表示画像の繋ぎ目部分となる位置を変化させる俯瞰画像表示システムであって、
前記画像処理装置は、
前記複数の被撮影領域の重複する部分の俯瞰画像を前記複数のカメラのうちの一のカメラで撮影した撮影画像を変換して作成する場合の当該俯瞰画像における画素と前記一のカメラで撮影した撮影画像の画素との対応関係を示す第１の重複部変換テーブルと、
前記複数の被撮影領域の重複する部分の俯瞰画像を前記複数のカメラのうちの他のカメラで撮影した撮影画像を変換して作成する場合の当該俯瞰画像における画素と前記他のカメラで撮影した撮影画像の画素との対応関係を示す第２の重複部変換テーブルと、
前記複数の被撮影領域の重複する部分の俯瞰画像の各画素毎に、前記第１の重複部変換テーブルを用いて変換するか又は前記第２の重複部変換テーブルを用いて変換するかを選択することで前記俯瞰表示画像の繋ぎ目部分となる位置を決定する繋ぎ目位置決定手段とを有し、
前記障害物検知装置によって障害物が検知されたときに、前記繋ぎ目位置決定手段が、前記複数の被撮影領域の重複する部分の俯瞰画像の何れかの画素での変換に用いる重複部変換テーブルを変更することにより、前記俯瞰表示画像の繋ぎ目部分となる位置を変化させることを特徴とする俯瞰画像表示システム。
前記表示装置は、前記画像処理装置により作成された俯瞰表示画像を表示する際に、当該俯瞰表示画像の繋ぎ目部分にラインを重畳表示するとともに、前記障害物検知装置によって障害物が検知されて前記俯瞰表示画像の繋ぎ目部分となる位置が変化したときは、前記ラインの表示形態を変化させることを特徴とする請求項１または請求項２に記載の俯瞰画像表示システム。