JP3552212B2 - 描画装置 - Google Patents
描画装置 Download PDFInfo
- Publication number
- JP3552212B2 JP3552212B2 JP2001154346A JP2001154346A JP3552212B2 JP 3552212 B2 JP3552212 B2 JP 3552212B2 JP 2001154346 A JP2001154346 A JP 2001154346A JP 2001154346 A JP2001154346 A JP 2001154346A JP 3552212 B2 JP3552212 B2 JP 3552212B2
- Authority
- JP
- Japan
- Prior art keywords
- imaging device
- image
- mapping table
- output image
- defective
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Controls And Circuits For Display Device (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、描画装置に関し、より特定的には、車両の運転を支援する運転支援装置に組み込むことが可能な描画装置に関する。さらに詳しく述べると、車両に固定される複数の撮像装置により取り込まれた画像を基礎として、車両の周囲を表す１枚の出力画像を作成する描画装置に関する。
【０００２】
【従来の技術】
従来から、上述のような描画装置を組み込んだ運転支援装置の研究・開発が盛んに行われている。以下、従来の運転支援装置として、国際公開ＷＯ００／０７３７３号公報に開示されている車両周囲監視装置について説明する。車両周囲監視装置において、複数の撮像装置には、互いに異なる撮影領域が割り当てられる。ここで、撮影領域とは車両の周囲の一部分であって、すべての撮影領域が合わさることで、車両の全周囲がカバーされる。以上の各撮像装置は、自身の撮影領域の状況を表す画像（以下、撮影画像と称する）を取り込む。さらに、各撮像装置により取り込まれた撮影画像が合成され、車両の全周囲を表す１つの出力画像が生成される。以上の出力画像は表示装置で表示される。これによって、ドライバは、運転席から目視できない死角領域の状況を、出力画像を通じて把握することができるので、車両を安全に運転することができる。
【０００３】
【発明が解決しようとする課題】
しかしながら、上述の車両周囲監視装置には、以下のような問題点があった。
第１に、撮像装置には不具合が生じることがあり、最悪の場合には、当該撮像装置は、自身の撮影領域を撮影できなくなる。かかる場合、出力画像は、車両の周囲を正しく表せないという問題点があった。
【０００４】
第２に、撮像装置は通常、車両に対して固定され、これによって、常に同じ撮影領域の状況を表す撮影画像を取り込む。しかしながら、なんらかの理由により、撮像装置は、最初の固定位置からずれてしまい、自身の撮影領域からずれた領域の状況を表す撮影画像を生成してしまう場合がある。このような撮影画像から出力画像が生成されると、ドライバが車両の周囲の状況を把握しづらいものが表示されてしまうという問題点があった。
【０００５】
それ故に、本発明の目的は、車両の運転支援装置に組み込むことができ、撮像装置に不具合が生じても、車両の周囲を正しく表す出力画像を生成できる描画装置を提供することである。
また、本発明の他の目的は、車両の運転支援装置に組み込むことができ、撮像装置の位置ずれを補正した出力画像を生成できる描画装置を提供することである。
【０００６】
【課題を解決するための手段および発明の効果】
以上の目的は以下の発明により達成され、当該各発明は以下のような効果を有する。まず、第１の発明は、車両に固定される複数の撮像装置から受け取った各撮影画像を基礎として、車両の周囲を表す出力画像を作成する描画装置であって、複数の撮像装置の中に、不具合が生じている不良撮像装置があるか否かを判断する判断部と、判断部により不良撮像装置がないと判断されると、複数の撮像装置から受け取った撮影画像を使って、出力画像を生成する画像合成部とを備え、画像合成部は、判断部により、少なくとも１台の不良撮像装置があると判断されると、当該不良撮像装置の周辺に固定される撮像装置からの撮影画像を使って出力画像を生成する。
【０００７】
第２の発明は第１の発明に従属しており、第１のマッピングテーブルと、第２のマッピングテーブルとを、少なくとも格納する格納部をさらに備え、第１のマッピングテーブルには、複数の撮像装置からの撮影画像の画素が、出力画像のどの画素に対応するかが記述されており、第２のマッピングテーブルには、不良撮像装置を除く撮像装置からの撮影画像の画素が、出力画像のどの画素に対応するかが記述されており、画像合成部は、判断部により不良撮像装置がないと判断されると、第１のマッピングテーブルに従って、出力画像を生成し、判断部により不良撮像装置があると判断されると、第２のマッピングテーブルに従って、出力画像を生成する。
【０００８】
以上のように、第１および第２の発明によれば、不良撮像装置が発生したとしても、それ以外の撮像装置からの撮影画像から、出力画像を生成することができる。これによって、ドライバにとってより使い勝手の良い出力画像を生成する描画装置を提供することができる。
【０００９】
第３の発明は第２の発明に従属しており、第２のマッピングテーブルにおいて、出力画像の一部の画素には、予め定められた特定色が割り当てられており、当該出力画像の一部の画素は、不良撮像装置の除く複数の撮像装置からの撮影画像の中に対応する画素がない。
【００１０】
第３の発明によれば、不良撮像装置を除く複数の撮像装置からの撮影画像の中に対応する画素がないものには、予め定められた特定色が割り当てられてれる。そのため、ドライバは、出力画像を通じて特定色の部分の状況を把握できないことが直感的に分かる。これによって、ドライバにとってより使い勝手の良い出力画像を生成する描画装置を提供することができる。
【００１１】
第４の発明は、第１の発明に従属しており、判断部はさらに、車両の運転開始時に、不良撮像装置が、予め定められた台数以上あるか否かを判断し、画像合成部は、車両の運転開始時に、判断部により台数以上の不良撮像装置があると判断されると、出力画像を生成しない。
【００１２】
多くの不良撮像装置が発生している場合には、車両の周囲の状況を正確に表す出力画像を生成しづらい。このような出力画像がドライバに提供されると、かえってドライバを混乱させてしまう。そこで、第４の発明では、かかる場合には出力画像そのものが生成されないので、ドライバにとってより使い勝手の良い描画装置を提供することができる。
【００１３】
第５の発明は、第１の発明に従属しており、判断部により不良撮像装置があると判断されると、予め定められた方法で、当該不良撮像装置が発生していることを車両のドライバに警告する警告生成部をさらに備える。
第５の発明によれば、不良撮像装置が生じていることがドライバに警告されるので、ドライバにとってより使い勝手の良い描画装置を提供することができる。
【００１４】
第６の発明は、車両において、予め定められた初期位置に固定される複数の撮像装置から受け取った各撮影画像を基礎として、車両の周囲を表す出力画像を作成する描画装置であって、複数の撮像装置からの撮影画像の画素が、出力画像のどの画素に対応するかが記述されているマッピングテーブルを格納する格納部と、複数の撮像装置の中に、それぞれの初期位置からずれている不良撮像装置があるか否かを判断する不良判断部と、不良判断部により不良撮像装置がないと判断されると、マッピングテーブルに従って、複数の撮像装置から受け取った撮影画像から、出力画像を生成する画像合成部と、不良判断部により、少なくとも１台の不良撮像装置があると判断されると、当該不良撮像装置がずれた後の位置を示すパラメータを導出する導出部と、導出部により導出されたパラメータに基づいて、マッピングテーブルを修正する修正部とを備え、画像合成部は、不良判断部により、少なくとも１台の不良撮像装置があると判断されると、修正部により修正されたマッピングテーブルに従って、複数の撮像装置から受け取った撮影画像から、出力画像を生成する。
【００１５】
第７の発明は、第６の発明に従属しており、不良判断部により、少なくとも１台の不良撮像装置があると判断された場合に、当該不良撮像装置からの撮影画像の画素のずれ量を算出する算出部と、算出部により算出されたずれ量が予め定められた基準値以上であるか否かを判断するずれ量判断部とを備え、画像合成部は、ずれ量判断部により、算出部により算出されたずれ量が基準値以上でないと判断されると、修正部により修正されたマッピングテーブルに従って、複数の撮像装置から受け取った撮影画像から、出力画像を生成する。
【００１６】
以上のように、第６および第７の発明によれば、不良撮像装置が発生したとしても、ずれ量に応じて、マッピングテーブルが修正される。これによって、撮像装置に位置ずれが生じたとしても、周囲の状況をドライバが把握しやすい出力画像を生成する描画装置を提供することができる。
【００１７】
第８の発明は、第７の発明に従属しており、ずれ量判断部により、算出部の算出ずれ量が基準値以上であると判断されると、不良撮像装置が発生していることを車両のドライバに警告する警告生成部をさらに備える。
第８の発明によれば、不良撮像装置が生じていることがドライバに警告されるので、ドライバにとってより使い勝手の良い描画装置を提供することができる。
【００１８】
第９の発明は、車両に固定される複数の撮像装置から受け取った各撮影画像を基礎として、車両の周囲を表す出力画像を作成する描画方法であって、複数の撮像装置の中に、不具合が生じている不良撮像装置があるか否かを判断する判断ステップと、判断ステップにより不良撮像装置がないと判断されると、複数の撮像装置から受け取った撮影画像を使って、出力画像を生成する画像合成ステップとを備え、画像合成ステップでは、判断ステップで、少なくとも１台の不良撮像装置があると判断されると、当該不良撮像装置の周辺に固定される撮像装置からの撮影画像を使って出力画像が生成される。
【００１９】
第１０の発明は、第９の発明に従属しており、第１のマッピングテーブルと、第２のマッピングテーブルとが、少なくとも格納されており、第１のマッピングテーブルには、複数の撮像装置からの撮影画像の画素が、出力画像のどの画素に対応するかが記述されており、第２のマッピングテーブルには、不良撮像装置の除く撮像装置からの撮影画像の画素が、出力画像のどの画素に対応するかが記述されており、画像合成ステップでは、判断ステップで不良撮像装置がないと判断されると、第１のマッピングテーブルに従って、出力画像が生成され、判断ステップで不良撮像装置があると判断されると、第２のマッピングテーブルに従って、出力画像が作成される。
【００２０】
第１１の発明は、車両において、予め定められた初期位置に固定される複数の撮像装置から受け取った各撮影画像を基礎として、車両の周囲を表す出力画像を作成する描画方法であって、複数の撮像装置からの撮影画像の画素が、出力画像のどの画素に対応するかが記述されているマッピングテーブルが予め格納されており、複数の撮像装置の中に、それぞれの初期位置からずれている不良撮像装置があるか否かを判断する不良判断ステップと、不良判断ステップで不良撮像装置がないと判断されると、マッピングテーブルに従って、複数の撮像装置から受け取った撮影画像から、出力画像を生成する画像合成ステップと、不良判断ステップにより、少なくとも１台の不良撮像装置があると判断されると、当該不良撮像装置がずれた後の位置を示すパラメータを導出する導出ステップと、導出ステップで導出されたパラメータに基づいて、マッピングテーブルを修正する修正ステップとを備え、画像合成ステップでは、不良判断ステップで、少なくとも１台の不良撮像装置があると判断されると、修正ステップで修正されたマッピングテーブルに従って、複数の撮像装置から受け取った撮影画像から、出力画像が生成される。
【００２１】
第１２の発明は、車両に固定される複数の撮像装置から受け取った各撮影画像を基礎として、車両の周囲を表す出力画像を作成するためのプログラムを記録した記録媒体であって、複数の撮像装置の中に、不具合が生じている不良撮像装置があるか否かを判断する判断ステップと、判断ステップにより不良撮像装置がないと判断されると、複数の撮像装置から受け取った撮影画像を使って、出力画像を生成する画像合成ステップとを備え、画像合成ステップでは、判断ステップで、少なくとも１台の不良撮像装置があると判断されると、当該不良撮像装置の周辺に固定される撮像装置からの撮影画像を使って出力画像が生成される。
【００２２】
第１３の発明は、第１２の発明に従属しており、第１のマッピングテーブルと、第２のマッピングテーブルとが、少なくとも格納されており、第１のマッピングテーブルには、複数の撮像装置からの撮影画像の画素が、出力画像のどの画素に対応するかが記述されており、第２のマッピングテーブルには、不良撮像装置の除く撮像装置からの撮影画像の画素が、出力画像のどの画素に対応するかが記述されており、画像合成ステップでは、判断ステップで不良撮像装置がないと判断されると、第１のマッピングテーブルに従って、出力画像が生成され、判断ステップで不良撮像装置があると判断されると、第２のマッピングテーブルに従って、出力画像が作成される。
【００２３】
第１４の発明は、車両において、予め定められた初期位置に固定される複数の撮像装置から受け取った各撮影画像を基礎として、車両の周囲を表す出力画像を作成するプログラムが記録された記録媒体であって、複数の撮像装置からの撮影画像の画素が、出力画像のどの画素に対応するかが記述されているマッピングテーブルが予め格納されており、複数の撮像装置の中に、それぞれの初期位置からずれている不良撮像装置があるか否かを判断する不良判断ステップと、不良判断ステップで不良撮像装置がないと判断されると、マッピングテーブルに従って、複数の撮像装置から受け取った撮影画像から、出力画像を生成する画像合成ステップと、不良判断ステップにより、少なくとも１台の不良撮像装置があると判断されると、当該不良撮像装置がずれた後の位置を示すパラメータを導出する導出ステップと、導出ステップで導出されたパラメータに基づいて、マッピングテーブルを修正する修正ステップとを備え、画像合成ステップでは、不良判断ステップで、少なくとも１台の不良撮像装置があると判断されると、修正ステップで修正されたマッピングテーブルに従って、複数の撮像装置から受け取った撮影画像から、出力画像が生成される。
【００２４】
第１５の発明は、車両に固定される複数の撮像装置から受け取った各撮影画像を基礎として、車両の周囲を表す出力画像を作成するためのプログラムであって、複数の撮像装置の中に、不具合が生じている不良撮像装置があるか否かを判断する判断ステップと、判断ステップにより不良撮像装置がないと判断されると、複数の撮像装置から受け取った撮影画像を使って、出力画像を生成する画像合成ステップとを備え、画像合成ステップでは、判断ステップで、少なくとも１台の不良撮像装置があると判断されると、当該不良撮像装置の周辺に固定される撮像装置からの撮影画像を使って出力画像が生成される。
【００２５】
第１６の発明は、第１５の発明に従属しており、第１のマッピングテーブルと、第２のマッピングテーブルとが、少なくとも格納されており、第１のマッピングテーブルには、複数の撮像装置からの撮影画像の画素が、出力画像のどの画素に対応するかが記述されており、第２のマッピングテーブルには、不良撮像装置の除く撮像装置からの撮影画像の画素が、出力画像のどの画素に対応するかが記述されており、画像合成ステップでは、判断ステップで不良撮像装置がないと判断されると、第１のマッピングテーブルに従って、出力画像が生成され、判断ステップで不良撮像装置があると判断されると、第２のマッピングテーブルに従って、出力画像が作成される。
【００２６】
第１７の発明は、車両において、予め定められた初期位置に固定される複数の撮像装置から受け取った各撮影画像を基礎として、車両の周囲を表す出力画像を作成するプログラムであって、複数の撮像装置からの撮影画像の画素が、出力画像のどの画素に対応するかが記述されているマッピングテーブルが予め格納されており、複数の撮像装置の中に、それぞれの初期位置からずれている不良撮像装置があるか否かを判断する不良判断ステップと、不良判断ステップで不良撮像装置がないと判断されると、マッピングテーブルに従って、複数の撮像装置から受け取った撮影画像から、出力画像を生成する画像合成ステップと、不良判断ステップにより、少なくとも１台の不良撮像装置があると判断されると、当該不良撮像装置がずれた後の位置を示すパラメータを導出する導出ステップと、導出ステップで導出されたパラメータに基づいて、マッピングテーブルを修正する修正ステップとを備え、画像合成ステップでは、不良判断ステップで、少なくとも１台の不良撮像装置があると判断されると、修正ステップで修正されたマッピングテーブルに従って、複数の撮像装置から受け取った撮影画像から、出力画像が生成される。
【００２７】
【発明の実施の形態】
図１は、本発明の第１の実施形態に係る描画装置Ｕｒｎｄ１が組み込まれた運転支援装置Ｕａｓｔ１のハードウェア構成を示すブロック図である。図１において、車両周囲監視装置は、８台の撮像装置１〜８と、描画装置Ｕｒｎｄ１と、表示装置９と、状態検出部１０を備えている。
【００２８】
撮像装置１〜８はそれぞれ、車両Ｖｕｓｒ に固定される。ここで、図２（ａ）および（ｂ）は、撮像装置１〜８の設置例、およびそれぞれの担当領域ＴＲ１ 〜ＴＲ８ を示す図である。図２（ａ）には、車両Ｖｕｓｒ の直上から見た時の姿が描かれている。図２（ａ）において、撮像装置１は、車両Ｖｕｓｒ の前端部分に固定され、図２（ｂ）に示すような担当領域ＴＲ１ （ドットを付した部分）の状況を表す画像（以下、撮影画像と称す）Ｓ１ を取り込む。担当領域ＴＲ１ は、車両Ｖｕｓｒ の前方右側の領域をカバーする。また、撮影画像Ｓ１ は、図３に示すように、ＵＶ座標系ＣＳｕ のＵ軸方向にα個の画素が並び、かつＶ軸方向にはβ個の画素が並んでおり、合計（α×β）個の画素Ｐを含んでいる。ここで、Ｕ軸およびＶ軸は、撮影画像Ｓ１ における水平方向および垂直方向を示す。撮影画像Ｓ１ における各画素Ｐは、原点Ｏａ を起算点として、ＵＶ座標系ＣＳｕ の座標値（ｉ，ｊ）により特定される。ｉは１以上α以下の自然数で、ｊは１以上β以下の自然数である。
【００２９】
他の撮像装置２〜８は、図２（ａ）に示すように車両Ｖusr に固定され、図２（ｂ）に示すような担当領域ＴＲ2 〜ＴＲ8 の状況を表す撮影画像Ｓ2 〜Ｓ8 を生成する。本実施形態では、撮影画像Ｓ2 〜Ｓ8 は、便宜上、撮影画像Ｓ1 と同様に（α×β）個の画素Ｐからなるとする。また、担当領域ＴＲ2 およびＴＲ3 は、車両Ｖusr の右側方前側および右側方後ろ側の領域をカバーする。担当領域ＴＲ4 およびＴＲ5 は、車両Ｖusr の後方右側および後方左側の領域をカバーする。担当領域ＴＲ6 およびＴＲ7 は、車両Ｖusr の左側方後ろ側および左側方前側の領域をカバーする。担当領域ＴＲ8 は、車両Ｖusr の前方左側の領域をカバーする。以上の担当領域ＴＲ1 〜ＴＲ8 において重要な点は、後述する合成処理を実現するために、担当領域ＴＲ1 は、自身の両隣の担当領域ＴＲ2 およびＴＲ8 と部分的に重なっている。他の担当領域ＴＲ2 〜ＴＲ8 も、担当領域ＴＲ1 と同様に、自身の両隣の担当領域と重なっている。
【００３０】
図１において、描画装置Ｕrnd1は、ＣＰＵ１１と、ＲＡＭ１２と、ＲＯＭ１３とを含んでいる。ＣＰＵ１１は、上述の撮影画像Ｓ1 〜Ｓ8 に対して合成処理を行って、１枚の出力画像Ｓout を作成する。かかる合成処理のために、ＲＡＭ１２には、図４に示すように、一時記憶領域１２１〜１２８と、フレームメモリ１２９とが予約されている。一時記憶領域１２１は、撮像装置１に固定的に割り当てられており、撮影画像Ｓ1 を格納する。一時記憶領域１２２〜１２８は、撮像装置２〜撮像装置８に割り当てられており、撮影画像Ｓ2 〜Ｓ8 を格納する。また、以上の一時記憶領域１２１〜１２８には、それぞれが互いに重複しない識別番号Ｎidが割り当てられる。識別番号Ｎidは、本実施形態では＃１〜＃８とし、それぞれは、運転支援装置Ｕast1内において一時記憶領域１２１〜１２８を一意に特定する番号である。ここで、一時記憶領域１２１〜１２８は、撮像装置１〜８に割り当てられるので、上述の＃１〜＃８は、撮像装置１〜８も特定する。
【００３１】
また、上述の出力画像Ｓｏｕｔ は、図５（ａ）に示すように、車両Ｖｕｓｒ およびその全周囲の状況を直上から見たときの画像である。また、出力画像Ｓｏｕｔ は、二次元座標系ＣＳｔ のＸｔ 軸方向にγ個の画素が並び、かつＹｔ 軸方向にδ個の画素が並んでおり、合計（γ×δ）個の画素Ｑを含んでいる。出力画像Ｓｏｕｔ における各画素Ｑは、原点Ｏｂ を起算点として、二次元座標系ＣＳｔ の座標値（ｍ，ｎ）により特定される。ここで、ｍは１以上γ以下の自然数で、ｎは１以上δ以下の自然数である。フレームメモリ１２９は、図５（ｂ）に示すように、以上の出力画像Ｓｏｕｔ が有する（γ×δ）個の画素Ｑの値を格納できるように構成される。
【００３２】
また、出力画像Ｓｏｕｔ には、後で説明する車両画像Ｓｖｈｃ が合成される。かかる車両画像Ｓｖｈｃ の大きさおよび合成位置を特定するために、フレームメモリ１２９には、車両画像Ｓｖｈｃ の合成領域ＧＲｖｈｃ （図示せず）が予め設定されている。
【００３３】
また、図１において、ＲＯＭ１３は、プログラムＰＧ１ と、少なくとも２つのマッピングテーブルＴｍｐ１ およびＴｍｐ２ と、車両画像Ｓｖｈｃ と、警告画像Ｓｗｎｇ とを格納している。プログラムＰＧ１ には、上述の合成処理の手順と、その他必要なＣＰＵ１１の処理手順とが記述されている。
【００３４】
上述の合成処理時、ＣＰＵ１１は、各撮影画像Ｓ1 〜Ｓ8 から必要な部分を切り出した後、フレームメモリ１２９上で合成し、これによって、車両Ｖusr の周囲の状況を表す１枚の周囲画像Ｐsdg を生成する。ここで、周囲画像Ｐsdg とは、撮影画像Ｓ1 〜Ｓ8 から出力画像Ｐout が作成される過程で生成される中間画像であって、より具体的には、車両画像Ｓvhc が合成されていない出力画像Ｐout である。言い換えれば、合成処理において、ＣＰＵ１１は、撮影画像Ｓ1 〜Ｓ8 が有するいくつかの画素を選択し、選択した画素をフレームメモリ１２９上で合成して、出力画像Ｓout を作成する。例えば、図６（ａ）中の矢印で示すように、撮影画像Ｓ1 における座標値（ｉ，ｊ）の画素Ｑの値が、出力画像Ｓout における座標値（ｍ，ｎ）の画素Ｐの値として決定される。かかる決定のために、マッピングテーブルＴmp1 およびＴmp2 は使用される。
【００３５】
マッピングテーブルＴｍｐ１ およびＴｍｐ２ は、撮影画像Ｓ１ 〜Ｓ８ に含まれる画素が、出力画像Ｓｏｕｔ のどの画素に対応するのかを表す情報であって、図６（ｂ）に示すように、出力画像Ｓｏｕｔ の画素数と同じ（γ×δ）個のセルＣｍｎから構成される。ここで、ｍは、１≦ｍ≦γを満たす自然数であり、ｎは１≦ｎ≦δの自然数である。セルＣｍｎは、出力画像Ｓｏｕｔ において、その座標値が（ｍ，ｎ）である画素Ｑに割り当てられている。例えば、セルＣ１１は、その座標値が（１，１）の画素Ｑに割り当てられる。また、各セルＣｍｎには、１つの識別番号Ｎｉｄと、画素Ｐの座標値（ｉ，ｊ）とが記述されている。例えば、セルＣ１１には、識別番号Ｎｉｄとしての＃５と、画素Ｐの座標値（４００，３００）とが記述されている。これによって、その座標値が（１，１）の画素Ｑに割り当てられるのは、撮像画像Ｓ５ において座標値（４００，３００）を有する画素Ｐの値であることが指定される。
【００３６】
以上の説明は、マッピングテーブルＴmp1 およびＴmp2 に共通する点である。次に、両者の相違点について説明する。マッピングテーブルＴmp1 は、全ての撮像装置１〜８が正常に動作する際にＣＰＵ１１により使用される。また、上述のように、ＣＰＵ１１は、各撮影画像Ｓ1 〜Ｓ8 から必要な部分に含まれる画素Ｑの値を、出力画像Ｐout における合成領域ＧＲ1 〜ＧＲ8 に含まれる画素Ｐに割り当てる。ここで、合成領域ＧＲ1 は、図７（ａ）に示すように、車両画像Ｓvhc の前方右側に相当する領域である。また、合成領域ＧＲ2 およびＧＲ3 は、車両画像Ｓvhc の右側方前側および右側方後ろ側に相当する領域である。他の合成領域ＧＲ2 〜ＧＲ8 は、図７（ａ）に示す通りの領域である。マッピングテーブルＴmp1 の各セルＣ11〜Ｃγδには、図７（ｂ）に示すように、上述の合成領域ＧＲ1 〜ＧＲ8 内の各画素Ｐに、撮影画像Ｓ1 〜Ｓ8 において当該合成領域ＧＲ1 〜ＧＲ8 に対応する領域内の画素Ｑの値を割り当てるよう、識別番号Ｎidおよび座標値（ｉ，ｊ）が記述される。
【００３７】
しかし、従来技術の欄で述べたように、撮像装置１〜８には不具合が生じる場合がある。ここで、例えば、断線などの不具合により、撮像装置１が撮影画像Ｓ１ を取り込めなくなった場合を想定する。かかる想定の下で、上述のマッピングテーブルＴｍｐ１ に従って合成処理が行われると、図８に示すように、出力画像Ｓｏｕｔ における合成領域ＧＲ１ には、車両Ｖｕｓｒ の周囲の状況が描かれない。しかしながら、本実施形態では、撮像装置２および８が、撮像装置１の担当領域ＴＲ１ を部分的にカバーするので（図２（ｂ）参照）、撮影画像Ｓ２ およびＳ８ にも担当領域ＴＲ１ の状況が部分的に映っている。
【００３８】
以上の観点から、マッピングテーブルＴｍｐ２ は、撮像装置１に不具合が生じたときにＣＰＵ１１により使用される。より具体的には、図９に示すように、上述の合成領域ＧＲ１ に含まれる画素Ｐには、撮影画像Ｓ２ およびＳ８ において当該合成領域ＧＲ１ に対応する領域内の画素Ｑの画素の値を割り当てるよう、マッピングテーブルＴｍｐ２ のセルＣｍｎには、識別番号Ｎｉｄおよび座標値（ｉ，ｊ）が記述される。なお、本実施形態では、マッピングテーブルＴｍｐ２ のセルＣｍｎには、他の合成領域ＧＲ２ 〜ＧＲ８ に含まれる画素Ｐには、撮影画像Ｓ２ 〜Ｓ８ において対応する領域内の画素Ｑの画素の値を割り当てるよう、識別番号Ｎｉｄおよび座標値（ｉ，ｊ）が記述される。
【００３９】
以上から分かるように、全ての撮像装置１〜８が正常に動作している場合に、マッピングテーブルＴｍｐ２ に従って合成処理が行われても、出力画像Ｓｏｕｔ を生成することはできる。しかしながら、上述のように、全撮像装置１〜８が正常動作中には、マッピングテーブルＴｍｐ１ に従って合成処理が行われる。なぜなら、撮像装置１は、合成領域ＧＲ１ 全体をカバーするように車両Ｖｕｓｒ に固定されているからである。つまり、撮像装置２および８は、合成領域ＧＲ２ およびＧＲ８ 全体をカバーするように固定されているため、その２台で、合成領域ＧＲ１ 全体を完全にカバーすることが難しいからである。その結果、撮像装置２および８の撮影画像Ｓ２ およびＳ８ の画素の中には、図９に示すように、出力画像Ｓｏｕｔ の一部の画素に対応するものがない場合がある。そのため、マッピングテーブルＴｍｐ２ に従って合成処理が行われた場合、上述の合成領域ＧＲ１ 内の一部の画素Ｐに値を割り当てることができない。このように、撮影画像Ｓ２ およびＳ８ から値を決定できない出力画像Ｓｏｕｔ の画素に関しては、予め定められた特定の色（例えば、黒）を割り当てるように、マッピングテーブルＴｍｐ２ には記述される。出力画像Ｓｏｕｔ は、車両Ｖｕｓｒ の周囲の状況を正確に表すことが要求されるので、その一部の領域が状況を正確に表せない場合には、上記のように、特定の色を割り当てる方が好ましい。
【００４０】
次に、図１に示す車両画像Ｓｖｈｃ および警告画像Ｓｗｎｇ について説明する。車両画像Ｓｖｈｃ は、前述の合成領域ＧＲｖｈｃ に合成され、本実施形態では、車両を直上から見た時の画像を表す。さらに、警告画像Ｓｗｎｇ は、本実施形態では、出力画像Ｓｏｕｔ と同じように、（γ×δ）個の画素を有しており、撮像装置１〜８のいずれかに不具合が生じているというメッセージを含む画像を表す。
【００４１】
また、表示装置９は、典型的には液晶ディプレイであって、フレームメモリ１２９から転送されてくる出力画像Ｓｏｕｔ および警告画像Ｓｗｎｇ を表示する。
状態検出部１０は、全ての撮像装置１〜８の状態を監視して、不具合が発生しているものを検出する。ここで、以下の説明では、不具合が発生している撮像装置を、不良撮像装置と称する。さらに、状態検出部１０は、状態通知Ｎｓｔｓ を生成して、ＣＰＵ１１に送信する。状態通知Ｎｓｔｓ は、少なくとも、不良撮像装置を特定する識別番号Ｎｉｄを含む。以上の不具合の一例には、各撮像装置１〜８の電圧供給ラインの断線がある。電圧供給ラインとは、各撮像装置１〜８に駆動電圧を供給するための線である。かかる場合、状態検出部１０は、各電圧供給ラインと、予め定められた基準点との間の電圧を検出し、各撮像装置１〜８に適切な駆動電圧が与えられているか否かを判断する。そして、上述の状態通知Ｎｓｔｓ には、適切な駆動電圧が与えられていない（つまり、現在駆動していない）１台以上の不良撮像装置を特定する識別番号Ｎｉｄが設定され、ＣＰＵ１１に送信される。
【００４２】
次に、以上の運転支援装置Ｕａｓｔ１の動作について説明する。ドライバが車両Ｖｕｓｒ の周囲状況を確認したくなった時、ＣＰＵ１１は、プログラムＰＧ１ の実行を開始する。ここで、図１０は、プログラムＰＧ１ に記述されているＣＰＵ１１の処理手順を示すフローチャートである。図１０において、ＣＰＵ１１はまず、ＲＯＭ１３から、車両画像Ｓｖｈｃ と、警告画像Ｓｗｎｇ と、マッピングテーブルＴｍｐ１ およびＴｍｐ２ とをＲＡＭ１２に読み出す（ステップＳ１）。
【００４３】
次に、ＣＰＵ１１は、状態要求Ｒｓｔｓ を生成し、状態検出部１０に送信する（ステップＳ２）。状態要求Ｒｓｔｓ は、各撮像装置１〜８の現在の状態を判断して、上述の状態通知Ｎｓｔｓ をＣＰＵ１１に送信するように、状態検出部１０に要求するための信号である。状態検出部１０は、受信要求Ｒｓｔｓ に応答して、前述したようにして、状態通知Ｎｓｔｓ を生成し、ＣＰＵ１１に送信する。ここで、１台以上の不良撮像装置が発生している場合、今回の状態通知Ｎｓｔｓ には、当該不良撮像装置の識別番号Ｎｉｄが設定される。
【００４４】
次に、ＣＰＵ１１は、受信状態通知Ｎｓｔｓ に基づいて、不良撮像装置が現在発生しているか否かを判断する（ステップＳ３）。不良撮像装置が発生していると判断した場合、ＣＰＵ１１は、後で説明するステップＳ１１に進む。逆の判断をした場合には、ＣＰＵ１１は、後の合成処理で使うものとして、マッピングテーブルＴｍｐ１ を選択する（ステップＳ４）。
【００４５】
次に、ＣＰＵ１１は、撮像指示Ｉｃｐｔ１を生成し、全ての撮像装置１〜８に送信する（ステップＳ５）。撮像指示Ｉｃｐｔ１は、各撮像装置１〜８に撮像を指示するための信号である。各撮像装置１〜８は、受信指示Ｉｃｐｔ１に応答して、図２（ｂ）を参照して説明した撮影画像Ｓ１ 〜Ｓ８ を取り込み、ＲＡＭ１２に予約される一時記憶領域１２１〜１２８に格納する（ステップＳ６）。
【００４６】
次に、ＣＰＵ１１は、現在選択されているマッピングテーブルを参照して、合成処理を行う（ステップＳ７）。ステップＳ７において、ＣＰＵ１１は、各撮影画像Ｓ１ 〜Ｓ８ から合成領域ＧＲ１ 〜ＧＲ８ に相当する部分を切り出した後、フレームメモリ１２９上で合成し、これによって、車両Ｖｕｓｒ の周囲の状況を表す１枚の周囲画像Ｐｓｄｇ を生成する。ここで、図１１は、ステップＳ７の詳細な手順を示すフローチャートである。上述から明らかなように、今回参照されるのは、マッピングテーブルＴｍｐ１ である。そのため、ＣＰＵ１１は、マッピングテーブルＴｍｐ１ のセルＣｍｎを１つ選択し（図１１；ステップＳ２１）、選択したものに記述されている識別番号Ｎｉｄおよび座標値（ｉ，ｊ）（図６（ｂ）参照）を取り出す（ステップＳ２２）。次に、ＣＰＵ１１は、取り出した識別番号Ｎｉｄが特定する一時記憶領域から、取り出した座標値（ｉ，ｊ）で特定される画素Ｑの値を取り出す（ステップＳ２３）。さらに、ＣＰＵ１１は、一時記憶領域から今回取り出した画素Ｑの値を、出力画像Ｓｏｕｔ の座標値（ｍ，ｎ）の画素Ｐ（つまり、今回選択したセルＣｍｎが割り当てられる画素Ｐ）の値として、フレームメモリ１２９（図５（ｂ）参照）に格納する（ステップＳ２４）。
【００４７】
以上のステップＳ２１〜Ｓ２４を具体例を説明する。今、ステップＳ２１で、マッピングテーブルＴｍｐ１ から、セルＣ１１が選択されたと仮定する。セルＣ１１には、識別番号Ｎｉｄとしての＃５と、座標値（３００，４００）とが記述されている（図６（ｂ）参照）。そのため、ＣＰＵ１１は、ステップＳ２２およびＳ２３を実行することにより、一時記憶領域１２５内の撮影画像Ｓ５ において、座標値（ｉ，ｊ）を有する画素Ｑの値を取り出す。次のステップＳ２４およびＳ２５が実行されることにより、ステップＳ２３で取り出された画素Ｑの値が、出力画像Ｓｏｕｔ における座標値（１，１）の画素Ｐの値として決定され、フレームメモリ１２９において、当該座標値（１，１）の画素Ｐの値を格納する領域（図５（ｂ）参照）に格納される。
【００４８】
ＣＰＵ１１は、以上のステップＳ２１〜Ｓ２４の処理を、マッピングテーブルＴｍｐ１ 内のセルＣ１１〜Ｃγδをすべて選択し終えるまで繰り返す（ステップＳ２５）。これによって、図１２に示すような１枚の周囲画像Ｐｓｄｇ が生成される。
【００４９】
ところで、撮像装置１〜８の設置位置の関係上、撮影画像Ｓ1 〜Ｓ8 には車両Ｖusr はほとんど映らない。ゆえに、図１２に示すように、周囲画像Ｐsdg において、車両の合成領域ＧＲvhc には、車両Ｖusr が描かれない。そこで、ＣＰＵ１１は、以上の図１１の処理から抜けると、ステップＳ８に進み、ＲＡＭ１３上の車両画像Ｓvhc が表す車両画像を、周囲画像Ｐsdg の合成領域ＧＲvhc に合成する。これによって、フレームメモリ１２９上には、図５（ａ）に示すような、出力画像Ｓout が作成される（ステップＳ８）。
【００５０】
次に、ＣＰＵ１１は、フレームメモリ１２９上に作成された出力画像Ｓｏｕｔ を表示装置９に転送する（ステップＳ９）。表示装置９は、受信出力画像Ｓｏｕｔ を表示する。以上の出力画像Ｓｏｕｔ を見ることにより、ドライバは、車両Ｖｕｓｒ の周囲の状況、特に自身の死角領域を、表示装置９を介して視認することができるので、安全に車両Ｖｕｓｒ を運転する事ができる。
【００５１】
次に、ＣＰＵ１１は、図９の処理を終了するか否かを判断し（ステップＳ１０）、終了しないと判断した場合には、フレームメモリ１２９に新しい出力画像Ｓｏｕｔ を作成するために、ステップＳ２に戻る。
【００５２】
ところで、ステップＳ２では、ＣＰＵ１１は、不良撮像装置１〜８が発生していると判断する場合がある。ここで、本実施形態では、便宜上、撮像装置１が不良であると仮定する。以上のように判断した場合、ＣＰＵ１１は、警告画像Ｓｗｎｇ をフレームメモリ１２９に作成する（ステップＳ１１）。警告画像Ｓｗｎｇ は、前述したように、ステップＳ１でＲＡＭ１２に読み出されており、不良撮像装置が発生しているというメッセージを表す。次に、ＣＰＵ１１は、ステップＳ１１で作成された警告画像Ｓｗｎｇ を表示装置９に転送する（ステップＳ１２）。表示装置９は、受信警告画像Ｓｗｎｇ を表示する。これによって、ドライバは、不良撮像装置が発生していることが分かり、それを早期に直すことが可能となる。
【００５３】
ＣＰＵ１１は、予め定められた時間Ｔｐｒｄ の間、ステップＳ１２を繰り返し（ステップＳ１３）、これによって、表示装置９には、警告画像Ｓｗｎｇ が時間Ｔｐｒｄ だけ表示される。上記時間Ｔｐｒｄ が経過すると、ＣＰＵ１１は、ステップＳ７の合成処理で使うものとして、マッピングテーブルＴｍｐ２ を選択する（ステップＳ１４）。
【００５４】
次に、ＣＰＵ１１は、撮像指示Ｉｃｐｔ２を生成し、不良撮像装置（撮像装置１）を除く撮像装置２〜８に送信する（ステップＳ１５）。撮像指示Ｉｃｐｔ２は、各撮像装置２〜８に撮像を指示するための信号である。各撮像装置２〜８は、受信指示Ｉｃｐｔ２に応答して、前述の撮影画像Ｓ２ 〜Ｓ８ を取り込み、ＲＡＭ１２に予約される一時記憶領域１２２〜１２８に格納する（ステップＳ１６）。
【００５５】
次に、ＣＰＵ１１は、上述の合成処理を行う（ステップＳ７）。ただし、今回の合成処理では、マッピングテーブルＴｍｐ２ が使用される。したがって、ＣＰＵ１１は、各撮影画像Ｓ２ 〜Ｓ８ から合成領域ＧＲ１ 〜ＧＲ８ に相当する部分をマッピングテーブルＴｍｐ２ に従って切り出した後、フレームメモリ１２９上で合成し、これによって、上述と同じような１枚の周囲画像Ｐｓｄｇ を生成する。ただし、前述したように、合成領域ＧＲ１ 内の一部の画素Ｐには、特定色（例えば、黒）が割り当てられる。その後、ＣＰＵ１１は、ステップＳ８〜Ｓ１０の処理を行い、これによって、表示装置９には、今回生成された出力画像Ｓｏｕｔ が表示される。
【００５６】
以上説明したように、運転支援装置Ｕast1では、全ての撮像装置１〜８が正常に動作する場合には、マッピングテーブルＴmp1 に従って、車両Ｖusr の全周囲の状況を表す周囲画像Ｓsdg が作成される。それに対して、撮像装置１に不具合が生じた場合には、マッピングテーブルＴmp2 に従って、撮影画像Ｓ1 を使うことなく、撮影画像Ｓ2 〜Ｓ8 を使って、フレームメモリ１２９の合成領域ＧＲ1 に描くべき画像が描画され、これによって、車両Ｖusr の全周囲の状況を表す周囲画像Ｓsdg が作成される。そのため、従来の車両周囲監視装置であれば、１つの撮像装置に不具合が生じると、それに対応する部分が出力画像から抜けてしまうが、本運転支援装置Ｕast1では、かかる抜け落ちてしまう部分を、他の撮像装置からの撮影画像を使って補うことができる。これによって、ドライバは、撮像装置１に不具合が生じた場合であっても、車両Ｖusr の全周囲を視認できるので、従来よりも使い勝手の良い運転支援装置Ｕast1を提供できるようになる。
【００５７】
なお、以上の第１の実施形態では、便宜上、単一の撮像装置１に不具合が生じるという想定の下で、運転支援装置Ｕａｓｔ１の構成および動作を説明した。しかし、撮像装置２〜８のいずれかに不具合が生じた時を想定して、撮影画像Ｓ２ 〜Ｐ８ のいずれかを使うことなく周囲画像Ｓｓｄｇ を生成できるようなマッピングテーブルがＲＯＭ１３に格納されていても良い。そして、ＣＰＵ１１は、前述の状態通知Ｎｓｔｓ から、不良撮像装置を特定できるので、適切なマッピングテーブルを選択して、当該不良撮像装置の撮影画像を使わずに周囲画像Ｓｓｄｇ を生成することもできる。さらに、２台以上の不良撮像装置が発生した時を想定して、当該不良撮像装置の撮影画像を使うことなく周囲画像Ｓｓｄｇ を生成できるようなマッピングテーブルがＲＯＭ１３に格納されていても良い。さらに、ＣＰＵ１１は、車両Ｖｕｓｒ の運転開始時に、予め定められた台数以上の不良撮像装置が発生していると判断した場合には、出力画像Ｓｏｕｔ そのものを生成しないようにしてもよい。これにより、不正確な車両Ｖｕｓｒ の周囲の状況がドライバに提供しないようにすることができる。
【００５８】
また、以上の第１の実施形態では、撮像装置の不具合の例として、電圧供給ラインの断線を採りあげた。しかし、それ以外にも、下記に示す不具合の場合にも、図９に示す描画装置Ｕrnd1の処理を応用することができる。まず、それぞれの電圧供給ライン以外の部分の故障により、各撮像装置１〜８に正常に駆動電圧が供給できないという不具合がある。また、電圧供給ライン以外の部分が故障により、各撮像装置１〜８が撮影画像Ｓ1 〜Ｓ8 を生成できないという不具合もある。また、各撮像装置１〜８が有するレンズの汚れや傷も、不具合の１つである。
【００５９】
ところで、各撮像装置１〜８は、原則的には互いに同期して動作し、同じタイミングで撮影画像Ｓ1 〜Ｓ8 を取り込む必要がある。しかし、なんらかの理由で、ある撮像装置が、他の撮像装置と同じタイミングで撮影画像を取り込めなくなることがある。このような同期ずれも、不具合の１つである。
また、各撮像装置１〜８が１つの物を撮影する場合、撮影画像Ｓ1 〜Ｓ8 は実質的に同じものになる。しかし、なんらかの理由で、ある撮影画像の色が、他の撮像画像の色と比較して、全く異なってしまうことがある。このような色ずれも、不具合の１つである。
また、各撮像装置１〜８は、通常、車両Ｖusr に対して固定されるが、なんらかの理由により、最初の位置からずれてしまう場合がある。かかる位置ずれも、不具合の１つである。なお、撮像装置１〜８の位置ずれを検出するための技術の一例としては、特開平０８−１６９９９に開示されている。
【００６０】
図１３は、本発明の第２の実施形態に係る描画装置Ｕｒｎｄ２が組み込まれた運転支援装置Ｕａｓｔ２のハードウェア構成を示すブロック図である。図１３において、車両周囲監視装置は、８台の撮像装置２１〜２８と、描画装置Ｕｒｎｄ２と、表示装置２９とを備えている。
【００６１】
撮像装置２１〜２８はそれぞれ、図１４（ａ）に示すように、前述の撮像装置１〜８と同様に車両Ｖusr に固定され、撮影画像Ｓ1 〜Ｓ8 と同様に担当領域ＴＲ1 〜ＴＲ8 （図１４（ｂ）参照）の状況を主として撮影画像Ｓ21〜Ｓ28を生成する。さらに、撮像装置２１〜２８は、自身の撮影画像Ｓ21〜Ｓ28に、車両Ｖusr のボディラインＬvhc1〜Ｌvhc8が必ず映るように固定される。ここで、以上のような撮影画像Ｓ21〜Ｓ28の一例として、図１５には、撮影画像Ｓ23が描かれている。かかる撮影画像Ｓ23には、車両Ｖusr の右側方後方を状況が映ると共に、おり、当該車両Ｖusr のボディラインＬvhc3も映っている。
【００６２】
図１３において、描画装置Ｕｒｎｄ２は、ＣＰＵ３１と、ＲＡＭ３２と、ＲＯＭ３３とを含んでいる。ＣＰＵ３１は、上述の撮影画像Ｓ２１〜Ｓ２８に合成処理を行って、１枚の出力画像Ｓｏｕｔ を作成する。かかる合成処理のために、ＲＡＭ３２には、図４に示すＲＡＭ１２と同様に、一時記憶領域３２１〜３２８と、フレームメモリ３２９とが予約されている。一時記憶領域３２１〜３２８は、撮像装置２１〜２８に割り当てられており、撮影画像Ｓ２１〜Ｓ２８を格納する。また、以上の一時記憶領域３２１〜３２８には、一時記憶領域１２１〜１２８と同様に、識別番号Ｎｉｄとしての＃１〜＃８が割り当てられる。また、フレームメモリ３２９には、出力画像Ｓｏｕｔ 上で車両画像Ｓｖｈｃ が合成される合成領域ＧＲｖｈｃ （図１２参照）が予め設定されている。
【００６３】
また、図１３において、ＲＯＭ３３は、プログラムＰＧ２ と、少なくとも１つのマッピングテーブルＴｍｐと、ボディラインデータＤｖｂｌ と、車両画像Ｓｖｈｃ と、警告画像Ｓｗｎｇ とを格納している。ここで、車両画像Ｓｖｈｃ および警告画像Ｓｗｎｇ は、第１の実施形態で説明したものと同様であるため、第２の実施形態ではそれぞれの説明を省略する。
【００６４】
プログラムＰＧ２ には、上述の合成処理の手順と、その他必要なＣＰＵ３１の処理手順とが記述されている。かかる合成処理時、ＣＰＵ３１は、各撮影画像Ｓ２１〜Ｓ２８から必要な部分を切り出した後、フレームメモリ３２９上で合成し、これによって，第１の実施形態で説明した周囲画像Ｐｓｄｇ を生成する。かかる合成時、例えば、図６（ａ）を参照して説明したように、撮影画像Ｓ１ における座標値（ｉ，ｊ）の画素Ｐの値が、出力画像Ｓｏｕｔ における座標値（ｍ，ｎ）の画素Ｑとして決定される。かかる決定のために、マッピングテーブルＴｍｐは使用される。マッピングテーブルＴｍｐは、図６（ａ）および（ｂ）を参照して説明したマッピングテーブルＴｍｐ１ と同様、撮影画像Ｓ２１〜Ｓ２８に含まれる画素が、出力画像Ｓｏｕｔ のどの画素に対応するのかを表す情報である。
【００６５】
次に、ボディラインデータＤｖｂｌ について説明する。上述したように、各撮影画像Ｓ２１〜Ｓ２８には、図１５に例示されるように、車両Ｖｕｓｒ のボディラインＬｖｈｃ１〜Ｌｖｈｃ８が映る。ここで、図１６は、図１３に示すボディラインＬｖｈｃ３をＵＶ座標系ＣＳｕ で表現した図である。このボディラインＬｖｈｃ３からは、予め、少なくとも６個の特徴点Ｑｔ３１ 〜Ｑｔ３６ がサンプルされている。ここで、特徴点Ｑｔ３１ 〜Ｑｔ３６ は、ボディラインＬｖｈｃ３の特徴を顕著に表す点であって、例えば、当該ボディラインＬｖｈｃ３の変曲点が当該特徴点として選ばれる。また、図示は省略するが、ボディラインＬｖｈｃ１およびＬｖｈｃ２からも、同様の特徴点Ｑｔ１１ 〜Ｑｔ１６ およびＱｔ２１ 〜Ｑｔ２６ がサンプルされる。ボディラインＬｖｈｃ４〜Ｌｖｈｃ８に関しても同様である。
【００６６】
ボディラインデータＤｖｂｌ は、図１７に示すように、８個の識別番号Ｎｉｄ（つまり、＃１〜＃８）と、８セットの特徴点群Ｇｔ１〜Ｇｔ８とを有する。特徴点群Ｇｔ１は、上述の特徴点Ｑｔ１１ 〜Ｑｔ１６ の座標値の集まりであり、識別番号Ｎｉｄである＃１の後に記録されている。これによって、特徴点Ｑｔ１１ 〜Ｑｔ１６ が撮影画像Ｓ２１に映っているボディラインＬｖｈｃ１のものであることが示される。同様に、特徴点群Ｇｔ２〜Ｇｔ６は、撮像装置２〜６（識別番号Ｎｉｄは＃２〜＃６）の撮影画像Ｓ２２〜Ｓ２８に含まれるボディラインＬｖｈｃ３〜Ｌｖｈｃ８の特徴点の集まりである。なお、便宜上、特徴点群Ｇｔ２およびＧｔ４〜Ｇｔ８の図示は省略されている。
【００６７】
また、図１３において、表示装置２９は、典型的には液晶ディプレイであって、フレームメモリ３２９から転送されてくる出力画像Ｓｏｕｔ および警告画像Ｓｗｎｇ を表示する。
【００６８】
次に、以上の運転支援装置Ｕａｓｔ２の動作について説明する。ドライバが車両Ｖｕｓｒ の周囲状況を確認したくなった時、ＣＰＵ３１は、プログラムＰＧ２ の実行を開始する。ここで、図１８は、プログラムＰＧ２ に記述されているＣＰＵ３１の処理手順を示すフローチャートである。図１８において、ＣＰＵ３１はまず、ＲＯＭ３３から、車両画像Ｓｖｈｃ と、警告画像Ｓｗｎｇ と、マッピングテーブルＴｍｐと、ボディラインデータＤｖｂｌ とをＲＡＭ３２に読み出す（ステップＳ３１）。
【００６９】
次に、ＣＰＵ３１は、撮像指示Ｉｃｐｔ を生成し、全ての撮像装置２１〜２８に送信する（ステップＳ３２）。撮像指示Ｉｃｐｔ は、各撮像装置２１〜２８に撮像を指示するための信号である。各撮像装置２１〜２８は、受信指示Ｉｃｐｔ に応答して、上述の撮影画像Ｓ２１〜Ｓ２８を取り込み、一時記憶領域３２１〜３２８に格納する（ステップＳ３３）。
【００７０】
ところで、従来技術の欄で説明したように、撮像装置２１〜２８は、図１４（ａ）に示すように、予め定められた位置に固定されているが、なんらかの理由でそれぞれの固定位置がずれる場合がある。本実施形態では、かかる位置ずれを起こしている撮像装置のことを、不良撮像装置と称する。かかる位置ずれに応じて、不良撮像装置の担当領域もずれてしまう。しかしながら、マッピングテーブルＴｍｐは、撮像装置２１〜２８に位置ずれがない時における撮影画像Ｓ２１〜Ｓ２８に含まれる画素が、出力画像Ｓｏｕｔ のどの画素に対応するのかを表すので、不良撮像装置からの撮影画像を合成して、出力画像Ｓｏｕｔ を生成するのは好ましくない。もし不良撮像装置からの撮影画像が合成されると、ドライバには周囲の状況が把握しづらい出力画像Ｓｏｕｔ が生成されてしまう。
【００７１】
以上の観点から、ＣＰＵ３１は、ステップＳ３３で格納された撮影画像Ｓ２１〜Ｓ２８から、ボディラインＬｖｈｃ１〜Ｌｖｈｃ８の検出する（ステップＳ３４）。ここで、以降において混同を避ける観点から、ステップＳ３３で検出されるボディラインＬｖｈｃ１〜Ｌｖｈｃ８を、現在のボディラインＬｖｈｃ１’ 〜Ｌｖｈｃ８’ と称する。また、現在のボディラインＬｖｈｃ１’ 〜Ｌｖｈｃ８’ の検出に関しては、例えば、特開平０４−１０６７００に開示された道路のエッジ検出技術を応用すれば簡単に行えるので、ここでは、ステップＳ３４の詳細な説明を省略する。
【００７２】
次に、ＣＰＵ３１は、上述の現在のボディラインＬｖｈｃ１’ から、現在の特徴点Ｑｔ１１’〜Ｑｔ１６’をサンプルして、図１９に示すように、それぞれの座標値を識別番号Ｎｉｄとしての＃１と共にＲＡＭ３２に格納する。現在のボディラインＬｖｈｃ２’ およびＬｖｈｃ３’ からも、同様に、現在の特徴点Ｑｔ２１’〜Ｑｔ２６’およびＱｔ３１’〜Ｑｔ３６’がサンプルされ、識別番号Ｎｉｄとしての＃２および＃３と共にＲＡＭ３２に格納される。現在のボディラインＬｖｈｃ４’ 〜Ｌｖｈｃ８’ に関しても同様である（ステップＳ３５）。なお、便宜上、現在の特徴点Ｑｔ２１’〜Ｑｔ２６’およびＱｔ４１’〜Ｑｔ４６’以降の図示は省略されている。
【００７３】
次に、ＣＰＵ３１は、互いに同じ識別番号Ｎｉｄが付されている現在の特徴点と、ボディラインデータＤｖｂｌ 内の特徴点とが完全に一致するか否かを判断する（ステップＳ３６）。つまり、ステップＳ３５で格納された現在の特徴点Ｑｔ１１ ’〜Ｑｔ１６ ’が、ボディラインデータＤｖｂｌ 内の特徴点Ｑｔ１１ 〜Ｑｔ１６ と完全に一致するか否かが判断される。他の現在の特徴点に関しても、同様の判断が行われる。
【００７４】
ステップＳ３５で格納された現在の特徴点が全て、ボディラインデータＤｖｂｌ 内の特徴点と一致する場合、全ての撮像装置２１〜２８には位置ずれが生じておらず、不良撮像装置が発生していないことになる。かかる場合、ＣＰＵ３１は、マッピングテーブルＴｍｐに従って、合成処理を行う（ステップＳ３７）。この合成処理に関しては、第１の実施形態におけるステップＳ７と同様であるから、その説明を省略する。以上のステップＳ３７の結果、図１１に示すような１枚の周囲画像Ｐｓｄｇ がフレームメモリ３２９に生成される。
【００７５】
次に、ＣＰＵ３１は、図９のステップＳ８と同様の処理を行って、ＲＡＭ１３上の車両画像Ｓｖｈｃ を、周囲画像Ｐｓｄｇ の合成領域ＧＲｖｈｃ に合成して、図５（ａ）に示すような、出力画像Ｓｏｕｔ を作成する（ステップＳ３８）。
【００７６】
次に、ＣＰＵ３１は、フレームメモリ３２９上に作成された出力画像Ｓｏｕｔ を表示装置２９に転送する（ステップＳ３９）。表示装置２９は、受信出力画像Ｓｏｕｔ を表示する。以上の出力画像Ｓｏｕｔ により、第１の実施形態で説明したのと同様に、ドライバは、安全に車両Ｖｕｓｒ を運転する事ができる。
【００７７】
次に、ＣＰＵ３１は、図１８の処理を終了するか否かを判断し（ステップＳ３１０）、終了しないと判断した場合には、フレームメモリ３２９に新しい出力画像Ｓｏｕｔ を作成するために、ステップＳ３２に戻る。
【００７８】
ところで、ステップＳ３６において、現在の特徴点の一部でも、ボディラインデータＤｖｂｌ 内の特徴点と一致しない場合、ＣＰＵ３１は、不良撮像装置が発生しているとみなし、かかる不良撮像装置の識別番号ＮｉｄをＲＡＭ３２に書き込む（ステップＳ３１１）。
【００７９】
ここで、以降の説明では、便宜上、撮像装置３だけに位置ずれが生じていると仮定する。この仮定下では、ステップＳ３１１では、識別番号Ｎｉｄとしての＃３が書き込まれる。また、撮像装置３の位置ずれに応じて、撮影画像Ｓ３ における現在のボディラインＬｖｈｃ３’ は、図２０中の矢印で示すように、最初のボディラインＬｖｈｃ３（点線部分参照）からずれる。そのため、マッピングテーブルＴｍｐにおいて、識別番号Ｎｉｄとしての＃３が記述されているセルＣｍｎ内の座標値（ｉ，ｊ）は、撮像装置３のずれ量に応じて移動させる必要がある。さもなければ、ドライバには周囲の状況が把握しづらい出力画像Ｓｏｕｔ が生成されてしまう。以降の説明において、移動後の座標値（ｉ，ｊ）のことを、修正座標値（ｉ’ ，ｊ’ ）と称する。
【００８０】
ＣＰＵ３１は、ステップＳ３１１の次に、不良撮像装置３のずれ量を決定するパラメータである回転行列Ｒ’および移動ベクトルＴ’を求める（ステップＳ３１２）。まず、回転行列Ｒ’および移動ベクトルＴ’の算出方法を説明するために、図２１に示すような車両座標系ＣＳｖ と、カメラ座標系ＣＳｃ とを定義する。車両座標系ＣＳｖ において、Ｚｖ 軸は鉛直方向を示す。また、Ｘｖ 軸は、車両Ｖｕｓｒ のステアリングが切られていない時における車両Ｖｕｓｒ の後退方向を示す。Ｙｖ 軸は、上述のＸｖ 軸およびＺｖ 軸の双方に直交する。また、カメラ座標系ＣＳｃ において、特に、Ｚｃ 軸は、不良撮像装置３が位置ずれしていない時のレンズの光軸方向を示す。以上の車両座標系ＣＳｖ とカメラ座標系ＣＳｃ との関係は、回転行列Ｒおよび移動ベクトルＴを使って、次式（１）のように表される。
Ｃ＝Ｒ・Ｖ＋Ｔ…（１）
Ｖは、車両座標系ＣＳｖ における点であり、（ｘｖ ，ｙｖ ，ｚｖ ）である。また、Ｃは、点Ｖ（ｘｖ ，ｙｖ ，ｚｖ ）を、カメラ座標系ＣＳｃ で表した点であり、（ｘｃ ，ｙｃ ，ｚｃ ）である。
【００８１】
不良撮像装置３に位置ずれが生じていない時、前述の特徴点Ｑｔ３１ は、車両座標系ＣＳｖ において点Ｖｔ３１ である。点Ｖｔ３１ は、既知であり、車両座標系ＣＳｖ 上の座標値（ｘｖ３１ ，ｙｖ３１ ，ｚｖ３１ ）を有する。したがって、特徴点Ｑｔ３１ のカメラ座標系ＣＳｃ における座標値（ｘｃ３１ ，ｙｃ３１ ，ｚｃ３１ ）は、次式（２）から求めることができる。
Ｑｔ３１ ＝Ｒ・Ｖｔ３１ ＋Ｔ…（２）
【００８２】
また、カメラ座標系ＣＳｃ とＵＶ座標系ＣＳｕ との関係式は、次式（３）および（４）で表される。
Ｕ＝ｆ・ｘｃ ／ｚｃ ＋Ｕ０ …（３）
Ｖ＝ｆ・ｙｃ ／ｚｃ ＋Ｖ０ …（４）
ここで、ｆは、撮像装置３の焦点距離であり、Ｕ０ およびＶ０ は定数である。
【００８３】
故に、特徴点Ｑｔ３１ のＵＶ座標系ＣＳｕ における座標値Ｕｔ３１ およびＶｔ３１ は、次式（５）のように表される。
同様に、他の特徴点Ｑｔ３２ 〜Ｑｔ３６ も、上式（１）〜（５）により、ＵＶ座標系ＣＳｕ 上の座標値（Ｕｔ３２ ，Ｖｔ３２ ）〜（Ｕｔ３６ ，Ｖｔ３６ ）として求めることができる。以上の座標値（Ｕｔ３２ ，Ｖｔ３２ ）〜（Ｕｔ３６ ，Ｖｔ３６ ）が、上述のボディラインデータＤｖｂｌ に記述されている。
【００８４】
さて、カメラ座標系ＣＳｃ は、撮像装置３の位置ずれにより、図２２に示すように、カメラ座標系ＣＳｃ’に移動する。以上の車両座標系ＣＳｖ とカメラ座標系ＣＳｃ’との関係は、回転行列Ｒ’および移動ベクトルＴ’を使って、次式（６）のように表される。
Ｃ’＝Ｒ’・Ｖ＋Ｔ’…（６）
Ｃ’は、点Ｖ（ｘｖ ，ｙｖ ，ｚｖ ）を、カメラ座標系ＣＳｃ’で表した点であり、（ｘｃ’，ｙｃ’，ｚｃ’）である。
また、撮像装置３の位置ずれにより、特徴点Ｑｔ３１ （Ｕｔ３１ ，Ｖｔ３１ ）は、現在の特徴点Ｑｔ３１’（Ｕｔ３１’，Ｖｔ３１’）に移動する。ここで、現在の特徴点Ｑｔ３１’（Ｕｔ３１’，Ｖｔ３１’）は、ステップＳ３４で求められており、既知を値である。
【００８５】
今、回転行列Ｒ’および移動ベクトルＴ’を次式（７）および（８）のようにおくと、Ｕｔ３１’およびＶｔ３１’は、次式（９）および（１０）で表される。
【００８６】
【数１】
【００８７】
Ｕｔ３１’＝ｆ・ｘｃ３１’／ｚｃ３１’＝ｆ・（ｒ１’・ｘｖ３１ ＋ｒ２’・ｙｖ３１ ＋ｒ３’・ｚｖ３１ ＋ｔｘ’）／（ｒ７’・ｘｖ３１ ＋ｒ８’・ｙｖ３１ ＋ｒ９’・ｚｖ３１ ＋ｔｚ’）…（９）
Ｖｔ３１’＝ｆ・ｙｃ３１’／ｚｃ３１’＝ｆ・（ｒ４’・ｘｖ３１ ＋ｒ５’・ｙｖ３１ ＋ｒ６’・ｚｖ３１ ＋ｔｙ’）／（ｒ７’・ｘｖ３１ ＋ｒ８’・ｙｖ３１ ＋ｒ９’・ｚｖ３１ ＋ｔｚ’）…（１０）
【００８８】
上式（９）および（１０）において、１２個の未知数ｒ１’〜ｒ９’ならびに、ｔｘ’、ｔｙ’およびｔｚ’を求めるには、現在の特徴点Ｑｔ３１’の他に、少なくとも５個の現在の特徴点Ｑｔ３２’〜Ｑｔ３６’が既知であればよい。これら現在の特徴点Ｑｔ３２’〜Ｑｔ３６’は、ステップＳ３４で検出されているので、既知の値である。したがって、各現在の特徴点Ｑｔ３２’〜Ｑｔ３６’毎に、上式（９）および（１０）と同様の式を導出できるので、１２個の未知数ｒ１’〜ｒ９’ならびにｔｘ’、ｔｙ’およびｔｚ’を含む１２個の１次方程式を導出することができる。以上の１２個の１次方程式に最小二乗法等を適用して、未知数ｒ１’〜ｒ９’（つまり、回転行列Ｒ’）と、未知数ｔｘ’、ｔｙ’およびｔｚ’（つまり、移動ベクトルＴ’）を求める。
【００８９】
以上のステップＳ３１２の終了後、ＣＰＵ３１は、マッピングテーブルＴｍｐの修正を行う（ステップＳ３１３）。まず、出力画像Ｓｏｕｔ は、上述のように、車両Ｖｕｓｒ の全周囲の状況が路面に投影された画像である。つまり、撮影画像Ｓ２１〜Ｓ２８に映る物体はすべて、路面上に存在すると考えることができる。ゆえに、路面上の物体上の点Ｖｈ は、車両座標系ＣＳｖ の座標値（ｘｖｈ，ｙｖｈ，０）を有する。点Ｖｈ がカメラ座標系ＣＳｃ では点Ｃｈ であるとすると、上式（１）から、点Ｃｈ と点Ｖｈ との関係は、次式（１１）で表される。
【００９０】
Ｃｈ ＝Ｒ・Ｖｈ ＋Ｔ…（１１）
したがって、点Ｃｈ の座標値（ｘｃｈ，ｙｃｈ，ｚｃｈ）は、次式（１２）〜（１４）で表される。
ｘｃｈ＝ｒ１ ・ｘｖｈ＋ｒ２ ・ｙｖｈ＋ｔｘ …（１２）
ｙｃｈ＝ｒ４ ・ｘｖｈ＋ｒ５ ・ｙｖｈ＋ｔｙ …（１３）
ｚｃｈ＝ｔｚ …（１４）
【００９１】
また、以上の座標値Ｃｈ は、上式（５）より、ＵＶ座標系ＣＳｕ では、次式（１５）で表される。
【数２】
【００９２】
図２２に示すように、撮像装置２３の位置ずれにより、カメラ座標系ＣＳｃ は、カメラ座標系ＣＳｃ ’にずれ、さらに、撮影画像Ｓ２３において、本来、ＵＶ座標系ＣＳｕ 上の座標値（ｕｑ ，ｖｑ ）に映るべき点Ｑが、座標値（ｕｑ’，ｖｑ’）の点Ｑ’に映ってしまう。そのため、点Ｑ’は、点Ｑに補正される必要がある。つまり、座標値（ｕｑ’，ｖｑ’）から座標値（ｕｑ ，ｖｑ ）を導出する必要がある。
【００９３】
今、ＵＶ座標系ＣＳｕ 上の点Ｑが、車両座標系ＣＳｖ では、座標値（ｘｖｑ，ｙｖｑ，０）を有する点Ｖｑ で表されるとすると、撮像装置２３が正常な位置にある場合には、上式（１１）〜（１６）より、次式（１７）および（１８）の関係式が成り立ち、撮像装置２３に位置ずれが生じている場合には、次式（１９）および（２０）が成り立つ。
Ｃｑ ＝Ｒ・Ｖｑ ＋Ｔ…（１７）
ε・Ｑｑ ＝Ａ・Ｃｑ …（１８）
ここで、Ｃｑ は、点Ｖｑ を位置ずれのないカメラ座標系ＣＳｃ で表した点であり、その座標値は（ｘｃｑ，ｙｃｑ，ｚｃｑ）である。また、εはｔｚ であり、Ｑｑ は、点Ｃｑ をＵＶ座標系ＣＳｕ で表した点であり、その座標値は（ｕｑ ，ｖｑ ）である。
【００９４】
Ｃｑ’＝Ｒ’・Ｖｑ ＋Ｔ’…（１９）
ε’・Ｑｑ’＝Ａ・Ｃｑ’…（２０）
ここで、Ｃｑ’は、点Ｖｑ を位置ずれのあるカメラ座標系ＣＳｃ’で表した点であり、その座標値は（ｘｃｑ’ ，ｙｃｑ’ ，ｚｃｑ’ ）である。また、ε’はｔｚ’（式（７）参照）であり、Ｑ’は、点Ｃｑ ’をＵＶ座標系ＣＳｕ で表した点であり、その座標値は（ｕｑ’，ｖｑ’）である。
【００９５】
以上の４式（１７）〜（２０）から、点Ｑと点Ｑ’の間には、次式（２１）で表される関係が成立する。
【００９６】
ゆえに、ＣＰＵ３１は、ステップＳ３１３において、上式（２１）の逆関係式である次式（２２）を用いてマッピングテーブルＴｍｐを修正すれば、ドライバには周囲の状況が把握しづらい出力画像Ｓｏｕｔ が生成されなくなる。
【００９７】
より具体的には、ＣＰＵ３１は、ＲＡＭ３２上のマッピングテーブルＴｍｐから、ステップＳ３１１で書き込まれた不良撮像装置２３の識別番号Ｎｉｄ（＃３）が付されている全てのセルＣｍｎを読み出す。そして、読み出したセルＣｍｎに記述されている画素Ｑの座標値（ｉ，ｊ）を（ｕｑ ，ｖｑ ）として、上式（２２）に代入する。これによって、ＣＰＵ３１は、画素Ｑ’の座標値（ｕｑ ’，ｖｑ ’）を、前述の修正座標値（ｉ’，ｊ’）として算出する。さらに、ＣＰＵ３１は、以上の修正座標値（ｉ’，ｊ’）を、マッピングテーブルＴｍｐのセルＣｍｎに記述されている画素Ｑの座標値（ｉ，ｊ）から書き換える。
【００９８】
以上のような処理を、ＣＰＵ３１は、不良撮像装置２３の全てのセルＣｍｎについて実行する。その結果、マッピングテーブルＴｍｐが修正される。マッピングテーブルＴｍｐは、図２３に示すように、撮像装置２３に位置ずれが生じてない場合には、撮影画像Ｓ２３において座標値（ｕｑ ，ｖｑ ）の画素Ｑの値が、出力画像Ｓｏｕｔ の座標値（ｍ，ｎ）に割り当てるよう記述されている。しかし、撮像装置２３の位置ずれにより、画素Ｑは画素Ｑ’に移動する。そのため、ステップＳ３１３において、上式（２２）に従って算出された座標値（ｕｑ ’，ｖｑ ’）の画素Ｑ’の値を、座標値（ｍ，ｎ）の画素Ｐの値として割り当てるよう、マッピングテーブルＴｍｐは書き換えられる。
【００９９】
さらに、ＣＰＵ３１は、不良撮像装置２３のセルＣｍｎすべてについて、画素Ｑと画素Ｑ’の間の距離ＱＱ’を算出し、算出した距離ＱＱ’の中から、最大のもの（以下、最大距離ＱＱ’ｍａｘ と称する）を選択する（ステップＳ３１４）。その後、ＣＰＵ３１は、選択した最大距離ＱＱ’ｍａｘ が基準値Ｖｒｅｆ 以上であるか否かを判断する（ステップＳ３１５）。ここで、基準値Ｖｒｅｆ は、撮像装置２３のずれがあまりにも大きいことを判断するための基準値である。
【０１００】
ＣＰＵ３１は、選択した最大距離ＱＱ’ｍａｘ が基準値Ｖｒｅｆ 以上であれば、ステップＳ３１１で修正されたマッピングテーブルＴｍｐを使っても、ドライバには周囲の状況が把握しづらい出力画像Ｓｏｕｔ が生成されるとみなす。そして、ＣＰＵ３１は、前述のステップＳ１０〜Ｓ１２と同様の処理を行い、これによって、警告画像Ｓｗｎｇ を時間Ｔｐｒｄ の間、表示装置９に表示させる（ステップＳ３１６〜Ｓ３１８）。そして、ＣＰＵ３１は、図１８の処理を終了する。
【０１０１】
逆に、ＣＰＵ３１は、選択した最大距離ＱＱ’ｍａｘ が基準値Ｖｒｅｆ 未満であれば、ステップＳ３７に進み、ステップＳ３１３で修正されたマッピングテーブルＴｍｐに従って合成処理を行う。以降、ＣＰＵ３１は、上述した通りの処理を行って、図１８の処理の終了タイミングが来るまで、表示装置２９上に出力画像Ｓｏｕｔ を表示させる。
【０１０２】
以上説明したように、運転支援装置Ｕａｓｔ２では、全ての撮像装置２１〜２８に位置ずれがない場合には、予め格納されているマッピングテーブルＴｍｐに従って、車両Ｖｕｓｒ の全周囲の状況を表す周囲画像Ｓｓｄｇ が作成される。それに対して、不良撮像装置が発生した場合には、ステップＳ３１３で修正されたマッピングテーブルＴｍｐに従って周囲画像Ｓｓｄｇ が作成される。そのため、従来の車両周囲監視装置であれば、１つの撮像装置に位置ずれが生じると、本来合成すべき領域を出力画像上に合成できないことから、当該出力画像は車両の全周囲を表すことができない場合があった。しかし、本運転支援装置Ｕａｓｔ２では、かかる位置ずれを補正することができる。これによって、ドライバは、撮像装置２１〜２８のいずれかに位置ずれが生じた場合であっても、車両Ｖｕｓｒ の全周囲をドライバは確実に視認できるので、従来よりも使い勝手の良い運転支援装置Ｕａｓｔ２を提供できるようになる。
【０１０３】
なお、以上の第２の実施形態では、便宜上、単一の撮像装置２３に不具合が生じるという想定の下で、運転支援装置Ｕａｓｔ２の構成および動作を説明した。しかし、撮像装置２１、２２および２４〜２８の位置ずれも同様に補正できる。同様に、２台以上の不良撮像装置が発生した時も、同様にマッピングテーブルＴｍｐを補正することができる。さらに、ＣＰＵ１１は、車両Ｖｕｓｒ の運転開始時に、予め定められた台数以上の不良撮像装置が発生していると判断した場合には、出力画像Ｓｏｕｔ そのものを生成しないようにしてもよい。これにより、不正確な車両Ｖｕｓｒ の周囲の状況がドライバに提供しないようにすることができる。
【０１０４】
また、以上の第１および第２の実施形態では、周囲画像Ｓｓｄｇ は、車両Ｖｕｓｒ の全周囲の状況を表すとしたが、これに限らず、車両Ｖｕｓｒ の前方、後方、右側方および左側方の状況等、ドライバが現在必要とする領域の状況のみを表すだけでも良い。さらに、以上のような周囲画像Ｓｓｄｇ には、車両Ｖｕｓｒ の予測軌跡または移動軌跡が合成表示されても良い。ここで、予測軌跡とは、車両Ｖｕｓｒ がこれからどのように移動するかを示す軌跡であり、移動軌跡とは、車両Ｖｕｓｒ が現在に至るまでどのように移動したを示す軌跡である。
【０１０５】
また、以上の第１および第２の実施形態では、警告画像Ｓｗｎｇ は、１枚の画像として表示装置９または２９に表示されていた。しかし、これに限らず、警告画像Ｐｏｕｔ は、他の画像（例えば、出力画像Ｓｏｕｔ ）に重畳されて、表示装置９または２９に表示されても良い。
また、以上の第１および第２の実施形態では、不良撮像装置が生じたことを警告画像Ｓｗｎｇ によりドライバに伝えていた。しかし、これに限らず、例えば、音声、文字または動画で、不良撮像装置が発生したことを伝えても良い。
【０１０６】
また、以上の実施形態では、プログラムＰＧ１ およびＰＧ２ は、描画装置Ｕｒｎｄ１およびＵｒｎｄ２に格納されていた。しかし、これに限らず、プログラムＰＧ１ およびＰＧ２ は、ＣＤ−ＲＯＭに代表される記録媒体に記録された状態で頒布されてもよいし、インターネットに代表される通信ネットワークを通じて頒布されてもよい。
【図面の簡単な説明】
【図１】描画装置Ｕｒｎｄ１が組み込まれた運転支援装置Ｕａｓｔ１のハードウェア構成を示すブロック図である。
【図２】図１の撮像装置１〜８の設置例、およびそれぞれの担当領域ＴＲ１ 〜ＴＲ８ を示す図である。
【図３】図１の撮像装置１により取り込まれる撮像画像Ｓ１ を示す図である。
【図４】図１のＲＡＭ１２に予約される一時記憶領域１２１〜１２８と、フレームメモリ１２９とを示している。
【図５】図１のＣＰＵ１１により生成される出力画像Ｓｏｕｔ と、フレームメモリ１２９の詳細な構成とを示す図である。
【図６】図１のマッピングテーブルＴｍｐ１ およびＴｍｐ２ を説明するための図である。
【図７】図５の出力画像Ｓｏｕｔ における合成領域ＧＲ１ 〜ＧＲ８ を示す図である。
【図８】図１の撮像装置１に不具合が生じたときの悪影響を説明するための図である。
【図９】図１のマッピングテーブルＴｍｐ２ の、マッピングテーブルＴｍｐ１ に対する相違を説明するための図である。
【図１０】図１のプログラムＰＧ１ に記述されているＣＰＵ１１の処理手順を示すフローチャートである。
【図１１】ステップＳ７の詳細な手順を示すフローチャートである。
【図１２】ステップＳ７で生成される周囲画像Ｐｓｄｇ を示す図である。
【図１３】描画装置Ｕｒｎｄ２が組み込まれた運転支援装置Ｕａｓｔ２のハードウェア構成を示すブロック図である。
【図１４】図１３の撮像装置２１〜２８の設置例を説明するための図である。
【図１５】図１３の撮像装置２３により取り込まれる撮影画像Ｓ２３を示す図である。
【図１６】図１３のボディラインＬｖｈｃ３のみをＵＶ座標系ＣＳｕ で表現した図である。
【図１７】図１のボディラインデータＤｖｂｌ のデータ構造を示す図である。
【図１８】図１３のプログラムＰＧ２ に記述されているＣＰＵ３１の処理手順を示すフローチャートである。
【図１９】図１８のステップＳ３５でＲＡＭ３２に格納される現在の特徴点を示す図である。
【図２０】図１６のボディラインＬｖｈｃ３のずれを示す図である。
【図２１】図１８のステップＳ３１２で必要な車両座標系ＣＳｖ およびカメラ座標系ＣＳｃ を示す図である。
【図２２】図２１のカメラ座標系ＣＳｃ のずれを示す図である。
【図２３】図１３のマッピングテーブルＴｍｐの修正を説明するための図である。
【符号の説明】
Ｕａｓｔ１，Ｕａｓｔ２…運転支援装置
１〜８，２１〜２８…撮像装置
９，２９…表示装置
１０…状態検出部
Ｕｒｎｄ１，Ｕｒｎｄ２…描画装置
１１，３１…ＣＰＵ
１２，３２…ＲＡＭ
１３，３３…ＲＯＭ
【発明の属する技術分野】
本発明は、描画装置に関し、より特定的には、車両の運転を支援する運転支援装置に組み込むことが可能な描画装置に関する。さらに詳しく述べると、車両に固定される複数の撮像装置により取り込まれた画像を基礎として、車両の周囲を表す１枚の出力画像を作成する描画装置に関する。
【０００２】
【従来の技術】
従来から、上述のような描画装置を組み込んだ運転支援装置の研究・開発が盛んに行われている。以下、従来の運転支援装置として、国際公開ＷＯ００／０７３７３号公報に開示されている車両周囲監視装置について説明する。車両周囲監視装置において、複数の撮像装置には、互いに異なる撮影領域が割り当てられる。ここで、撮影領域とは車両の周囲の一部分であって、すべての撮影領域が合わさることで、車両の全周囲がカバーされる。以上の各撮像装置は、自身の撮影領域の状況を表す画像（以下、撮影画像と称する）を取り込む。さらに、各撮像装置により取り込まれた撮影画像が合成され、車両の全周囲を表す１つの出力画像が生成される。以上の出力画像は表示装置で表示される。これによって、ドライバは、運転席から目視できない死角領域の状況を、出力画像を通じて把握することができるので、車両を安全に運転することができる。
【０００３】
【発明が解決しようとする課題】
しかしながら、上述の車両周囲監視装置には、以下のような問題点があった。
第１に、撮像装置には不具合が生じることがあり、最悪の場合には、当該撮像装置は、自身の撮影領域を撮影できなくなる。かかる場合、出力画像は、車両の周囲を正しく表せないという問題点があった。
【０００４】
第２に、撮像装置は通常、車両に対して固定され、これによって、常に同じ撮影領域の状況を表す撮影画像を取り込む。しかしながら、なんらかの理由により、撮像装置は、最初の固定位置からずれてしまい、自身の撮影領域からずれた領域の状況を表す撮影画像を生成してしまう場合がある。このような撮影画像から出力画像が生成されると、ドライバが車両の周囲の状況を把握しづらいものが表示されてしまうという問題点があった。
【０００５】
それ故に、本発明の目的は、車両の運転支援装置に組み込むことができ、撮像装置に不具合が生じても、車両の周囲を正しく表す出力画像を生成できる描画装置を提供することである。
また、本発明の他の目的は、車両の運転支援装置に組み込むことができ、撮像装置の位置ずれを補正した出力画像を生成できる描画装置を提供することである。
【０００６】
【課題を解決するための手段および発明の効果】
以上の目的は以下の発明により達成され、当該各発明は以下のような効果を有する。まず、第１の発明は、車両に固定される複数の撮像装置から受け取った各撮影画像を基礎として、車両の周囲を表す出力画像を作成する描画装置であって、複数の撮像装置の中に、不具合が生じている不良撮像装置があるか否かを判断する判断部と、判断部により不良撮像装置がないと判断されると、複数の撮像装置から受け取った撮影画像を使って、出力画像を生成する画像合成部とを備え、画像合成部は、判断部により、少なくとも１台の不良撮像装置があると判断されると、当該不良撮像装置の周辺に固定される撮像装置からの撮影画像を使って出力画像を生成する。
【０００７】
第２の発明は第１の発明に従属しており、第１のマッピングテーブルと、第２のマッピングテーブルとを、少なくとも格納する格納部をさらに備え、第１のマッピングテーブルには、複数の撮像装置からの撮影画像の画素が、出力画像のどの画素に対応するかが記述されており、第２のマッピングテーブルには、不良撮像装置を除く撮像装置からの撮影画像の画素が、出力画像のどの画素に対応するかが記述されており、画像合成部は、判断部により不良撮像装置がないと判断されると、第１のマッピングテーブルに従って、出力画像を生成し、判断部により不良撮像装置があると判断されると、第２のマッピングテーブルに従って、出力画像を生成する。
【０００８】
以上のように、第１および第２の発明によれば、不良撮像装置が発生したとしても、それ以外の撮像装置からの撮影画像から、出力画像を生成することができる。これによって、ドライバにとってより使い勝手の良い出力画像を生成する描画装置を提供することができる。
【０００９】
第３の発明は第２の発明に従属しており、第２のマッピングテーブルにおいて、出力画像の一部の画素には、予め定められた特定色が割り当てられており、当該出力画像の一部の画素は、不良撮像装置の除く複数の撮像装置からの撮影画像の中に対応する画素がない。
【００１０】
第３の発明によれば、不良撮像装置を除く複数の撮像装置からの撮影画像の中に対応する画素がないものには、予め定められた特定色が割り当てられてれる。そのため、ドライバは、出力画像を通じて特定色の部分の状況を把握できないことが直感的に分かる。これによって、ドライバにとってより使い勝手の良い出力画像を生成する描画装置を提供することができる。
【００１１】
第４の発明は、第１の発明に従属しており、判断部はさらに、車両の運転開始時に、不良撮像装置が、予め定められた台数以上あるか否かを判断し、画像合成部は、車両の運転開始時に、判断部により台数以上の不良撮像装置があると判断されると、出力画像を生成しない。
【００１２】
多くの不良撮像装置が発生している場合には、車両の周囲の状況を正確に表す出力画像を生成しづらい。このような出力画像がドライバに提供されると、かえってドライバを混乱させてしまう。そこで、第４の発明では、かかる場合には出力画像そのものが生成されないので、ドライバにとってより使い勝手の良い描画装置を提供することができる。
【００１３】
第５の発明は、第１の発明に従属しており、判断部により不良撮像装置があると判断されると、予め定められた方法で、当該不良撮像装置が発生していることを車両のドライバに警告する警告生成部をさらに備える。
第５の発明によれば、不良撮像装置が生じていることがドライバに警告されるので、ドライバにとってより使い勝手の良い描画装置を提供することができる。
【００１４】
第６の発明は、車両において、予め定められた初期位置に固定される複数の撮像装置から受け取った各撮影画像を基礎として、車両の周囲を表す出力画像を作成する描画装置であって、複数の撮像装置からの撮影画像の画素が、出力画像のどの画素に対応するかが記述されているマッピングテーブルを格納する格納部と、複数の撮像装置の中に、それぞれの初期位置からずれている不良撮像装置があるか否かを判断する不良判断部と、不良判断部により不良撮像装置がないと判断されると、マッピングテーブルに従って、複数の撮像装置から受け取った撮影画像から、出力画像を生成する画像合成部と、不良判断部により、少なくとも１台の不良撮像装置があると判断されると、当該不良撮像装置がずれた後の位置を示すパラメータを導出する導出部と、導出部により導出されたパラメータに基づいて、マッピングテーブルを修正する修正部とを備え、画像合成部は、不良判断部により、少なくとも１台の不良撮像装置があると判断されると、修正部により修正されたマッピングテーブルに従って、複数の撮像装置から受け取った撮影画像から、出力画像を生成する。
【００１５】
第７の発明は、第６の発明に従属しており、不良判断部により、少なくとも１台の不良撮像装置があると判断された場合に、当該不良撮像装置からの撮影画像の画素のずれ量を算出する算出部と、算出部により算出されたずれ量が予め定められた基準値以上であるか否かを判断するずれ量判断部とを備え、画像合成部は、ずれ量判断部により、算出部により算出されたずれ量が基準値以上でないと判断されると、修正部により修正されたマッピングテーブルに従って、複数の撮像装置から受け取った撮影画像から、出力画像を生成する。
【００１６】
以上のように、第６および第７の発明によれば、不良撮像装置が発生したとしても、ずれ量に応じて、マッピングテーブルが修正される。これによって、撮像装置に位置ずれが生じたとしても、周囲の状況をドライバが把握しやすい出力画像を生成する描画装置を提供することができる。
【００１７】
第８の発明は、第７の発明に従属しており、ずれ量判断部により、算出部の算出ずれ量が基準値以上であると判断されると、不良撮像装置が発生していることを車両のドライバに警告する警告生成部をさらに備える。
第８の発明によれば、不良撮像装置が生じていることがドライバに警告されるので、ドライバにとってより使い勝手の良い描画装置を提供することができる。
【００１８】
第９の発明は、車両に固定される複数の撮像装置から受け取った各撮影画像を基礎として、車両の周囲を表す出力画像を作成する描画方法であって、複数の撮像装置の中に、不具合が生じている不良撮像装置があるか否かを判断する判断ステップと、判断ステップにより不良撮像装置がないと判断されると、複数の撮像装置から受け取った撮影画像を使って、出力画像を生成する画像合成ステップとを備え、画像合成ステップでは、判断ステップで、少なくとも１台の不良撮像装置があると判断されると、当該不良撮像装置の周辺に固定される撮像装置からの撮影画像を使って出力画像が生成される。
【００１９】
第１０の発明は、第９の発明に従属しており、第１のマッピングテーブルと、第２のマッピングテーブルとが、少なくとも格納されており、第１のマッピングテーブルには、複数の撮像装置からの撮影画像の画素が、出力画像のどの画素に対応するかが記述されており、第２のマッピングテーブルには、不良撮像装置の除く撮像装置からの撮影画像の画素が、出力画像のどの画素に対応するかが記述されており、画像合成ステップでは、判断ステップで不良撮像装置がないと判断されると、第１のマッピングテーブルに従って、出力画像が生成され、判断ステップで不良撮像装置があると判断されると、第２のマッピングテーブルに従って、出力画像が作成される。
【００２０】
第１１の発明は、車両において、予め定められた初期位置に固定される複数の撮像装置から受け取った各撮影画像を基礎として、車両の周囲を表す出力画像を作成する描画方法であって、複数の撮像装置からの撮影画像の画素が、出力画像のどの画素に対応するかが記述されているマッピングテーブルが予め格納されており、複数の撮像装置の中に、それぞれの初期位置からずれている不良撮像装置があるか否かを判断する不良判断ステップと、不良判断ステップで不良撮像装置がないと判断されると、マッピングテーブルに従って、複数の撮像装置から受け取った撮影画像から、出力画像を生成する画像合成ステップと、不良判断ステップにより、少なくとも１台の不良撮像装置があると判断されると、当該不良撮像装置がずれた後の位置を示すパラメータを導出する導出ステップと、導出ステップで導出されたパラメータに基づいて、マッピングテーブルを修正する修正ステップとを備え、画像合成ステップでは、不良判断ステップで、少なくとも１台の不良撮像装置があると判断されると、修正ステップで修正されたマッピングテーブルに従って、複数の撮像装置から受け取った撮影画像から、出力画像が生成される。
【００２１】
第１２の発明は、車両に固定される複数の撮像装置から受け取った各撮影画像を基礎として、車両の周囲を表す出力画像を作成するためのプログラムを記録した記録媒体であって、複数の撮像装置の中に、不具合が生じている不良撮像装置があるか否かを判断する判断ステップと、判断ステップにより不良撮像装置がないと判断されると、複数の撮像装置から受け取った撮影画像を使って、出力画像を生成する画像合成ステップとを備え、画像合成ステップでは、判断ステップで、少なくとも１台の不良撮像装置があると判断されると、当該不良撮像装置の周辺に固定される撮像装置からの撮影画像を使って出力画像が生成される。
【００２２】
第１３の発明は、第１２の発明に従属しており、第１のマッピングテーブルと、第２のマッピングテーブルとが、少なくとも格納されており、第１のマッピングテーブルには、複数の撮像装置からの撮影画像の画素が、出力画像のどの画素に対応するかが記述されており、第２のマッピングテーブルには、不良撮像装置の除く撮像装置からの撮影画像の画素が、出力画像のどの画素に対応するかが記述されており、画像合成ステップでは、判断ステップで不良撮像装置がないと判断されると、第１のマッピングテーブルに従って、出力画像が生成され、判断ステップで不良撮像装置があると判断されると、第２のマッピングテーブルに従って、出力画像が作成される。
【００２３】
第１４の発明は、車両において、予め定められた初期位置に固定される複数の撮像装置から受け取った各撮影画像を基礎として、車両の周囲を表す出力画像を作成するプログラムが記録された記録媒体であって、複数の撮像装置からの撮影画像の画素が、出力画像のどの画素に対応するかが記述されているマッピングテーブルが予め格納されており、複数の撮像装置の中に、それぞれの初期位置からずれている不良撮像装置があるか否かを判断する不良判断ステップと、不良判断ステップで不良撮像装置がないと判断されると、マッピングテーブルに従って、複数の撮像装置から受け取った撮影画像から、出力画像を生成する画像合成ステップと、不良判断ステップにより、少なくとも１台の不良撮像装置があると判断されると、当該不良撮像装置がずれた後の位置を示すパラメータを導出する導出ステップと、導出ステップで導出されたパラメータに基づいて、マッピングテーブルを修正する修正ステップとを備え、画像合成ステップでは、不良判断ステップで、少なくとも１台の不良撮像装置があると判断されると、修正ステップで修正されたマッピングテーブルに従って、複数の撮像装置から受け取った撮影画像から、出力画像が生成される。
【００２４】
第１５の発明は、車両に固定される複数の撮像装置から受け取った各撮影画像を基礎として、車両の周囲を表す出力画像を作成するためのプログラムであって、複数の撮像装置の中に、不具合が生じている不良撮像装置があるか否かを判断する判断ステップと、判断ステップにより不良撮像装置がないと判断されると、複数の撮像装置から受け取った撮影画像を使って、出力画像を生成する画像合成ステップとを備え、画像合成ステップでは、判断ステップで、少なくとも１台の不良撮像装置があると判断されると、当該不良撮像装置の周辺に固定される撮像装置からの撮影画像を使って出力画像が生成される。
【００２５】
第１６の発明は、第１５の発明に従属しており、第１のマッピングテーブルと、第２のマッピングテーブルとが、少なくとも格納されており、第１のマッピングテーブルには、複数の撮像装置からの撮影画像の画素が、出力画像のどの画素に対応するかが記述されており、第２のマッピングテーブルには、不良撮像装置の除く撮像装置からの撮影画像の画素が、出力画像のどの画素に対応するかが記述されており、画像合成ステップでは、判断ステップで不良撮像装置がないと判断されると、第１のマッピングテーブルに従って、出力画像が生成され、判断ステップで不良撮像装置があると判断されると、第２のマッピングテーブルに従って、出力画像が作成される。
【００２６】
第１７の発明は、車両において、予め定められた初期位置に固定される複数の撮像装置から受け取った各撮影画像を基礎として、車両の周囲を表す出力画像を作成するプログラムであって、複数の撮像装置からの撮影画像の画素が、出力画像のどの画素に対応するかが記述されているマッピングテーブルが予め格納されており、複数の撮像装置の中に、それぞれの初期位置からずれている不良撮像装置があるか否かを判断する不良判断ステップと、不良判断ステップで不良撮像装置がないと判断されると、マッピングテーブルに従って、複数の撮像装置から受け取った撮影画像から、出力画像を生成する画像合成ステップと、不良判断ステップにより、少なくとも１台の不良撮像装置があると判断されると、当該不良撮像装置がずれた後の位置を示すパラメータを導出する導出ステップと、導出ステップで導出されたパラメータに基づいて、マッピングテーブルを修正する修正ステップとを備え、画像合成ステップでは、不良判断ステップで、少なくとも１台の不良撮像装置があると判断されると、修正ステップで修正されたマッピングテーブルに従って、複数の撮像装置から受け取った撮影画像から、出力画像が生成される。
【００２７】
【発明の実施の形態】
図１は、本発明の第１の実施形態に係る描画装置Ｕｒｎｄ１が組み込まれた運転支援装置Ｕａｓｔ１のハードウェア構成を示すブロック図である。図１において、車両周囲監視装置は、８台の撮像装置１〜８と、描画装置Ｕｒｎｄ１と、表示装置９と、状態検出部１０を備えている。
【００２８】
撮像装置１〜８はそれぞれ、車両Ｖｕｓｒ に固定される。ここで、図２（ａ）および（ｂ）は、撮像装置１〜８の設置例、およびそれぞれの担当領域ＴＲ１ 〜ＴＲ８ を示す図である。図２（ａ）には、車両Ｖｕｓｒ の直上から見た時の姿が描かれている。図２（ａ）において、撮像装置１は、車両Ｖｕｓｒ の前端部分に固定され、図２（ｂ）に示すような担当領域ＴＲ１ （ドットを付した部分）の状況を表す画像（以下、撮影画像と称す）Ｓ１ を取り込む。担当領域ＴＲ１ は、車両Ｖｕｓｒ の前方右側の領域をカバーする。また、撮影画像Ｓ１ は、図３に示すように、ＵＶ座標系ＣＳｕ のＵ軸方向にα個の画素が並び、かつＶ軸方向にはβ個の画素が並んでおり、合計（α×β）個の画素Ｐを含んでいる。ここで、Ｕ軸およびＶ軸は、撮影画像Ｓ１ における水平方向および垂直方向を示す。撮影画像Ｓ１ における各画素Ｐは、原点Ｏａ を起算点として、ＵＶ座標系ＣＳｕ の座標値（ｉ，ｊ）により特定される。ｉは１以上α以下の自然数で、ｊは１以上β以下の自然数である。
【００２９】
他の撮像装置２〜８は、図２（ａ）に示すように車両Ｖusr に固定され、図２（ｂ）に示すような担当領域ＴＲ2 〜ＴＲ8 の状況を表す撮影画像Ｓ2 〜Ｓ8 を生成する。本実施形態では、撮影画像Ｓ2 〜Ｓ8 は、便宜上、撮影画像Ｓ1 と同様に（α×β）個の画素Ｐからなるとする。また、担当領域ＴＲ2 およびＴＲ3 は、車両Ｖusr の右側方前側および右側方後ろ側の領域をカバーする。担当領域ＴＲ4 およびＴＲ5 は、車両Ｖusr の後方右側および後方左側の領域をカバーする。担当領域ＴＲ6 およびＴＲ7 は、車両Ｖusr の左側方後ろ側および左側方前側の領域をカバーする。担当領域ＴＲ8 は、車両Ｖusr の前方左側の領域をカバーする。以上の担当領域ＴＲ1 〜ＴＲ8 において重要な点は、後述する合成処理を実現するために、担当領域ＴＲ1 は、自身の両隣の担当領域ＴＲ2 およびＴＲ8 と部分的に重なっている。他の担当領域ＴＲ2 〜ＴＲ8 も、担当領域ＴＲ1 と同様に、自身の両隣の担当領域と重なっている。
【００３０】
図１において、描画装置Ｕrnd1は、ＣＰＵ１１と、ＲＡＭ１２と、ＲＯＭ１３とを含んでいる。ＣＰＵ１１は、上述の撮影画像Ｓ1 〜Ｓ8 に対して合成処理を行って、１枚の出力画像Ｓout を作成する。かかる合成処理のために、ＲＡＭ１２には、図４に示すように、一時記憶領域１２１〜１２８と、フレームメモリ１２９とが予約されている。一時記憶領域１２１は、撮像装置１に固定的に割り当てられており、撮影画像Ｓ1 を格納する。一時記憶領域１２２〜１２８は、撮像装置２〜撮像装置８に割り当てられており、撮影画像Ｓ2 〜Ｓ8 を格納する。また、以上の一時記憶領域１２１〜１２８には、それぞれが互いに重複しない識別番号Ｎidが割り当てられる。識別番号Ｎidは、本実施形態では＃１〜＃８とし、それぞれは、運転支援装置Ｕast1内において一時記憶領域１２１〜１２８を一意に特定する番号である。ここで、一時記憶領域１２１〜１２８は、撮像装置１〜８に割り当てられるので、上述の＃１〜＃８は、撮像装置１〜８も特定する。
【００３１】
また、上述の出力画像Ｓｏｕｔ は、図５（ａ）に示すように、車両Ｖｕｓｒ およびその全周囲の状況を直上から見たときの画像である。また、出力画像Ｓｏｕｔ は、二次元座標系ＣＳｔ のＸｔ 軸方向にγ個の画素が並び、かつＹｔ 軸方向にδ個の画素が並んでおり、合計（γ×δ）個の画素Ｑを含んでいる。出力画像Ｓｏｕｔ における各画素Ｑは、原点Ｏｂ を起算点として、二次元座標系ＣＳｔ の座標値（ｍ，ｎ）により特定される。ここで、ｍは１以上γ以下の自然数で、ｎは１以上δ以下の自然数である。フレームメモリ１２９は、図５（ｂ）に示すように、以上の出力画像Ｓｏｕｔ が有する（γ×δ）個の画素Ｑの値を格納できるように構成される。
【００３２】
また、出力画像Ｓｏｕｔ には、後で説明する車両画像Ｓｖｈｃ が合成される。かかる車両画像Ｓｖｈｃ の大きさおよび合成位置を特定するために、フレームメモリ１２９には、車両画像Ｓｖｈｃ の合成領域ＧＲｖｈｃ （図示せず）が予め設定されている。
【００３３】
また、図１において、ＲＯＭ１３は、プログラムＰＧ１ と、少なくとも２つのマッピングテーブルＴｍｐ１ およびＴｍｐ２ と、車両画像Ｓｖｈｃ と、警告画像Ｓｗｎｇ とを格納している。プログラムＰＧ１ には、上述の合成処理の手順と、その他必要なＣＰＵ１１の処理手順とが記述されている。
【００３４】
上述の合成処理時、ＣＰＵ１１は、各撮影画像Ｓ1 〜Ｓ8 から必要な部分を切り出した後、フレームメモリ１２９上で合成し、これによって、車両Ｖusr の周囲の状況を表す１枚の周囲画像Ｐsdg を生成する。ここで、周囲画像Ｐsdg とは、撮影画像Ｓ1 〜Ｓ8 から出力画像Ｐout が作成される過程で生成される中間画像であって、より具体的には、車両画像Ｓvhc が合成されていない出力画像Ｐout である。言い換えれば、合成処理において、ＣＰＵ１１は、撮影画像Ｓ1 〜Ｓ8 が有するいくつかの画素を選択し、選択した画素をフレームメモリ１２９上で合成して、出力画像Ｓout を作成する。例えば、図６（ａ）中の矢印で示すように、撮影画像Ｓ1 における座標値（ｉ，ｊ）の画素Ｑの値が、出力画像Ｓout における座標値（ｍ，ｎ）の画素Ｐの値として決定される。かかる決定のために、マッピングテーブルＴmp1 およびＴmp2 は使用される。
【００３５】
マッピングテーブルＴｍｐ１ およびＴｍｐ２ は、撮影画像Ｓ１ 〜Ｓ８ に含まれる画素が、出力画像Ｓｏｕｔ のどの画素に対応するのかを表す情報であって、図６（ｂ）に示すように、出力画像Ｓｏｕｔ の画素数と同じ（γ×δ）個のセルＣｍｎから構成される。ここで、ｍは、１≦ｍ≦γを満たす自然数であり、ｎは１≦ｎ≦δの自然数である。セルＣｍｎは、出力画像Ｓｏｕｔ において、その座標値が（ｍ，ｎ）である画素Ｑに割り当てられている。例えば、セルＣ１１は、その座標値が（１，１）の画素Ｑに割り当てられる。また、各セルＣｍｎには、１つの識別番号Ｎｉｄと、画素Ｐの座標値（ｉ，ｊ）とが記述されている。例えば、セルＣ１１には、識別番号Ｎｉｄとしての＃５と、画素Ｐの座標値（４００，３００）とが記述されている。これによって、その座標値が（１，１）の画素Ｑに割り当てられるのは、撮像画像Ｓ５ において座標値（４００，３００）を有する画素Ｐの値であることが指定される。
【００３６】
以上の説明は、マッピングテーブルＴmp1 およびＴmp2 に共通する点である。次に、両者の相違点について説明する。マッピングテーブルＴmp1 は、全ての撮像装置１〜８が正常に動作する際にＣＰＵ１１により使用される。また、上述のように、ＣＰＵ１１は、各撮影画像Ｓ1 〜Ｓ8 から必要な部分に含まれる画素Ｑの値を、出力画像Ｐout における合成領域ＧＲ1 〜ＧＲ8 に含まれる画素Ｐに割り当てる。ここで、合成領域ＧＲ1 は、図７（ａ）に示すように、車両画像Ｓvhc の前方右側に相当する領域である。また、合成領域ＧＲ2 およびＧＲ3 は、車両画像Ｓvhc の右側方前側および右側方後ろ側に相当する領域である。他の合成領域ＧＲ2 〜ＧＲ8 は、図７（ａ）に示す通りの領域である。マッピングテーブルＴmp1 の各セルＣ11〜Ｃγδには、図７（ｂ）に示すように、上述の合成領域ＧＲ1 〜ＧＲ8 内の各画素Ｐに、撮影画像Ｓ1 〜Ｓ8 において当該合成領域ＧＲ1 〜ＧＲ8 に対応する領域内の画素Ｑの値を割り当てるよう、識別番号Ｎidおよび座標値（ｉ，ｊ）が記述される。
【００３７】
しかし、従来技術の欄で述べたように、撮像装置１〜８には不具合が生じる場合がある。ここで、例えば、断線などの不具合により、撮像装置１が撮影画像Ｓ１ を取り込めなくなった場合を想定する。かかる想定の下で、上述のマッピングテーブルＴｍｐ１ に従って合成処理が行われると、図８に示すように、出力画像Ｓｏｕｔ における合成領域ＧＲ１ には、車両Ｖｕｓｒ の周囲の状況が描かれない。しかしながら、本実施形態では、撮像装置２および８が、撮像装置１の担当領域ＴＲ１ を部分的にカバーするので（図２（ｂ）参照）、撮影画像Ｓ２ およびＳ８ にも担当領域ＴＲ１ の状況が部分的に映っている。
【００３８】
以上の観点から、マッピングテーブルＴｍｐ２ は、撮像装置１に不具合が生じたときにＣＰＵ１１により使用される。より具体的には、図９に示すように、上述の合成領域ＧＲ１ に含まれる画素Ｐには、撮影画像Ｓ２ およびＳ８ において当該合成領域ＧＲ１ に対応する領域内の画素Ｑの画素の値を割り当てるよう、マッピングテーブルＴｍｐ２ のセルＣｍｎには、識別番号Ｎｉｄおよび座標値（ｉ，ｊ）が記述される。なお、本実施形態では、マッピングテーブルＴｍｐ２ のセルＣｍｎには、他の合成領域ＧＲ２ 〜ＧＲ８ に含まれる画素Ｐには、撮影画像Ｓ２ 〜Ｓ８ において対応する領域内の画素Ｑの画素の値を割り当てるよう、識別番号Ｎｉｄおよび座標値（ｉ，ｊ）が記述される。
【００３９】
以上から分かるように、全ての撮像装置１〜８が正常に動作している場合に、マッピングテーブルＴｍｐ２ に従って合成処理が行われても、出力画像Ｓｏｕｔ を生成することはできる。しかしながら、上述のように、全撮像装置１〜８が正常動作中には、マッピングテーブルＴｍｐ１ に従って合成処理が行われる。なぜなら、撮像装置１は、合成領域ＧＲ１ 全体をカバーするように車両Ｖｕｓｒ に固定されているからである。つまり、撮像装置２および８は、合成領域ＧＲ２ およびＧＲ８ 全体をカバーするように固定されているため、その２台で、合成領域ＧＲ１ 全体を完全にカバーすることが難しいからである。その結果、撮像装置２および８の撮影画像Ｓ２ およびＳ８ の画素の中には、図９に示すように、出力画像Ｓｏｕｔ の一部の画素に対応するものがない場合がある。そのため、マッピングテーブルＴｍｐ２ に従って合成処理が行われた場合、上述の合成領域ＧＲ１ 内の一部の画素Ｐに値を割り当てることができない。このように、撮影画像Ｓ２ およびＳ８ から値を決定できない出力画像Ｓｏｕｔ の画素に関しては、予め定められた特定の色（例えば、黒）を割り当てるように、マッピングテーブルＴｍｐ２ には記述される。出力画像Ｓｏｕｔ は、車両Ｖｕｓｒ の周囲の状況を正確に表すことが要求されるので、その一部の領域が状況を正確に表せない場合には、上記のように、特定の色を割り当てる方が好ましい。
【００４０】
次に、図１に示す車両画像Ｓｖｈｃ および警告画像Ｓｗｎｇ について説明する。車両画像Ｓｖｈｃ は、前述の合成領域ＧＲｖｈｃ に合成され、本実施形態では、車両を直上から見た時の画像を表す。さらに、警告画像Ｓｗｎｇ は、本実施形態では、出力画像Ｓｏｕｔ と同じように、（γ×δ）個の画素を有しており、撮像装置１〜８のいずれかに不具合が生じているというメッセージを含む画像を表す。
【００４１】
また、表示装置９は、典型的には液晶ディプレイであって、フレームメモリ１２９から転送されてくる出力画像Ｓｏｕｔ および警告画像Ｓｗｎｇ を表示する。
状態検出部１０は、全ての撮像装置１〜８の状態を監視して、不具合が発生しているものを検出する。ここで、以下の説明では、不具合が発生している撮像装置を、不良撮像装置と称する。さらに、状態検出部１０は、状態通知Ｎｓｔｓ を生成して、ＣＰＵ１１に送信する。状態通知Ｎｓｔｓ は、少なくとも、不良撮像装置を特定する識別番号Ｎｉｄを含む。以上の不具合の一例には、各撮像装置１〜８の電圧供給ラインの断線がある。電圧供給ラインとは、各撮像装置１〜８に駆動電圧を供給するための線である。かかる場合、状態検出部１０は、各電圧供給ラインと、予め定められた基準点との間の電圧を検出し、各撮像装置１〜８に適切な駆動電圧が与えられているか否かを判断する。そして、上述の状態通知Ｎｓｔｓ には、適切な駆動電圧が与えられていない（つまり、現在駆動していない）１台以上の不良撮像装置を特定する識別番号Ｎｉｄが設定され、ＣＰＵ１１に送信される。
【００４２】
次に、以上の運転支援装置Ｕａｓｔ１の動作について説明する。ドライバが車両Ｖｕｓｒ の周囲状況を確認したくなった時、ＣＰＵ１１は、プログラムＰＧ１ の実行を開始する。ここで、図１０は、プログラムＰＧ１ に記述されているＣＰＵ１１の処理手順を示すフローチャートである。図１０において、ＣＰＵ１１はまず、ＲＯＭ１３から、車両画像Ｓｖｈｃ と、警告画像Ｓｗｎｇ と、マッピングテーブルＴｍｐ１ およびＴｍｐ２ とをＲＡＭ１２に読み出す（ステップＳ１）。
【００４３】
次に、ＣＰＵ１１は、状態要求Ｒｓｔｓ を生成し、状態検出部１０に送信する（ステップＳ２）。状態要求Ｒｓｔｓ は、各撮像装置１〜８の現在の状態を判断して、上述の状態通知Ｎｓｔｓ をＣＰＵ１１に送信するように、状態検出部１０に要求するための信号である。状態検出部１０は、受信要求Ｒｓｔｓ に応答して、前述したようにして、状態通知Ｎｓｔｓ を生成し、ＣＰＵ１１に送信する。ここで、１台以上の不良撮像装置が発生している場合、今回の状態通知Ｎｓｔｓ には、当該不良撮像装置の識別番号Ｎｉｄが設定される。
【００４４】
次に、ＣＰＵ１１は、受信状態通知Ｎｓｔｓ に基づいて、不良撮像装置が現在発生しているか否かを判断する（ステップＳ３）。不良撮像装置が発生していると判断した場合、ＣＰＵ１１は、後で説明するステップＳ１１に進む。逆の判断をした場合には、ＣＰＵ１１は、後の合成処理で使うものとして、マッピングテーブルＴｍｐ１ を選択する（ステップＳ４）。
【００４５】
次に、ＣＰＵ１１は、撮像指示Ｉｃｐｔ１を生成し、全ての撮像装置１〜８に送信する（ステップＳ５）。撮像指示Ｉｃｐｔ１は、各撮像装置１〜８に撮像を指示するための信号である。各撮像装置１〜８は、受信指示Ｉｃｐｔ１に応答して、図２（ｂ）を参照して説明した撮影画像Ｓ１ 〜Ｓ８ を取り込み、ＲＡＭ１２に予約される一時記憶領域１２１〜１２８に格納する（ステップＳ６）。
【００４６】
次に、ＣＰＵ１１は、現在選択されているマッピングテーブルを参照して、合成処理を行う（ステップＳ７）。ステップＳ７において、ＣＰＵ１１は、各撮影画像Ｓ１ 〜Ｓ８ から合成領域ＧＲ１ 〜ＧＲ８ に相当する部分を切り出した後、フレームメモリ１２９上で合成し、これによって、車両Ｖｕｓｒ の周囲の状況を表す１枚の周囲画像Ｐｓｄｇ を生成する。ここで、図１１は、ステップＳ７の詳細な手順を示すフローチャートである。上述から明らかなように、今回参照されるのは、マッピングテーブルＴｍｐ１ である。そのため、ＣＰＵ１１は、マッピングテーブルＴｍｐ１ のセルＣｍｎを１つ選択し（図１１；ステップＳ２１）、選択したものに記述されている識別番号Ｎｉｄおよび座標値（ｉ，ｊ）（図６（ｂ）参照）を取り出す（ステップＳ２２）。次に、ＣＰＵ１１は、取り出した識別番号Ｎｉｄが特定する一時記憶領域から、取り出した座標値（ｉ，ｊ）で特定される画素Ｑの値を取り出す（ステップＳ２３）。さらに、ＣＰＵ１１は、一時記憶領域から今回取り出した画素Ｑの値を、出力画像Ｓｏｕｔ の座標値（ｍ，ｎ）の画素Ｐ（つまり、今回選択したセルＣｍｎが割り当てられる画素Ｐ）の値として、フレームメモリ１２９（図５（ｂ）参照）に格納する（ステップＳ２４）。
【００４７】
以上のステップＳ２１〜Ｓ２４を具体例を説明する。今、ステップＳ２１で、マッピングテーブルＴｍｐ１ から、セルＣ１１が選択されたと仮定する。セルＣ１１には、識別番号Ｎｉｄとしての＃５と、座標値（３００，４００）とが記述されている（図６（ｂ）参照）。そのため、ＣＰＵ１１は、ステップＳ２２およびＳ２３を実行することにより、一時記憶領域１２５内の撮影画像Ｓ５ において、座標値（ｉ，ｊ）を有する画素Ｑの値を取り出す。次のステップＳ２４およびＳ２５が実行されることにより、ステップＳ２３で取り出された画素Ｑの値が、出力画像Ｓｏｕｔ における座標値（１，１）の画素Ｐの値として決定され、フレームメモリ１２９において、当該座標値（１，１）の画素Ｐの値を格納する領域（図５（ｂ）参照）に格納される。
【００４８】
ＣＰＵ１１は、以上のステップＳ２１〜Ｓ２４の処理を、マッピングテーブルＴｍｐ１ 内のセルＣ１１〜Ｃγδをすべて選択し終えるまで繰り返す（ステップＳ２５）。これによって、図１２に示すような１枚の周囲画像Ｐｓｄｇ が生成される。
【００４９】
ところで、撮像装置１〜８の設置位置の関係上、撮影画像Ｓ1 〜Ｓ8 には車両Ｖusr はほとんど映らない。ゆえに、図１２に示すように、周囲画像Ｐsdg において、車両の合成領域ＧＲvhc には、車両Ｖusr が描かれない。そこで、ＣＰＵ１１は、以上の図１１の処理から抜けると、ステップＳ８に進み、ＲＡＭ１３上の車両画像Ｓvhc が表す車両画像を、周囲画像Ｐsdg の合成領域ＧＲvhc に合成する。これによって、フレームメモリ１２９上には、図５（ａ）に示すような、出力画像Ｓout が作成される（ステップＳ８）。
【００５０】
次に、ＣＰＵ１１は、フレームメモリ１２９上に作成された出力画像Ｓｏｕｔ を表示装置９に転送する（ステップＳ９）。表示装置９は、受信出力画像Ｓｏｕｔ を表示する。以上の出力画像Ｓｏｕｔ を見ることにより、ドライバは、車両Ｖｕｓｒ の周囲の状況、特に自身の死角領域を、表示装置９を介して視認することができるので、安全に車両Ｖｕｓｒ を運転する事ができる。
【００５１】
次に、ＣＰＵ１１は、図９の処理を終了するか否かを判断し（ステップＳ１０）、終了しないと判断した場合には、フレームメモリ１２９に新しい出力画像Ｓｏｕｔ を作成するために、ステップＳ２に戻る。
【００５２】
ところで、ステップＳ２では、ＣＰＵ１１は、不良撮像装置１〜８が発生していると判断する場合がある。ここで、本実施形態では、便宜上、撮像装置１が不良であると仮定する。以上のように判断した場合、ＣＰＵ１１は、警告画像Ｓｗｎｇ をフレームメモリ１２９に作成する（ステップＳ１１）。警告画像Ｓｗｎｇ は、前述したように、ステップＳ１でＲＡＭ１２に読み出されており、不良撮像装置が発生しているというメッセージを表す。次に、ＣＰＵ１１は、ステップＳ１１で作成された警告画像Ｓｗｎｇ を表示装置９に転送する（ステップＳ１２）。表示装置９は、受信警告画像Ｓｗｎｇ を表示する。これによって、ドライバは、不良撮像装置が発生していることが分かり、それを早期に直すことが可能となる。
【００５３】
ＣＰＵ１１は、予め定められた時間Ｔｐｒｄ の間、ステップＳ１２を繰り返し（ステップＳ１３）、これによって、表示装置９には、警告画像Ｓｗｎｇ が時間Ｔｐｒｄ だけ表示される。上記時間Ｔｐｒｄ が経過すると、ＣＰＵ１１は、ステップＳ７の合成処理で使うものとして、マッピングテーブルＴｍｐ２ を選択する（ステップＳ１４）。
【００５４】
次に、ＣＰＵ１１は、撮像指示Ｉｃｐｔ２を生成し、不良撮像装置（撮像装置１）を除く撮像装置２〜８に送信する（ステップＳ１５）。撮像指示Ｉｃｐｔ２は、各撮像装置２〜８に撮像を指示するための信号である。各撮像装置２〜８は、受信指示Ｉｃｐｔ２に応答して、前述の撮影画像Ｓ２ 〜Ｓ８ を取り込み、ＲＡＭ１２に予約される一時記憶領域１２２〜１２８に格納する（ステップＳ１６）。
【００５５】
次に、ＣＰＵ１１は、上述の合成処理を行う（ステップＳ７）。ただし、今回の合成処理では、マッピングテーブルＴｍｐ２ が使用される。したがって、ＣＰＵ１１は、各撮影画像Ｓ２ 〜Ｓ８ から合成領域ＧＲ１ 〜ＧＲ８ に相当する部分をマッピングテーブルＴｍｐ２ に従って切り出した後、フレームメモリ１２９上で合成し、これによって、上述と同じような１枚の周囲画像Ｐｓｄｇ を生成する。ただし、前述したように、合成領域ＧＲ１ 内の一部の画素Ｐには、特定色（例えば、黒）が割り当てられる。その後、ＣＰＵ１１は、ステップＳ８〜Ｓ１０の処理を行い、これによって、表示装置９には、今回生成された出力画像Ｓｏｕｔ が表示される。
【００５６】
以上説明したように、運転支援装置Ｕast1では、全ての撮像装置１〜８が正常に動作する場合には、マッピングテーブルＴmp1 に従って、車両Ｖusr の全周囲の状況を表す周囲画像Ｓsdg が作成される。それに対して、撮像装置１に不具合が生じた場合には、マッピングテーブルＴmp2 に従って、撮影画像Ｓ1 を使うことなく、撮影画像Ｓ2 〜Ｓ8 を使って、フレームメモリ１２９の合成領域ＧＲ1 に描くべき画像が描画され、これによって、車両Ｖusr の全周囲の状況を表す周囲画像Ｓsdg が作成される。そのため、従来の車両周囲監視装置であれば、１つの撮像装置に不具合が生じると、それに対応する部分が出力画像から抜けてしまうが、本運転支援装置Ｕast1では、かかる抜け落ちてしまう部分を、他の撮像装置からの撮影画像を使って補うことができる。これによって、ドライバは、撮像装置１に不具合が生じた場合であっても、車両Ｖusr の全周囲を視認できるので、従来よりも使い勝手の良い運転支援装置Ｕast1を提供できるようになる。
【００５７】
なお、以上の第１の実施形態では、便宜上、単一の撮像装置１に不具合が生じるという想定の下で、運転支援装置Ｕａｓｔ１の構成および動作を説明した。しかし、撮像装置２〜８のいずれかに不具合が生じた時を想定して、撮影画像Ｓ２ 〜Ｐ８ のいずれかを使うことなく周囲画像Ｓｓｄｇ を生成できるようなマッピングテーブルがＲＯＭ１３に格納されていても良い。そして、ＣＰＵ１１は、前述の状態通知Ｎｓｔｓ から、不良撮像装置を特定できるので、適切なマッピングテーブルを選択して、当該不良撮像装置の撮影画像を使わずに周囲画像Ｓｓｄｇ を生成することもできる。さらに、２台以上の不良撮像装置が発生した時を想定して、当該不良撮像装置の撮影画像を使うことなく周囲画像Ｓｓｄｇ を生成できるようなマッピングテーブルがＲＯＭ１３に格納されていても良い。さらに、ＣＰＵ１１は、車両Ｖｕｓｒ の運転開始時に、予め定められた台数以上の不良撮像装置が発生していると判断した場合には、出力画像Ｓｏｕｔ そのものを生成しないようにしてもよい。これにより、不正確な車両Ｖｕｓｒ の周囲の状況がドライバに提供しないようにすることができる。
【００５８】
また、以上の第１の実施形態では、撮像装置の不具合の例として、電圧供給ラインの断線を採りあげた。しかし、それ以外にも、下記に示す不具合の場合にも、図９に示す描画装置Ｕrnd1の処理を応用することができる。まず、それぞれの電圧供給ライン以外の部分の故障により、各撮像装置１〜８に正常に駆動電圧が供給できないという不具合がある。また、電圧供給ライン以外の部分が故障により、各撮像装置１〜８が撮影画像Ｓ1 〜Ｓ8 を生成できないという不具合もある。また、各撮像装置１〜８が有するレンズの汚れや傷も、不具合の１つである。
【００５９】
ところで、各撮像装置１〜８は、原則的には互いに同期して動作し、同じタイミングで撮影画像Ｓ1 〜Ｓ8 を取り込む必要がある。しかし、なんらかの理由で、ある撮像装置が、他の撮像装置と同じタイミングで撮影画像を取り込めなくなることがある。このような同期ずれも、不具合の１つである。
また、各撮像装置１〜８が１つの物を撮影する場合、撮影画像Ｓ1 〜Ｓ8 は実質的に同じものになる。しかし、なんらかの理由で、ある撮影画像の色が、他の撮像画像の色と比較して、全く異なってしまうことがある。このような色ずれも、不具合の１つである。
また、各撮像装置１〜８は、通常、車両Ｖusr に対して固定されるが、なんらかの理由により、最初の位置からずれてしまう場合がある。かかる位置ずれも、不具合の１つである。なお、撮像装置１〜８の位置ずれを検出するための技術の一例としては、特開平０８−１６９９９に開示されている。
【００６０】
図１３は、本発明の第２の実施形態に係る描画装置Ｕｒｎｄ２が組み込まれた運転支援装置Ｕａｓｔ２のハードウェア構成を示すブロック図である。図１３において、車両周囲監視装置は、８台の撮像装置２１〜２８と、描画装置Ｕｒｎｄ２と、表示装置２９とを備えている。
【００６１】
撮像装置２１〜２８はそれぞれ、図１４（ａ）に示すように、前述の撮像装置１〜８と同様に車両Ｖusr に固定され、撮影画像Ｓ1 〜Ｓ8 と同様に担当領域ＴＲ1 〜ＴＲ8 （図１４（ｂ）参照）の状況を主として撮影画像Ｓ21〜Ｓ28を生成する。さらに、撮像装置２１〜２８は、自身の撮影画像Ｓ21〜Ｓ28に、車両Ｖusr のボディラインＬvhc1〜Ｌvhc8が必ず映るように固定される。ここで、以上のような撮影画像Ｓ21〜Ｓ28の一例として、図１５には、撮影画像Ｓ23が描かれている。かかる撮影画像Ｓ23には、車両Ｖusr の右側方後方を状況が映ると共に、おり、当該車両Ｖusr のボディラインＬvhc3も映っている。
【００６２】
図１３において、描画装置Ｕｒｎｄ２は、ＣＰＵ３１と、ＲＡＭ３２と、ＲＯＭ３３とを含んでいる。ＣＰＵ３１は、上述の撮影画像Ｓ２１〜Ｓ２８に合成処理を行って、１枚の出力画像Ｓｏｕｔ を作成する。かかる合成処理のために、ＲＡＭ３２には、図４に示すＲＡＭ１２と同様に、一時記憶領域３２１〜３２８と、フレームメモリ３２９とが予約されている。一時記憶領域３２１〜３２８は、撮像装置２１〜２８に割り当てられており、撮影画像Ｓ２１〜Ｓ２８を格納する。また、以上の一時記憶領域３２１〜３２８には、一時記憶領域１２１〜１２８と同様に、識別番号Ｎｉｄとしての＃１〜＃８が割り当てられる。また、フレームメモリ３２９には、出力画像Ｓｏｕｔ 上で車両画像Ｓｖｈｃ が合成される合成領域ＧＲｖｈｃ （図１２参照）が予め設定されている。
【００６３】
また、図１３において、ＲＯＭ３３は、プログラムＰＧ２ と、少なくとも１つのマッピングテーブルＴｍｐと、ボディラインデータＤｖｂｌ と、車両画像Ｓｖｈｃ と、警告画像Ｓｗｎｇ とを格納している。ここで、車両画像Ｓｖｈｃ および警告画像Ｓｗｎｇ は、第１の実施形態で説明したものと同様であるため、第２の実施形態ではそれぞれの説明を省略する。
【００６４】
プログラムＰＧ２ には、上述の合成処理の手順と、その他必要なＣＰＵ３１の処理手順とが記述されている。かかる合成処理時、ＣＰＵ３１は、各撮影画像Ｓ２１〜Ｓ２８から必要な部分を切り出した後、フレームメモリ３２９上で合成し、これによって，第１の実施形態で説明した周囲画像Ｐｓｄｇ を生成する。かかる合成時、例えば、図６（ａ）を参照して説明したように、撮影画像Ｓ１ における座標値（ｉ，ｊ）の画素Ｐの値が、出力画像Ｓｏｕｔ における座標値（ｍ，ｎ）の画素Ｑとして決定される。かかる決定のために、マッピングテーブルＴｍｐは使用される。マッピングテーブルＴｍｐは、図６（ａ）および（ｂ）を参照して説明したマッピングテーブルＴｍｐ１ と同様、撮影画像Ｓ２１〜Ｓ２８に含まれる画素が、出力画像Ｓｏｕｔ のどの画素に対応するのかを表す情報である。
【００６５】
次に、ボディラインデータＤｖｂｌ について説明する。上述したように、各撮影画像Ｓ２１〜Ｓ２８には、図１５に例示されるように、車両Ｖｕｓｒ のボディラインＬｖｈｃ１〜Ｌｖｈｃ８が映る。ここで、図１６は、図１３に示すボディラインＬｖｈｃ３をＵＶ座標系ＣＳｕ で表現した図である。このボディラインＬｖｈｃ３からは、予め、少なくとも６個の特徴点Ｑｔ３１ 〜Ｑｔ３６ がサンプルされている。ここで、特徴点Ｑｔ３１ 〜Ｑｔ３６ は、ボディラインＬｖｈｃ３の特徴を顕著に表す点であって、例えば、当該ボディラインＬｖｈｃ３の変曲点が当該特徴点として選ばれる。また、図示は省略するが、ボディラインＬｖｈｃ１およびＬｖｈｃ２からも、同様の特徴点Ｑｔ１１ 〜Ｑｔ１６ およびＱｔ２１ 〜Ｑｔ２６ がサンプルされる。ボディラインＬｖｈｃ４〜Ｌｖｈｃ８に関しても同様である。
【００６６】
ボディラインデータＤｖｂｌ は、図１７に示すように、８個の識別番号Ｎｉｄ（つまり、＃１〜＃８）と、８セットの特徴点群Ｇｔ１〜Ｇｔ８とを有する。特徴点群Ｇｔ１は、上述の特徴点Ｑｔ１１ 〜Ｑｔ１６ の座標値の集まりであり、識別番号Ｎｉｄである＃１の後に記録されている。これによって、特徴点Ｑｔ１１ 〜Ｑｔ１６ が撮影画像Ｓ２１に映っているボディラインＬｖｈｃ１のものであることが示される。同様に、特徴点群Ｇｔ２〜Ｇｔ６は、撮像装置２〜６（識別番号Ｎｉｄは＃２〜＃６）の撮影画像Ｓ２２〜Ｓ２８に含まれるボディラインＬｖｈｃ３〜Ｌｖｈｃ８の特徴点の集まりである。なお、便宜上、特徴点群Ｇｔ２およびＧｔ４〜Ｇｔ８の図示は省略されている。
【００６７】
また、図１３において、表示装置２９は、典型的には液晶ディプレイであって、フレームメモリ３２９から転送されてくる出力画像Ｓｏｕｔ および警告画像Ｓｗｎｇ を表示する。
【００６８】
次に、以上の運転支援装置Ｕａｓｔ２の動作について説明する。ドライバが車両Ｖｕｓｒ の周囲状況を確認したくなった時、ＣＰＵ３１は、プログラムＰＧ２ の実行を開始する。ここで、図１８は、プログラムＰＧ２ に記述されているＣＰＵ３１の処理手順を示すフローチャートである。図１８において、ＣＰＵ３１はまず、ＲＯＭ３３から、車両画像Ｓｖｈｃ と、警告画像Ｓｗｎｇ と、マッピングテーブルＴｍｐと、ボディラインデータＤｖｂｌ とをＲＡＭ３２に読み出す（ステップＳ３１）。
【００６９】
次に、ＣＰＵ３１は、撮像指示Ｉｃｐｔ を生成し、全ての撮像装置２１〜２８に送信する（ステップＳ３２）。撮像指示Ｉｃｐｔ は、各撮像装置２１〜２８に撮像を指示するための信号である。各撮像装置２１〜２８は、受信指示Ｉｃｐｔ に応答して、上述の撮影画像Ｓ２１〜Ｓ２８を取り込み、一時記憶領域３２１〜３２８に格納する（ステップＳ３３）。
【００７０】
ところで、従来技術の欄で説明したように、撮像装置２１〜２８は、図１４（ａ）に示すように、予め定められた位置に固定されているが、なんらかの理由でそれぞれの固定位置がずれる場合がある。本実施形態では、かかる位置ずれを起こしている撮像装置のことを、不良撮像装置と称する。かかる位置ずれに応じて、不良撮像装置の担当領域もずれてしまう。しかしながら、マッピングテーブルＴｍｐは、撮像装置２１〜２８に位置ずれがない時における撮影画像Ｓ２１〜Ｓ２８に含まれる画素が、出力画像Ｓｏｕｔ のどの画素に対応するのかを表すので、不良撮像装置からの撮影画像を合成して、出力画像Ｓｏｕｔ を生成するのは好ましくない。もし不良撮像装置からの撮影画像が合成されると、ドライバには周囲の状況が把握しづらい出力画像Ｓｏｕｔ が生成されてしまう。
【００７１】
以上の観点から、ＣＰＵ３１は、ステップＳ３３で格納された撮影画像Ｓ２１〜Ｓ２８から、ボディラインＬｖｈｃ１〜Ｌｖｈｃ８の検出する（ステップＳ３４）。ここで、以降において混同を避ける観点から、ステップＳ３３で検出されるボディラインＬｖｈｃ１〜Ｌｖｈｃ８を、現在のボディラインＬｖｈｃ１’ 〜Ｌｖｈｃ８’ と称する。また、現在のボディラインＬｖｈｃ１’ 〜Ｌｖｈｃ８’ の検出に関しては、例えば、特開平０４−１０６７００に開示された道路のエッジ検出技術を応用すれば簡単に行えるので、ここでは、ステップＳ３４の詳細な説明を省略する。
【００７２】
次に、ＣＰＵ３１は、上述の現在のボディラインＬｖｈｃ１’ から、現在の特徴点Ｑｔ１１’〜Ｑｔ１６’をサンプルして、図１９に示すように、それぞれの座標値を識別番号Ｎｉｄとしての＃１と共にＲＡＭ３２に格納する。現在のボディラインＬｖｈｃ２’ およびＬｖｈｃ３’ からも、同様に、現在の特徴点Ｑｔ２１’〜Ｑｔ２６’およびＱｔ３１’〜Ｑｔ３６’がサンプルされ、識別番号Ｎｉｄとしての＃２および＃３と共にＲＡＭ３２に格納される。現在のボディラインＬｖｈｃ４’ 〜Ｌｖｈｃ８’ に関しても同様である（ステップＳ３５）。なお、便宜上、現在の特徴点Ｑｔ２１’〜Ｑｔ２６’およびＱｔ４１’〜Ｑｔ４６’以降の図示は省略されている。
【００７３】
次に、ＣＰＵ３１は、互いに同じ識別番号Ｎｉｄが付されている現在の特徴点と、ボディラインデータＤｖｂｌ 内の特徴点とが完全に一致するか否かを判断する（ステップＳ３６）。つまり、ステップＳ３５で格納された現在の特徴点Ｑｔ１１ ’〜Ｑｔ１６ ’が、ボディラインデータＤｖｂｌ 内の特徴点Ｑｔ１１ 〜Ｑｔ１６ と完全に一致するか否かが判断される。他の現在の特徴点に関しても、同様の判断が行われる。
【００７４】
ステップＳ３５で格納された現在の特徴点が全て、ボディラインデータＤｖｂｌ 内の特徴点と一致する場合、全ての撮像装置２１〜２８には位置ずれが生じておらず、不良撮像装置が発生していないことになる。かかる場合、ＣＰＵ３１は、マッピングテーブルＴｍｐに従って、合成処理を行う（ステップＳ３７）。この合成処理に関しては、第１の実施形態におけるステップＳ７と同様であるから、その説明を省略する。以上のステップＳ３７の結果、図１１に示すような１枚の周囲画像Ｐｓｄｇ がフレームメモリ３２９に生成される。
【００７５】
次に、ＣＰＵ３１は、図９のステップＳ８と同様の処理を行って、ＲＡＭ１３上の車両画像Ｓｖｈｃ を、周囲画像Ｐｓｄｇ の合成領域ＧＲｖｈｃ に合成して、図５（ａ）に示すような、出力画像Ｓｏｕｔ を作成する（ステップＳ３８）。
【００７６】
次に、ＣＰＵ３１は、フレームメモリ３２９上に作成された出力画像Ｓｏｕｔ を表示装置２９に転送する（ステップＳ３９）。表示装置２９は、受信出力画像Ｓｏｕｔ を表示する。以上の出力画像Ｓｏｕｔ により、第１の実施形態で説明したのと同様に、ドライバは、安全に車両Ｖｕｓｒ を運転する事ができる。
【００７７】
次に、ＣＰＵ３１は、図１８の処理を終了するか否かを判断し（ステップＳ３１０）、終了しないと判断した場合には、フレームメモリ３２９に新しい出力画像Ｓｏｕｔ を作成するために、ステップＳ３２に戻る。
【００７８】
ところで、ステップＳ３６において、現在の特徴点の一部でも、ボディラインデータＤｖｂｌ 内の特徴点と一致しない場合、ＣＰＵ３１は、不良撮像装置が発生しているとみなし、かかる不良撮像装置の識別番号ＮｉｄをＲＡＭ３２に書き込む（ステップＳ３１１）。
【００７９】
ここで、以降の説明では、便宜上、撮像装置３だけに位置ずれが生じていると仮定する。この仮定下では、ステップＳ３１１では、識別番号Ｎｉｄとしての＃３が書き込まれる。また、撮像装置３の位置ずれに応じて、撮影画像Ｓ３ における現在のボディラインＬｖｈｃ３’ は、図２０中の矢印で示すように、最初のボディラインＬｖｈｃ３（点線部分参照）からずれる。そのため、マッピングテーブルＴｍｐにおいて、識別番号Ｎｉｄとしての＃３が記述されているセルＣｍｎ内の座標値（ｉ，ｊ）は、撮像装置３のずれ量に応じて移動させる必要がある。さもなければ、ドライバには周囲の状況が把握しづらい出力画像Ｓｏｕｔ が生成されてしまう。以降の説明において、移動後の座標値（ｉ，ｊ）のことを、修正座標値（ｉ’ ，ｊ’ ）と称する。
【００８０】
ＣＰＵ３１は、ステップＳ３１１の次に、不良撮像装置３のずれ量を決定するパラメータである回転行列Ｒ’および移動ベクトルＴ’を求める（ステップＳ３１２）。まず、回転行列Ｒ’および移動ベクトルＴ’の算出方法を説明するために、図２１に示すような車両座標系ＣＳｖ と、カメラ座標系ＣＳｃ とを定義する。車両座標系ＣＳｖ において、Ｚｖ 軸は鉛直方向を示す。また、Ｘｖ 軸は、車両Ｖｕｓｒ のステアリングが切られていない時における車両Ｖｕｓｒ の後退方向を示す。Ｙｖ 軸は、上述のＸｖ 軸およびＺｖ 軸の双方に直交する。また、カメラ座標系ＣＳｃ において、特に、Ｚｃ 軸は、不良撮像装置３が位置ずれしていない時のレンズの光軸方向を示す。以上の車両座標系ＣＳｖ とカメラ座標系ＣＳｃ との関係は、回転行列Ｒおよび移動ベクトルＴを使って、次式（１）のように表される。
Ｃ＝Ｒ・Ｖ＋Ｔ…（１）
Ｖは、車両座標系ＣＳｖ における点であり、（ｘｖ ，ｙｖ ，ｚｖ ）である。また、Ｃは、点Ｖ（ｘｖ ，ｙｖ ，ｚｖ ）を、カメラ座標系ＣＳｃ で表した点であり、（ｘｃ ，ｙｃ ，ｚｃ ）である。
【００８１】
不良撮像装置３に位置ずれが生じていない時、前述の特徴点Ｑｔ３１ は、車両座標系ＣＳｖ において点Ｖｔ３１ である。点Ｖｔ３１ は、既知であり、車両座標系ＣＳｖ 上の座標値（ｘｖ３１ ，ｙｖ３１ ，ｚｖ３１ ）を有する。したがって、特徴点Ｑｔ３１ のカメラ座標系ＣＳｃ における座標値（ｘｃ３１ ，ｙｃ３１ ，ｚｃ３１ ）は、次式（２）から求めることができる。
Ｑｔ３１ ＝Ｒ・Ｖｔ３１ ＋Ｔ…（２）
【００８２】
また、カメラ座標系ＣＳｃ とＵＶ座標系ＣＳｕ との関係式は、次式（３）および（４）で表される。
Ｕ＝ｆ・ｘｃ ／ｚｃ ＋Ｕ０ …（３）
Ｖ＝ｆ・ｙｃ ／ｚｃ ＋Ｖ０ …（４）
ここで、ｆは、撮像装置３の焦点距離であり、Ｕ０ およびＶ０ は定数である。
【００８３】
故に、特徴点Ｑｔ３１ のＵＶ座標系ＣＳｕ における座標値Ｕｔ３１ およびＶｔ３１ は、次式（５）のように表される。
【００８４】
さて、カメラ座標系ＣＳｃ は、撮像装置３の位置ずれにより、図２２に示すように、カメラ座標系ＣＳｃ’に移動する。以上の車両座標系ＣＳｖ とカメラ座標系ＣＳｃ’との関係は、回転行列Ｒ’および移動ベクトルＴ’を使って、次式（６）のように表される。
Ｃ’＝Ｒ’・Ｖ＋Ｔ’…（６）
Ｃ’は、点Ｖ（ｘｖ ，ｙｖ ，ｚｖ ）を、カメラ座標系ＣＳｃ’で表した点であり、（ｘｃ’，ｙｃ’，ｚｃ’）である。
また、撮像装置３の位置ずれにより、特徴点Ｑｔ３１ （Ｕｔ３１ ，Ｖｔ３１ ）は、現在の特徴点Ｑｔ３１’（Ｕｔ３１’，Ｖｔ３１’）に移動する。ここで、現在の特徴点Ｑｔ３１’（Ｕｔ３１’，Ｖｔ３１’）は、ステップＳ３４で求められており、既知を値である。
【００８５】
今、回転行列Ｒ’および移動ベクトルＴ’を次式（７）および（８）のようにおくと、Ｕｔ３１’およびＶｔ３１’は、次式（９）および（１０）で表される。
【００８６】
【数１】
Ｕｔ３１’＝ｆ・ｘｃ３１’／ｚｃ３１’＝ｆ・（ｒ１’・ｘｖ３１ ＋ｒ２’・ｙｖ３１ ＋ｒ３’・ｚｖ３１ ＋ｔｘ’）／（ｒ７’・ｘｖ３１ ＋ｒ８’・ｙｖ３１ ＋ｒ９’・ｚｖ３１ ＋ｔｚ’）…（９）
Ｖｔ３１’＝ｆ・ｙｃ３１’／ｚｃ３１’＝ｆ・（ｒ４’・ｘｖ３１ ＋ｒ５’・ｙｖ３１ ＋ｒ６’・ｚｖ３１ ＋ｔｙ’）／（ｒ７’・ｘｖ３１ ＋ｒ８’・ｙｖ３１ ＋ｒ９’・ｚｖ３１ ＋ｔｚ’）…（１０）
【００８８】
上式（９）および（１０）において、１２個の未知数ｒ１’〜ｒ９’ならびに、ｔｘ’、ｔｙ’およびｔｚ’を求めるには、現在の特徴点Ｑｔ３１’の他に、少なくとも５個の現在の特徴点Ｑｔ３２’〜Ｑｔ３６’が既知であればよい。これら現在の特徴点Ｑｔ３２’〜Ｑｔ３６’は、ステップＳ３４で検出されているので、既知の値である。したがって、各現在の特徴点Ｑｔ３２’〜Ｑｔ３６’毎に、上式（９）および（１０）と同様の式を導出できるので、１２個の未知数ｒ１’〜ｒ９’ならびにｔｘ’、ｔｙ’およびｔｚ’を含む１２個の１次方程式を導出することができる。以上の１２個の１次方程式に最小二乗法等を適用して、未知数ｒ１’〜ｒ９’（つまり、回転行列Ｒ’）と、未知数ｔｘ’、ｔｙ’およびｔｚ’（つまり、移動ベクトルＴ’）を求める。
【００８９】
以上のステップＳ３１２の終了後、ＣＰＵ３１は、マッピングテーブルＴｍｐの修正を行う（ステップＳ３１３）。まず、出力画像Ｓｏｕｔ は、上述のように、車両Ｖｕｓｒ の全周囲の状況が路面に投影された画像である。つまり、撮影画像Ｓ２１〜Ｓ２８に映る物体はすべて、路面上に存在すると考えることができる。ゆえに、路面上の物体上の点Ｖｈ は、車両座標系ＣＳｖ の座標値（ｘｖｈ，ｙｖｈ，０）を有する。点Ｖｈ がカメラ座標系ＣＳｃ では点Ｃｈ であるとすると、上式（１）から、点Ｃｈ と点Ｖｈ との関係は、次式（１１）で表される。
【００９０】
Ｃｈ ＝Ｒ・Ｖｈ ＋Ｔ…（１１）
したがって、点Ｃｈ の座標値（ｘｃｈ，ｙｃｈ，ｚｃｈ）は、次式（１２）〜（１４）で表される。
ｘｃｈ＝ｒ１ ・ｘｖｈ＋ｒ２ ・ｙｖｈ＋ｔｘ …（１２）
ｙｃｈ＝ｒ４ ・ｘｖｈ＋ｒ５ ・ｙｖｈ＋ｔｙ …（１３）
ｚｃｈ＝ｔｚ …（１４）
【００９１】
また、以上の座標値Ｃｈ は、上式（５）より、ＵＶ座標系ＣＳｕ では、次式（１５）で表される。
【数２】
図２２に示すように、撮像装置２３の位置ずれにより、カメラ座標系ＣＳｃ は、カメラ座標系ＣＳｃ ’にずれ、さらに、撮影画像Ｓ２３において、本来、ＵＶ座標系ＣＳｕ 上の座標値（ｕｑ ，ｖｑ ）に映るべき点Ｑが、座標値（ｕｑ’，ｖｑ’）の点Ｑ’に映ってしまう。そのため、点Ｑ’は、点Ｑに補正される必要がある。つまり、座標値（ｕｑ’，ｖｑ’）から座標値（ｕｑ ，ｖｑ ）を導出する必要がある。
【００９３】
今、ＵＶ座標系ＣＳｕ 上の点Ｑが、車両座標系ＣＳｖ では、座標値（ｘｖｑ，ｙｖｑ，０）を有する点Ｖｑ で表されるとすると、撮像装置２３が正常な位置にある場合には、上式（１１）〜（１６）より、次式（１７）および（１８）の関係式が成り立ち、撮像装置２３に位置ずれが生じている場合には、次式（１９）および（２０）が成り立つ。
Ｃｑ ＝Ｒ・Ｖｑ ＋Ｔ…（１７）
ε・Ｑｑ ＝Ａ・Ｃｑ …（１８）
ここで、Ｃｑ は、点Ｖｑ を位置ずれのないカメラ座標系ＣＳｃ で表した点であり、その座標値は（ｘｃｑ，ｙｃｑ，ｚｃｑ）である。また、εはｔｚ であり、Ｑｑ は、点Ｃｑ をＵＶ座標系ＣＳｕ で表した点であり、その座標値は（ｕｑ ，ｖｑ ）である。
【００９４】
Ｃｑ’＝Ｒ’・Ｖｑ ＋Ｔ’…（１９）
ε’・Ｑｑ’＝Ａ・Ｃｑ’…（２０）
ここで、Ｃｑ’は、点Ｖｑ を位置ずれのあるカメラ座標系ＣＳｃ’で表した点であり、その座標値は（ｘｃｑ’ ，ｙｃｑ’ ，ｚｃｑ’ ）である。また、ε’はｔｚ’（式（７）参照）であり、Ｑ’は、点Ｃｑ ’をＵＶ座標系ＣＳｕ で表した点であり、その座標値は（ｕｑ’，ｖｑ’）である。
【００９５】
以上の４式（１７）〜（２０）から、点Ｑと点Ｑ’の間には、次式（２１）で表される関係が成立する。
ゆえに、ＣＰＵ３１は、ステップＳ３１３において、上式（２１）の逆関係式である次式（２２）を用いてマッピングテーブルＴｍｐを修正すれば、ドライバには周囲の状況が把握しづらい出力画像Ｓｏｕｔ が生成されなくなる。
より具体的には、ＣＰＵ３１は、ＲＡＭ３２上のマッピングテーブルＴｍｐから、ステップＳ３１１で書き込まれた不良撮像装置２３の識別番号Ｎｉｄ（＃３）が付されている全てのセルＣｍｎを読み出す。そして、読み出したセルＣｍｎに記述されている画素Ｑの座標値（ｉ，ｊ）を（ｕｑ ，ｖｑ ）として、上式（２２）に代入する。これによって、ＣＰＵ３１は、画素Ｑ’の座標値（ｕｑ ’，ｖｑ ’）を、前述の修正座標値（ｉ’，ｊ’）として算出する。さらに、ＣＰＵ３１は、以上の修正座標値（ｉ’，ｊ’）を、マッピングテーブルＴｍｐのセルＣｍｎに記述されている画素Ｑの座標値（ｉ，ｊ）から書き換える。
【００９８】
以上のような処理を、ＣＰＵ３１は、不良撮像装置２３の全てのセルＣｍｎについて実行する。その結果、マッピングテーブルＴｍｐが修正される。マッピングテーブルＴｍｐは、図２３に示すように、撮像装置２３に位置ずれが生じてない場合には、撮影画像Ｓ２３において座標値（ｕｑ ，ｖｑ ）の画素Ｑの値が、出力画像Ｓｏｕｔ の座標値（ｍ，ｎ）に割り当てるよう記述されている。しかし、撮像装置２３の位置ずれにより、画素Ｑは画素Ｑ’に移動する。そのため、ステップＳ３１３において、上式（２２）に従って算出された座標値（ｕｑ ’，ｖｑ ’）の画素Ｑ’の値を、座標値（ｍ，ｎ）の画素Ｐの値として割り当てるよう、マッピングテーブルＴｍｐは書き換えられる。
【００９９】
さらに、ＣＰＵ３１は、不良撮像装置２３のセルＣｍｎすべてについて、画素Ｑと画素Ｑ’の間の距離ＱＱ’を算出し、算出した距離ＱＱ’の中から、最大のもの（以下、最大距離ＱＱ’ｍａｘ と称する）を選択する（ステップＳ３１４）。その後、ＣＰＵ３１は、選択した最大距離ＱＱ’ｍａｘ が基準値Ｖｒｅｆ 以上であるか否かを判断する（ステップＳ３１５）。ここで、基準値Ｖｒｅｆ は、撮像装置２３のずれがあまりにも大きいことを判断するための基準値である。
【０１００】
ＣＰＵ３１は、選択した最大距離ＱＱ’ｍａｘ が基準値Ｖｒｅｆ 以上であれば、ステップＳ３１１で修正されたマッピングテーブルＴｍｐを使っても、ドライバには周囲の状況が把握しづらい出力画像Ｓｏｕｔ が生成されるとみなす。そして、ＣＰＵ３１は、前述のステップＳ１０〜Ｓ１２と同様の処理を行い、これによって、警告画像Ｓｗｎｇ を時間Ｔｐｒｄ の間、表示装置９に表示させる（ステップＳ３１６〜Ｓ３１８）。そして、ＣＰＵ３１は、図１８の処理を終了する。
【０１０１】
逆に、ＣＰＵ３１は、選択した最大距離ＱＱ’ｍａｘ が基準値Ｖｒｅｆ 未満であれば、ステップＳ３７に進み、ステップＳ３１３で修正されたマッピングテーブルＴｍｐに従って合成処理を行う。以降、ＣＰＵ３１は、上述した通りの処理を行って、図１８の処理の終了タイミングが来るまで、表示装置２９上に出力画像Ｓｏｕｔ を表示させる。
【０１０２】
以上説明したように、運転支援装置Ｕａｓｔ２では、全ての撮像装置２１〜２８に位置ずれがない場合には、予め格納されているマッピングテーブルＴｍｐに従って、車両Ｖｕｓｒ の全周囲の状況を表す周囲画像Ｓｓｄｇ が作成される。それに対して、不良撮像装置が発生した場合には、ステップＳ３１３で修正されたマッピングテーブルＴｍｐに従って周囲画像Ｓｓｄｇ が作成される。そのため、従来の車両周囲監視装置であれば、１つの撮像装置に位置ずれが生じると、本来合成すべき領域を出力画像上に合成できないことから、当該出力画像は車両の全周囲を表すことができない場合があった。しかし、本運転支援装置Ｕａｓｔ２では、かかる位置ずれを補正することができる。これによって、ドライバは、撮像装置２１〜２８のいずれかに位置ずれが生じた場合であっても、車両Ｖｕｓｒ の全周囲をドライバは確実に視認できるので、従来よりも使い勝手の良い運転支援装置Ｕａｓｔ２を提供できるようになる。
【０１０３】
なお、以上の第２の実施形態では、便宜上、単一の撮像装置２３に不具合が生じるという想定の下で、運転支援装置Ｕａｓｔ２の構成および動作を説明した。しかし、撮像装置２１、２２および２４〜２８の位置ずれも同様に補正できる。同様に、２台以上の不良撮像装置が発生した時も、同様にマッピングテーブルＴｍｐを補正することができる。さらに、ＣＰＵ１１は、車両Ｖｕｓｒ の運転開始時に、予め定められた台数以上の不良撮像装置が発生していると判断した場合には、出力画像Ｓｏｕｔ そのものを生成しないようにしてもよい。これにより、不正確な車両Ｖｕｓｒ の周囲の状況がドライバに提供しないようにすることができる。
【０１０４】
また、以上の第１および第２の実施形態では、周囲画像Ｓｓｄｇ は、車両Ｖｕｓｒ の全周囲の状況を表すとしたが、これに限らず、車両Ｖｕｓｒ の前方、後方、右側方および左側方の状況等、ドライバが現在必要とする領域の状況のみを表すだけでも良い。さらに、以上のような周囲画像Ｓｓｄｇ には、車両Ｖｕｓｒ の予測軌跡または移動軌跡が合成表示されても良い。ここで、予測軌跡とは、車両Ｖｕｓｒ がこれからどのように移動するかを示す軌跡であり、移動軌跡とは、車両Ｖｕｓｒ が現在に至るまでどのように移動したを示す軌跡である。
【０１０５】
また、以上の第１および第２の実施形態では、警告画像Ｓｗｎｇ は、１枚の画像として表示装置９または２９に表示されていた。しかし、これに限らず、警告画像Ｐｏｕｔ は、他の画像（例えば、出力画像Ｓｏｕｔ ）に重畳されて、表示装置９または２９に表示されても良い。
また、以上の第１および第２の実施形態では、不良撮像装置が生じたことを警告画像Ｓｗｎｇ によりドライバに伝えていた。しかし、これに限らず、例えば、音声、文字または動画で、不良撮像装置が発生したことを伝えても良い。
【０１０６】
また、以上の実施形態では、プログラムＰＧ１ およびＰＧ２ は、描画装置Ｕｒｎｄ１およびＵｒｎｄ２に格納されていた。しかし、これに限らず、プログラムＰＧ１ およびＰＧ２ は、ＣＤ−ＲＯＭに代表される記録媒体に記録された状態で頒布されてもよいし、インターネットに代表される通信ネットワークを通じて頒布されてもよい。
【図面の簡単な説明】
【図１】描画装置Ｕｒｎｄ１が組み込まれた運転支援装置Ｕａｓｔ１のハードウェア構成を示すブロック図である。
【図２】図１の撮像装置１〜８の設置例、およびそれぞれの担当領域ＴＲ１ 〜ＴＲ８ を示す図である。
【図３】図１の撮像装置１により取り込まれる撮像画像Ｓ１ を示す図である。
【図４】図１のＲＡＭ１２に予約される一時記憶領域１２１〜１２８と、フレームメモリ１２９とを示している。
【図５】図１のＣＰＵ１１により生成される出力画像Ｓｏｕｔ と、フレームメモリ１２９の詳細な構成とを示す図である。
【図６】図１のマッピングテーブルＴｍｐ１ およびＴｍｐ２ を説明するための図である。
【図７】図５の出力画像Ｓｏｕｔ における合成領域ＧＲ１ 〜ＧＲ８ を示す図である。
【図８】図１の撮像装置１に不具合が生じたときの悪影響を説明するための図である。
【図９】図１のマッピングテーブルＴｍｐ２ の、マッピングテーブルＴｍｐ１ に対する相違を説明するための図である。
【図１０】図１のプログラムＰＧ１ に記述されているＣＰＵ１１の処理手順を示すフローチャートである。
【図１１】ステップＳ７の詳細な手順を示すフローチャートである。
【図１２】ステップＳ７で生成される周囲画像Ｐｓｄｇ を示す図である。
【図１３】描画装置Ｕｒｎｄ２が組み込まれた運転支援装置Ｕａｓｔ２のハードウェア構成を示すブロック図である。
【図１４】図１３の撮像装置２１〜２８の設置例を説明するための図である。
【図１５】図１３の撮像装置２３により取り込まれる撮影画像Ｓ２３を示す図である。
【図１６】図１３のボディラインＬｖｈｃ３のみをＵＶ座標系ＣＳｕ で表現した図である。
【図１７】図１のボディラインデータＤｖｂｌ のデータ構造を示す図である。
【図１８】図１３のプログラムＰＧ２ に記述されているＣＰＵ３１の処理手順を示すフローチャートである。
【図１９】図１８のステップＳ３５でＲＡＭ３２に格納される現在の特徴点を示す図である。
【図２０】図１６のボディラインＬｖｈｃ３のずれを示す図である。
【図２１】図１８のステップＳ３１２で必要な車両座標系ＣＳｖ およびカメラ座標系ＣＳｃ を示す図である。
【図２２】図２１のカメラ座標系ＣＳｃ のずれを示す図である。
【図２３】図１３のマッピングテーブルＴｍｐの修正を説明するための図である。
【符号の説明】
Ｕａｓｔ１，Ｕａｓｔ２…運転支援装置
１〜８，２１〜２８…撮像装置
９，２９…表示装置
１０…状態検出部
Ｕｒｎｄ１，Ｕｒｎｄ２…描画装置
１１，３１…ＣＰＵ
１２，３２…ＲＡＭ
１３，３３…ＲＯＭ
Claims (17)
- 車両に固定される複数の撮像装置から受け取った各撮影画像を基礎として、車両の周囲を表す出力画像を作成する描画装置であって、
前記複数の撮像装置の中に、不具合が生じている不良撮像装置があるか否かを判断する判断部と、
前記判断部により前記不良撮像装置がないと判断されると、前記複数の撮像装置から受け取った撮影画像を使って、前記出力画像を生成する画像合成部とを備え、
前記画像合成部は、
前記判断部により、少なくとも１台の不良撮像装置があると判断されると、当該不良撮像装置の周辺に固定される撮像装置から受け取った撮影画像を使って出力画像を生成する、描画装置。 - 第１のマッピングテーブルと、第２のマッピングテーブルとを、少なくとも格納する格納部をさらに備え、
前記第１のマッピングテーブルには、前記複数の撮像装置からの撮影画像の画素が、前記出力画像のどの画素に対応するかが記述されており、
前記第２のマッピングテーブルには、前記不良撮像装置を除く撮像装置からの撮影画像の画素が、前記出力画像のどの画素に対応するかが記述されており、
前記画像合成部は、
前記判断部により不良撮像装置がないと判断されると、前記第１のマッピングテーブルに従って、前記出力画像を生成し、
前記判断部により不良撮像装置があると判断されると、前記第２のマッピングテーブルに従って、前記出力画像を生成する、請求項１に記載の描画装置。 - 前記第２のマッピングテーブルにおいて、前記出力画像の一部の画素には予め定められた特定色が割り当てられており、
前記出力画像の一部の画素は、前記不良撮像装置を除く前記複数の撮像装置からの撮影画像の中に対応する画素がない、請求項２に記載の描画装置。 - 前記判断部はさらに、前記車両の運転開始時に、前記不良撮像装置が、予め定められた台数以上あるか否かを判断し、
前記画像合成部は、前記車両の運転開始時に、前記判断部により前記台数以上の不良撮像装置があると判断されると、前記出力画像を生成しない、請求項１に記載の描画装置。 - 前記判断部により不良撮像装置があると判断されると、予め定められた方法で、当該不良撮像装置が発生していることを前記車両のドライバに警告する警告生成部をさらに備える、請求項１に記載の描画装置。
- 車両において、予め定められた初期位置に固定される複数の撮像装置から受け取った各撮影画像を基礎として、車両の周囲を表す出力画像を作成する描画装置であって、
前記複数の撮像装置からの撮影画像の画素が、前記出力画像のどの画素に対応するかが記述されているマッピングテーブルを格納する格納部と、
前記複数の撮像装置の中に、それぞれの初期位置からずれている不良撮像装置があるか否かを判断する不良判断部と、
前記不良判断部により前記不良撮像装置がないと判断されると、前記マッピングテーブルに従って、前記複数の撮像装置から受け取った撮影画像から、前記出力画像を生成する画像合成部と、
前記不良判断部により、少なくとも１台の不良撮像装置があると判断されると、当該不良撮像装置がずれた後の位置を示すパラメータを導出する導出部と、
前記導出部により導出されたパラメータに基づいて、前記マッピングテーブルを修正する修正部とを備え、
前記画像合成部は、前記不良判断部により、少なくとも１台の不良撮像装置があると判断されると、前記修正部により修正されたマッピングテーブルに従って、前記複数の撮像装置から受け取った撮影画像から、前記出力画像を生成する、描画装置。 - 前記不良判断部により、少なくとも１台の不良撮像装置があると判断された場合に、当該不良撮像装置からの撮影画像の画素のずれ量を算出する算出部と、
前記算出部により算出されたずれ量が予め定められた基準値以上であるか否かを判断するずれ量判断部とを備え、
前記画像合成部は、前記ずれ量判断部により、前記算出部により算出されたずれ量が前記基準値以上でないと判断されると、前記修正部により修正されたマッピングテーブルに従って、前記複数の撮像装置から受け取った撮影画像から、前記出力画像を生成する、請求項６に記載の描画装置。 - 前記ずれ量判断部により、前記算出部により算出されたずれ量が前記基準値以上であると判断されると、前記不良撮像装置が発生していることを前記車両のドライバに警告する警告生成部をさらに備える、請求項７に記載の描画装置。
- 車両に固定される複数の撮像装置から受け取った各撮影画像を基礎として、車両の周囲を表す出力画像を作成する描画方法であって、
前記複数の撮像装置の中に、不具合が生じている不良撮像装置があるか否かを判断する判断ステップと、
前記判断ステップにより前記不良撮像装置がないと判断されると、前記複数の撮像装置から受け取った撮影画像を使って、前記出力画像を生成する画像合成ステップとを備え、
前記画像合成ステップでは、
前記判断ステップで、少なくとも１台の不良撮像装置があると判断されると、当該不良撮像装置の周辺に固定される撮像装置から受け取った撮像画像を使って出力画像が生成される、描画方法。 - 第１のマッピングテーブルと、第２のマッピングテーブルとが、少なくとも格納されており、
前記第１のマッピングテーブルには、前記複数の撮像装置からの撮影画像の画素が、前記出力画像のどの画素に対応するかが記述されており、
前記第２のマッピングテーブルには、前記不良撮像装置の除く撮像装置からの撮影画像の画素が、前記出力画像のどの画素に対応するかが記述されており、
前記画像合成ステップでは、
前記判断ステップで不良撮像装置がないと判断されると、前記第１のマッピングテーブルに従って、前記出力画像が生成され、
前記判断ステップで不良撮像装置があると判断されると、前記第２のマッピングテーブルに従って、前記出力画像が作成される、請求項９に記載の描画方法。 - 車両において、予め定められた初期位置に固定される複数の撮像装置から受け取った各撮影画像を基礎として、車両の周囲を表す出力画像を作成する描画方法であって、
前記複数の撮像装置からの撮影画像の画素が、前記出力画像のどの画素に対応するかが記述されているマッピングテーブルが予め格納されており、
前記複数の撮像装置の中に、それぞれの初期位置からずれている不良撮像装置があるか否かを判断する不良判断ステップと、
前記不良判断ステップで前記不良撮像装置がないと判断されると、前記マッピングテーブルに従って、前記複数の撮像装置から受け取った撮影画像から、前記出力画像を生成する画像合成ステップと、
前記不良判断ステップにより、少なくとも１台の不良撮像装置があると判断されると、当該不良撮像装置がずれた後の位置を示すパラメータを導出する導出ステップと、
前記導出ステップで導出されたパラメータに基づいて、前記マッピングテーブルを修正する修正ステップとを備え、
前記画像合成ステップでは、前記不良判断ステップで、少なくとも１台の不良撮像装置があると判断されると、前記修正ステップで修正されたマッピングテーブルに従って、前記複数の撮像装置から受け取った撮影画像から、前記出力画像が生成される、描画方法。 - 車両に固定される複数の撮像装置から受け取った各撮影画像を基礎として、車両の周囲を表す出力画像を作成するためのプログラムを記録した記録媒体であって、
前記複数の撮像装置の中に、不具合が生じている不良撮像装置があるか否かを判断する判断ステップと、
前記判断ステップにより前記不良撮像装置がないと判断されると、前記複数の撮像装置から受け取った撮影画像を使って、前記出力画像を生成する画像合成ステップとを備え、
前記画像合成ステップでは、
前記判断ステップで、少なくとも１台の不良撮像装置があると判断されると、当該不良撮像装置の周辺に固定される撮像装置から受け取った撮影画像を使って出力画像が生成される、プログラムを記録した記録媒体。 - 第１のマッピングテーブルと、第２のマッピングテーブルとが、少なくとも格納されており、
前記第１のマッピングテーブルには、前記複数の撮像装置からの撮影画像の画素が、前記出力画像のどの画素に対応するかが記述されており、
前記第２のマッピングテーブルには、前記不良撮像装置の除く撮像装置からの撮影画像の画素が、前記出力画像のどの画素に対応するかが記述されており、
前記画像合成ステップでは、
前記判断ステップで不良撮像装置がないと判断されると、前記第１のマッピングテーブルに従って、前記出力画像が生成され、
前記判断ステップで不良撮像装置があると判断されると、前記第２のマッピングテーブルに従って、前記出力画像が作成される、請求項１２に記載のプログラムを記録した記録媒体。 - 車両において、予め定められた初期位置に固定される複数の撮像装置から受け取った各撮影画像を基礎として、車両の周囲を表す出力画像を作成するプログラムが記録された記録媒体であって、
前記複数の撮像装置からの撮影画像の画素が、前記出力画像のどの画素に対応するかが記述されているマッピングテーブルが予め格納されており、
前記複数の撮像装置の中に、それぞれの初期位置からずれている不良撮像装置があるか否かを判断する不良判断ステップと、
前記不良判断ステップで前記不良撮像装置がないと判断されると、前記マッピングテーブルに従って、前記複数の撮像装置から受け取った撮影画像から、前記出力画像を生成する画像合成ステップと、
前記不良判断ステップにより、少なくとも１台の不良撮像装置があると判断されると、当該不良撮像装置がずれた後の位置を示すパラメータを導出する導出ステップと、
前記導出ステップで導出されたパラメータに基づいて、前記マッピングテーブルを修正する修正ステップとを備え、
前記画像合成ステップでは、前記不良判断ステップで、少なくとも１台の不良撮像装置があると判断されると、前記修正ステップで修正されたマッピングテーブルに従って、前記複数の撮像装置から受け取った撮影画像から、前記出力画像が生成される、プログラムを記録した記録媒体。 - 車両に固定される複数の撮像装置から受け取った各撮影画像を基礎として、車両の周囲を表す出力画像を作成するためのプログラムであって、
前記複数の撮像装置の中に、不具合が生じている不良撮像装置があるか否かを判断する判断ステップと、
前記判断ステップにより前記不良撮像装置がないと判断されると、前記複数の撮像装置から受け取った撮影画像を使って、前記出力画像を生成する画像合成ステップとを備え、
前記画像合成ステップでは、
前記判断ステップで、少なくとも１台の不良撮像装置があると判断されると、当該不良撮像装置の周辺に固定される撮像装置から受け取った撮影画像を使って出力画像が生成される、プログラム。 - 第１のマッピングテーブルと、第２のマッピングテーブルとが、少なくとも格納されており、
前記第１のマッピングテーブルには、前記複数の撮像装置からの撮影画像の画素が、前記出力画像のどの画素に対応するかが記述されており、
前記第２のマッピングテーブルには、前記不良撮像装置の除く撮像装置からの撮影画像の画素が、前記出力画像のどの画素に対応するかが記述されており、
前記画像合成ステップでは、
前記判断ステップで不良撮像装置がないと判断されると、前記第１のマッピングテーブルに従って、前記出力画像が生成され、
前記判断ステップで不良撮像装置があると判断されると、前記第２のマッピングテーブルに従って、前記出力画像が作成される、請求項１５に記載のプログラム。 - 車両において、予め定められた初期位置に固定される複数の撮像装置から受け取った各撮影画像を基礎として、車両の周囲を表す出力画像を作成するプログラムであって、
前記複数の撮像装置からの撮影画像の画素が、前記出力画像のどの画素に対応するかが記述されているマッピングテーブルが予め格納されており、
前記複数の撮像装置の中に、それぞれの初期位置からずれている不良撮像装置があるか否かを判断する不良判断ステップと、
前記不良判断ステップで前記不良撮像装置がないと判断されると、前記マッピングテーブルに従って、前記複数の撮像装置から受け取った撮影画像から、前記出力画像を生成する画像合成ステップと、
前記不良判断ステップにより、少なくとも１台の不良撮像装置があると判断されると、当該不良撮像装置がずれた後の位置を示すパラメータを導出する導出ステップと、
前記導出ステップで導出されたパラメータに基づいて、前記マッピングテーブルを修正する修正ステップとを備え、
前記画像合成ステップでは、前記不良判断ステップで、少なくとも１台の不良撮像装置があると判断されると、前記修正ステップで修正されたマッピングテーブルに従って、前記複数の撮像装置から受け取った撮影画像から、前記出力画像が生成される、プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001154346A JP3552212B2 (ja) | 2000-05-24 | 2001-05-23 | 描画装置 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000152381 | 2000-05-24 | ||
| JP2000-152381 | 2000-05-24 | ||
| JP2001154346A JP3552212B2 (ja) | 2000-05-24 | 2001-05-23 | 描画装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002051331A JP2002051331A (ja) | 2002-02-15 |
| JP3552212B2 true JP3552212B2 (ja) | 2004-08-11 |
Family
ID=26592442
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001154346A Expired - Fee Related JP3552212B2 (ja) | 2000-05-24 | 2001-05-23 | 描画装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3552212B2 (ja) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4710653B2 (ja) * | 2005-03-03 | 2011-06-29 | 日産自動車株式会社 | 車載画像処理装置及び車両用画像処理方法 |
| JP4756938B2 (ja) * | 2005-07-04 | 2011-08-24 | アルパイン株式会社 | 撮像装置の位置検出装置及び撮像装置の位置検出方法 |
| JP2007158642A (ja) * | 2005-12-05 | 2007-06-21 | Alpine Electronics Inc | 車両周辺画像提供装置 |
| JP4640238B2 (ja) * | 2006-04-10 | 2011-03-02 | 日産自動車株式会社 | 車両周囲映像作成装置及び車両周囲映像作成方法 |
| JP4879031B2 (ja) * | 2007-01-11 | 2012-02-15 | 三洋電機株式会社 | 運転支援システム、画像処理装置及びずれ検出方法 |
| JP5112131B2 (ja) * | 2008-03-25 | 2013-01-09 | アルパイン株式会社 | 車両用異常検出装置 |
| JP5405809B2 (ja) * | 2008-12-04 | 2014-02-05 | アルパイン株式会社 | 車両周辺監視装置およびカメラ位置・姿勢判定方法 |
| JP2011160346A (ja) * | 2010-02-03 | 2011-08-18 | Denso Corp | 車両周辺撮影装置 |
| JP6349637B2 (ja) * | 2013-07-11 | 2018-07-04 | 株式会社デンソー | 車両用画像合成装置 |
| JP6432206B2 (ja) * | 2014-08-15 | 2018-12-05 | 株式会社ソシオネクスト | 画像撮影装置の故障カメラ検出方法および故障カメラ検出プログラム、並びに、画像処理装置 |
| JP6618696B2 (ja) * | 2015-03-24 | 2019-12-11 | 住友重機械工業株式会社 | 画像生成装置及び操作支援システム |
| JP6784047B2 (ja) * | 2016-03-31 | 2020-11-11 | 日本電気株式会社 | 監視装置、処理方法、プログラム |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2309453A3 (en) * | 1998-07-31 | 2012-09-26 | Panasonic Corporation | Image displaying apparatus and image displaying method |
-
2001
- 2001-05-23 JP JP2001154346A patent/JP3552212B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002051331A (ja) | 2002-02-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3552212B2 (ja) | 描画装置 | |
| US6657667B1 (en) | Method and apparatus for capturing a multidimensional array of overlapping images for composite image generation | |
| US6377294B2 (en) | Electronic photographing device | |
| US7764309B2 (en) | Image taking apparatus, image processing method, and image processing program for connecting into a single image a plurality of images taken by a plurality of imaging units disposed such that viewpoints coincide with each other | |
| KR100947394B1 (ko) | 3ｄ 화상 파일, 촬상 장치, 화상 재생 장치, 및 화상 가공장치 | |
| US6549650B1 (en) | Processing of image obtained by multi-eye camera | |
| JP4861034B2 (ja) | 車載カメラのキャリブレーションシステム | |
| US8854432B2 (en) | Multi-lens camera and control method | |
| US8810713B2 (en) | Image pickup apparatus and image pickup device for performing auto-focusing | |
| US8702243B2 (en) | Image projection apparatus and interchangeable lens therefor | |
| US20090051792A1 (en) | Digital single-lens reflex camera | |
| JP5106142B2 (ja) | 電子カメラ | |
| TW200425736A (en) | Image processing system, projector and image processing method | |
| KR20040048850A (ko) | 화상 처리 시스템, 프로젝터, 휴대형 장치 및 화상 처리방법 | |
| JP5839785B2 (ja) | 投影システム、投影装置及び撮像装置 | |
| US8237774B2 (en) | Method and apparatus for obtaining improved panoramic images | |
| JP5739624B2 (ja) | 光学機器、撮像装置、及び制御方法 | |
| CN102870402B (zh) | 成像设备和成像方法 | |
| US20070035618A1 (en) | Image processing apparatus | |
| US20060227221A1 (en) | Image pickup device | |
| US7345774B2 (en) | Apparatus and method for adapting image sensor aspect ratio to print aspect ratio in a digital image capture appliance | |
| US20120026300A1 (en) | Imaging apparatus | |
| JPH10210405A (ja) | デジタルカメラの自動構図位置決定装置及びその方法 | |
| WO2012014355A1 (ja) | 撮像装置 | |
| JP2006295237A (ja) | 撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040219 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040224 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040405 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040423 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040423 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3552212 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090514 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100514 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110514 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110514 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120514 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120514 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130514 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130514 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |