JP6277652B2 - 車両周辺画像表示装置及びカメラの調整方法 - Google Patents

Description

本発明は、車両周辺の画像を表示する車両周辺画像表示装置及び車両周辺画像表示装置に用いられるカメラの調整方法に関するものである。

従来、車載カメラで撮影（撮像）した画像を、車両周辺を表す（即ち車両上方から車両周辺を見た状態を示す）射影画像（鳥瞰図画像）に変換する技術が知られている。
また、近年では、カメラやカメラを制御する電子制御装置を交換した場合や、使用しているうちにカメラの位置や姿勢のずれが生じた場合に、カメラのキャリブレーション（校正：調整）を行う技術が開示されている。

つまり、カメラ等の交換やカメラの位置や姿勢のずれによって、カメラで撮像した画像を射影画像に変換するための変換規則（パラメータ）が不適正なものとなったカメラを、調整対象カメラとして、当該変換規則を修正する技術が開示されている。

この変換規則を修正する技術としては、下記の方法が知られている。
具体的には、工場においては、カメラの変換規則を調整する場合に、工場内の地面の決められた位置に、規定の形状かつ大きさの校正パターンがペイントされている。そして、カメラの変換規則を調整するために、規定の場所に車両を移動させる。これによって、校正パターンと車両との位置関係が決まることにより、校正パターンと車両に設置されているカメラとの位置関係が決まるため、算術によりカメラの変換規則を調整している。

また、カーディーラのように、カメラの変換規則を調整するための専用の場所が確保できない所でカメラの変換規則を調整する場合には、下記特許文献１に記載のように、調整対象カメラの撮像範囲と隣接する（調整不要の）基準カメラの撮像範囲とで部分的に重複している範囲に、１つの校正パターンを配置し、基準カメラに定められた変換規則に従って射影変換した画像空間上の校正パターンの映像の座標と一致するように、調整対象カメラに対して定められた変換規則を調整する技術が開示されている。

特開２０１０−２４４３２６号公報

しかしながら、カーディーラなどで、カメラの変換規則をするために、校正パターンを任意の場所に置く場合には、調整対象カメラの撮像範囲と基準カメラになり得るカメラの撮像範囲とが重複し、その重複する範囲に校正パターンを置かないと、調整対象カメラに対して定められた変換規則を調整することが困難であった。

また、校正パターンを配置する位置によっては、校正パターンを撮像した画像の精度が悪く、精度良く調整ができないこともあった。
本発明は、前記課題を解決するためになされたものであり、その目的は、例えば校正パターンを、調整対象カメラの撮像範囲と基準カメラの撮像範囲とが重複していない範囲に置いた場合であっても、調整対象カメラの変換規則を容易に調整可能な車両周辺画像表示装置及びカメラの調整方法を提供することを目的とする。

（１）本発明は、一態様として、自動車に搭載される車載周辺画像表示装置であって、自動車に搭載されて該自動車の周囲を撮像する複数のカメラと、前記複数のカメラが撮像した各画像に対して、当該画像を撮像したカメラ毎に定めた変換規則に従った射影変換を施して、単一の画像空間上に合成し、前記自動車の周囲を所定の視点から観測したようすを表す車両周辺画像を生成する車両周辺画像生成手段と、前記車両周辺画像生成手段が生成した前記車両周辺画像を表示する表示装置と、前記カメラ毎に定められている前記変換規則を調整する調整手段と、を有し、前記調整手段は、複数の所定の大きさ及び形状の校正パターンが所定の位置関係にて配置された校正用部材が、前記自動車の周囲に配置され、且つ、所定の前記校正パターンが前記変換規則の調整の基準となる基準カメラの撮影領域に配置されるとともに、他の前記校正パターンが前記変換規則の調整の対象となる調整対象カメラの撮影領域に配置された状態において、前記校正用部材の所定の前記校正パターンを前記基準カメラで撮像した画像を、前記基準カメラに対して定められた前記変換規則に従って射影変換して、基準校正パターンの画像の座標を検出し、前記校正用部材の他の前記校正パターンを前記調整対象カメラで撮像した画像を、前記調整対象カメラに対して定められた前記変換規則に従って射影変換して、調整校正パターンの画像の座標を検出し、該調整校正パターンの画像の座標と前記両校正パターンの位置関係とに基づいて、前記基準校正パターンに対応する仮の基準校正パターンの画像の座標を検出し、又は、前記基準パターンの画像の座標と前記両校正パターンの位置関係とに基づいて、前記調整校正パターンに対応する仮の校正調整正パターンの画像の座標を検出し、前記仮の基準校正パターンの画像の座標と前記基準校正パターンの画像の座標とが一致するように、又は、前記仮の調整校正パターンの画像の座標と前記調整校正パターンの画像の座標とが一致するように、前記調整対象カメラに対して定められた前記変換規則を調整すること、を特徴とする。

本発明では、例えば図３に例示するように、２個以上の校正パターンが規定の位置に配置されている校正用部材を、各校正パターンが基準カメラと調整対象カメラの撮像範囲に位置するように配置する。その後、基準カメラで撮影した画像から基準校正パターン（Ｂ）の画像の座標を検出し、調整対象カメラで撮影した画像から調整校正パターン（Ａ）の画像を検出する。

そして、調整校正パターン（Ａ）の画像の座標と両校正パターン（Ａ、Ｂ）の位置関係とに基づいて、基準校正パターン（Ｂ）に対応する仮の基準校正パターン（Ｂ’）の画像の座標を検出する場合は、仮の基準校正パターン（Ｂ’）の画像の座標と基準校正パターン（Ｂ）の画像の座標とが一致するように、調整対象カメラに対して定められた前記変換規則を調整する。

又は、基準校正パターン（Ｂ）の画像の座標と両校正パターン（Ａ、Ｂ）の位置関係とに基づいて、調整校正パターン（Ａ）に対応する仮の調整校正パターン（Ａ’）の画像の座標を検出する場合は、仮の調整校正パターン（Ａ’）の画像の座標と調整校正パターン（Ａ）の画像の座標とが一致するように、調整対象カメラに対して定められた変換規則を調整する。

このように、本発明では、カメラの撮像範囲が重複しない場合でも、各撮像範囲に校正パターンを配置して、上述した処理を行うことによって、調整対象カメラの校正（キャリブレーション）を容易に行うことができる。

また、従来のように、画面上で（単一の）校正パターンが非常に小さく写る場合でも、本発明では、異なるカメラの撮像範囲に配置された異なる校正パターンを備えた校正用部材を用いることによって、各カメラで校正パターンを検出する精度が向上するので、上述した処理を行うことによって、精度良く校正ができるという効果がある。

（２）また、本発明では、他の態様として、自動車に搭載される車載周辺画像表示装置であって、自動車に搭載されて該自動車の周囲を撮像する複数のカメラと、前記複数のカメラが撮像した各画像に対して、当該画像を撮像したカメラ毎に定めた変換規則に従った射影変換を施して、単一の画像空間上に合成し、前記自動車の周囲を所定の視点から観測したようすを表す車両周辺画像を生成する車両周辺画像生成手段と、前記車両周辺画像生成手段が生成した前記車両周辺画像を表示する表示装置と、前記カメラ毎に定められている前記変換規則を調整する調整手段と、を有し、前記調整手段は、複数の所定の大きさ及び形状の校正パターンが所定の位置関係にて配置された校正用部材が、前記自動車の周囲に配置され、且つ、所定の前記校正パターンが所定のカメラの撮影領域に配置されるとともに、他の前記校正パターンが他のカメラの撮影領域に配置された状態において、所定の前記校正用部材における２つの校正パターンを別個に撮影することができる２つの調整対象カメラを１セットとし、どちらか一方の調整対象カメラを仮基準カメラ、他方のカメラを調整対象カメラとし、前記校正用部材の所定の前記校正パターンを前記仮基準カメラで撮像した画像を、前記仮基準カメラに対して定められた前記変換規則に従って射影変換して、仮基準校正パターンの画像の座標を検出し、前記校正用部材の他の前記校正パターンを前記調整対象カメラで撮像した画像を、前記調整対象カメラに対して定められた前記変換規則に従って射影変換して、調整校正パターンの画像の座標を検出し、前記調整校正パターンの画像の座標と前記両校正パターンの位置関係とに基づいて、前記仮基準校正パターンに対応した仮の仮基準校正パターンの画像の座標を検出し、又は、前記仮基準校正パターンの画像の座標と前記両校正パターンの位置関係とに基づいて、前記調整校正パターンに対応した仮の調整校正パターンの画像の座標を検出し、前記仮の仮基準校正パターンの画像の座標と前記仮基準校正パターンの画像の座標とが一致するように、又は、前記仮の調整校正パターンの画像の座標と前記調整校正パターンの画像の座標とが一致するように、前記調整対象カメラに対して定められた前記変換規則を調整し、且つ、全てのカメラについて、前記セット毎での前記変換規則の調整を行うこと、を特徴とする。

本発明では、例えば図１４に例示するように、複数の所定の大きさ及び形状の校正パターン（Ａ〜Ｈ）が所定の位置関係にて配置された校正用部材が、前記自動車の周囲に配置され、且つ、所定の前記校正パターン（Ａ〜Ｈ）が所定のカメラの撮影領域に配置されるとともに、他の前記校正パターン（Ａ〜Ｈ）が他のカメラの撮影領域に配置された状態において、校正用部材の２つの校正パターンを別個に撮影することができる２つの調整対象カメラを１セットとし、どちらか一方の調整対象カメラを仮基準カメラ、他方のカメラを調整対象カメラとし、以下の手順で、全てのカメラについて、セット毎での変換規則の調整を行う。

まず、仮基準カメラで撮像した画像から、仮基準校正パターン（Ｂ）の画像の座標を検出し、調整対象カメラで撮像した画像から、調整校正パターン（Ａ）の画像の座標を検出する。

更に、調整校正パターン（Ａ）の画像の座標と両校正パターン（Ａ、Ｂ）の位置関係とに基づいて、仮の仮基準校正パターン（Ｂ’）の画像の座標を検出する場合は、仮の仮基準校正パターン（Ｂ’）の画像の座標と仮基準校正パターン（Ｂ）の画像の座標とが一致するように、調整対象カメラに対して定められた変換規則を調整する。

又は、仮基準校正パターン（Ｂ）の画像の座標と両校正パターン（Ａ、Ｂ）の位置関係とに基づいて、仮の調整校正パターン（Ａ’）の画像の座標を検出する場合は、仮の調整校正パターン（Ａ’）の画像の座標と調整校正パターン（Ａ）の画像の座標とが一致するように、調整対象カメラに対して定められた前記変換規則を調整する。

このように、本発明では、例えば電子制御装置の交換等によって全てのカメラの調整を行う際には、カメラの撮像範囲が重複しない場合でも、各撮像範囲に校正パターンを配置して、上述した処理を行うことによって、調整対象カメラの校正（キャリブレーション）を容易に行うことができる。

また、従来のように、画面上で（単一の）校正パターンが非常に小さく写る場合でも、本発明では、異なるカメラの撮像範囲に配置された異なる校正パターンを備えた校正用部材を用いることによって、各カメラで校正パターンを検出する精度が向上するので、上述した処理を行うことによって、精度良く校正ができるという効果がある。

なお、この欄及び特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本発明の技術的範囲を限定するものではない。

実施例１の車両周辺画像表示装置の構成を示すブロック図である。 パターンＡ及びパターンＢを備えた校正シートを示す平面図である。 実施例１における校正シートの配置を（車両の上方から見た状態にて）示す説明図である。 実施例１のカメラのキャリブレーション方法を示すフローチャートである。 広角カメラによる画像を歪補正した状態を示す説明図である。 車両座標系とカメラのパラメータの例を示す説明図である。 実施例１のキャリブレーション方法のうち、Ｒｏｌｌ、Ｐｉｔｃｈ、Ｚの更新方法を示すフローチャートである。 実施例２における校正シートの配置を（車両の上方から見た状態にて）示す説明図である。 実施例２のカメラのキャリブレーション方法を示すフローチャートである。 実施例３における校正シートの配置を（車両の上方から見た状態にて）示す説明図である。 実施例４における校正シートの配置を（車両の上方から見た状態にて）示す説明図である。 実施例４においてレフトカメラによって撮影された画像を示し、（ａ）は歪補正後の画像、（ｂ）はパターンＢを拡大した画像、（ｃ）はパターンＡを拡大した画像である。 実施例５に校正シートを配置する例を（車両の上方から見た状態にて）示す説明図である。 実施例６における校正シートの配置を（車両の上方から見た状態にて）示す説明図である。 実施例６のカメラのキャリブレーション方法を示すフローチャートである。 仮の基準カメラ座標系と車両座標系との関係を（車両の上方から見た状態にて）示す説明図である。 車両座標系への変換方法を示し、（ａ）はθ１の求め方を（車両の上方から見た状態にて）示す説明図であり、（ｂ）はθ２の求め方を（車両の上方から見た状態にて）示す説明図である。 車両座標系への変換方法を示し、（ａ）仮の基準カメラ座標系の原点を中心として座標を回転させる方法を（車両の上方から見た状態にて）示す説明図であり、（ｂ）はＯＦＦＳＥＴ＿Ｘ、ＯＦＦＳＥＴ＿Ｙの求め方を（車両の上方から見た状態にて）示す説明図である。 （ａ）はパターンＡを用いてパターンＢを推定する手法を示す説明図、（ｂ）は実施例７のパターンＡ、Ｃを用いてパターンＢを推定する方法を示す説明図である。

次に、本発明の車両周辺画像表示装置の実施例を、図面と共に説明する。

本実施例の車両周辺画像表示装置は、自動車に搭載されたカメラ（車載カメラ）で撮像した画像の射影変換の変換規則を調整することで、カメラのキャリブレーション（校正：調整）を行うものである。

ａ）まず、本実施例の車両周辺画像表示装置の基本構成について、図１に基づいて説明する。
図１に示すように、本実施例の車両周辺画像表示装置１は、車両（自動車）に搭載されて自車両の周囲を撮影した画像を表示する装置であり、周知のマイクロコンピュータ等を有する電子制御装置（ＥＣＵ）３と、車両前部に配置されたフロントカメラ５と、車両左側に配置されたレフトカメラ７と、車両右側に配置されたライトカメラ９と、車両後部に配置されたリアカメラ１１と、画像の表示等を行う表示装置１３を備えている。

これら４台のカメラ５〜１１としては、何れも広角カメラが用いられている。これは、４台のカメラ５〜１１にて撮像した画像を、射影画像（自車両の上方から自車両を見たような鳥瞰図画像）に変換して、単一画面空間上に合成し、車両周辺の全周がカバーできる画像にするためである。

このうち、フロントカメラ５は、車両の前方が撮像できるように、車両前部の車幅方向の中心の位置に埋設されている。
レフトカメラ７は、車両の左側方が撮像できるように、車両左側の車両の長手方向の中心又は中心より前方の位置に埋設されている。

ライトカメラ９は、車両の右側方が撮像できるように、車両右側の車両の長手方向の中心又は中心より前方の位置に埋設されている。
リアカメラ１１は、車両の後方が撮像できるように車両後部の車幅方向の中心の位置に埋設されている。

また、前記ＥＣＵ３は、電源１５と、画像入力信号処理部１７と、入力信号処理部１９と、画像処理部２１と、メモリ２３と、画像出力信号処理部２５を備えている。
このうち、電源１５は、ＥＣＵ３に電源を供給するものである。

画像入力信号処理部１７は、カメラ５〜１１からのアナログの撮像データを分離して映像信号を取り出し、画像処理部２１へ出力する。
入力信号処理部１９は、入力されたシフト情報、車速情報、舵角情報、及びダイアグツール２７からの信号を処理し、前進又はバックかのシフト情報、低速又は高速かの車速情報、ステアリングの操舵角の右旋回もしくは左旋回か又は旋回角度の情報、及びダイアグツールからの指示を画像処理部２１へ出力する。

画像処理部２１は、映像信号をアナログ信号からデジタル信号に変換する。また、必要な情報はメモリ２３を介して実行し、後に詳述するように、校正用部材である校正シート３１（図２参照）に関する画像処理から必要なデータを求め、そのデータ（デジタル信号）を画像出力信号処理部２５に出力する。

なお、校正シート３１の画像処理については、後に詳述するが、校正シート３１の一方の端部の校正パターンＡ（以下単にパターンと記す）を検出し、このパターンＡのデータから（パターンＡと所定の定められた位置関係のある）パターンＢを検出する処理である。

また、前記画像処理部２１は、入力信号処理部１９からの情報より、例えば、低速の場合にはトップビュー映像に変換する。
メモリ２３は、画像処理部２１からの映像信号や、パターンＡやパターンＢ等の特徴点である頂点ＣＴ（図２参照）の座標情報等を保存する。

画像出力信号処理部２５は、画像処理部２１から入力された映像信号のデジタル信号をアナログ信号に変換して、表示装置１３に出力する。
表示装置１３は、画像出力信号処理部２５より入力された映像信号（従って画像）を表示する例えば液晶ディスプレイ等の表示装置である。

なお、上述した入力信号処理部１９や画像処理部２１は、例えばマイクロコンピュータの処理によって実現される。
ｂ）次に、本実施例１のカメラのキャリブレーションに用いる校正シート３１について説明する。

＜校正シート３１の構成＞
まず、校正シート３１の構成について説明する。
図２に示すように、校正シート３１は、例えば縦４７００ｍｍ×横９００ｍｍ×厚み５ｍｍの巻くことができるシートであり、その長手方向の両端には、外径９００ｍｍの正方形の（同形状の）パターンＡとパターンＢとが形成されている。

この校正シート３１の材料としては、温度や湿度の変化で伸縮しにくい材質が好ましい（例えば校正に与えない程度の伸縮しにくい材質が好ましい）。具体的には布で、特に伸縮しにくい化学繊維が望ましい。

前記パターンＡ、Ｂは、校正シート３１の布等の表面により、印刷等により着色されたものである。このパターンＡ、Ｂは、例えば黒色の正方形（ベースマーク）の中央に、一辺が５００ｍｍの例えば白色の正方形のキャリブレマーク３３、３５が設けられたものである。つまり、正方形の白色のキャリブレマーク３３、３５の周囲を囲むように、黒色の正方形の枠部３４、３６が形成されたものである。

この黒色と白色のコントラストは、キャリブレマーク３３、３５の４つの頂点ＣＴ（エッジ）を、パターンＡ、Ｂの画像データの輝度差から（周知の画像処理によって）検出可能とするためのものである。ここでは、コントラストを考慮し、パターンＡ、Ｂの間の中間部分３７は例えば赤色とする。なお、枠部３４、３６は黒色、中間部分３７は赤色と述べたが、どちらかに統一して、両者を黒色または赤色としてもよい。

また、校正シート３１の軸方向の端部、即ちパターンＡ、Ｂの軸方向の外周側の辺（短辺）に沿って、長さ９５０ｍｍの棒状の錘（端部ウェイト）３９、４１が取り付けられている。

この端部ウェイト３９、４１は、校正シート３１を配置した場合にずれにくくする錘である。このため、端部ウェイト３９、４１は、風などの影響を受けにくい樹脂（例えばＡＢＳ）や金属（例えば鉄）等の重さのあるものが望ましい。

なお、校正シート３１としては、パターンＡ、Ｂが所定の寸法で規定されているものであれば、シート状でなくても路面上にペイントされたものであっても良い。
また、パターンＡ、Ｂとしては、キャリブレマーク３３、３５の頂点ＣＴが求められればよいので、正方形に限定するものではなく、長方形や三角形などの多角形を採用できる。

＜校正シート３１の配置＞
次に、校正シート３１の配置について説明する。
ここでは、図３に示すように、フロントカメラ５の車両前方の撮像範囲ＳＦ（同図破線で示す横長の四角形の範囲）と、レフトカメラ７の車両左側方の撮像範囲ＳＬ（同図破線で示す縦長の四角形の範囲）とが一部（同図左上方で）重なる場合に、撮像範囲ＳＦと撮像範囲ＳＬとにわたるように校正シート３１を配置した場合について説明する。なお、両撮像範囲ＳＦ、ＳＬの重なる範囲を重複範囲ＳＦＬと称する。

詳しくは、校正シート３１の一端に設けられたパターンＡが、（重複範囲ＳＦＬ以外の）撮像範囲ＳＦに配置され、校正シート３１の他端に設けられたパターンＢが、（重複範囲ＳＦＬ以外の）撮像範囲ＳＬに配置されている。

ｃ）次に、本実施例１のキャリブレーション方法について説明する。
なお、どのカメラを基準カメラ（即ちキャリブレーションが不要な正しい位置や向きのカメラ）とするかや、どのカメラを調整対象のカメラ（即ち位置や向きのずれ或いは交換等によってキャリブレーションが必要なカメラ）とするかは、例えばダイアグツール２７からの信号によって設定される。この調整の内容とは、カメラの射影変換の変換規則（パラメータ）を調整するものである。

ここでは、レフトカメラ７を基準カメラとし、フロントカメラ５を調整対象カメラとした場合を例に挙げて説明する。
キャリブレーションの実施は、例えばダイアグツール２７からの信号によって開始される。つまり、ダイアグツール２７からの信号を受けて、ＥＣＵ３では、以下に示すように、変換規則を調整するキャリブレーション処理プログラムが実行される。

図４に示すように、ダイアグツール２７からの信号によって、キャリブレーション処理プログラムが開始されると、まず、ステップ（Ｓ）１００にて、基準カメラと調整対象カメラとの情報が取得される。

続くステップ１１０では、調整対象カメラであるフロントカメラ５による撮影（撮像）が実施される。これによって、校正パターンであるパターンＡを含むフロントカメラ５の撮像範囲ＳＦの画像データが得られる。なお、この撮像データは、画像入力信号処理部１７に入力される。

続くステップ１２０では、フロントカメラ５で撮影された撮像領域ＳＦの画像の画像処理を行って、下記に示すようにして、パターンＡ（詳しくは実際のパターンＡに対応する画像としてのパターンＡ）を検出する。

なお、この画像処理によって得られた画像が調整校正パターンＧＡであるが、以下では、画像データとしての各パターンＧＡ、ＧＢを実際のパターンＡ、Ｂを用いて表す（その他のパターンも同様である）。

つまり、画像入力信号処理部１７にて、入力されたアナログ信号を分離して映像信号（輝度の情報を含む信号）を取り出し、次に、画像処理部２１にて、映像信号をアナログ信号からデジタル信号に変換後、パターンＡを検出する。

具体的には、まず、デジタル化された映像信号を用いて、撮影された画像に対して周知の歪み補正を行う。
つまり、撮影された画像は広角レンズで撮影されたものであるので、画像に歪みがあり（図５（ａ）参照）、例えば直線であっても曲がったように表示されるので、この歪みを補正する（従って直線はまっすぐな直線に補正される：図５（ｂ）参照）。なお、この歪補正については周知であるので説明は省略する。

歪補正後に、映像信号の輝度を比較し、輝度差から（直線の交差部分から）パターンＡの頂点ＣＴに対応するエッジを検出する。つまり、検出されたエッジの中で、パターンＡの黒い枠状の領域に囲まれた内側の白い図形（キャリブレマーク３５）のエッジ（角）に対応するエッジを見つけ、それをパターンＡに対応する４つの頂点ＣＴとして検出する。この後、４つの頂点ＣＴ（座標）の検出結果がメモリ２３に記憶される。

なお、この段階では、画像は単に歪補正がなされただけであるので、通常は、パターンＡの形状は正方形ではなく、例えば台形等のような四角形である。
続くステップ１３０では、画像処理部２１では、メモリ２３に記憶されたパターンＡの画像データに基づいて、フロントカメラ５の変換規則であるパラメータを探索（算出）し、補正する。

具体的には、パターンＡの形状と大きさが正方形かつ１辺が５００ｍｍとなるように、フロントカメラ５のパラメータＸ、Ｙ、Ｚ、Ｒｏｌｌ（ロール）、Ｐｉｔｃｈ（ピッチ）、Ｙａｗ（ヨー）のうち、Ｒｏｌｌ、Ｐｉｔｃｈ、Ｚを探索（算出）し、補正する。

ここで、ＲｏｌｌとＰｉｔｃｈを決めることによって図形の形状が定まり、Ｚを決めることによって図形の大きさが定まる。
なお、図６に車両座標系（即ち車両の前端中央真下の地面の点を基準（原点）とした座標系）を示すが、ＸはＸ軸方向（車両の前後方向：前方が＋）における距離、ＹはＹ軸方向（車両の左右方向：左側が＋）における距離、ＺはＺ軸方向（垂直方向：上方が＋）における距離を示している。例えば、車両座標系におけるレフトカメラ７の各パラメータは、図６に示す通りである。

ここで、図７に基づいて、Ｒｏｌｌ、Ｐｉｔｃｈ、Ｚの算出方法を説明する。
まず、図７のステップ２００にて、Ｒｏｌｌ、Ｐｉｔｃｈ、Ｚの更新処理を行う。
例えば各パラメータの範囲を微小範囲（微小値）に分け、各パラメータを順次微小値ずつ更新する。

例えばＲｏｌｌの取りうる範囲が、基準値を中心にして−３°〜＋３°の範囲だとすると、０．１°きざみにＲｏｌｌの値を順次変更する。なお、ＰｉｔｃｈやＺについても同様である。

続くステップ２１０では、それらのパラメータ（即ち順次変更したＲｏｌｌ、Ｐｉｔｃｈ、Ｚ、及び変更しないＸ、Ｙ、Ｙａｗ）を用いて、画像データから射影画像（鳥瞰図画像：トップビュー）を求める。なお、各パラメータを用いて射影画像を求める方法については周知であるので説明は省略する。

続くステップ２２０では、射影画像におけるパターンＡ（詳しくはキャリブレマーク３５）の正方形らしさを判定する。つまり、パターンＡの内側のキャリブレマーク３５の４つの頂点ＣＴの座標から、最も正方形らしい図形（１辺が５００ｍｍの正方形の画像に最も近い画像）を求める。

例えば正しい正方形の頂点の座標と前記射影画像における四角形の頂点の座標を求め、対応する頂点間の距離の合計値が最小となる図形を最も正方形に近い図形とする。なお、この方法については、例えば特許第４５５５８７６号公報（図７参照）に記載のように周知の方法である。

そして、上述のようにパラメータの値を更新しながら、前記ステップ２００〜２２０の処理を繰り返して、最も正方形に近い図形を求め、この図形を求める際に使用したパラメータを、フロントカメラ５の正しいＲｏｌｌ、Ｐｉｔｃｈ、Ｚのパラメータの値として決定し、メモリ２３に記憶する。

また、上述したようにして求めたパターンＡの最も正方形に近い図形におけるキャリブレマーク３５の頂点ＣＴの座標を、メモリ２３に記憶する。
次に、前記図４に戻り、ステップ１３０では、メモリ２３に記憶しているパターンＡのキャリブレマーク３５の最も正方形に近い図形の頂点ＣＴの座標から、仮のパターンＢ’のキャリブレマーク３３の頂点ＣＴの座標を求める。

つまり、校正シート３１の各寸法は分かっているので、前記パターンＡの頂点ＣＴの座標と校正シート３１の各寸法とから、仮のパターンＢ’の頂点ＣＴの座標を求めることができる。

以降、便宜的に算出された仮のパターンは、パターンの英字に「’」を付すこととする。
続くステップ１５０では、変換規則の調整不要な基準カメラであるレフトカメラ７にてパターンＢを撮像する。

続くステップ１６０にて、パターンＢの撮像データは画像入力信号処理部１７に入力され、次に、画像処理部２１にて、前記パターンＡの検出と同様にしてパターンＢを検出する。なお、この画像処理によって得られた画像が、上述した様に、実際のパターンＢに対応する基準校正パターンＧＢである。

具体的には、パターンＢは正方形のため、正方形のパターンＢのキャリブレマーク３３の４つの頂点ＣＴを検出する。
なお、この基準カメラによって得られた画像データが（正しい変換規則によって）変換されて得られた射影画像の座標データは、車両座標系における座標データである。

続くステップ１７０では、仮のパターンＢ’とパターンＢとの画像データを用い、仮のパターンＢ’をパターンＢに近づけ、即ち、仮のパターンＢ’とパターンＢとの各キャリブレマークの各頂点ＣＴを対応させ、仮のパターンＢ’とパターンＢの対応する各頂点ＣＴが近づくようにして、位置誤差が最小となるようフロントカメラ５のパラメータを探索（算出）し、補正する。

つまり、仮のパターンＢ’の向きと位置を調整することにより、位置誤差（即ち対応する各頂点ＣＴ間の距離の合計）が最小となるように、パラメータＸ、Ｙ、Ｚ、Ｒｏｌｌ、Ｐｉｔｃｈ、Ｙａｗのうち、Ｙａｗ、Ｘ、Ｙを探索（算出）し、補正する。

また、Ｙａｗ、Ｘ、Ｙを算出方法は、前記図７に示したＺ、Ｒｏｌｌ、Ｐｉｔｃｈの算出方法と同様である。
ここでは、Ｙａｗ、Ｘ、Ｙを決定することにより、図形の平面における位置と回転角度とを設定することができる。

なお、対応する２つの図形間の位置誤差を最小にする方法については、周知であるので説明しないが、例えば特許第４５５５８７６号公報等に詳細な説明がある。
続くステップ１８０では、フロントカメラ５の探索（算出）後の各パラメータＸ、Ｙ、Ｚ、Ｒｏｌｌ、Ｐｉｔｃｈ、Ｙａｗを、メモリ２３に記憶し、一旦本処理を終了する。

従って、フロントカメラ５の調整後のパラメータを用いて正しく調整されたことを確認することができる。
具体的には、まず、フロントカメラ５、レフトカメラ７、ライトカメラ９、リアカメラ１１で撮像した映像が、画像入力信号処理部１７に入力される。次に、画像処理部２１にて、４つのカメラにて撮像した画像を射影画像に変換し、単一画面空間（車両座標系の空間）上に合成する。次に、この射影画像データが画像出力信号処理部２５にてアナログ信号に戻してから出力され、表示装置１３に表示されることにより、画像を確認することができる。

なお、ＥＣＵ３内の処理では、必要な情報はメモリ２３に蓄積され、メモリ２３を介して画像処理部２１にて順次実行される。
なお、入力信号処理部１９に入力されるシフト、車速、舵角により、空間をどのような視点から眺める画面にするかを決定することができる。例えば、低速時にはトップビュー画面（即ち車両の上方より車両の周囲を見たような鳥瞰図画像）に切替えるといった具合である。

ｄ）次に、本実施例の効果について説明する。
このように、本実施例１では、２個のパターンＡ及びパターンＢを備えた校正シート３１を用い、調整対象カメラであるフロントカメラ５の撮像範囲ＳＦにパターンＡを配置し、基準カメラであるレフトカメラ７の撮像範囲ＳＬにパターンＢを配置する。このとき、両パターンＡ、Ｂは、両カメラ５、７の重複範囲ＳＦＬに配置しないようにする。

そして、この状態で上述したキャリブレーションを行うことによって、調整対象カメラであるフロントカメラ５の調整を行うことができる。
例えば、図３の位置関係で校正パターンであるパターンＡやパターンＢがあり、基準カメラがレフトカメラ７で、調整対象カメラがフロントカメラ５であった時に、パターンＢを基準カメラのレフトカメラ７で撮像できるが、調整対象カメラのフロントカメラ５で撮像することができない。

しかし、フロントカメラ５ではパターンＡを撮像でき、しかも、パターンＡとパターンＢとの位置関係は既知であるため、パターンＡから（パターンＢの予測位置である）仮のパターンＢ’を算出することができる。従って、仮のパターンＢ’の座標とパターンＢの座標とが一致するようにすることにより、フロントカメラ５のパラメータを設定（即ち変換規則を変更）することができる。

このように、本実施例１では、カメラ５、７の撮像範囲が重複しない場合でも、各撮像範囲ＳＦ、ＳＬにパターンＡ、Ｂを配置して、上述した処理を行うことによって、調整対象カメラであるフロントカメラ５のキャリブレーション（校正）を容易に行うことができる。

また、従来のように、画面上で（単一の）パターンＡ（又はＢ）が非常に小さく写る場合でも、本実施例１では、異なるカメラ５、７の撮像範囲ＳＦ、ＳＬに配置された異なるパターンＡ、Ｂを備えた校正シート３１を用いることによって、各カメラ５、７でパターンＡ、Ｂを検出する精度が向上するので、上述した処理を行うことによって、精度良く校正ができるという効果がある。

また、本実施例１では、校正シート３１は、長尺（長方形）の部材であり、その長手方向の両端部にパターンＡ、Ｂが形成されているので、各カメラの撮像範囲が離れている場合でも、容易に各パターンＡ、Ｂを各撮像範囲に配置することができる。

更に、本実施例では、校正シート３１は、湿度や温度が変化しても伸縮性があまり変化しない材料である布（繊維）から構成されているので、環境が変化しても、常に精度良く校正を行うことができる。

また、校正シート３１は、巻物状に巻けるものであるので、保管に場所をとらず、使い勝手が良いという利点がある。
更に、校正シート３１の長手方向の両端（パターンＡ、Ｂより外側）に棒状の錘である端部ウェイト３９、４１が付けられているので、校正シート３１を安定して配置することができる。

なお、錘の材料としては、樹脂（例えばＡＢＳ）や金属（例えば鉄）を用いることができる。

次に、実施例２について説明するが、前記実施例１と同様な内容の説明は省略又は簡略化する。なお、各構成の番号は実施例１と同じものを使用する（以下他の実施例も同様）。

前記実施例１では、パターンＡからパターンＢの座標を算出したが、本実施例２では、図８に示すように、パターンＢからパターンＡの座標を算出するものである。
なお、基準カメラ（レフトカメラ７）、調整対象カメラ（フロントカメラ５）、校正シート３１の形状及びその配置は、前記実施例１と同様である。

図９に示すように、本実施例２では、ステップ３００にて、ダイアグツール２７からの信号に基づいて、基準カメラと調整対象カメラとの情報が取得される。
続くステップ３１０では、調整対象カメラであるフロントカメラ５による撮影が実施される。

続くステップ３２０では、前記実施例１のステップ１２０と同様にして、パターンＡを検出する。
続くステップ３３０では、前記実施例１のステップ１３０と同様にして、パターンＡに基づくフロントカメラ５のパラメータを探索（算出）し、補正する。具体的には、パターンＡ（詳しくはそのキャリブレマーク３５）の形状と大きさが正方形かつ１辺が５００ｍｍとなるような、パラメータＸ、Ｙ、Ｚ、Ｒｏｌｌ、Ｐｉｔｃｈ、Ｙａｗのうち、Ｒｏｌｌ、Ｐｉｔｃｈ、Ｚを探索（算出）し、補正する。

続くステップ３４０では、（変換規則の調整不要な）基準カメラであるレフトカメラ７にて、パターンＢを撮影する。
続くステップ３５０では、撮影された画像から、パターンＢを検出する。具体的には、パターンＢは正方形のため、そのキャリブレマーク３３の正方形の４つの頂点ＣＴを検出する。

続くステップ３６０では、校正シート３１の寸法は分かっているので、パターンＢ（詳しくはそのキャリブレマーク３３）の４つの頂点ＣＴの座標から、パターンＡ（詳しくはそのキャリブレマーク３５）の４つの頂点ＣＴの座標に対応する仮のパターンＡ’（詳しくはそのキャリブレマーク）の座標を算出する。

続くステップ３７０では、仮のパターンＡ’をパターンＡに近づけ（詳しくは各キャリブレマークを近づけ）、位置誤差が最小となるようフロントカメラ５のパラメータを探索（算出）し、補正する。具体的には、仮のパターンＡ’の向きと位置を調整することにより、パターンＡに近づけ、位置誤差が最小となるように、パラメータＸ、Ｙ、Ｚ、Ｒｏｌｌ、Ｐｉｔｃｈ、Ｙａｗのうち、Ｙａｗ、Ｘ、Ｙを探索（算出）し、補正する。

続くステップ３８０では、最後に、フロントカメラ５の探索（算出）後のパラメータＸ、Ｙ、Ｚ、Ｒｏｌｌ、Ｐｉｔｃｈ、Ｙａｗを、メモリ２３に記憶し、一旦本処理を終了する。

本実施例２においても、前記実施例１と同様な効果を奏する。

次に、実施例３について説明するが、前記実施例１と同様な内容の説明は省略又は簡略化する。
本実施例３では、図１０に示すように、変換規則の調整対象カメラの撮像範囲と調整不要な基準カメラの撮像範囲とが隣接せず離れており、この重複しない各撮像範囲をつなぐように校正シート３１を配置する場合について説明する。なお、ここでは、調整対象カメラがフロントカメラ５であり、基準カメラがリアカメラ１１である。

以下、本実施例３のキャリブレーション方法について、順番に説明する。
まず、図１０に示すように、地上に校正シート３１を配置する。具体的には、校正シート３１のパターンＡをフロントカメラ５の撮像範囲ＳＦに配置するとともに、パターンＢをリアカメラ１１の撮像範囲ＳＢに配置する。

次に、実施例１と同様にして、フロントカメラ５にて校正シート３１のパターンＡを撮像する。
次に、実施例１と同様にして、撮影された画像からパターンＡを検出する。すなわち、パターンＡのキャリブレマーク３５の頂点ＣＴを検出する。

次に、実施例１と同様に、パターンＡに基づくフロントカメラ５のパラメータを探索（算出）し、補正する。具体的には、パターンＡ（詳しくはそのキャリブレマーク３５）の形状と大きさが正方形かつ１辺が５００ｍｍとなるように、パラメータＸ、Ｙ、Ｚ、Ｒｏｌｌ、Ｐｉｔｃｈ、Ｙａｗのうち、Ｒｏｌｌ、Ｐｉｔｃｈ、Ｚを探索（算出）し、補正する。

次に、実施例１と同様に、校正シート３１の各寸法を用い、パターンＡ（詳しくはそのキャリブレマーク３５）の４つの頂点ＣＴの座標から、パターンＢ（詳しくはそのキャリブレマーク３３）に対応した仮のパターンＢ’（詳しくはそのキャリブレマーク）を算出する。

次に、実施例１と同様に、基準カメラであるリアカメラ１１にてパターンＢを撮像する。
次に、実施例１と同様に、撮影した画像からパターンＢを検出する。つまり、パターンＢ（及びキャリブレマーク３３）は、正方形のため、キャリブレマーク３５の正方形の４つの頂点ＣＴを検出する。

次に、実施例１と同様に、仮のパターンＢ’をパターンＢに近づけ（詳しくは各キャリブレマークを近づけ）、位置誤差が最小となるようフロントカメラ５のパラメータを探索（算出）し、補正する。

具体的には、パターンＢ’（詳しくはそのキャリブレマーク）の向きと位置を調整することにより、パターンＢ（詳しくはそのキャリブレマーク）に近づけ、位置誤差が最小となるように、パラメータＸ、Ｙ、Ｚ、Ｒｏｌｌ、Ｐｉｔｃｈ、Ｙａｗのうち、Ｙａｗ、Ｘ、Ｙを探索（算出）し、補正する。

次に、フロントカメラ５の探索（算出）後のパラメータＸ、Ｙ、Ｚ、Ｒｏｌｌ、Ｐｉｔｃｈ、Ｙａｗを記憶する。
従って、本実施例３においても、前記実施例１と同様な効果を奏する。

特に本実施例３では、サイドカメラ７、９が無い場合でも、フロントカメラ５やリアカメラ１１の調整を行うことができるという利点がある。つまり、撮像範囲が重複せず分離している場合でも、容易に調整を行うことができる。

次に、実施例４について説明するが、前記実施例１と同様な内容の説明は省略又は簡略化する。
本実施例４では、図１１に示すように、変換規則の調整対象カメラの撮像範囲と調整不要な基準カメラの撮像範囲とが一部重なっている。なお、ここでは、調整対象カメラがレフトカメラ７であり、基準カメラがリアカメラ１１である。

特に、図１１に示すような位置のレフトカメラ７では、画像上でパターンＢは、図１２（ａ）に歪補正後の画像を示すように、非常に小さく写り、また、図１２（ｂ）に示すように、歪補正してもピンボケするため、精度良く頂点ＣＴを検出できないが、本実施例４では、以下に述べる方法によって、精度良く頂点ＣＴを検出する。

なお、後述するように、本実施例４では、図１２（ｃ）に示すように、パターンＡは十分な大きさがあり、くっきりした画像が写り、かつ校正シート３１の寸法が既知のため、パターンＡの位置からパターンＢの位置を算出できる。

以下、本実施例４のキャリブレーション方法について、順番に説明する。
まず、前記図１１に示すように、地上に校正シート３１を配置する。具体的には、校正シート３１のパターンＡをレフトカメラ７の撮像範囲ＳＬに配置するとともに、パターンＢをリアカメラ１１の撮像範囲ＳＢに配置する。但し、パターンＡはレフトカメラ７の撮像範囲ＳＬとリアカメラ１１の撮像範囲ＳＢとの重複範囲ＳＬＢに入らないようにし、一方、パターンＢは重複範囲ＳＬＢに入るようにする。

次に、（カメラは異なるが）実施例１と同様にして、レフトカメラ７にて校正シート３１のパターンＡを撮像する。
次に、実施例１と同様にして、撮影された画像からパターンＡを検出する。すなわち、パターンＡのキャリブレマーク３５の頂点ＣＴを検出する。

次に、実施例１と同様に、レフトカメラ７のパラメータを探索（算出）し、補正する。具体的には、パターンＡ（詳しくはそのキャリブレマーク３５）の形状と大きさが正方形かつ１辺が５００ｍｍとなるように、パラメータＸ、Ｙ、Ｚ、Ｒｏｌｌ、Ｐｉｔｃｈ、Ｙａｗのうち、Ｒｏｌｌ、Ｐｉｔｃｈ、Ｚを探索（算出）し、補正する。

次に、実施例１と同様に、校正シート３１の各寸法を用い、パターンＡ（詳しくはそのキャリブレマーク３５）の４つの頂点ＣＴの座標から、パターンＢ（詳しくはそのキャリブレマーク３３）に対応したパターンＢ’（詳しくはそのキャリブレマーク）を算出する。

次に、実施例１と同様に、基準カメラであるリアカメラ１１にてパターンＢを撮像する。
次に、実施例１と同様に、撮影した画像からパターンＢを検出する。つまり、パターンＢ（及びキャリブレマーク３３）は、正方形のため、キャリブレマーク３５の正方形の４つの頂点ＣＴを検出する。

次に、実施例１と同様に、パターンＢ’をパターンＢに近づけ（詳しくは各キャリブレマークを近づけ）、位置誤差が最小となるようレフトカメラ７のパラメータを探索（算出）し、補正する。

具体的には、パターンＢ’（詳しくはそのキャリブレマーク）の向きと位置を調整することにより、パターンＢ（詳しくはそのキャリブレマーク３３）に近づけ、位置誤差が最小となるように、パラメータＸ、Ｙ、Ｚ、Ｒｏｌｌ、Ｐｉｔｃｈ、Ｙａｗのうち、Ｙａｗ、Ｘ、Ｙを探索（算出）し、補正する。

次に、レフトカメラ７の探索（算出）後のパラメータＸ、Ｙ、Ｚ、Ｒｏｌｌ、Ｐｉｔｃｈ、Ｙａｗを記憶する。
従って、本実施例４においても、前記実施例１と同様に、調整対象カメラであるレフトカメラ７のキャリブレーションを好適に行うことができる。

特に、本実施例４では、レフトカメラ７で撮影されたパターンＢの精度が悪い場合でも、パターンＡは十分の大きさがあり、くっきりした画像が写り、かつ校正シート３１の寸法が既知のため、パターンＡの位置からパターンＢの位置を容易に算出できるという利点がある。

なお、本実施例４では、パターンＢをレフトカメラ７とリアカメラ１１の重複範囲ＳＬＢに配置したが、パターンＢをリアカメラ１１の重複しない撮像範囲ＳＢに配置して、前記実施例１と同様にキャリブレーションを行ってもよい。

次に、実施例５について説明するが、前記実施例１と同様な内容の説明は省略又は簡略化する。
本実施例は、図１３に示すように、例えば１枚の校正シート３１の位置を変更する等によって、１〜３台のカメラのキャリブレーションを行う方法を、まとめて説明するものである。

ａ）まず、調整対象カメラがフロントカメラ５であった場合の校正シート３１の配置例について説明する。なお、他のカメラは基準カメラである。
図１３のフロント欄の左図に示すように、フロントカメラ５およびレフトカメラ７の撮像範囲の重複しない所で、フロントカメラ５の撮像範囲にパターンＡを配置するとともに、レフトカメラ７の撮像範囲にパターンＢを配置する。

または、図１３のフロント欄の右図に示すように、フロントカメラ５およびライトカメラ９の撮像範囲の重複しない所で、フロントカメラ５の撮像範囲にパターンＡを配置するとともに、ライトカメラ９の撮像範囲にパターンＢを配置する。

そして、前記実施例１と同様にして、パターンＡとパターンＢのデータを用いて、キャリブレーションを行う。
ｂ）次に、調整対象カメラがリアカメラ１１であった場合の校正シート３１の配置例について説明する。なお、他のカメラは基準カメラである。

図１３のリア欄の左図に示すように、レフトカメラ７およびリアカメラ７の撮像範囲の重複しない所で、レフトカメラ７の撮像範囲にパターンＢを配置するとともに、リアカメラ１１の撮像範囲にパターンＡを配置する。

または、図１３のリア欄の右図に示すように、ライトカメラ９およびリアカメラ１１の撮像範囲の重複しない所で、ライトカメラ９の撮像範囲にパターンＢを配置するとともに、リアカメラ１１の撮像範囲にパターンＡを配置する。

そして、前記実施例１と同様にして、パターンＡとパターンＢのデータを用いて、キャリブレーションを行う。
ｃ）次に、調整対象カメラがレフトカメラ７であった場合の校正シート３１の配置例について説明する。なお、他のカメラは基準カメラである。

図１３のレフト欄の左図に示すように、フロントカメラ５およびレフトカメラ７の撮像範囲の重複しない所で、フロントカメラ５の撮像範囲にパターンＢを配置するとともに、レフトカメラ７の撮像範囲にパターンＡを配置する。

または、図１３のレフト欄の右図に示すように、レフトカメラ７およびリアカメラ１１の撮像範囲の重複しない所で、レフトカメラ７の撮像範囲にパターンＡを配置するとともに、リアカメラ１１の撮像範囲にパターンＢを配置する。

そして、前記実施例１と同様にして、パターンＡとパターンＢのデータを用いて、キャリブレーションを行う。
ｄ）次に、調整対象カメラがライトカメラ９であった場合の校正シート３１の配置例について説明する。なお、他のカメラは基準カメラである。

図１３のライト欄の左図に示すように、フロントカメラ５およびライトカメラ９の撮像範囲の重複しない所で、フロントカメラ５の撮像範囲にパターンＢを配置するとともに、ライトカメラ９の撮像範囲にパターンＡを配置する。

または、図１３のライト欄の右図に示すように、ライトカメラ９およびリアカメラ１１の撮像範囲の重複しない所で、ライトカメラ９の撮像範囲にパターンＡを配置するとともに、リアカメラ１１の撮像範囲にパターンＢを配置する。

そして、前記実施例１と同様にして、パターンＡとパターンＢのデータを用いて、キャリブレーションを行う。
ｅ）また、調整対象カメラが２台ある場合には、各調整対象カメラに隣り合う基準カメラを用いて、前記実施例１と同様にして、各調整対象カメラのキャリブレーションを行うことができる。

ｆ）更に、調整対象カメラが３台ある場合には、１台の基準カメラを用いて、前記実施例１と同様にして、順次各調整対象カメラのキャリブレーションを行うことができる。
例えば基準カメラがフロントカメラ５で、調整対象カメラがレフトカメラ７、ライトカメラ９、リアカメラ１１の場合には、例えば最初に、フロントカメラ５を用いてレフトカメラ７のキャリブレーションを行う。これにより、レフトカメラ７は、基準カメラとなる。

次に、基準カメラとなったレフトカメラ７を用いてリアカメラ１１のキャリブレーションを行う。
次に、基準カメラとなったリアカメラ１１を用いてライトカメラ９のキャリブレーションを行う。

このようにして、３台の調整対象カメラのキャリブレーションを行うことができる。

次に、実施例６について説明するが、前記実施例１と同様な内容の説明は省略又は簡略化する。
本実施例６では、４台全てのカメラを交換した場合或いはＥＣＵ３を交換した場合のように、全てのカメラが（射影変換の変換規則の調整が必要な）調整対象カメラであるときのキャリブレーション方法について説明する。

ａ）まず、校正シート３１の配置方法について説明する。
本実施例６では、図１４に示すように、４枚の校正シート３１（第１〜第４校正シート３１ａ〜３１ｄ）を配置する。

なお、４つの校正シート３１を配置する際には、各校正パターンＡ〜Ｈが各カメラ５〜１１の光軸から離れ過ぎてピンボケにならないようにする。
最初に（１ｓｔｉｍｅ）、フロントカメラ５及びレフトカメラ７の撮像範囲ＳＦ、ＳＬの重複しない所で、且つフロントカメラ５の撮像範囲ＳＦのみに（即ち他のカメラの撮像範囲ではない範囲）、第１校正シート３１ａのパターンＡを配置し、一方、フロントカメラ５及びレフトカメラ７の撮像範囲ＳＦ、ＳＬの重複しない所で、且つレフトカメラ７の撮像範囲ＳＬのみに、第１校正シート３１ａのパターンＢを配置する。

次に（２ｎｄｔｉｍｅ）、レフトカメラ７及びリアカメラ１１の撮像範囲ＳＬ、ＳＢの重複しない所で、且つレフトカメラ７の撮像範囲ＳＬのみに、第２校正シート３１ｂの（パターンＡと同様な）パターンＣを配置し、一方、レフトカメラ７及びリアカメラ１１の撮像範囲ＳＬ、ＳＢの重複しない所で、且つリアカメラ１１撮像範囲ＳＢのみに、第２校正シート３１ｂの（パターンＢと同様な）パターンＤを配置する。

次に（３ｒｄｔｉｍｅ）、リアカメラ１１及びライトカメラ９の撮像範囲ＳＢ、ＳＲの重複しない所で、且つリアカメラ１１の撮像範囲ＳＢのみに、第３校正シート３１ｃの（パターンＡと同様な）パターンＥを配置し、一方、リアカメラ１１及びライトカメラ９の撮像範囲ＳＢ、ＳＲの重複しない所で、且つライトカメラ９の撮像範囲ＳＲのみに、第３校正シート３１ｃの（パターンＢと同様な）パターンＦを配置する。

最後に（４ｔｈｔｉｍｅ）、ライトカメラ９及びフロントカメラ５の撮像範囲ＳＲ、ＳＦの重複しない所で、且つライトカメラ９の撮像範囲ＳＲのみに、第４校正シート３１ｄの（パターンＡと同様な）パターンＧを配置し、一方、ライトカメラ９及びフロントカメラ５の撮像範囲ＳＲ、ＳＦの重複しない所で、且つフロントカメラ５の撮像範囲ＳＦのみに、第４校正シート３１ｄの（パターンＢと同様な）パターンＨを配置する。

なお、本実施例６では、便宜的に各校正シート３１を、上述した順番で配置したが、この順番に縛られるものではない。
ｂ）次に、本実施例６のキャリブレーション方法について説明する。

なお、撮像する順番は問わないが、ここでは、フロントカメラ５、レフトカメラ７、リアカメラ１１、ライトカメラ９の順番に撮像した場合について説明する。
図１５に示すように、まず、ステップ４００にて、ダイアグツール２７からの信号により、４台全てのカメラ５〜１１のキャリブレーションを行う旨の指令を受信する。

続くステップ４１０では、フロントカメラ５にて、第１校正シート３１ａのパターンＡと第４校正シート３１ｄのパターンＨを撮像する。
続くステップ４２０では、前記実施例１と同様にして、撮影した画像からパターンＡとパターンＨを検出する。

続くステップ４３０では、前記実施例１と同様にして、パターンＡとパターンＨに基づいて、フロントカメラ５のパラメータを探索（算出）し、補正する。
具体的には、パターンＡ及びパターンＨ（詳しくはそれらのキャリブレパターン）の形状と大きさが正方形で且つその１辺が５００ｍｍとなるように、パラメータＸ、Ｙ、Ｚ、Ｒｏｌｌ、Ｐｉｔｃｈ、Ｙａｗのうち、Ｒｏｌｌ、Ｐｉｔｃｈ、Ｚを探索（算出）し、補正する。

続くステップ４４０では、第１校正シート３１ａ及び第４校正シート３１ｄの寸法は分かっているので、パターンＡ及びパターンＨ（詳しくはそれらのキャリブレパターン）の正方形の４つの頂点の座標から、パターンＢ及びパターンＧ（詳しくはそれらのキャリブレパターン）の正方形の４つの頂点に対応する座標を、それぞれ仮のパターンＢ’及び仮のパターンＧ’（詳しくはそれらのキャリブレパターン）として算出する。

続くステップ４５０では、レフトカメラ７にて、パターンＢとパターンＣとを撮像する。
続くステップ４６０では、前記ステップ４２０と同様にして、パターンＢとパターンＣとを検出する。

続くステップ４７０では、前記ステップ４３０と同様にして、パターンＢとパターンＣに基づいて、レフトカメラ７のパラメータを探索（算出）し、補正する。
具体的には、パターンＢ及びパターンＣ（詳しくはそれらのキャリブレパターン）の形状と大きさが正方形で且つ１辺が５００ｍｍとなるように、パラメータＸ、Ｙ、Ｚ、Ｒｏｌｌ、Ｐｉｔｃｈ、Ｙａｗのうち、Ｒｏｌｌ、Ｐｉｔｃｈ、Ｚを探索（算出）し、補正する。

続くステップ４８０では、第１校正シート３１ａ及び第２校正シート３１ｂの寸法は分かっているので、パターンＢ及びパターンＣ（詳しくはそれらのキャリブレパターン）の正方形の４つの頂点の座標から、パターンＡ及びパターンＤ（詳しくはそれらのキャリブレパターン）の正方形の４つの頂点に対応する座標を、それぞれ仮のパターンＡ’及び仮のパターンＤ’（詳しくはそれらのキャリブレパターン）として算出する。

続くステップ４９０では、リアカメラ１１にてパターンＤとパターンＥとを撮像する。
続くステップ５００では、前記ステップ４２０と同様にして、パターンＤとパターンＥとを検出する。

続くステップ５１０では、パターンＤとパターンＥに基づいて、リアカメラ１１のパラメータを探索（算出）し、補正する。
具体的には、パターンＤ及びパターンＥ（詳しくはそれらのキャリブレパターン）の形状と大きさが正方形で且つ１辺が５００ｍｍとなるように、パラメータＸ、Ｙ、Ｚ、Ｒｏｌｌ、Ｐｉｔｃｈ、Ｙａｗのうち、Ｒｏｌｌ、Ｐｉｔｃｈ、Ｚを探索（算出）し、補正する。

続くステップ５２０では、第２校正シート３１ｂ及び第３校正シート３１ｃの寸法は分かっているので、パターンＤ及びパターンＥ（詳しくはそれらのキャリブレパターン）の正方形の４つの頂点の座標から、パターンＣ及びパターンＦ（詳しくはそれらのキャリブレパターン）の正方形の４つの頂点に対応する座標を、それぞれパターンＣ’及びパターンＦ’（詳しくはそれらのキャリブレパターン）として算出する。

続くステップ５３０では、ライトカメラ９にてパターンＦとパターンＧとを撮像する。
続くステップ５４０では、前記ステップ４２０と同様にして、パターンＦとパターンＧとを検出する。

続くステップ５５０では、パターンＦとパターンＧに基づいて、ライトカメラ９のパラメータを探索（算出）し、補正する。
具体的には、パターンＦ及びパターンＧ（詳しくはそれらのキャリブレパターン）の形状と大きさが正方形で且つ１辺が５００ｍｍとなるように、パラメータＸ、Ｙ、Ｚ、Ｒｏｌｌ、Ｐｉｔｃｈ、Ｙａｗのうち、Ｒｏｌｌ、Ｐｉｔｃｈ、Ｚを探索（算出）し、補正する。

続くステップ５６０では、第３校正シート３１ｃ及び第４校正シート３１ｄの寸法は分かっているので、パターンＦ及びパターンＧ（詳しくはそれらのキャリブレパターン）の正方形の４つの頂点の座標から、パターンＥ及びパターンＨ（詳しくはそれらのキャリブレパターン）の正方形の４つの頂点に対応する座標を、それぞれパターンＥ’及びパターンＨ’（詳しくはそれらのキャリブレパターン）として算出する。

なお、本実施例６では、２つのパターンずつ正方形の４つの頂点の座標を算出したが、１パターンずつ求めてもよい。
続くステップ５７０では、パターンＡ’、パターンＢ’、パターンＣ’、パターンＤ’、パターンＥ’、パターンＦ’、パターンＧ’、パターンＨ’（詳しくはそれらのキャリブレパターン）を、それぞれパターンＡ、パターンＢ、パターンＣ、パターンＤ、パターンＥ、パターンＦ、パターンＧ、パターンＨ（詳しくはそれらのキャリブレパターン）に近づけ、位置誤差が最小となるよう、フロントカメラ５、レフトカメラ７、ライトカメラ９、リアカメラ１１のパラメータを探索（算出）し、補正する。

具体的には、前記実施例１と同様に、パターンＡ’、パターンＢ’、パターンＣ’、パターンＤ’、パターンＥ’、パターンＦ’、パターンＧ’、パターンＨ’（詳しくはそれらのキャリブレパターン）の向きと位置を調整することにより、それぞれパターンＡ、パターンＢ、パターンＣ、パターンＤ、パターンＥ、パターンＦ、パターンＧ、パターンＨ（詳しくはそれらのキャリブレパターン）に近づけ、位置誤差が最小となるように、各カメラ５〜１１のパラメータＸ、Ｙ、Ｚ、Ｒｏｌｌ、Ｐｉｔｃｈ、Ｙａｗのうち、Ｙａｗ、Ｘ、Ｙを探索（算出）し、補正する。

ここで、補正の順番については、例えば下記のようにすることができる。
なお、基本的には、前記実施例１（又は実施例２）のように、１つの校正シート３１を用いて隣り合うカメラの調整を行う処理を、順次繰り返す。なお、例えば実施例１のように仮調整校正パターン（例えばパターンＢ’）の座標と調整校正パターン（例えばパターンＢ）の座標を一致させるようにしてもよいし、実施例２のように、仮の仮基準校正パターン（例えばパターンＡ’）の座標と仮基準校正パターン（例えばパターンＡ）の座標を一致させるようにしてもよい。

また、以下では、各パターンについて、「詳しくはそれらのキャリブレパターン」の説明を省略することがある。
具体的には、最初にフロントカメラ５を仮基準カメラとし、パターンＢから算出したパターンＡ’をパターンＡに近づけ、位置誤差が最小となるようにすることにより、レフトカメラ７のＹａｗ、Ｘ、Ｙを探索（算出）し、補正する。

次に、レフトカメラ７を仮基準カメラとし、パターンＤから算出したパターンＣ’をパターンＣに近づけ、位置誤差が最小となるようにすることにより、リアカメラ１１のＹａｗ、Ｘ、Ｙを探索（算出）し、補正する。

次に、リアカメラ１１を仮基準カメラとし、パターンＦから算出したパターンＥ’をパターンＥに近づけ、位置誤差が最小となるようにすることにより、ライトカメラ９のＹａｗ、Ｘ、Ｙを探索（算出）し、補正する。

最後に、ライトカメラ９を仮基準カメラとし、パターンＨから算出したパターンＧ’をパターンＧに近づけ、位置誤差が最小となるようにすることにより、フロントカメラ５のＹａｗ、Ｘ、Ｙを探索（算出）し、補正する。

以上、レフトカメラ７からフロントカメラ５までの４つのすべてのカメラ５〜１１のＹａｗ、Ｘ、Ｙを探索（算出）し、補正するサイクルをぐるぐる回し、パターンＡ〜パターンＨまでの向きと位置を調整し、より位置誤差が最小となるようにすることにより、各カメラ５〜１１のＹａｗ、Ｘ、Ｙを探索（算出）し、補正する。

なお、補正の順番については、単に１実施例でありこの順番に縛られるものではない。
最後に、ステップ５８０にて、フロントカメラ５、レフトカメラ７、ライトカメラ９、リアカメラ１１の探索（算出）後のパラメータＸ、Ｙ、Ｚ、Ｒｏｌｌ、Ｐｉｔｃｈ、Ｙａｗをメモリ２３に記憶し、一旦本処理を終了する。

ｃ）次に、その後の処理（後処理）について説明する。
この後処理とは、４台のカメラ５〜１１の座標系を車両座標系に変換するための処理である。

つまり、上述したステップ４００〜５８０で示した処理は、仮の基準カメラ（例えばフロントカメラ５）を基準にしたパラメータ調整の処理であるので、この調整の処理が終了すると、仮の基準カメラを基準として４つのカメラの５〜１１の位置関係が分かる。即ち、図１６に示すような仮の基準カメラ座標系における座標等のパラメータが分かる。しかし、キャリブレーションで求めたいのは、仮の基準カメラを基準とした値ではなく、車両座標系におけるパラメータであるので、車両座標系への変換が必要になる。

従って、以下では、この後処理である車両座標系への変換の処理について、ステップ１〜３に示すように、順を追って説明する。
＜ステップ１＞
まず、図１７（ａ）に示すように、カメラ位置（例えばフロントカメラ５とリアカメラ１１の位置）の設計値（ｘ１、ｙ１）、（ｘ２、ｙ２）を使って、車両座標系における前後のカメラ５、１１のなす角θ１を求める。なお、ここで破線で示すラインは、（カメラ１１の位置を通る）車両の前後方向を示すラインである。

次に、図１７（ｂ）に（仮の基準カメラ座標系を）示すように、仮の基準カメラ座標系における前後のカメラ５、１１の位置（ｘ１’、ｙ１’）、（ｘ２’、ｙ２’）を使って、仮の基準カメラ座標系における前後のカメラ５、１１のなす角θ２を求める。なお、ここで破線で示すラインは、カメラ５の光軸のラインである。

次に、下記式（１）によって、回転角Ｒを求める。
Ｒ＝θ１−θ２ ・・・（１）
＜ステップ２＞
次に、図１８（ａ）に（仮の基準カメラ座標系を）示すように、前記式（１）によって求めた回転角Ｒを使って、仮の基準カメラ座標系の原点を基準として、（ｘ２’、ｙ２’）を回転させ、回転後の座標を（ｘ２”、ｙ２”）とする。

次に、図１８（ｂ）に（車両座標系と仮の基準カメラ座標系とを重ねて）示すように、（ｘ１、ｙ１）、（ｘ２、ｙ２）の中点をＭ、（ｘ１’、ｙ１’）、（ｘ２”、ｙ２”）の中点をＭ’とすると、Ｍ、Ｍ’のＸ方向の距離とＹ方向の距離を求め、それぞれＯＦＦＳＥＴ＿Ｘ、ＯＦＦＳＥＴ＿Ｙとする。

＜ステップ３＞
次に、ステップ１、２で求めた回転角Ｒ、ＯＦＦＳＥＴ＿Ｘ、ＯＦＦＳＥＴ＿Ｙを、それぞれ仮の基準カメラを基準とした各カメラ５〜１１のＹａｗ、Ｘ、Ｙの値に加算する。これによって、車両座標系への変換が完了する。

以上詳述したように、本実施例６では、４台のカメラ５〜１１を全て交換する場合やＥＣＵ３を交換する場合でも、全てのカメラ５〜１１のキャリブレーションを行うことができる。

次に、実施例７について説明するが、前記実施例１と同様な内容の説明は省略又は簡略化する。
本実施例７は、１枚の校正シートに３個のパターンＡ、Ｂ、Ｃ（従って各キャリブレマーク）が設けられた校正シートを用いてキャリブレーションを行うものである。

図１９（ａ）に示すように、パターンＡからパターンＢを推定する方法として、パターンＡのキャリブレマークの４つの頂点ＣＴを用いて、２つの直線Ｌ１、Ｌ２を求め、その方向に沿って既定距離だけ進むことによって、パターンＢのキャリブレマークの頂点ＣＴを求めるという方法がある（実施例１も同様な手法である）。

このとき、直線Ｌ１、Ｌ２の精度はパターンＡ（従ってそのキャリブレマークの頂点ＣＴ）の精度に依存する。
これに対して、本実施例７では、図１９（ｂ）に示すように、長手方向に沿ってパターンＡ、（パターンＡと同様な形状の）パターンＣ、パターンＢが設けられた校正シートを用いる。

なお、パターンＣは、校正シート３１の長手方向に沿ってパターンＡをパターンＢ側に平行移動した図形であり、その位置は、例えばパターンＡとパターンＢとの中間である。
つまり、パターンＡだけでなくパターンＣ（詳しくは各キャリブレマークの頂点ＣＴ）を用いることによって、直線Ｌ１、Ｌ２の精度を向上させることができる。その結果、パターンＢの推定精度を一層向上させることができる。

なお、直線Ｌ１、Ｌ２を求める方法としては、直線Ｌ１（又は直線Ｌ２に対して、それぞれ対応するパターンＡ及びパターンＣのキャリブレマークの頂点ＣＴからの距離を最小にする周知の最小二乗法などを用いることができる。

尚、本発明は前記になんら限定されるものではなく、本発明を逸脱しない範囲において種々の態様で実施しうることはいうまでもない。
（１）例えば前記各実施例において、例えば１つの構成要素が有する機能を複数の構成要素に分散させたり、複数の構成要素が有する機能を１つの構成要素に統合したりしてもよい。また、実施例の構成の少なくとも一部を、同様の機能を有する公知の構成に置き換えてもよい。更に、実施例の構成の少なくとも一部を、他の実施例の構成に対して付加、置換等してもよい。

（２）前記校正シートとしては、巻くことができる校正シート以外に、例えば板状等の巻くことができない校正用部材や、折り曲げることができる板状等の校正用部材を使用することができる。

（３）前記校正シートの色については、上述したキャリブレーションが可能であれば、特に限定はない。
（４）端部ウェイトについては、上述したキャリブレーションが可能であれば、省略してもよい。

１…車両周辺画像表示装置
３…電子制御装置（ＥＣＵ）
５…フロントカメラ
７…レフトカメラ
９…ライトカメラ
１１…リアカメラ
１３…表示装置
１７…画像入力信号処理部
１９…入力信号処理部
２１…画像処理部
２３…メモリ
２５…画像出力信号処理部
２７…ダイアグツール
３１、３１ａ、３１ｂ、３１ｃ、３１ｄ…校正シート
３９、４１…端部ウェイト

Claims (11)

1. 自動車に搭載される車載周辺画像表示装置（１）であって、
   自動車に搭載されて該自動車の周囲を撮像する複数のカメラ（５、７、９、１１）と、
   前記複数のカメラ（５、７、９、１１）が撮像した各画像に対して、当該画像を撮像したカメラ（５、７、９、１１）毎に定めた変換規則に従った射影変換を施して、単一の画像空間上に合成し、前記自動車の周囲を所定の視点から観測したようすを表す車両周辺画像を生成する車両周辺画像生成手段（２１）と、
   前記車両周辺画像生成手段（２１）が生成した前記車両周辺画像を表示する表示装置（１３）と、
   前記カメラ（５、７、９、１１）毎に定められている前記変換規則を調整する調整手段（２１）と、
   を有し、
   前記調整手段（２１）は、
   複数の所定の大きさ及び形状の校正パターン（Ａ、Ｂ）が所定の位置関係にて配置された校正用部材（３１）が、前記自動車の周囲に配置され、且つ、所定の前記校正パターン（Ｂ）が前記変換規則の調整の基準となる基準カメラ（７）の撮影領域に配置されるとともに、他の前記校正パターン（Ａ）が前記変換規則の調整の対象となる調整対象カメラ（５）の撮影領域に配置された状態において、
   前記校正用部材（３１）の所定の前記校正パターン（Ｂ）を前記基準カメラ（７）で撮像した画像を、前記基準カメラ（７）に対して定められた前記変換規則に従って射影変換して、基準校正パターン（Ｂ）の画像の座標を検出し、
   前記校正用部材（３１）の他の前記校正パターン（Ａ）を前記調整対象カメラ（５）で撮像した画像を、前記調整対象カメラ（５）に対して定められた前記変換規則に従って射影変換して、調整校正パターン（Ａ）の画像の座標を検出し、
   該調整校正パターン（Ａ）の画像の座標と前記両校正パターン（Ａ、Ｂ）の位置関係とに基づいて、前記基準校正パターン（Ｂ）に対応する仮の基準校正パターン（Ｂ’）の画像の座標を検出し、又は、前記基準校正パターン（Ｂ）の画像の座標と前記両校正パターン（Ａ、Ｂ）の位置関係とに基づいて、前記調整校正パターン（Ａ）に対応する仮の調整校正パターン（Ａ’）の画像の座標を検出し、
   前記仮の基準校正パターン（Ｂ’）の画像の座標と前記基準校正パターン（Ｂ）の画像の座標とが一致するように、又は、前記仮の調整校正パターン（Ａ’）の画像の座標と前記調整校正パターン（Ａ）の画像の座標とが一致するように、前記調整対象カメラ（５）に対して定められた前記変換規則を調整すること、
   を特徴とする車載周辺画像表示装置。
2. 自動車に搭載される車載周辺画像表示装置（１）であって、
   自動車に搭載されて該自動車の周囲を撮像する複数のカメラ（５、７、９、１１）と、
   前記複数のカメラ（５、７、９、１１）が撮像した各画像に対して、当該画像を撮像したカメラ（５、７、９、１１）毎に定めた変換規則に従った射影変換を施して、単一の画像空間上に合成し、前記自動車の周囲を所定の視点から観測したようすを表す車両周辺画像を生成する車両周辺画像生成手段（２１）と、
   前記車両周辺画像生成手段が生成した前記車両周辺画像を表示する表示装置（１３）と、
   前記カメラ（５、７、９、１１）毎に定められている前記変換規則を調整する調整手段（２１）と、
   を有し、
   前記調整手段（２１）は、
   複数の所定の大きさ及び形状の校正パターン（Ａ〜Ｈ）が所定の位置関係にて配置された校正用部材（３１）が、前記自動車の周囲に配置され、且つ、所定の前記校正パターン（Ａ〜Ｈ）が所定のカメラ（５、７、９、１１）の撮影領域に配置されるとともに、他の前記校正パターン（Ａ〜Ｈ）が他のカメラ（５、７、９、１１）の撮影領域に配置された状態において、
   所定の前記校正用部材（３１ａ）における２つの校正パターン（Ａ、Ｂ）を別個に撮影することができる２つの調整対象カメラ（５、７）を１セットとし、どちらか一方の調整対象カメラを仮基準カメラ（７）、他方のカメラを調整対象カメラ（５）とし、
   前記校正用部材（３１ａ）の所定の前記校正パターン（Ｂ）を前記仮基準カメラ（７）で撮像した画像を、前記仮基準カメラ（７）に対して定められた前記変換規則に従って射影変換して、仮基準校正パターン（Ｂ）の画像の座標を検出し、
   前記校正用部材（３１ａ）の他の前記校正パターン（Ａ）を前記調整対象カメラ（５）で撮像した画像を、前記調整対象カメラ（５）に対して定められた前記変換規則に従って射影変換して、調整校正パターン（Ａ）の画像の座標を検出し、
   前記調整校正パターン（Ａ）の画像の座標と前記両校正パターン（Ａ、Ｂ）の位置関係とに基づいて、前記仮基準校正パターン（Ｂ）に対応した仮の仮基準校正パターン（Ｂ’）の画像の座標を検出し、又は、前記仮基準校正パターン（Ｂ）の画像の座標と前記両校正パターン（Ａ、Ｂ）の位置関係とに基づいて、前記調整校正パターン（Ａ）に対応した仮の調整校正パターン（Ａ’）の画像の座標を検出し、
   前記仮の仮基準校正パターン（Ｂ’）の画像の座標と前記仮基準校正パターン（Ｂ）の画像の座標とが一致するように、又は、前記仮の調整校正パターン（Ａ’）の画像の座標と前記調整校正パターン（Ａ）の画像の座標とが一致するように、前記調整対象カメラ（５）に対して定められた前記変換規則を調整し、
   且つ、全てのカメラ（５〜１１）について、前記セット毎での前記変換規則の調整を行うこと、
   を特徴とする車載周辺画像表示装置。
3. 前記校正用部材（３１）は、シート状であることを特徴とする請求項１又は２に記載の車載周辺画像表示装置。
4. 前記校正用部材（３１）は、長尺の部材であり、その長手方向の両端部に前記校正パターン（Ａ、Ｂ）が形成されていることを特徴とする請求項１〜３のいずれか１項に記載の車載周辺画像表示装置。
5. 前記校正用部材（３１）は、平面形状が四角形状であることを特徴とする請求項１〜４のいずれか１項に記載の車載周辺画像表示装置。
6. 前記校正用部材（３１）は、温度又は湿度に対して所定以下の伸縮性を有する繊維でできていることを特徴とする請求項１〜５のいずれか１項に記載の車載周辺画像表示装置。
7. 前記校正用部材（３１）は、巻物状に巻けるものであることを特徴とする請求項１〜６のいずれか１項に記載の車載周辺画像表示装置。
8. 前記校正用部材（３１）は、長尺の部材であり、その長手方向の両端部に棒状の錘（３９、４１）が付けられていることを特徴とする請求項１〜７のいずれか１項に記載の車載周辺画像表示装置。
9. 前記錘（３９、４１）の材質は、樹脂又は金属からなることを特徴とする請求項８に記載の車載周辺画像表示装置。
10. 自動車に搭載されて該自動車の周囲を撮像する複数のカメラ（５、７、９、１１）と、
    前記複数のカメラ（５、７、９、１１）が撮像した各画像に対して、当該画像を撮像したカメラ（５、７、９、１１）毎に定めた変換規則に従った射影変換を施して、単一の画像空間上に合成し、前記自動車の周囲を所定の視点から観測したようすを表す車両周辺画像を生成する車両周辺画像生成手段（２１）と、
    前記車両周辺画像生成手段（２１）が生成した前記車両周辺画像を表示する表示装置（１３）と、
    を有する車載周辺画像表示装置（１）に対し、前記カメラ（５、７、９、１１）の前記変換規則の調整を行うカメラの調整方法であって、
    複数の所定の大きさ及び形状の校正パターン（Ａ、Ｂ）が所定の位置関係にて配置された校正用部材（３１）が、前記自動車の周囲に配置され、且つ、所定の前記校正パターン（Ｂ）が前記変換規則の調整の基準となる基準カメラ（７）の撮影領域に配置されるとともに、他の前記校正パターン（Ａ）が前記変換規則の調整の対象となる調整対象カメラ（５）の撮影領域に配置された状態において、
    前記校正用部材（３１）の所定の前記校正パターン（Ｂ）を前記基準カメラ（７）で撮像した画像を、前記基準カメラ（７）に対して定められた前記変換規則に従って射影変換して、基準校正パターン（Ｂ）の画像の座標を検出するステップと、
    前記校正用部材（３１）の他の前記校正パターン（Ａ）を前記調整対象カメラ（５）で撮像した画像を、前記調整対象カメラ（５）に対して定められた前記変換規則に従って射影変換して、調整校正パターン（Ａ）の画像の座標を検出するステップと、
    該調整校正パターン（Ａ）の画像の座標と前記両校正パターン（Ａ、Ｂ）の位置関係とに基づいて、前記基準校正パターン（Ｂ）に対応する仮の基準校正パターン（Ｂ’）の画像の座標を検出し、又は、前記基準校正パターン（Ｂ）の画像の座標と前記両校正パターン（Ａ、Ｂ）の位置関係とに基づいて、前記調整校正パターン（Ａ）に対応する仮の調整校正パターン（Ａ’）の画像の座標を検出するステップと、
    前記仮の基準校正パターン（Ｂ’）の画像の座標と前記基準校正パターン（Ｂ）の画像の座標とが一致するように、又は、前記仮の調整校正パターン（Ａ’）の画像の座標と前記調整校正パターン（Ａ）の画像の座標とが一致するように、前記調整対象カメラ（５）に対して定められた前記変換規則を調整するステップと、
    を有することを特徴とするカメラの調整方法。
11. 自動車に搭載されて該自動車の周囲を撮像する複数のカメラ（５、７、９、１１）と、
    前記複数のカメラ（５、７、９、１１）が撮像した各画像に対して、当該画像を撮像したカメラ（５、７、９、１１）毎に定めた変換規則に従った射影変換を施して、単一の画像空間上に合成し、前記自動車の周囲を所定の視点から観測したようすを表す車両周辺画像を生成する車両周辺画像生成手段（２１）と、
    前記車両周辺画像生成手段が生成した前記車両周辺画像を表示する表示装置（１３）と、
    を有する車載周辺画像表示装置（１）に対し、前記カメラ（５、７、９、１１）の前記変換規則の調整を行うカメラの調整方法であって、
    複数の所定の大きさ及び形状の校正パターン（Ａ〜Ｈ）が所定の位置関係にて配置された校正用部材（３１）が、前記自動車の周囲に配置され、且つ、所定の前記校正パターン（Ａ〜Ｈ）が所定のカメラ（５、７、９、１１）の撮影領域に配置されるとともに、他の前記校正パターン（Ａ〜Ｈ）が他のカメラ（５、７、９、１１）の撮影領域に配置された状態において、
    所定の前記校正用部材（３１ａ）における２つの校正パターン（Ａ、Ｂ）を別個に撮影することができる２つの調整対象カメラ（５、７）を１セットとし、どちらか一方の調整対象カメラを仮基準カメラ（７）、他方のカメラを調整対象カメラ（５）とし、
    前記校正用部材（３１ａ）の所定の前記校正パターン（Ｂ）を前記仮基準カメラ（７）で撮像した画像を、前記仮基準カメラ（７）に対して定められた前記変換規則に従って射影変換して、仮基準校正パターン（Ｂ）の画像の座標を検出するステップと、
    前記校正用部材（３１ａ）の他の前記校正パターン（Ａ）を前記調整対象カメラ（５）で撮像した画像を、前記調整対象カメラ（５）に対して定められた前記変換規則に従って射影変換して、調整校正パターン（Ａ）の画像の座標を検出するステップと、
    前記調整校正パターン（Ａ）の画像の座標と前記両校正パターン（Ａ、Ｂ）の位置関係とに基づいて、前記仮基準校正パターン（Ｂ）に対応した仮の仮基準校正パターン（Ｂ’）の画像の座標を検出し、又は、前記仮基準校正パターン（Ｂ）の画像の座標と前記両校正パターン（Ａ、Ｂ）の位置関係とに基づいて、前記調整校正パターン（Ａ）に対応した仮の調整校正パターン（Ａ’）の画像の座標を検出するステップと、
    前記仮の仮基準校正パターン（Ｂ’）の画像の座標と前記仮基準校正パターン（Ｂ）の画像の座標とが一致するように、又は、前記仮の調整校正パターン（Ａ’）の画像の座標と前記調整校正パターン（Ａ）の画像の座標とが一致するように、前記調整対象カメラ（５）に対して定められた前記変換規則を調整するステップと
    を有し、
    全てのカメラ（５〜１１）について、前記セット毎での前記変換規則の調整を行うことを特徴とするカメラの調整方法。