WO2012002415A1 - 画像のキャリブレーション方法および装置 - Google Patents

Abstract

画像のキャリブレーション方法、装置において、校正用指標と車両との相対的な位置関係の厳密度合いを緩和する。互いに平行で、互いの線間の距離が既知である２本の線とこれらに直交する１本の線とを含む校正用指標２０と、校正用指標２０を含む周辺領域Ｒ１～Ｒ４を撮影する４つのカメラ１０と、内部パラメータＭにより、周辺領域画像Ｓ１～Ｓ４を歪補正画像Ｐ１～Ｐ４に補正する歪補正処理部３０と、歪補正画像Ｐ１～Ｐ４を外部パラメータＮにより視点変換合成画像Ｑ０に視点変換処理する視点変換処理部４０と、視点変換処理の際のキャリブレーションを行うキャリブレーション処理部５０とを備え、キャリブレーション処理部５０は内部パラメータＭを補正する内部パラメータ補正部５１と外部パラメータＮを補正する外部パラメータ補正部５２とを備える。

Description

画像のキャリブレーション方法および装置

　本発明は、画像のキャリブレーション方法および装置に関し、詳細には、車載カメラで撮影された車両周囲の画像を単一の視点変換合成画像に変換する処理の改良に関する。

　車載カメラで撮影された車両後方の画像を車載モニタに表示することで、運転者から死角になる車両後方直近の状況を、車載モニタに表示された画像として視認し、車両後退時の視認性を向上させることが行われている。

　このような車載カメラの画像を車載モニタに表示するに際しては、車載カメラの車両への取付け状態を校正するために、車両の後方に校正用の指標を設置し、車載モニタに映った校正用指標の像を見ながら、その校正用指標の像が適正に映るように、車載カメラの取付け状態を調整することが行われる。

　また、車載カメラで得られた画像に対して、校正用指標の像に基づいた所定の演算処理を施すことで、車載モニタに映る画像を適正に校正することが行われている（特許文献１）。

　また、車両の全周囲を複数の車載カメラで撮影し、各車載カメラで得られた複数の画像をそれぞれ、車両の真上から見下ろしたような画像（俯瞰画像）に変換するとともに、各画像間での位置を調整したマッピングを行うことで、単一の視点変換合成画像を得ることも行われている（特許文献２）。

　このような場合は、隣接する２つの画像間で精度よく位置合わせを行う必要があるため、高精度のキャリブレーションが求められる。

特開２００１－２４５３２６号公報 国際公開第００／０７３７３号パンフレット

　しかし、従来のキャリブレーション方法は、校正用指標と車両との相対的な位置関係を厳密に定める必要があり、車両を設置した後に、その車両に対して精度よく校正用指標を設置するか、または校正用指標を設置した後に、その校正用指標に対して精度よく車両を設置する必要があった。

　このため、車両生産ラインでは、費用を掛けて設備を改造し、車両と校正用指標との位置合わせ精度を向上させる工夫がなされている。さらに、生産現場から一旦出荷された後に販売・サービス会社の整備部門でキャリブレーションをし直す場合（修理等の場合や車載カメラ等を後付けする場合等）は、校正用指標をその都度、精度良く設置する必要があるため、作業の手間が一層掛かるものとなっている。

　本発明は上記事情に鑑みてなされたもので、路面上に設置された校正用指標とその路面に配置される車両との相対的な位置関係の厳密度合いを緩和させることができる画像のキャリブレーション方法および装置を提供することを目的とする。

　本発明に係る画像のキャリブレーション方法および装置は、複数の車載カメラにより、校正用指標として路面上に設けられた平行で互いの距離が既知の複数の線のうち少なくとも２本の線とこれに直交する少なくとも１本の線をそれぞれ撮影し、得られた複数の画像をそれぞれデフォルトの内部パラメータを用いて歪補正し、その歪補正して得られた歪補正画像（または後述する視点変換合成画像）における校正用指標の線の像が直線になるように内部パラメータを調整する補正を行い、補正された内部パラメータを用いて得られた新たな歪補正画像を、デフォルトの外部パラメータを用いて単一の視点変換合成画像に変換し、この視点変換合成画像における校正用指標の線の像が、実物の校正用指標の線と同様に、平行になるように、直交するように、線間の間隔が一致するように、互いに異なる画像間で、校正用指標における同一の線（一直線上に配置されている）に対応した線の像が、一直線上に位置するように、外部パラメータを補正することにより、路面上に設置された校正用指標とその路面に配置される車両との相対的な位置関係の厳密度合いを緩和させるものである。

　すなわち、本発明の第１の画像のキャリブレーション方法は、車両が設置された路面上に予め設けられた校正用指標を含む、前記車両の周辺領域を、前記車両に設置された複数のカメラによりそれぞれ撮影し、前記カメラのそれぞれによって撮影された周辺領域画像に対して前記カメラの光学的特性（例えば、車載カメラの撮像素子の光軸とレンズの光軸とのずれやレンズによる像（撮像素子に結像される像）の歪み（収差等）など）に対応した内部パラメータに基づいた歪補正をそれぞれ施し、前記歪補正によって得られた複数の歪補正画像が、前記車両の上方から見下ろして得られる単一の視点変換合成画像（例えば、車両の上方位置から鉛直下方を見下ろしたときの画像である俯瞰画像）となるように、前記カメラの前記車両への取付状態（車両との相対的な位置関係（３次元の空間座標位置）および姿勢（３次元の各軸回りの光軸の角度））に対応した外部パラメータに基づいて前記複数の歪補正画像を視点変換処理し、前記視点変換処理に際しては、前記視点変換合成画像における前記校正用指標の像に基づいて前記外部パラメータを調整することにより、前記視点変換合成画像のキャリブレーションを行う画像のキャリブレーション方法において、前記校正用指標は、互いに平行で、かつ互いの線間の距離が既知である少なくとも２本の線と、前記２本の線にそれぞれ直交する少なくとも１本の線とを含むものであって、前記各車両周辺画像に、少なくとも、前記互いに平行な２本の線に対応した像と前記２本の線にそれぞれ直交する１本の線に対応した像とがそれぞれ含まれ、かつ、前記校正用指標に含まれる線のうち、１つの前記カメラの撮影範囲に位置する少なくとも１つの線と他の前記カメラの撮影範囲に位置する少なくとも１つの線とが一直線上に位置するように形成されたものであり、前記複数の歪補正画像のそれぞれについて、前記各歪補正画像に含まれる前記互いに平行な２本の線に対応した像と前記直交する１本の線に対応した像とがそれぞれ直線状に延びたものとなるように、前記内部パラメータを調整する補正を行い、その補正された後の前記内部パラメータにより得られた新たな歪補正画像を用いて、新たな視点変換合成画像を得、その得られた新たな視点変換合成画像が以下の条件（１）～（４）を満たすように、前記外部パラメータを調整する補正を行うことを特徴とする。
（１）前記互いに平行な２本の線に対応した像が互いに平行である
（２）前記互いに平行な２本の線に対応した像間の距離が、前記校正用指標の線間の既知の距離である
（３）前記直交する１本の線に対応した像が、前記平行な２本の線に対応した像と直交している
（４）前記校正用指標のうち一直線上に位置する線に対応した像が一直線上に位置する
　ここで、校正用指標は、具体的には例えば、車両の前方に設置された、車幅方向に延びた直線状の第１線と、車両の後方に設置された、車幅方向に延びた直線状の第２線と、第１線と第２線との間を略三等分するように設置された、車幅方向に延びた直線状の第３線および第４線と、車両の両側方にそれぞれ設置された、車両前後方向に延びた直線状の第５線および第６線とを少なくとも備えたものなどを適用することができる。

　ただし、本発明の第１の画像のキャリブレーション方法においては、この形態の校正用指標に限定されるものではなく、少なくとも、各車両周辺画像に、少なくとも、互いに平行な２本の線に対応した像とこれら２本の線にそれぞれ直交する１本の線に対応した像とがそれぞれ含まれるように設けられたものであればよい。

　このように構成された本発明に係る第１の画像のキャリブレーション方法によれば、車両が設置された路面上に予め設けられた校正用指標を含む、車両の周辺領域が、車両に設置された複数のカメラによってそれぞれ撮影され、各カメラのそれぞれによって撮影された複数の周辺領域画像に対して、デフォルトの内部パラメータに基づいた歪補正がそれぞれ施され、その歪補正によって得られた複数の歪補正画像が、単一の視点変換合成画像となるように、外部パラメータに基づいて複数の歪補正画像を視点変換処理し、この視点変換処理に際しては、視点変換合成画像における校正用指標の像に基づいて外部パラメータが調整されて視点変換合成画像のキャリブレーションが行われる。

　ここで、歪補正画像は、内部パラメータを反映したものになっているところ、従来の歪補正では、内部パラメータとして設計値であるデフォルト値（個体差を無視した共通の値）を用いていた。

　しかし、本発明の第１の画像のキャリブレーション方法では、デフォルト値の内部パラメータを用いて得られた歪補正画像について、その歪補正画像中の校正用指標の線の像を直線とするように内部パラメータを補正するため、個々のカメラの光学特性のばらつき、個体差に適した歪補正を行うことができる。

　さらに、そのようにして補正された内部パラメータに基づいて得られた新たな歪補正画像（校正用指標の線の像が直線になっている）を用いて、デフォルトの外部パラメータに基づいた視点変換合成画像が生成されるが、この生成された視点変換合成画像は、基になる歪補正画像の精度が良いため、この視点変換合成画像の精度も必然的に高い。

　さらにまた、この視点変換合成画像が上記４つの条件（１）～（４）を満たすように、外部パラメータを補正することにより、一層精度の良い視点変換合成画像を得ることができる。

　しかも、上記４つの条件（１）～（４）は、車両と校正用指標との相対的位置関係に依存するものではなく、あくまで視点変換合成画像中における校正用指標の線の像間だけの関係（平行、直交、線間隔、一直線上）を規定するものであるため、校正用指標に対して車両を設置する際の、校正用指標に対する車両位置や車両の姿勢（向き）の厳密性は要求されない。

　すなわち、路面上に設置された校正用指標とその路面に配置される車両との相対的な位置関係は、一般的な駐車場等における駐車枠に、通常の駐車操作で得られる車両の位置、姿勢の精度（実用レベルのずれを有する程度）であれば十分であり、その相対的位置関係の厳密度合いを緩和させることができる。

　このことは、車両の種類（車両の大きさや形状）が異なっても、共通した校正用指標をそのまま利用することができることにもなるため、キャリブレーションを行う都度、車両の種類ごとに専用の校正用指標を準備、設置する必要もなくなり、作業の労力、時間を大幅に軽減させることができる。

　なお、本発明の第１の画像のキャリブレーション方法において、各歪補正画像に含まれる互いに平行な２本の線に対応した像と直交する１本の線に対応した像とがそれぞれ直線状に延びたものとなっているか否かは、例えば画像処理技術により、その像の部分を細線化して、その線上の適当な間隔ごとの微分値（線の傾き）がある程度一定の範囲にあれば直線であると判定することができる。

　本発明の第１の画像のキャリブレーション方法は、各歪補正画像を対象として、線の像が直線状になるように内部パラメータを補正しているのに対して、後述する本発明の第２の画像のキャリブレーション方法は、視点変換合成画像を対象として、線の像が直線状になるように内部パラメータを補正している。

　ここで、線の像が長いほど、その線の像を直線状に補正したときの精度の信頼性は高いといえる。

　この点、各カメラごとの歪補正画像中における線の像の方が、視点変換合成画像中における線の像よりも長いため、各歪補正画像中における線の像を直線状となるように内部パラメータを補正した方が、視点変換合成画像中における線の像を直線状となるように内部パラメータを補正した場合よりも、精度の信頼性が高い。

　よって、本発明の第１の画像のキャリブレーション方法は、後述する本発明の第２の画像のキャリブレーション方法よりも、精度に対する信頼性が高いキャリブレーションを提供することができる。

　さらに、各カメラごとの歪補正画像中における線の像の方が、視点変換合成画像中における線の像よりも、対応する画像上における像の長さが長いか否かに拘わらず、その像に対応した画素の数は多いため、各歪補正画像中における線の像を直線状となるように内部パラメータを補正した方が、視点変換合成画像中における線の像を直線状となるように内部パラメータを補正した場合よりも、精度の信頼性が高い。

　このことからも、本発明の第１の画像のキャリブレーション方法は、後述する本発明の第２の画像のキャリブレーション方法よりも、精度に対する信頼性が高いキャリブレーションを提供することができる。

　また、全ての線の像を同時に直線状にするための内部パラメータが必ずしも存在しない場合もあるが、そのような場合は、全ての線の像の直線性について総合的な評価（全体として、最もバランスよく直線性が確保されるような状態）を行うことで、内部パラメータを補正すればよい。

　そして、このように内部パラメータが補正された後の状態、すなわち、校正用指標の各線に対応する像が直線状に延びた状態とされた新たな歪補正画像に基づいて生成された新たな視点変換合成画像について、外部パラメータは、校正用指標の互いに平行な線に対応した視点変換合成画像における像が互いに平行となるように、互いに平行な２本の線に対応した視点変換合成画像における像間の距離が校正用指標の線間の既知の距離となるように、校正用指標の互いに直交する線に対応した視点変換合成画像における像が互いに直交するように、かつ校正用指標のうち一直線上に位置する線に対応した視点変換合成画像における像が一直線上に位置するように、補正されるが、視点変換合成画像における像が平行となっているか否かの判定は、各線に対応した像（略直線状の部分）の傾き（微分値）が一致するか否かによって判定することができ、また、直交しているか否かは、各線に対応した像の傾きの積の値が「－１」（各対応部分をベクトル表現したときは、内積の値が「０」）か否かによって判定することができる。

　なお、この場合も、対応する像間で、完全な平行状態（傾き値が厳密に同一の状態）や完全な直交状態（傾きの積の値が厳密に「－１」）となる外部パラメータに調整できない場合もあるが、そのような場合は、上述した平行性と直交性について総合的な評価（全体として、最もバランスよく平行性および直交性が確保されるような状態）によって外部パラメータを調整すればよい。

　また、校正用指標のうち一直線上に位置する線に対応した視点変換合成画像における像が一直線上に位置するか否かは、各線をｘ軸とｙ軸（ｘ軸に直交）とで規定される２次元直交座標系上で表現したときの、像の傾きとｘ切片（またはｙ切片）とが一致するか否かによって判定することができる。

　以上のように、本発明に係る第１の画像のキャリブレーション方法によれば、校正用指標の線に対応する、歪補正画像における像が直線状に延びるものとなるように内部パラメータを調整することで、従来の、固定された内部パラメータを用いるとともに外部パラメータを調整していたキャリブレーションよりも精度の高いキャリブレーションを実現することができる。

　また、本発明に係る第１の画像のキャリブレーション方法によれば、従来の、点だけで行われているキャリブレーション方法と比べて、線を校正用指標としているため、点間の歪みが考慮されない従来のキャリブレーションよりも精度を向上させることができる。

　そして、それらの線として、平行で線間の距離が既知の少なくとも２本の線とこれら２本の線に直交する少なくとも１本の線とを適用して、視点変換合成画像における像の平行な度合いや直交の度合い、像（線）間の距離、および複数の画像に跨って写った一直線上に位置する線に対応した像が一直線上に位置するように外部パラメータを調整するため、視点変換合成画像の全体に亘って、精度の高いキャリブレーションを行うことができる。

　本発明の第１の画像のキャリブレーション方法が歪補正画像における像の直線性に基づいて内部パラメータを補正するのに対して、本発明の第２の画像のキャリブレーション方法は、歪補正画像ではなく視点変換合成画像における校正用指標の線の像の直線性に基づいて内部パラメータを補正するものである。

　すなわち、本発明の第２の画像のキャリブレーション方法は、車両が設置された路面上に予め設けられた校正用指標を含む、前記車両の周辺領域を、前記車両に設置された複数のカメラによりそれぞれ撮影し、前記カメラのそれぞれによって撮影された周辺領域画像に対して前記カメラの光学的特性に対応したデフォルトの内部パラメータに基づいた歪補正をそれぞれ施し、前記歪補正によって得られた複数の歪補正画像が、前記車両の上方から見下ろして得られる単一の視点変換合成画像となるように、前記カメラの前記車両への取付状態に対応した外部パラメータに基づいて前記複数の歪補正画像を視点変換処理し、前記視点変換処理に際しては、前記視点変換合成画像における前記校正用指標の像に基づいて前記外部パラメータを調整することにより、前記視点変換合成画像のキャリブレーションを行う画像のキャリブレーション方法において、前記校正用指標は、互いに平行で、かつ互いの線間の距離が既知である少なくとも２本の線と、前記２本の線にそれぞれ直交する少なくとも１本の線とを含むものであって、前記各車両周辺画像に、少なくとも、前記互いに平行な２本の線に対応した像と前記２本の線にそれぞれ直交する１本の線に対応した像とがそれぞれ含まれ、かつ、前記校正用指標に含まれる線のうち、１つの前記カメラの撮影範囲に位置する少なくとも１つの線と他の前記カメラの撮影範囲に位置する少なくとも１つの線とが一直線上に位置するように形成されたものであり、前記視点変換合成画像について、前記視点変換合成画像に含まれる前記互いに平行な２本の線に対応した像と前記直交する１本の線に対応した像とがそれぞれ直線状に延びたものとなるように、前記内部パラメータを調整する補正を行い、その補正された後の前記内部パラメータにより得られた新たな歪補正画像を用いて、前記視点変換合成画像を得、その得られた前記視点変換合成画像が以下の条件（１）～（４）を満たすように、前記外部パラメータを調整する補正を行うことを特徴とする。
（１）前記互いに平行な２本の線に対応した像が互いに平行である
（２）前記互いに平行な２本の線に対応した像間の距離が、前記校正用指標の線間の既知の距離である
（３）前記直交する１本の線に対応した像が、前記平行な２本の線に対応した像と直交している
（４）前記校正用指標のうち一直線上に位置する線に対応した像が一直線上に位置する
　このように構成された本発明の第２の画像のキャリブレーション方法によれば、上述した本発明の第１の画像のキャリブレーション方法と同じ作用、効果を得ることができる。

　ただし、本発明の第１の画像のキャリブレーション方法について既述したように、歪補正画像における像の直線性に基づいて内部パラメータを補正する第１の画像のキャリブレーション方法の方が、視点変換合成画像における像の直線性に基づいて内部パラメータを補正する第２の画像のキャリブレーション方法よりも、像の直線性の精度を高くすることができるため、内部パラメータの精度を高めることができる。

　本発明の第１の画像のキャリブレーション装置は、本発明の第１の画像キャリブレーション方法を実施するための装置であって、車両が設置された路面上に予め設けられた校正用指標と、前記校正用指標を含む、前記車両の周辺領域を撮影する、前記車両に設置された複数のカメラと、前記カメラのそれぞれによって撮影された周辺領域画像に対して前記カメラの光学的特性に対応した内部パラメータに基づいた歪補正をそれぞれ施す歪補正手段と、前記歪補正によって得られた複数の歪補正画像が、前記車両の上方から見下ろして得られる単一の視点変換合成画像となるように、前記カメラの前記車両への取付状態に対応した外部パラメータに基づいて前記複数の歪補正画像を視点変換処理する視点変換処理手段と、前記視点変換処理手段による視点変換処理に際しては、前記視点変換合成画像における前記校正用指標の像に基づいて前記外部パラメータを調整することにより、前記視点変換合成画像のキャリブレーションを行うキャリブレーション手段と、を備えた画像のキャリブレーション装置において、前記校正用指標は、互いに平行で、かつ互いの線間の距離が既知である少なくとも２本の線と、前記２本の線にそれぞれ直交する少なくとも１本の線とを含むものであって、前記各車両周辺画像に、少なくとも、前記互いに平行な２本の線に対応した像と前記２本の線にそれぞれ直交する１本の線に対応した像とがそれぞれ含まれ、かつ、前記校正用指標に含まれる線のうち、１つの前記カメラの撮影範囲に位置する少なくとも１つの線と他の前記カメラの撮影範囲に位置する少なくとも１つの線とが一直線上に位置するように形成されたものであり、前記キャリブレーション手段は、前記複数の歪補正画像のそれぞれについて、前記各歪補正画像に含まれる前記互いに平行な２本の線に対応した像と前記直交する１本の線に対応した像とがそれぞれ直線状に延びたものとなるように、前記内部パラメータを調整する補正を行う内部パラメータ補正手段と、前記補正された後の内部パラメータを用いて前記歪補正手段により得られた新たな歪補正画像を用いて新たな視点変換合成画像を得たとき、その得られた新たな視点変換合成画像が以下の条件（１）～（４）を満たすように、前記外部パラメータを調整する補正を行う外部パラメータ補正手段とを有することを特徴とする。
（１）前記互いに平行な２本の線に対応した像が互いに平行である
（２）前記互いに平行な２本の線に対応した像間の距離が、前記校正用指標の線間の既知の距離である
（３）前記直交する１本の線に対応した像が、前記平行な２本の線に対応した像と直交している
（４）前記校正用指標のうち一直線上に位置する線に対応した像が一直線上に位置する
　このように構成された本発明に係る第１の画像のキャリブレーション装置によれば、車両に設置された複数のカメラが、その車両が設置された路面上に予め設けられた校正用指標を含む車両の周辺領域をそれぞれ撮影し、歪補正手段が、各カメラのそれぞれによって撮影された複数の周辺領域画像に対して、デフォルトの内部パラメータに基づいた歪補正をそれぞれ施し、視点変換処理手段が、その歪補正によって得られた複数の歪補正画像が単一の視点変換合成画像となるように、外部パラメータに基づいて複数の歪補正画像を視点変換処理し、この視点変換処理手段による視点変換処理に際しては、キャリブレーション手段が、視点変換合成画像における校正用指標の像に基づいて外部パラメータを調整して視点変換合成画像のキャリブレーションを行う。

　そして、キャリブレーション手段の内部パラメータ補正手段が、複数の歪補正画像のそれぞれについて前記各歪補正画像に含まれる前記互いに平行な２本の線に対応した像と前記直交する１本の線に対応した像とがそれぞれ直線状に延びたものとなるように、内部パラメータを調整する補正を行う。

　さらに、キャリブレーション手段の外部パラメータ補正手段が、補正された後の内部パラメータを用いて歪補正手段により得られた新たな歪補正画像を用いて新たな視点変換合成画像を得たとき、その得られた新たな視点変換合成画像が上述した条件（１）～（４）を満たすように、外部パラメータを調整する補正を行う。

　以上のように、本発明に係る第１の画像のキャリブレーション装置によれば、校正用指標の線に対応する、歪補正画像における像が直線状に延びるものとなるように内部パラメータを調整することで、従来の、固定された内部パラメータを用いるとともに外部パラメータを調整していたキャリブレーションよりも精度の高いキャリブレーションを実現することができる。

　また、本発明に係る第１の画像のキャリブレーション装置によれば、従来の、点だけで行われているキャリブレーション装置と比べて、線を校正用指標としているため、点間の歪みが考慮されない従来のキャリブレーションよりも精度を向上させることができる。

　そして、それらの線として、平行で線間の距離が既知の少なくとも２本の線とこれら２本の線に直交する少なくとも１本の線とを適用して、視点変換合成画像における像の平行な度合いや直交の度合い、像（線）間の距離、および複数の画像に跨って写った一直線上に位置する線に対応した像が一直線上に位置するように外部パラメータを調整するため、視点変換合成画像の全体に亘って、精度の高いキャリブレーションを行うことができる。

　本発明の第１の画像のキャリブレーション装置は、各歪補正画像を対象として、線の像が直線状になるように内部パラメータを補正しているのに対して、後述する本発明の第２の画像のキャリブレーション装置は、視点変換合成画像を対象として、線の像が直線状になるように内部パラメータを補正している。

　ここで、線の像が長いほど、その線の像を直線状に補正したときの精度の信頼性は高いといえる。

　この点、各歪補正画像中における線の像の方が、視点変換合成画像中における線の像よりも長いため、各歪補正画像中における線の像を直線状となるように内部パラメータを補正した方が、視点変換合成画像中における線の像を直線状となるように内部パラメータを補正した場合よりも、精度の信頼性が高い。

　よって、本発明の第１の画像のキャリブレーション装置は、後述する本発明の第２の画像のキャリブレーション装置よりも、精度に対する信頼性が高いキャリブレーションを提供することができる。

　本発明の第１の画像のキャリブレーション装置が歪補正画像における像の直線性に基づいて内部パラメータを補正するのに対して、本発明の第２の画像のキャリブレーション装置は、歪補正画像ではなく視点変換合成画像における校正用指標の線の像の直線性に基づいて内部パラメータを補正するものである。

　すなわち、本発明の第２の画像のキャリブレーション装置は、車両が設置された路面上に予め設けられた校正用指標と、前記校正用指標を含む、前記車両の周辺領域を撮影する、前記車両に設置された複数のカメラと、前記カメラのそれぞれによって撮影された周辺領域画像に対して前記カメラの光学的特性に対応した内部パラメータに基づいた歪補正をそれぞれ施す歪補正手段と、前記歪補正によって得られた複数の歪補正画像が、前記車両の上方から見下ろして得られる単一の視点変換合成画像となるように、前記カメラの前記車両への取付状態に対応した外部パラメータに基づいて前記複数の歪補正画像を視点変換処理する視点変換処理手段と、前記視点変換処理手段による視点変換処理に際しては、前記視点変換合成画像における前記校正用指標の像に基づいて前記外部パラメータを調整することにより、前記視点変換合成画像のキャリブレーションを行うキャリブレーション手段と、を備えた画像のキャリブレーション装置において、前記校正用指標は、互いに平行で、かつ互いの線間の距離が既知である少なくとも２本の線と、前記２本の線にそれぞれ直交する少なくとも１本の線とを含むものであって、前記各車両周辺画像に、少なくとも、前記互いに平行な２本の線に対応した像と前記２本の線にそれぞれ直交する１本の線に対応した像とがそれぞれ含まれ、かつ、前記校正用指標に含まれる線のうち、１つの前記カメラの撮影範囲に位置する少なくとも１つの線と他の前記カメラの撮影範囲に位置する少なくとも１つの線とが一直線上に位置するように形成されたものであり、前記キャリブレーション手段は、前記視点変換合成画像について、前記視点変換合成画像に含まれる前記互いに平行な２本の線に対応した像と前記直交する１本の線に対応した像とがそれぞれ直線状に延びたものとなるように、前記内部パラメータを調整する補正を行う内部パラメータ補正手段と、前記補正された後の内部パラメータを用いて前記歪補正手段により得られた新たな歪補正画像を用いて新たな視点変換合成画像を得たとき、その得られた新たな視点変換合成画像が以下の条件（１）～（４）を満たすように、前記外部パラメータを調整する補正を行う外部パラメータ補正手段とを有することを特徴とする。
（１）前記互いに平行な２本の線に対応した像が互いに平行である
（２）前記互いに平行な２本の線に対応した像間の距離が、前記校正用指標の線間の既知の距離である
（３）前記直交する１本の線に対応した像が、前記平行な２本の線に対応した像と直交している
（４）前記校正用指標のうち一直線上に位置する線に対応した像が一直線上に位置する
　このように構成された本発明に係る第２の画像のキャリブレーション装置によれば、車両に設置された複数のカメラが、その車両が設置された路面上に予め設けられた校正用指標を含む車両の周辺領域をそれぞれ撮影し、歪補正手段が、各カメラのそれぞれによって撮影された複数の周辺領域画像に対して、デフォルトの内部パラメータに基づいた歪補正をそれぞれ施し、視点変換処理手段が、その歪補正によって得られた複数の歪補正画像が単一の視点変換合成画像となるように、外部パラメータに基づいて複数の歪補正画像を視点変換処理し、この視点変換処理手段による視点変換処理に際しては、キャリブレーション手段が、視点変換合成画像における校正用指標の像に基づいて外部パラメータを調整して視点変換合成画像のキャリブレーションを行う。

　そして、キャリブレーション手段の内部パラメータ補正手段が、視点変換合成画像について前記視点変換合成画像に含まれる前記互いに平行な２本の線に対応した像と前記直交する１本の線に対応した像とがそれぞれ直線状に延びたものとなるように、内部パラメータを調整する補正を行う。

　さらに、キャリブレーション手段の外部パラメータ補正手段が、補正された後の内部パラメータを用いて歪補正手段により得られた新たな歪補正画像を用いて新たな視点変換合成画像を得たとき、その得られた新たな視点変換合成画像が上述した条件（１）～（４）を満たすように、外部パラメータを調整する補正を行う。

　このように構成された本発明の第２の画像のキャリブレーション装置によれば、上述した本発明の第１の画像のキャリブレーション装置と同じ作用、効果を得ることができる。

　ただし、本発明の第１の画像のキャリブレーション装置について既述したように、歪補正画像における像の直線性に基づいて内部パラメータを補正する第１の画像のキャリブレーション装置の方が、視点変換合成画像における像の直線性に基づいて内部パラメータを補正する第２の画像のキャリブレーション装置よりも、像の直線性の精度を高くすることができるため、内部パラメータの精度を高めることができる。

　本発明に係る画像のキャリブレーション方法および画像のキャリブレーション装置によれば、路面上に設置された校正用指標とその路面に配置される車両との相対的な位置関係の厳密度合いを緩和させることができる。

本発明の実施形態１に係る画像のキャリブレーション装置の概略構成を示すブロック図である。 ４つのカメラが搭載された車両を示す模式図である。 校正用指標の一例を示す図である。 各カメラで撮影して得られた周辺領域画像のうちフロントカメラによる画像である。 各カメラで撮影して得られた周辺領域画像のうちリヤカメラによる画像である。 各カメラで撮影して得られた周辺領域画像のうち右サイドカメラによる画像である。 各カメラで撮影して得られた周辺領域画像のうち左サイドカメラによる画像である。 図２に示した車両を図３に示した校正用指標が形成された路面に設置した状態の一例を示す図である。 各周辺領域画像をデフォルトの内部パラメータで歪補正した後の歪補正画像のうちフロントカメラに対応した歪補正画像である。 各周辺領域画像をデフォルトの内部パラメータで歪補正した後の歪補正画像のうちリヤカメラに対応した歪補正画像である。 各周辺領域画像をデフォルトの内部パラメータで歪補正した後の歪補正画像のうち右サイドカメラカメラに対応した歪補正画像である。 各周辺領域画像をデフォルトの内部パラメータで歪補正した後の歪補正画像のうち左サイドカメラカメラに対応した歪補正画像である。 各周辺領域画像を補正された後の内部パラメータで歪補正した後の歪補正画像のうちフロントカメラに対応した歪補正画像である。 各周辺領域画像を補正された後の内部パラメータで歪補正した後の歪補正画像のうちリヤカメラに対応した歪補正画像である。 各周辺領域画像を補正された後の内部パラメータで歪補正した後の歪補正画像のうち右サイドカメラに対応した歪補正画像である。 各周辺領域画像を補正された後の内部パラメータで歪補正した後の歪補正画像のうち左サイドカメラに対応した歪補正画像である。 内部パラメータだけを補正し、外部パラメータにデフォルトのものを適用した状態で視点変換処理された後の視点変換合成画像を表す図である。 内部パラメータおよび外部パラメータがともに補正された状態で視点変換処理された後の視点変換合成画像を表す図である。 校正用指標に対する車両の設置状態が真っ直ぐでない姿勢を表す模式図である。 図１０Ａの設置状態で得られる合成俯瞰画像を表す図である。 本発明の実施形態２に係る画像のキャリブレーション装置の概略構成を示すブロック図である。 内部パラメータおよび外部パラメータとして、いずれもデフォルトのものを適用した状態でキャリブレーション処理された後の視点変換合成画像を表す図である。 他の形態の校正用指標を適用した場合の例示（その１）であり、適用しうる校正用指標を示す図５相当の図である。 他の形態の校正用指標を適用した場合の例示（その１）であり、図１３Ａの校正用指標を適用した場合の右サイドミラーによる周辺領域画像である。 他の形態の校正用指標を適用した場合の例示（その１）であり、図１３Ａの校正用指標を適用した場合の左サイドミラーによる周辺領域画像である。 他の形態の校正用指標を適用した場合の例示（その２）であり、適用しうる校正用指標を示す図５相当の図である。 他の形態の校正用指標を適用した場合の例示（その２）であり、図１３Ａの校正用指標を適用した場合の右サイドミラーによる周辺領域画像である。 他の形態の校正用指標を適用した場合の例示（その２）であり、図１３Ａの校正用指標を適用した場合の左サイドミラーによる周辺領域画像である。

　以下、本発明に係る画像のキャリブレーション装置の実施の形態について、図面を参照して説明する。

　（実施形態１）
　図１は、本発明の一実施形態である画像のキャリブレーション装置１００の構成を示すブロック図である。

　図示のキャリブレーション装置１００は、図２に示す車両２００の前部、後部、右側部、左側部にそれぞれ設置されて、車両２００の一部およびこの車両２００が設置された路面上に予め描かれた後述する校正用指標２０（図３参照）を含む車両２００の周辺領域Ｒ１，Ｒ２，Ｒ３，Ｒ４（図２参照）を周辺領域画像Ｓ１（図４Ａ参照），Ｓ２（図４Ｂ参照），Ｓ３（図４Ｃ参照），Ｓ４（図４Ｄ参照）として撮影する４つのカメラ１０（前部（フロント）カメラ１１、後部（リヤ）カメラ１２、右側部（右サイド）カメラ１３、左側部（左サイド）カメラ１４）と、図３に示す校正用指標２０（校正用指標２０が設置された路面上に車両２００が設置された状態を図５に示す）と、各カメラ１１，１２，１３，１４によってそれぞれ撮影して得られた周辺領域画像Ｓ（フロントカメラ１１により周辺領域（車両２００の前方）Ｒ１を撮影して得られた周辺領域画像Ｓ１、リヤカメラ１２により周辺領域（車両２００の後方領域）Ｒ２を撮影して得られた周辺領域画像Ｓ２、右サイドカメラ１３により周辺領域（車両２００の右側方領域）Ｒ３を撮影して得られた周辺領域画像Ｓ３、左サイドカメラ１４により周辺領域（車両２００の左側方領域）Ｒ４を撮影して得られた周辺領域画像Ｓ４）のそれぞれについて、対応するカメラ１１，１２，１３，１４の光学特性について応じた内部パラメータＭ（フロントカメラ１１の内部パラメータＭ１、リヤカメラ１２の内部パラメータＭ２、右サイドカメラ１３の内部パラメータＭ３、左サイドカメラ１４の内部パラメータＭ４）で歪み（カメラ１０にそれぞれ含まれている光学系（レンズ等）による収差等）を除去する歪補正を行う歪補正処理部３０（歪補正処理手段）と、この歪補正によってそれぞれ得られた４つの歪補正画像Ｐ（周辺領域画像Ｓ１に対応した歪補正画像Ｐ１、周辺領域画像Ｓ２に対応した歪補正画像Ｐ２、周辺領域画像Ｓ３に対応した歪補正画像Ｐ３、周辺領域画像Ｓ４に対応した歪補正画像Ｐ４）が、車両２００の上方から見下ろして得られる単一の視点変換合成画像Ｑ０となるように、各カメラ１０の車両２００への取付状態に対応した外部パラメータＮ（フロントカメラ１１に対応した外部パラメータＮ１、リヤカメラ１２に対応した外部パラメータＮ２、右サイドカメラ１３に対応した外部パラメータＮ３、左サイドカメラ１４に対応した外部パラメータＮ４）に基づいて４つの歪補正画像Ｐを視点変換処理する視点変換処理部４０（視点変換処理手段）と、視点変換処理部４０による視点変換処理に際しては、視点変換合成画像Ｑ０における校正用指標２０の像に基づいて外部パラメータＮを調整することにより、視点変換合成画像Ｑ０のキャリブレーションを行うキャリブレーション部５０（キャリブレーション手段）と、を備えている。

　ここで、校正用指標２０は、例えば図３に示すように、車両２００を設置した状態（図５）で、車両２００の前方に位置することになる、車両２００の幅方向（車幅方向）に延びた直線状の第１横線Ｈ１（第１線）と、車両２００の後方に位置することになる、車幅方向に延びた直線状の第４横線Ｈ４（第２線）と、第１横線Ｈ１と第４横線Ｈ４との間に位置することになる、車幅方向に延びた直線状の第２横線Ｈ２（第５線）および第３横線Ｈ３（第６線）と、車両２００の右側方に位置することになる、車両２００の前後方向に延びた直線状の第１縦線Ｖ１（第３線）および車両２００の左側方に位置することになる、車両２００の前後方向に延びた直線状の第２縦線Ｖ２（第４線）とを備えている。

　そして、第１横線Ｈ１，第２横線Ｈ２，第３横線Ｈ３，第４横線Ｈ４は互いに平行で、かつ第１横線Ｈ１と第２横線Ｈ２との間の距離が既知のＢ、第２横線Ｈ２と第３横線Ｈ３との間の距離が既知のＣ、第３横線Ｈ３と第４横線Ｈ４との間の距離が既知のＤ、第１横線Ｈ１と第４横線Ｈ４との間の距離が既知のＥに設定されている。

　また、第１縦線Ｖ１，第２縦線Ｖ２も互いに平行であって、各横線Ｈ１，Ｈ２，Ｈ３，Ｈ４に対して直交し、かつ第１縦線Ｖ１と第２縦線Ｖ２との間の距離が既知のＡに設定されている。

　そして、校正用指標２０は、各周辺領域画像Ｓ１，Ｓ２，Ｓ３，Ｓ４において少なくとも互いに平行な２本の線（線Ｈ１，Ｈ２，Ｈ３，Ｈ４のうち２本の線または線Ｖ１，Ｖ２のうち２本の線）に対応した像Ｈ１，Ｈ２，Ｈ３，Ｈ４，Ｖ１，Ｖ２（説明が煩雑になるのを避けるため、像についての符号を線の符号と同一とする。以下、同じ。）とこれら２本の線にそれぞれ直交する１本の線（線Ｖ１，Ｖ２のうち１本の線または線Ｈ１，Ｈ２，Ｈ３，Ｈ４のうち１本の線）に対応した像Ｖ１，Ｖ２，Ｈ１，Ｈ２，Ｈ３，Ｈ４として含まれるように構成されている。

　具体的には、周辺領域画像Ｓ１には、校正用指標２０の線Ｈ１，Ｈ２，Ｈ３，Ｈ４，Ｖ１，Ｖ２のうち互いに平行な２本の縦線Ｖ１，Ｖ２の像Ｖ１，Ｖ２と、これら２本の縦線Ｖ１，Ｖ２にそれぞれ直交する１本の横線Ｈ１の像Ｈ１が写っている（図４Ａ）。

　同様に、周辺領域画像Ｓ２には、校正用指標２０の線Ｈ１，Ｈ２，Ｈ３，Ｈ４，Ｖ１，Ｖ２のうち互いに平行な２本の縦線Ｖ１，Ｖ２の像Ｖ１，Ｖ２と、これら２本の縦線Ｖ１，Ｖ２にそれぞれ直交する１本の横線Ｈ４の像Ｈ４が写っている（図４Ｂ）。

　同様に、周辺領域画像Ｓ３には、校正用指標２０の線Ｈ１，Ｈ２，Ｈ３，Ｈ４，Ｖ１，Ｖ２のうち互いに平行な２本の横線Ｈ２，Ｈ３の像Ｈ２，Ｈ３と、これら２本の横線Ｈ２，Ｈ３にそれぞれ直交する１本の縦線Ｖ１の像Ｖ１が写っている（図４Ｃ）。

　同様に、周辺領域画像Ｓ４には、校正用指標２０の線Ｈ１，Ｈ２，Ｈ３，Ｈ４，Ｖ１，Ｖ２のうち互いに平行な２本の横線Ｈ２，Ｈ３の像Ｈ２，Ｈ３と、これら２本の横線Ｈ２，Ｈ３にそれぞれ直交する１本の縦線Ｖ２の像Ｖ２が写っている（図４Ｄ）。

　また、後述する条件（４）を満たすための前提として、各周辺領域画像Ｓ１，Ｓ２，Ｓ３，Ｓ４には、他の周辺領域画像Ｓ１，Ｓ２，Ｓ３，Ｓ４にも写り、かつ現実の校正用指標２０においては一直線上の位置にあるいずれかの線（Ｖ１，Ｖ２，Ｈ２，Ｈ３）の像（Ｖ１，Ｖ２，Ｈ２，Ｈ３）が写っている。

　つまり、周辺領域画像Ｓ１には、他の周辺領域画像Ｓ２，Ｓ３にも写り、かつ現実の校正用指標２０においては一直線上の位置にある線Ｖ１の像Ｖ１が写っているとともに、他の周辺領域画像Ｓ２，Ｓ４にも写り、かつ現実の校正用指標２０においては一直線上の位置にある線Ｖ２の像Ｖ２が写っている。

　同様に、周辺領域画像Ｓ２には、他の周辺領域画像Ｓ１，Ｓ３にも写り、かつ現実の校正用指標２０においては一直線上の位置にある線Ｖ１の像Ｖ１が写っているとともに、他の周辺領域画像Ｓ１，Ｓ４にも写り、かつ現実の校正用指標２０においては一直線上の位置にある線Ｖ２の像Ｖ２が写っている。

　さらに、周辺領域画像Ｓ３には、他の周辺領域画像Ｓ４にも写り、かつ現実の校正用指標２０においては一直線上の位置にある線Ｈ１の像Ｈ１、線Ｈ２の像Ｈ２、線Ｈ３の像Ｈ３および線Ｈ４の像Ｈ４が写っている。なお、周辺領域画像Ｓ３に写っている線Ｈ１の像Ｈ１は、他の周辺領域画像Ｓ１にも写っており、線Ｈ４の像Ｈ４は、他の周辺領域画像Ｓ２にも写っている。

　同様に、周辺領域画像Ｓ４には、他の周辺領域画像Ｓ３にも写り、かつ現実の校正用指標２０においては一直線上の位置にある線Ｈ１の像Ｈ１、線Ｈ２の像Ｈ２、線Ｈ３の像Ｈ３および線Ｈ４の像Ｈ４が写っている。なお、周辺領域画像Ｓ４に写っている線Ｈ１の像Ｈ１は、他の周辺領域画像Ｓ１にも写っており、線Ｈ４の像Ｈ４は、他の周辺領域画像Ｓ２にも写っている。

　また、キャリブレーション部５０は、４つの歪補正画像Ｐ１～Ｐ４のそれぞれについて、各歪補正画像Ｐ１～Ｐ４に含まれる互いに平行な２本の線に対応した像と直交する１本の線に対応した像とがそれぞれ直線状に延びたものとなるように、内部パラメータＭを調整する補正を行う内部パラメータ補正部５１（内部パラメータ補正手段）と、補正された後の内部パラメータＭを用いて歪補正処理部３０により得られた新たな歪補正画像Ｐ１１，Ｐ１２，Ｐ１３，Ｐ１４（デフォルトの内部パラメータによる歪補正画像Ｐ１に対応する新たな歪補正画像をＰ１１，デフォルトの内部パラメータＭによる歪補正画像Ｐ２に対応する新たな歪補正画像をＰ１２，デフォルトの内部パラメータＭによる歪補正画像Ｐ３に対応する新たな歪補正画像をＰ１３，デフォルトの内部パラメータＭによる歪補正画像Ｐ４に対応する新たな歪補正画像をＰ１４）を用いて新たな視点変換合成画像Ｑ１０を得たとき、その得られた新たな視点変換合成画像Ｑ１０が以下の条件（１）～（４）を満たすように、外部パラメータＮを調整する補正を行う外部パラメータ補正部５２（外部パラメータ補正手段）とを有している。
（１）互いに平行な２本の線Ｈ１，Ｈ２，Ｈ３，Ｈ４または線Ｖ１，Ｖ２にそれぞれ対応した像が互いに平行である
（２）互いに平行な２本の線Ｈ１，Ｈ２，Ｈ３，Ｈ４または線Ｖ１，Ｖ２にそれぞれ対応した像間の距離が、校正用指標２０の線間の既知の距離（Ａ，Ｂ，Ｃ，Ｄ，Ｅ）である
（３）直交する１本の線Ｖ１，Ｖ２または線Ｈ１，Ｈ２，Ｈ３，Ｈ４に対応した像が、平行な２本の線Ｈ１，Ｈ２，Ｈ３，Ｈ４または線Ｖ１，Ｖ２に対応した像と直交している
（４）校正用指標２０のうち一直線上に位置する線に対応した像が一直線上に位置する
　次に、本実施形態のキャリブレーション装置１００の作用について説明する。

　まず、図２に示す、その前部にフロントカメラ１１、その後部にリヤカメラ１２、その右側部に右サイドカメラ１３、その左側部に左サイドカメラ１４が設置された車両２００が、図３に示した校正用指標２０が予め描かれた平坦な路面上に、図５に示すように配置される。

　この校正用指標２０に対する車両２００の配置状態（校正用指標２０の横線Ｈおよび縦線Ｖに対する車両２００の向き（姿勢）、位置）は、図５に示すように、校正用指標２０の中央に、真っ直ぐな姿勢（車両２００の前後方向が校正用指標２０の縦線Ｖ１，Ｖ２に平行に、かつ車両２００の幅方向が校正用指標２０の横線Ｈ１，Ｈ２，Ｈ３，Ｈ４に平行となる姿勢）で配置されてもよいが、例えば図１０Ａに示すように、校正用指標２０に対して斜めの姿勢で配置されてもよい。同様に、校正用指標２０の中央からずれた位置に配置されてもよい。

　本実施形態においては、以下、図５に示す配置状態の場合について説明するが、この配置状態以外の配置状態（例えば図１０Ａの配置状態）にあっても、それによって発揮される作用および効果は図５の配置状態の場合と同様である。

　図５に示すように車両２００が校正用指標２０上に配置された状態で、キャリブレーション装置１００の各カメラ１１，１２，１３，１４が、車両２００の一部と校正用指標２０の一部とを含む周辺領域Ｒ１，Ｒ２，Ｒ３，Ｒ４を撮影することにより、各カメラ１１，１２，１３，１４によって、周辺領域Ｒ１，Ｒ２，Ｒ３，Ｒ４にそれぞれ対応した周辺領域画像Ｓ１（図４Ａ参照），Ｓ２（図４Ｂ参照），Ｓ３（図４Ｃ参照），Ｓ４（図４Ｄ参照）が得られる。

　各カメラ１１，１２，１３，１４により得られた周辺領域画像Ｓ１，Ｓ２，Ｓ３，Ｓ４にはそれぞれ、校正用指標２０のうち互いに平行な少なくとも２本の線Ｖ（または線Ｈ）に対応した像Ｖ（または像Ｈ）とこれらの線Ｖ（または線Ｈ）に直交する少なくとも１本の線Ｈ（または線Ｖ）に対応した像Ｈ（または像Ｖ）が含まれている。

　具体的には、周辺領域画像Ｓ１には、校正用指標２０の互いに平行な２本の縦線Ｖ１，Ｖ２の像Ｖ１，Ｖ２と、直交する１本の横線Ｈ１の像Ｈ１が写り（図４Ａ）、周辺領域画像Ｓ２には、校正用指標２０の互いに平行な２本の縦線Ｖ１，Ｖ２の像Ｖ１，Ｖ２と、直交する１本の横線Ｈ４の像Ｈ４が写り（図４Ｂ）、周辺領域画像Ｓ３には、校正用指標２０の互いに平行な２本の横線Ｈ２，Ｈ３の像Ｈ２，Ｈ３と、直交する１本の縦線Ｖ１の像Ｖ１が写り（図４Ｃ）、周辺領域画像Ｓ４には、校正用指標２０の互いに平行な２本の横線Ｈ２，Ｈ３の像Ｈ２，Ｈ３と、直交する１本の縦線Ｖ２の像Ｖ２が写っている（図４Ｄ）。

　ここで、右サイドカメラ１３で写した周辺領域画像Ｓ３および左サイドカメラ１４で写した周辺領域画像Ｓ４は、それぞれの画像内において、少なくとも線Ｈ２と線Ｈ３とが左右対称に写るように、校正用指標２０が設定され、あるいは車両２００と校正用指標２０とのデフォルトの位置関係が設定されていると、線Ｈ２の長さと線Ｈ３の長さをともに長く確保することができ、後述する直線性を確保した補正を行う上で、精度を一層高めることができ、より好ましいが、本実施形態の例示のように、必ずしも各画像内で左右対称でなくてもよい。

　そして、これらの周辺領域画像Ｓ１～Ｓ４は歪補正処理部３０に入力され、歪み入力処理部３０は、入力された各周辺領域画像Ｓ１～Ｓ４に対して、デフォルトの内部パラメータＭにより歪補正を施し、これにより、各周辺領域画像Ｓ１～Ｓ４は、図６Ａ～図６Ｄに示すように、歪みがある程度補正された歪補正画像Ｐ１，Ｐ２，Ｐ３，Ｐ４となる。

　ここで、デフォルトの内部パラメータＭは、カメラ１０の光学的特性の個体差を無視して一律に設定された設計値であるため、カメラ１０の光学的特性が設計値と寸分違わない理想的なものであるときは、このデフォルトの内部パラメータＭによる歪補正により、歪補正画像Ｐ１，Ｐ２，Ｐ３，Ｐ４は完全に歪みが補正されたものとなるはずである。

　しかし、現実のカメラ１０には、製造上の誤差を勘案した設計許容差等により、光学的特性に個体差を有している。

　したがって、歪補正のために用いられ内部パラメータＭは、本来、個々のカメラ１０ごとに異なるべきものである。

　しかしながら、この歪補正処理部３０は、最初、デフォルトの内部パラメータＭにより、歪補正を行っているため、得られた歪補正画像Ｐ１，Ｐ２，Ｐ３，Ｐ４は、歪みが完全に補正されたものではない。

　そこで、本実施形態のキャリブレーション装置１００は、キャリブレーション部５０の内部パラメータ補正部５１が、歪補正処理部３０のデフォルトの内部パラメータＭを補正する。

　この内部パラメータ補正部５１による内部パラメータＭの補正は、試行錯誤的に内部パラメータＭの値を順次変化させて、図７に示すように、各歪補正画像Ｓに含まれている校正用指標２０の線Ｈ１，Ｈ２，Ｈ３，Ｈ４，Ｖ１，Ｖ２の像Ｈ１，Ｈ２，Ｈ３，Ｈ４，Ｖ１，Ｖ２をそれぞれ直線状に延びたものに収束させる処理である。

　そして、各歪補正画像Ｓに含まれている校正用指標２０の線Ｈ１，Ｈ２，Ｈ３，Ｈ４，Ｖ１，Ｖ２の像Ｈ１，Ｈ２，Ｈ３，Ｈ４，Ｖ１，Ｖ２がそれぞれ直線状に延びたものに収束されたときの、各カメラ１１～１４にそれぞれ対応した各内部パラメータＭ１～Ｍ４が、補正後の内部パラメータとなる。

　つまり、内部パラメータＭ１～Ｍ４は、光学的特性に個体差を有するカメラ１１～１４ごとの内部パラメータであり、このカメラ１１～１４ごとの内部パラメータＭ１～Ｍ４によって、歪補正処理部３０が歪補正を行うことにより、各周辺領域画像Ｓ１，Ｓ２，Ｓ３，Ｓ４は、図７Ａ，図７Ｂ，図７Ｃ，図７Ｄにそれぞれ示すように、歪みが精度良く補正された歪補正画像Ｐ１１，Ｐ１２，Ｐ１３，Ｐ１４となる。

　次に、得られた歪補正画像Ｐ１１～Ｐ１４は、視点変換処理部４０に入力され、視点変換処理部４０は、入力された各歪補正画像Ｐ１１～Ｐ１４に対して、デフォルトの外部パラメータＮにしたがった視点変換処理を施し、図８に示す単一の視点変換合成画像Ｑ０を生成する。

　なお、図８中、視点変換合成画像Ｑ０のうち、歪補正画像Ｐ１１に対応する部分が視点変換部分画像Ｑ１１であり、歪補正画像Ｐ１２に対応する部分が視点変換部分画像Ｑ１２であり、歪補正画像Ｐ１３に対応する部分が視点変換部分画像Ｑ１３であり、歪補正画像Ｐ１４に対応する部分が視点変換部分画像Ｑ１４である。

　ここで、歪補正画像Ｐ１１，Ｐ１２，Ｐ１３，Ｐ１４において、校正用指標２０の線Ｈ１，Ｈ２，Ｈ３，Ｈ４，Ｖ１，Ｖ２の像Ｈ１，Ｈ２，Ｈ３，Ｈ４，Ｖ１，Ｖ２は既に直線状となるように補正が完了しているため、これら歪補正画像Ｐ１１，Ｐ１２，Ｐ１３，Ｐ１４に基づいて生成された各視点変換部分画像Ｑ１１～Ｑ１４における校正用指標２０の線Ｈ１，Ｈ２，Ｈ３，Ｈ４，Ｖ１，Ｖ２の像Ｈ１，Ｈ２，Ｈ３，Ｈ４，Ｖ１，Ｖ２も直線状となっている。

　しかし、視点変換処理部４０による視点変換処理の際に用いられた外部パラメータＮが、車両２００に対する各カメラ１０の取り付け状態の個体差を無視して一律に設定された設計値であるため、カメラ１０の取り付け状態が設計値と寸分違わない理想的なものであるときは、このデフォルトの外部パラメータＮによる視点変換処理で得られた視点変換合成画像Ｑ０における校正用指標２０の線Ｈ１，Ｈ２，Ｈ３，Ｈ４，Ｖ１，Ｖ２の像Ｈ１，Ｈ２，Ｈ３，Ｈ４，Ｖ１，Ｖ２は、現実の校正用指標２０における線Ｈ１，Ｈ２，Ｈ３，Ｈ４，Ｖ１，Ｖ２と同様に、互いに平行で、かつ線の像間距離が既知の値（Ａ，Ｂ，Ｃ，Ｄ，Ｅ）に一致し、あるいは互いに直交し、または視点変換部分画像Ｑ１１～Ｑ１４間に跨る線Ｈ２，Ｈ３，Ｖ１，Ｖ２の像Ｈ２，Ｈ３，Ｖ１，Ｖ２は一直線上に位置したものとなるはずである。

　しかし、現実のカメラ１０および車両２００はそれぞれ製造上の誤差を勘案した設計許容差等を有して形作られているため、車両２００に対するカメラ１０の取付け位置や取付け姿勢等の取付け状態には、当然ながら個体差がある。

　したがって、視点変換合成処理のために用いられる外部パラメータＮは、本来、個々のカメラ１０ごとに異なるべきものである。

　しかしながら、この視点変換処理部４０は、最初、デフォルトの外部パラメータＮにより視点変換処理を行っているため、得られた視点変換合成画像Ｑ０は、図８に示すように、そこに含まれている校正用指標２０の線Ｈ１，Ｈ２，Ｈ３，Ｈ４，Ｖ１，Ｖ２の像Ｈ１，Ｈ２，Ｈ３，Ｈ４，Ｖ１，Ｖ２が、互いに平行でなかったり、線に対応した像間の距離が不適正であったり、互いに直交していなかったり、本来一直線上にあるべき線の像が一直線上に無いこともある。

　そこで、本実施形態のキャリブレーション装置１００は、キャリブレーション部５０の外部パラメータ補正部５２が、視点変換処理部４０のデフォルトの外部パラメータＮを補正する。

　この外部パラメータ補正部５２による外部パラメータＮの補正は、試行錯誤的に外部パラメータＮの値を順次変化させて、図９に示すように、視点変換合成画像Ｑ０に含まれている校正用指標２０の線Ｈ１，Ｈ２，Ｈ３，Ｈ４，Ｖ１，Ｖ２の像Ｈ１，Ｈ２，Ｈ３，Ｈ４，Ｖ１，Ｖ２の平行性（条件（１））、直交性（条件（３））、線間距離の適切性（条件（２））、一直線上に位置すること（条件（４））、を満たすように収束させる処理である。

　すなわち、外部パラメータ補正部４１は、上記条件（１）として具体的には条件（１－１）～（１－４）を満たすように、上記条件（３）として具体的には条件（３－１）～（３－４）を満たすように、上記条件（２）として具体的には条件（２－１）～（２－９）を満たすように、上記条件（４）として具体的には条件（４－１）～（４－４）を満たすように、各外部パラメータＮを補正する。

　つまり、外部パラメータ補正部４１は、
（１－１）視点変換部分画像Ｑ１１における互いに平行な２本の線Ｖ１，Ｖ２にそれぞれ対応した像Ｖ１，Ｖ２が互いに平行となるように、
（１－２）視点変換部分画像Ｑ１２における互いに平行な２本の線Ｖ１，Ｖ２にそれぞれ対応した像Ｖ１，Ｖ２が互いに平行となるように、
（１－３）視点変換部分画像Ｑ１３における互いに平行な２本の線Ｈ２，Ｈ３にそれぞれ対応した像Ｈ２，Ｈ３が互いに平行となるように、
（１－４）視点変換部分画像Ｑ１４における互いに平行な２本の線Ｈ２，Ｈ３にそれぞれ対応した像Ｈ２，Ｈ３が互いに平行となるように、
（３－１）視点変換部分画像Ｑ１１における直交する１本の線Ｈ１に対応した像Ｈ１が、平行な２本の線Ｖ１，Ｖ２に対応した像Ｖ１，Ｖ２と直交するように、
（３－２）視点変換部分画像Ｑ１２における直交する１本の線Ｈ４に対応した像Ｈ４が、平行な２本の線Ｖ１，Ｖ２に対応した像Ｖ１，Ｖ２と直交するように、
（３－３）視点変換部分画像Ｑ１３における直交する１本の線Ｖ１に対応した像Ｖ１が、平行な２本の線Ｈ２，Ｈ３に対応した像Ｈ２，Ｈ３と直交するように、
（３－４）視点変換部分画像Ｑ１４における直交する１本の線Ｖ２に対応した像Ｖ２が、平行な２本の線Ｈ２，Ｈ３に対応した像Ｈ２，Ｈ３と直交するように、
（２－１）２つの視点変換部分画像Ｑ１１，Ｑ１３における互いに平行な２本の線Ｈ１，Ｈ２にそれぞれ対応した像Ｈ１，Ｈ２間の距離を、実際の校正用指標２０における線Ｈ１，Ｈ２間の既知の距離Ｂとするように、
（２－２）２つの視点変換部分画像Ｑ１１，Ｑ１４における互いに平行な２本の線Ｈ１，Ｈ２にそれぞれ対応した像Ｈ１，Ｈ２間の距離を、実際の校正用指標２０における線Ｈ１，Ｈ２間の既知の距離Ｂとするように、
（２－３）２つの視点変換部分画像Ｑ１２，Ｑ１３における互いに平行な２本の線Ｈ４，Ｈ３にそれぞれ対応した像Ｈ４，Ｈ３間の距離を、実際の校正用指標２０における線Ｈ４，Ｈ３間の既知の距離Ｄとするように、
（２－４）２つの視点変換部分画像Ｑ１２，Ｑ１４における互いに平行な２本の線Ｈ４，Ｈ３にそれぞれ対応した像Ｈ４，Ｈ３間の距離を、実際の校正用指標２０における線Ｈ４，Ｈ３間の既知の距離Ｄとするように、
（２－５）２つの視点変換部分画像Ｑ１１，Ｑ１２における互いに平行な２本の線Ｈ１，Ｈ４にそれぞれ対応した像Ｈ１，Ｈ４間の距離を、実際の校正用指標２０における線Ｈ１，Ｈ４間の既知の距離Ｅとするように、
（２－６）視点変換部分画像Ｑ１１における互いに平行な２本の線Ｖ１，Ｖ２にそれぞれ対応した像Ｖ１，Ｖ２間の距離を、実際の校正用指標２０における線Ｖ１，Ｖ２間の既知の距離Ａとするように、
（２－７）視点変換部分画像Ｑ１２における互いに平行な２本の線Ｖ１，Ｖ２にそれぞれ対応した像Ｖ１，Ｖ２間の距離を、実際の校正用指標２０における線Ｖ１，Ｖ２間の既知の距離Ａとするように、
（２－８）視点変換部分画像Ｑ１３における互いに平行な２本の線Ｈ２，Ｈ３にそれぞれ対応した像Ｈ２，Ｈ３間の距離を、実際の校正用指標２０における線Ｈ２，Ｈ３間の既知の距離Ｃとするように、
（２－９）視点変換部分画像Ｑ１４における互いに平行な２本の線Ｈ２，Ｈ３にそれぞれ対応した像Ｈ２，Ｈ３間の距離を、実際の校正用指標２０における線Ｈ２，Ｈ３間の既知の距離Ｃとするように、
（４－１）視点変換部分画像Ｑ１１における線Ｖ１の像Ｖ１と視点変換部分画像Ｑ１３における線Ｖ１の像Ｖ１と視点変換部分画像Ｑ１２における線Ｖ１の像Ｖ１とが一直線上に位置するように、
（４－２）視点変換部分画像Ｑ１１における線Ｖ２の像Ｖ２と視点変換部分画像Ｑ１４における線Ｖ２の像Ｖ２と視点変換部分画像Ｑ１２における線Ｖ２の像Ｖ２とが一直線上に位置するように、
（４－３）視点変換部分画像Ｑ１３における線Ｈ２の像Ｈ２と視点変換部分画像Ｑ１４における線Ｈ２の像Ｈ２とが一直線上に位置するように、
（４－４）視点変換部分画像Ｑ１３における線Ｈ３の像Ｈ３と視点変換部分画像Ｑ１４における線Ｈ３の像Ｈ３とが一直線上に位置するように、
フロントカメラ１１に対応した外部パラメータＮ１、リヤカメラ１２に対応した外部パラメータＮ２、右サイドカメラ１３に対応した外部パラメータＮ３、左サイドカメラ１４に対応した外部パラメータＮ４をそれぞれ調整する補正を行う。

　なお、外部パラメータ補正部４１による外部パラメータＮの調整は、上記条件（１－１）～（１－４）、条件（３－１）～（３－４）、条件（２－１）～（２－９）、条件（４－１）～（４－４）の全てを完全に満たすものであることが好ましいが、全ての外部パラメータＮを一義的に求めることができない場合もあるため、上記条件（１－１）～（１－４）、条件（３－１）～（３－４）、条件（２－１）～（２－９）、条件（４－１）～（４－４）をバランスよく略満たすような外部パラメータＮに収束させるものであってもよい。

　そして、上述した条件が収束されたときの外部パラメータＮが補正後のパラメータＮとなり、視点変換処理部４０が、その補正後の外部パラメータＮによって各歪補正画像Ｐ１１，Ｐ１２，Ｐ１３，Ｐ１４を視点変換処理して得た新たな視点変換合成画像Ｑ１０は、図９に示すものとなる。

　なお、この視点変換合成画像Ｑ１０中の、歪補正画像Ｐ１１に対応する部分が視点変換部分画像Ｑ２１であり、歪補正画像Ｐ１２に対応する部分が視点変換部分画像Ｑ２２であり、歪補正画像Ｐ１３に対応する部分が視点変換部分画像Ｑ２３であり、歪補正画像Ｐ１４に対応する部分が視点変換部分画像Ｑ２４である。

　なお、線の像が互いに平行か否かは、各線の像を図８におけるｘ軸とｙ軸とによる２次元直交座標系における直線の式で近似し、その直線の式の傾き（微分値）が同一か否かによって判定することができる。

　また、線の像が互いに直交しているか否かは、上記直線の式における傾きの積の値が「－１」（各像をベクトル表現したときは、それらの内積の値が「０」）か否かによって判定することができる。

　さらにまた、校正用指標２０のうち一直線上に位置する線に対応した視点変換合成画像Ｑ０における像が一直線上に位置するか否かは、各線をｘ軸とｙ軸（ｘ軸に直交）とで規定される２次元直交座標系上で表現したときの、像の傾きとｘ切片（またはｙ切片）とが一致するか否かによって判定することができる。

　なお、１つのカメラ１０ごと対応する１つの符号として表現した外部パラメータＮは、実際には３次元空間における位置を特定する位置パラメータ（３つの変数）と、３次元空間における向きを特定する向きパラメータ（３つの変数）とからなるため、各外部パラメータＮ１，Ｎ２，Ｎ３，Ｎ４はそれぞれ６つずつの変数からなり、外部パラメータ補正部４１は、合計２４（＝６×４）の変数を調整することとなる。

　以上のように、本実施形態の第１の画像のキャリブレーション装置１００によれば、デフォルト値の内部パラメータＭを用いて得られた歪補正画像Ｐについて、その歪補正画像Ｐ中の校正用指標２０の線Ｈ，Ｖの像Ｈ，Ｖを直線とするように内部パラメータＭを補正するため、個々のカメラ１０の光学特性のばらつき、個体差に適した歪補正を行うことができ、精度の高い歪補正画像を得ることができる。

　さらに、そのようにして補正された内部パラメータに基づいて得られた新たな歪補正画像（校正用指標２０の線Ｈ，Ｖの像Ｈ，Ｖが直線になっている）を用いて、デフォルト値の外部パラメータＮに基づいた視点変換合成画像Ｑ０が生成されるが、この生成された視点変換合成画像Ｑ０は、基になる歪補正画像Ｐの精度が良いため、この視点変換合成画像Ｑ０の精度も必然的に高い。

　さらにまた、この視点変換合成画像Ｑ０が上記４つの条件（１）～（４）を満たすように外部パラメータＮを補正することにより、一層精度の良い視点変換合成画像Ｑ１０を得ることができる。

　しかも、上記４つの条件（１）～（４）は、車両２００と校正用指標２０との相対的位置関係に依存するものではなく、あくまで視点変換合成画像Ｑ０中における校正用指標２０の線Ｈ，Ｖの像Ｈ，Ｖ間だけの関係（平行、直交、線間隔、一直線上）を規定するものであるため、校正用指標２０に対して車両２００を設置する際の、校正用指標２０に対する車両２００の位置や車両２００の姿勢（向き）の厳密性は要求されない。

　すなわち、路面上に設置された校正用指標２０とその路面に配置される車両２００との相対的な位置関係は、一般的な駐車場等における駐車枠に、通常の駐車操作で得られる車両２００の位置、姿勢の精度（実用レベルのずれを有する程度）であれば十分であり、その相対的位置関係の厳密度合いを緩和させることができる。

　このことは、車両２００の種類（車両の大きさや形状）が異なっても、共通した校正用指標２０をそのまま利用することができることにもなるため、キャリブレーションを行う都度、車両２００の種類ごとに専用の校正用指標２０を準備、設置する必要もなくなり、作業の労力、時間を大幅に軽減させることができる。

　以上のように、本発実施形態の画像のキャリブレーション装置１００によれば、校正用指標２０の線Ｈ，Ｖに対応する、歪補正画像Ｐにおける像Ｈ，Ｖが直線状に延びるものとなるように内部パラメータＭを調整することで、従来の、固定された内部パラメータを用いるとともに外部パラメータＮを調整していたキャリブレーションよりも精度の高いキャリブレーションを実現することができる。

　また、本実施形態の画像のキャリブレーション装置１００によれば、従来の、点だけで行われているキャリブレーション方法と比べて、線を校正用指標２０としているため、点間の歪みが考慮されない従来のキャリブレーションよりも精度を向上させることができる。

　そして、それらの線Ｈ，Ｖとして、平行で線間の距離が既知の少なくとも２本の線とこれら２本の線に直交する少なくとも１本の線とを適用して、視点変換合成画像Ｑ０における像Ｈ，Ｖの平行な度合いや直交の度合い、像（線）間の距離、および２つ以上の視点変換部分画像に跨って写った一直線上に位置する線Ｈ，Ｖに対応した像Ｈ，Ｖが一直線上に位置するように外部パラメータＮを調整するため、視点変換合成画像Ｑ０の全体に亘って、精度の高いキャリブレーションを行うことができる。

　また、本実施形態の画像のキャリブレーション装置１００は、校正用指標２０として、車幅方向に延びた互いに平行な直線状の第１横線Ｈ１，第２横線Ｈ２，第３横線Ｈ３，第４横線Ｈ４と、車両２００の前後方向に延びた互いに平行な直線状の、各横線Ｈ１，Ｈ２，Ｈ３，Ｈ４に直交する縦線Ｖ１，Ｖ２とからなり、各線間の距離が既知となっている簡単なものを適用したものであり、そのような簡単な構成の校正用指標２０は入手性が用意であるとともに、路面上に描いて形成するものであっても、簡単に描くことができるため、容易な取り扱いを実現することができる。

　さらに、本実施形態のキャリブレーション装置１００は、外部パラメータ補正部５２が、上記（１）～（４）の条件により、繰り返し演算を行うことで、視点変換合成画像Ｑ０を新たな視点変換合成画像Ｑ１０に収束させるように、外部パラメータＮを補正するもであるが、本発明の画像のキャリブレーション装置はこの形態に限定されるものではなく、外部パラメータ補正部５２が、上記（１）～（４）の条件に条件（５）（外部パラメータのデフォルト値を用いて信頼性のある線の像を特定する）を加えて、外部パラメータＮを調整する補正を行うものであってもよい。

　このように、上記（１）～（４）の条件だけでなく、外部パラメータのデフォルト値をも用いて信頼性のある線の像を特定することで、新たな視点変換合成画像Ｑ１０に収束させるための繰り返し演算の回数を減らすことができ、収束に至る経過時間を短縮することができる。

　（実施形態２）
　図１１は、本発明の第２の実施形態である画像のキャリブレーション装置１００の構成を示すブロック図である。

　図示のキャリブレーション装置１００は、キャリブレーション部５０の内部パラメータ補正部５１が、４つの歪補正画像Ｐ１～Ｐ４（補正される以前の内部パラメータ（デフォルトの内部パラメータ）に基づいた歪補正により得られた歪補正画像）に基づいて視点変換処理された視点変換合成画像Ｑの各視点変換部分画像に含まれる互いに平行な２本の線に対応した像と直交する１本の線に対応した像とがそれぞれ直線状に延びたものとなるように内部パラメータＭを調整する補正を行うものである点が、図１に示した実施形態１のキャリブレーション装置１００に対して相違する以外、他の構成は実施形態１のキャリブレーション装置１００と同じであるため説明を省略する。

　また、作用、効果についても、特に後述する以外のものは、実施形態１のキャリブレーション装置１００と同じであるため説明を省略する。

　内部パラメータ補正部５１が内部パラメータを補正する際の、校正用指標２０の線の像の直線性を調整する対象の画像が、実施形態１のキャリブレーション装置１００では歪補正画像Ｐ１～Ｐ４（デフォルトの内部パラメータで歪補正して得られた歪補正画像：図６参照）であるのに対して、実施形態２のキャリブレーション装置１００では視点変換合成画像Ｑ２０（デフォルトの内部パラメータで歪補正して得られた４つの歪補正画像Ｐ１～Ｐ４をデフォルトの外部パラメータで視点変換処理して得られた視点変換合成画像：図１２参照）を構成する４つの視点変換部分画像Ｑ２１～Ｑ２４である。

　そして、実施形態２のキャリブレーション装置１００は、内部パラメータ補正部５１が、図１２に示した視点変換部分画像Ｑ２１～Ｑ２４のそれぞれについて、各視点変換部分画像Ｑ２１～Ｑ２４に含まれる互いに平行な２本の線に対応した像と直交する１本の線に対応した像とがそれぞれ直線状に延びたものとなるように内部パラメータＭを調整する補正を行って、その補正された後の内部パラメータＭを歪補正処理部３０にフィードバックし、歪補正処理部３０は、その補正された後の内部パラメータＭに基づいて、各周辺領域画像Ｓ１～Ｓ４をそれぞれ歪補正することで、結果的に実施形態１のキャリブレーション装置１００と同様に歪補正された歪補正画像Ｐ１１～Ｐ１４が得られ、これらの歪補正画像Ｐ１１～Ｐ１４が視点変換処理部４０に入力され、視点変換処理部４０は入力された歪補正画像Ｐ１１～Ｐ１４をデフォルトの外部パラメータＮで視点変換処理することで、結果的に実施形態１のキャリブレーション装置１００で得られた新たな視点変換合成画像Ｑ０（図８参照）と実質的に同様の視点変換合成画像（以下、視点変換合成画像Ｑ０という。）を得る。

　その後、外部パラメータ補正部５２が、実施形態１のキャリブレーション装置１００における外部パラメータ補正部５２と同じ作用により、視点変換合成画像Ｑ０が、条件（１－１）～（１－４）、条件（３－１）～（３－４）、条件（２－１）～（２－９）、条件（４－１）～（４－４）を満たすように、外部パラメータＮを調整する補正を行い、この補正された外部パラメータＮで視点変換処理部４０が演算を繰り返すことで、図９に示した視点変換合成画像Ｑ１０を得る。

　この結果、本実施形態２の画像のキャリブレーション装置１００によっても、実施形態１の画像のキャリブレーション装置１００と同じ効果を得ることができる。

　ところで、実施形態２のキャリブレーション装置１００は視点変換合成画像Ｑを対象として線の像が直線状になるように内部パラメータＭを補正しているのに対して、実施形態１のキャリブレーション装置１００は各歪補正画像Ｐを対象として線の像が直線状になるように内部パラメータＭを補正している。

　ここで、線の像が長いほど、その線の像を直線状に補正したときの精度の信頼性は高いといえる。

　この点、各歪補正画像Ｐ中における線の像の方が、視点変換合成画像Ｑ中における線の像よりも長いため、各歪補正画像Ｐ中における線の像を直線状となるように内部パラメータＭを補正した方が、視点変換合成画像Ｑ中における線の像を直線状となるように内部パラメータＭを補正した場合よりも、精度の信頼性が高い。

　よって、実施形態１の画像のキャリブレーション装置１００の方が、実施形態２の画像のキャリブレーション装置１００よりも、精度に対する信頼性が高いキャリブレーションを提供することができる。

　上述した各実施形態においては、校正用指標２０として図３に示した、互いに平行な４つの横線Ｈ１～Ｈ４（車両２００の幅方向に沿って延びた線）および互いに平行な２つの縦線Ｖ１，Ｖ２（車両の前後方向に沿って延びた線）からなり、図５に示すように、２本の端の横線Ｈ１，Ｈ４と２本の縦線Ｖ１，Ｖ２とが車両２００に対して外方に位置したものであるが、本発明に係る画像のキャリブレーション装置は、これらの実施形態に限定されるものではなく、例えば、図１３Ａに示すものや、図１４Ａに示すものなどを適用することもできる。

　すなわち、各カメラ１０によって写る周辺領域画像Ｓ１～Ｓ４に、少なくとも、互いに平行な２本の線に対応した像とこれら２本の線にそれぞれ直交する１本の線に対応した像とがそれぞれ含まれ、かつ、校正用指標２０に含まれる線のうち、１つのカメラ１０の撮影範囲に位置する少なくとも１つの線と他のカメラ１０の撮影範囲に位置する少なくとも１つの線とが一直線上に位置するように形成されたものであればよいため、右サイドカメラ１３や左サイドカメラ１４の設置状態（車両前後方向に沿った前後方向位置や光軸の向き）にもよるが、横線Ｈ２および横線Ｈ３のうち一方または両方を省略した形態の校正用指標であっても、本発明に係る画像のキャリブレーション装置を構成可能である。

　図１３Ａの校正用指標２０は、車両２００の前方に設置された、車幅方向に延びた直線状の横線Ｈ１（第１線）と、車両２００の後方に設置された、車幅方向に延びた直線状の横線Ｈ４（第２線）と、横線Ｈ１と横線Ｈ４との間に設置された、車幅方向に延びた直線状の横線Ｈ３（第６線）（横線Ｈ３（第６線）に代えて横線Ｈ２（第５線）であってもよい）と、車両２００の両側方にそれぞれ設置された、車両前後方向に延びた直線状の縦線Ｖ１（第３線）および縦線Ｖ２（第４線）とを少なくとも備えたものである。

　なお、互いに平行な線Ｈ１，Ｈ４間の距離、互いに平行な線Ｈ１，Ｈ３間の距離、および互いに平行な線Ｖ１，Ｖ２間の距離は、上述した実施形態と同様にいずれも既知である。

　この図１３Ａに示すように構成された校正用指標２０を備えた画像のキャリブレーション装置１００によれば、図３に示した校正用指標２０における横線Ｈ２の像Ｈ２について行うべき直線性の確保（歪補正における内部パラメータＭの補正）や他の横線Ｈ３，Ｈ４等の間での平行性、縦線Ｖ１，Ｖ２および他の横線Ｈ３，Ｈ４との間の線間距離などの確保（視点変換処理における外部パラメータＮの補正）の処理を、図１３Ａに示した校正用指標２０における横線Ｈ１の像Ｈ１について行うべき処理（直線性の確保（歪補正における内部パラメータＭの補正）や他の横線Ｈ３，Ｈ４等の間での平行性、縦線Ｖ１，Ｖ２および他の横線Ｈ３，Ｈ４との間の線間距離などの確保（視点変換処理における外部パラメータＮの補正））とすることで、図３に示した校正用指標２０を備えた画像のキャリブレーション装置１００と同じ作用、効果を得ることができる。

　なお、図１３Ａに示すように構成された校正用指標２０を備えた画像のキャリブレーション装置１００においては、図４Ｃ相当の右サイドカメラ１３による周辺領域画像Ｓ３は図１３Ｂに示すようなものとなり、図４Ｄ相当の左サイドカメラ１４による周辺領域画像Ｓ３は図１３Ｃに示すようなものとなる。

　また、図１４Ａの校正用指標２０は、車両２００の前方に設置された、車幅方向に延びた直線状の横線Ｈ１（第１線）と、車両２００の後方に設置された、車幅方向に延びた直線状の横線Ｈ４（第２線）と、車両２００の両側方にそれぞれ設置された、車両前後方向に延びた直線状の縦線Ｖ１（第３線）および縦線Ｖ２（第４線）とを少なくとも備えたものである。

　なお、互いに平行な線Ｈ１，Ｈ４間の距離、および互いに平行な線Ｖ１，Ｖ２間の距離は、上述した実施形態と同様にいずれも既知である。

　この図１４Ａに示すように構成された校正用指標２０を備えた画像のキャリブレーション装置１００によれば、図１３Ａに示した校正用指標２０における横線Ｈ３の像Ｈ３について行うべき直線性の確保（歪補正における内部パラメータＭの補正）や他の横線Ｈ４等の間での平行性、縦線Ｖ１，Ｖ２および他の横線Ｈ４との間の線間距離などの確保（視点変換処理における外部パラメータＮの補正）の処理を、図１４Ａに示した校正用指標２０における横線Ｈ１の像Ｈ１について行うべき処理（直線性の確保（歪補正における内部パラメータＭの補正）や他の横線Ｈ４等の間での平行性、縦線Ｖ１，Ｖ２および他の横線Ｈ４との間の線間距離などの確保（視点変換処理における外部パラメータＮの補正））とすることで、図１３Ａに示した校正用指標２０を備えた画像のキャリブレーション装置１００と同じ作用、効果を得ることができる。

　なお、図１４Ａに示すように構成された校正用指標２０を備えた画像のキャリブレーション装置１００においては、図４Ｃ相当の右サイドカメラ１３による周辺領域画像Ｓ３は図１４Ｂに示すようなものとなり、図４Ｄ相当の左サイドカメラ１４による周辺領域画像Ｓ３は図１４Ｃに示すようなものとなる。

　上述した図１４Ａに示した校正用指標２０は、周辺領域画像Ｓ３，Ｓ４（図１４Ｂ，図１４Ｃ）に写る横線Ｈ１，Ｈ４の像Ｈ１，Ｈ４が、図４Ｃ，図４Ｄに示した周辺領域画像Ｓ３，Ｓ４に写る横線Ｈ２，Ｈ３の像Ｈ２，Ｈ３よりも長さが短いため、直線性の確保による内部パラメータＭの補正の精度は、図３に示した校正用指標２０を用いたキャリブレーション装置１００の方が高い。

　なお、上述した各実施形態のキャリブレーション装置１００は、本発明に係る画像のキャリブレーション装置についての実施形態であるが、このキャリブレーション装置１００の作用は、本発明に係る画像のキャリブレーション方法についての実施形態とすることができる。

関連出願の相互参照

　本出願は、２０１０年６月２９日に日本国特許庁に出願された特願２０１０－１４７１２８に基づいて優先権を主張し、その全ての開示は完全に本明細書で参照により組み込まれる。
 
 

Claims (12)

1. 　車両が設置された路面上に予め設けられた校正用指標を含む、前記車両の周辺領域を、前記車両に設置された複数のカメラによりそれぞれ撮影し、
   　前記カメラのそれぞれによって撮影された周辺領域画像に対して前記カメラの光学的特性に対応した内部パラメータに基づいた歪補正をそれぞれ施し、
   　前記歪補正によって得られた複数の歪補正画像が、前記車両の上方から見下ろして得られる単一の視点変換合成画像となるように、前記カメラの前記車両への取付状態に対応した外部パラメータに基づいて前記複数の歪補正画像を視点変換処理し、
   　前記視点変換処理に際しては、前記視点変換合成画像における前記校正用指標の像に基づいて前記外部パラメータを調整することにより、前記視点変換合成画像のキャリブレーションを行う画像のキャリブレーション方法において、
   　前記校正用指標は、互いに平行で、かつ互いの線間の距離が既知である少なくとも２本の線と、前記２本の線にそれぞれ直交する少なくとも１本の線とを含むものであって、前記各周辺領域画像に、少なくとも、前記互いに平行な２本の線に対応した像と前記２本の線にそれぞれ直交する１本の線に対応した像とがそれぞれ含まれ、かつ、前記校正用指標に含まれる線のうち、１つの前記カメラの撮影範囲に位置する少なくとも１つの線と他の前記カメラの撮影範囲に位置する少なくとも１つの線とが一直線上に位置するように形成されたものであり、
   　前記複数の歪補正画像のそれぞれについて、前記各歪補正画像に含まれる前記互いに平行な２本の線に対応した像と前記直交する１本の線に対応した像とがそれぞれ直線状に延びたものとなるように、前記内部パラメータを調整する補正を行い、
   　その補正された後の前記内部パラメータにより得られた新たな歪補正画像を用いて、新たな視点変換合成画像を得、その得られた新たな視点変換合成画像が以下の条件（１）～（４）を満たすように、前記外部パラメータを調整する補正を行うことを特徴とする画像のキャリブレーション方法。
   （１）前記互いに平行な２本の線に対応した像が互いに平行である
   （２）前記互いに平行な２本の線に対応した像間の距離が、前記校正用指標の線間の既知の距離である
   （３）前記直交する１本の線に対応した像が、前記平行な２本の線に対応した像と直交している
   （４）前記校正用指標のうち一直線上に位置する線に対応した像が一直線上に位置する
2. 　車両が設置された路面上に予め設けられた校正用指標を含む、前記車両の周辺領域を、前記車両に設置された複数のカメラによりそれぞれ撮影し、
   　前記カメラのそれぞれによって撮影された周辺領域画像に対して前記カメラの光学的特性に対応した内部パラメータに基づいた歪補正をそれぞれ施し、
   　前記歪補正によって得られた複数の歪補正画像が、前記車両の上方から見下ろして得られる単一の視点変換合成画像となるように、前記カメラの前記車両への取付状態に対応した外部パラメータに基づいて前記複数の歪補正画像を視点変換処理し、
   　前記視点変換処理に際しては、前記視点変換合成画像における前記校正用指標の像に基づいて前記外部パラメータを調整することにより、前記視点変換合成画像のキャリブレーションを行う画像のキャリブレーション方法において、
   　前記校正用指標は、互いに平行で、かつ互いの線間の距離が既知である少なくとも２本の線と、前記２本の線にそれぞれ直交する少なくとも１本の線とを含むものであって、前記各周辺領域画像に、少なくとも、前記互いに平行な２本の線に対応した像と前記２本の線にそれぞれ直交する１本の線に対応した像とがそれぞれ含まれ、かつ、前記校正用指標に含まれる線のうち、１つの前記カメラの撮影範囲に位置する少なくとも１つの線と他の前記カメラの撮影範囲に位置する少なくとも１つの線とが一直線上に位置するように形成されたものであり、
   　前記視点変換合成画像について、前記視点変換合成画像に含まれる前記互いに平行な２本の線に対応した像と前記直交する１本の線に対応した像とがそれぞれ直線状に延びたものとなるように、前記内部パラメータを調整する補正を行い、
   　その補正された後の前記内部パラメータにより得られた新たな歪補正画像を用いて、前記視点変換合成画像を得、その得られた前記視点変換合成画像が以下の条件（１）～（４）を満たすように、前記外部パラメータを調整する補正を行うことを特徴とする画像のキャリブレーション方法。
   （１）前記互いに平行な２本の線に対応した像が互いに平行である
   （２）前記互いに平行な２本の線に対応した像間の距離が、前記校正用指標の線間の既知の距離である
   （３）前記直交する１本の線に対応した像が、前記平行な２本の線に対応した像と直交している
   （４）前記校正用指標のうち一直線上に位置する線に対応した像が一直線上に位置する
3. 　前記外部パラメータを調整する補正は、前記（１）～（４）の条件に下記条件（５）を加えて行うことを特徴とする請求項１または２に記載の特徴とする画像のキャリブレーション方法。
   （５）外部パラメータのデフォルト値
4. 　前記校正用指標は、車両の前方に設置された、車幅方向に延びた直線状の第１線と、車両の後方に設置された、車幅方向に延びた直線状の第２線と、前記第１線と前記第２線との間に設置された、車幅方向に延びた直線状の第３線および第４線と、車両の両側方にそれぞれ設置された、車両前後方向に延びた直線状の第５線および第６線とを少なくとも備えたものであることを特徴とする請求項１または２に記載の画像のキャリブレーション方法。
5. 　前記校正用指標は、車両の前方に設置された、車幅方向に延びた直線状の第１線と、車両の後方に設置された、車幅方向に延びた直線状の第２線と、前記第１線と前記第２線との間に設置された、車幅方向に延びた直線状の第５線と、車両の両側方にそれぞれ設置された、車両前後方向に延びた直線状の第３線および第４線とを少なくとも備えたものであることを特徴とする請求項請求項１または２に記載の画像のキャリブレーション方法。
6. 　前記校正用指標は、車両の前方に設置された、車幅方向に延びた直線状の第１線と、車両の後方に設置された、車幅方向に延びた直線状の第２線と、車両の両側方にそれぞれ設置された、車両前後方向に延びた直線状の第３線および第４線とを少なくとも備えたものであることを特徴とする請求項１または２に記載の画像のキャリブレーション方法。
7. 　車両が設置された路面上に予め設けられた校正用指標と、
   　前記校正用指標を含む、前記車両の周辺領域を撮影する、前記車両に設置された複数のカメラと、
   　前記カメラのそれぞれによって撮影された周辺領域画像に対して前記カメラの光学的特性に対応した内部パラメータに基づいた歪補正をそれぞれ施す歪補正手段と、
   　前記歪補正によって得られた複数の歪補正画像が、前記車両の上方から見下ろして得られる単一の視点変換合成画像となるように、前記カメラの前記車両への取付状態に対応した外部パラメータに基づいて前記複数の歪補正画像を視点変換処理する視点変換処理手段と、
   　前記視点変換処理手段による視点変換処理に際しては、前記視点変換合成画像における前記校正用指標の像に基づいて前記外部パラメータを調整することにより、前記視点変換合成画像のキャリブレーションを行うキャリブレーション手段と、を備えた画像のキャリブレーション装置において、
   　前記校正用指標は、互いに平行で、かつ互いの線間の距離が既知である少なくとも２本の線と、前記２本の線にそれぞれ直交する少なくとも１本の線とを含むものであって、前記各周辺領域画像に、少なくとも、前記互いに平行な２本の線に対応した像と前記２本の線にそれぞれ直交する１本の線に対応した像とがそれぞれ含まれ、かつ、前記校正用指標に含まれる線のうち、１つの前記カメラの撮影範囲に位置する少なくとも１つの線と他の前記カメラの撮影範囲に位置する少なくとも１つの線とが一直線上に位置するように形成されたものであり、
   　前記キャリブレーション手段は、前記複数の歪補正画像のそれぞれについて、前記各歪補正画像に含まれる前記互いに平行な２本の線に対応した像と前記直交する１本の線に対応した像とがそれぞれ直線状に延びたものとなるように、前記内部パラメータを調整する補正を行う内部パラメータ補正手段と、前記補正された後の内部パラメータを用いて前記歪補正手段により得られた新たな歪補正画像を用いて新たな視点変換合成画像を得たとき、その得られた新たな視点変換合成画像が以下の条件（１）～（４）を満たすように、前記外部パラメータを調整する補正を行う外部パラメータ補正手段とを有することを特徴とする画像のキャリブレーション装置。
   （１）前記互いに平行な２本の線に対応した像が互いに平行である
   （２）前記互いに平行な２本の線に対応した像間の距離が、前記校正用指標の線間の既知の距離である
   （３）前記直交する１本の線に対応した像が、前記平行な２本の線に対応した像と直交している
   （４）前記校正用指標のうち一直線上に位置する線に対応した像が一直線上に位置する
8. 　車両が設置された路面上に予め設けられた校正用指標と、
   　前記校正用指標を含む、前記車両の周辺領域を撮影する、前記車両に設置された複数のカメラと、
   　前記カメラのそれぞれによって撮影された周辺領域画像に対して前記カメラの光学的特性に対応した内部パラメータに基づいた歪補正をそれぞれ施す歪補正手段と、
   　前記歪補正によって得られた複数の歪補正画像が、前記車両の上方から見下ろして得られる単一の視点変換合成画像となるように、前記カメラの前記車両への取付状態に対応した外部パラメータに基づいて前記複数の歪補正画像を視点変換処理する視点変換処理手段と、
   　前記視点変換処理手段による視点変換処理に際しては、前記視点変換合成画像における前記校正用指標の像に基づいて前記外部パラメータを調整することにより、前記視点変換合成画像のキャリブレーションを行うキャリブレーション手段と、を備えた画像のキャリブレーション装置において、
   　前記校正用指標は、互いに平行で、かつ互いの線間の距離が既知である少なくとも２本の線と、前記２本の線にそれぞれ直交する少なくとも１本の線とを含むものであって、前記各周辺領域画像に、少なくとも、前記互いに平行な２本の線に対応した像と前記２本の線にそれぞれ直交する１本の線に対応した像とがそれぞれ含まれ、かつ、前記校正用指標に含まれる線のうち、１つの前記カメラの撮影範囲に位置する少なくとも１つの線と他の前記カメラの撮影範囲に位置する少なくとも１つの線とが一直線上に位置するように形成されたものであり、
   　前記キャリブレーション手段は、前記視点変換合成画像について、前記視点変換合成画像に含まれる前記互いに平行な２本の線に対応した像と前記直交する１本の線に対応した像とがそれぞれ直線状に延びたものとなるように、前記内部パラメータを調整する補正を行う内部パラメータ補正手段と、前記補正された後の内部パラメータを用いて前記歪補正手段により得られた新たな歪補正画像を用いて新たな視点変換合成画像を得たとき、その得られた新たな視点変換合成画像が以下の条件（１）～（４）を満たすように、前記外部パラメータを調整する補正を行う外部パラメータ補正手段とを有することを特徴とする画像のキャリブレーション装置。
   （１）前記互いに平行な２本の線に対応した像が互いに平行である
   （２）前記互いに平行な２本の線に対応した像間の距離が、前記校正用指標の線間の既知の距離である
   （３）前記直交する１本の線に対応した像が、前記平行な２本の線に対応した像と直交している
   （４）前記校正用指標のうち一直線上に位置する線に対応した像が一直線上に位置する
9. 　前記外部パラメータ補正手段は、前記（１）～（４）の条件に下記条件（５）を加えて、前記外部パラメータを調整する補正を行うものであることを特徴とする請求項７または８に記載の特徴とする画像のキャリブレーション装置。
   （５）外部パラメータのデフォルト値
10. 　前記校正用指標は、車両の前方に設置された、車幅方向に延びた直線状の第１線と、車両の後方に設置された、車幅方向に延びた直線状の第２線と、前記第１線と前記第２線との間に設置された、車幅方向に延びた直線状の第３線および第４線と、車両の両側方にそれぞれ設置された、車両前後方向に延びた直線状の第５線および第６線とを少なくとも備えたものであることを特徴とする請求項７または８に記載の画像のキャリブレーション装置。
11. 　前記校正用指標は、車両の前方に設置された、車幅方向に延びた直線状の第１線と、車両の後方に設置された、車幅方向に延びた直線状の第２線と、前記第１線と前記第２線との間に設置された、車幅方向に延びた直線状の第５線と、車両の両側方にそれぞれ設置された、車両前後方向に延びた直線状の第３線および第４線とを少なくとも備えたものであることを特徴とする請求項７または８に記載の画像のキャリブレーション装置。
12. 　前記校正用指標は、車両の前方に設置された、車幅方向に延びた直線状の第１線と、車両の後方に設置された、車幅方向に延びた直線状の第２線と、車両の両側方にそれぞれ設置された、車両前後方向に延びた直線状の第３線および第４線とを少なくとも備えたものであることを特徴とする請求項７または８に記載の画像のキャリブレーション装置。
     
     

Images