JP5898475B2 - 車載カメラシステム及びその較正方法、及びその較正プログラム - Google Patents

Description

本発明は、車両周囲の環境を画像認識する車載カメラシステム及びその較正方法、及びその較正プログラムに関する。

撮像部と画像処理装置を備えた車載カメラシステムは、車両の利便性向上、安全走行およびカーナビゲーションの高度な位置補正などを目的として、その役割は益々重要なものとなってきている。画像処理技術の発展に伴い、路面、あるいは路上の表示や物体を認識する技術は、多種多様なものが開発されてきている。これらに付随して、車両周囲の環境を画像認識し、車線逸脱防止や、衝突回避、オートクルーズなどの車両制御を行う技術も開発され、実用化が進められている。車両制御を伴う場合、車両に対する認識対象物の相対位置を測定するための計測技術が必要となる。これをカメラで実施する場合、カメラの位置や姿勢を表すカメラの外部パラメータと、光軸位置や焦点距離、レンズ歪みなどを表す内部パラメータを用いて、画像中の画素と実空間上の位置の対応をとる必要がある。外部パラメータや内部パラメータは設計値に基づいて製造されているが、実際には誤差が必ず含まれるため、画素と実空間が真の対応関係を表すように、ズレを補正するキャリブレーションが必要となる。

特開２００４−２００８１９号公報 特開２００８−０１１１７４号公報

特許文献１には、基準マーカを用いてカメラの光軸補正を行う技術が記載されている。光軸補正の実施には、基準マーカを準備する必要がある。基準マーカはカメラとの相対関係が定められた位置に設置されなければならない。車載カメラの場合、カメラを設置した状態でカメラの位置を決める必要がある。すなわち、車両位置決めをする設備が必要となる。位置決め設備にはコストがかかるため、位置決めをすることなくカメラのキャリブレーションが可能となる仕組みがあることが望ましい。

特許文献２は、車両が走行中であっても、道路上で高い頻度で得られる道路標示の情報から、車載カメラの光軸補正、およびカメラ高さを補正する方法である。キャリブレーション用の設備投資が不要であり、コストの面で優れているといえる。しかしながら、この手法により補正できるのは、車載カメラの光軸、および道路標示の情報のみであり、レンズ歪みや光軸中心などの内部パラメータや、カメラの高さを除く設置位置などの外部パラメータに関しては補正することができない。特に、魚眼カメラにおいてはレンズ歪みの影響が大きいため、あわせて補正できることが望ましい。

本発明は、上記の点に鑑みてなされたものであり、その目的とするところは、撮像部の 内部パラメータと外部パラメータを容易に較正できる車載カメラシステム及びその較正方法及びその較正プログラムを提供する。

上記課題を解決する本発明の車載カメラシステムの較正方法とは、車両周囲を撮像し、撮像された画像から予め設定された直線部分を有する認識対象物を認識し、画像から認識対象物の特徴点を抽出し、抽出された特徴点を仮想球面に投影し、仮想球面に形成された特徴点列の形状に基づいて撮像部の内部パラメータを推定し、推定した内部パラメータを較正し、抽出された特徴点に基づいて画像の俯瞰視点を算出し、算出した俯瞰視点に基づいて撮像部の外部パラメータを推定し、推定した外部パラメータを較正する構成としている。

また、上記課題を解決する本発明の車載カメラシステムとは、車両周囲を撮像する撮像部と、撮像部により撮像された画像から予め設定された直線部分を有する認識対象物を認識し、画像から認識対象物の特徴点を抽出する特徴点抽出部と、特徴点抽出部により抽出された特徴点を仮想球面に投影し、仮想球面に形成された特徴点列の形状に基づいて撮像部の内部パラメータを推定し、推定した内部パラメータを較正する内部パラメータ較正部と、特徴点抽出部により抽出された特徴点に基づいて画像の俯瞰視点を算出し、算出した俯瞰視点に基づいて撮像部の外部パラメータを推定し、推定した外部パラメータを較正する外部パラメータ較正部と、を有する構成としている。

また、上記課題を解決する本発明の画像処理装置によって実行される車載カメラシステムの較正プログラムとは、車載カメラシステムの撮像部により撮像された車両周囲の画像から予め設定された直線部分を有する認識対象物を認識して画像から認識対象物の特徴点を抽出し、抽出された特徴点を仮想球面に投影して仮想球面に形成された特徴点列の形状に基づいて撮像部の内部パラメータを推定し、推定した内部パラメータを較正し、前記抽出された特徴点に基づいて画像の俯瞰視点を算出し、算出した俯瞰視点に基づいて撮像部の外部パラメータを推定し、推定した外部パラメータを較正する構成としている。

本発明によれば、撮像部の内部パラメータと外部パラメータを簡単に較正することができる。なお、上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

本実施形態に係る車載カメラシステムを搭載した車両の道路走行状態を示すモデル図。 画像の歪みを示す図。 歪みについて説明する図。 本実施形態に係る車載カメラシステムの構成例を示す図。 本実施形態に係る車載カメラシステムの他の構成例を示す図。 球面投影による内部パラメータの較正方法を説明する図。 曲線と直線に関する球面投影の差を示した図。 カメラ回転の定義を示した図である。 外部パラメータ（ピッチ，ヨー，カメラ高さ）の較正方法を説明する図。 外部パラメータ（ロール，並進）の較正方法を説明する図。

以下、本実施形態について、図面を参照しながら詳細に説明する。
図１は、本実施形態に係る車載カメラシステムを搭載した車両の道路走行状態を示すモデル図である。

車載カメラシステムは、例えば図１に示すように、撮像部３０７，３０８，３０９，３１０、画像処理装置１０５から構成される。撮像部３０７，３０８，３０９，３１０、および画像処理装置１０５は、路面表示、道路標識などからの画像情報により、車両の利便性の向上や安全走行のための監視目的で実用化されており、本発明の実施形態にも利用可能である。

本実施形態においては、撮像部３０７，３０８，３０９，３１０として車両周囲を監視する４つのカメラが取り付けられているが、取り付け個数は１つ以上であれば幾つでも良い。

また、路面が撮像可能な状態で取り付けられていれば、取り付け位置や姿勢は自由に決めてよい。また、カメラには、赤外線カメラを用いても良いし、カメラの視野角や、撮像素子の種類、レンズの特性などには制限が無く、種々のカメラを利用することができる。以降の記述で、撮像部３０７，３０８，３０９，３１０と述べているところ全てに関して、特段の説明が無い限り、同様に制限を設けていない。

画像処理装置１０５は、例えば車載カメラシステムのＥＣＵ内に構成されており、予めインストールされている較正プログラムが実行されることによって、後述する特徴点抽出部３０１、内部パラメータ較正部３０３、外部パラメータ較正部３０４等の各内部機能を実現する。

画像処理装置１０５は、撮像部３０７，３０８，３０９，３１０で撮像された画像から白線や路面表示などの予め設定された直線部分を有する認識対象物を認識し、画像から所定の特徴点、または特徴線の抽出を行う。そして、抽出された情報から、歪みを含むカメラパラメータ（光軸中心，歪み，画素の縦横比，焦点距離，カメラ設置の三次元位置，設置姿勢）を推定する。

ここで、歪みを定義する。歪みとは、例えば図２に示すような光軸位置を中心として放射状に画像が湾曲した状況のことを指す。図２は、画像の歪みを示す図であり、平面上に描かれた正方形の升目を撮像した画像である。歪みには、たる型歪みや糸巻き型歪み、魚眼カメラで設計されている歪みのことを指す。これらの歪みは、下記の式（１）、

という多項式で近似することができる。ここで、θは光のレンズへの入射角度を示す。k₁,k₂,k₃…は歪み係数を表し、歪みの形状を決める。ｒは入射角θ、歪み係数k₁,k₂,k₃…の場合の光軸中心からの結像位置の距離を表す。これらの関係を図３に示す。

図３は、カメラパラメータを説明する図である。

図３において、X,Y,Zはカメラ座標軸、Pは実空間中の撮像対象の点、fは焦点距離、cは光軸位置、p'_iは歪みがない場合におけるPの投影画素位置、p_iは歪みの影響を受けた投影位置、x,yはそれぞれ撮像平面の水平軸、垂直軸である。zは光軸、φは、p_iを撮像平面上において極座標で表した場合の偏角を表す。光軸画像中心歪みの補正はk₁,k₂,k₃…を推定することで実現する。

魚眼カメラに関しては、広域を撮像するために故意に歪みをつけるようになっている。魚眼モデルである正射影方式、立体射影方式、等立体角射影方式では、sinやtanの関数で記述できるため、歪みモデル式における奇数次の項のみを推定すれば良い。

次に、車載カメラシステムの詳細を図４に基づいて説明する。
図４、５は、本実施の形態に係る車載カメラシステムの構成を説明する図である。
図４に示すように、車載カメラシステムは、撮像部３０７，３０８，３０９，３１０、および画像処理装置１０５により構成される。撮像部３０７，３０８，３０９，３１０で撮影された画像は、画像処理装置１０５に送られる。

画像処理装置１０５では、まず特徴点抽出部３０１にて入力された画像を処理し、較正（キャリブレーション）に必要な特徴点を抽出する。本実施例においては、特徴点として、実空間中での直線的物体（白線，横断歩道，停止線，横断歩道ありの表示，速度表示，建物の壁面，標識など）のエッジ上の点列を抽出する。実空間中で直線的であれば、その対象は問わない。横断歩道など、認識する対象を決定し、それが認識できたときにそのエッジ点列を特徴点とするような処理を実施することで実現可能である。

また、画像処理装置１０５は、図５に示すように、撮像部３０７，３０８，３０９，３１０で撮影された画像に対して、エッジ抽出を施し、その後、エッジ点列を特徴点選別部３０２に対して入力する形式にしてもよい。特徴点選別部３０２では、特徴点抽出部３０１で抽出された特徴点に対して、処理を実施する。実施する処理は、較正に不要な特徴点を除外することである。例えば、白線のエッジ点列を抽出する場合に、カーブなどの実空間上での曲線的な構造をエッジ点列として取得する場合もあるために、特徴点を除外する必要がでてくる場合がある。このような場合に実施する。

内部パラメータ較正部３０３では、特徴点抽出部３０１、あるいは特徴点抽出部３０１と特徴点選別部３０２によって抽出された特徴点を利用して内部パラメータの較正を実施する。

歪みパラメータの補正方法の一例について説明する。歪みパラメータの推定は、実空間では直線であるはずだが、レンズ歪みによって曲線状に撮像されている線を用いて、曲線が直線になるように歪みパラメータを調整することにより実現する。曲線上の点列を特徴点として、その特徴点を用いて実施する。その一つの実現方法として、球面に投影した特徴点が示す性質を利用して較正する方法がある。

図６、図７を用いてこの較正方法を説明する。
図６は、球面投影による内部パラメータの較正方法を説明する図である。図６に示すような仮想球面６０１を考える。仮想球面６０１は、撮像部６１０の光軸と同軸上に仮想球面６０１の球中心Ｏが配置されるように設定される。具体的には、仮想球面６０１の光軸と撮像部６１０の光軸が一致するように設定される。仮想球面６０１の光軸は、原点を通過する直線であれば任意に設定できる。

撮像部６１０で横断歩道等の予め設定された直線部分を有する認識対象物６０２を撮影すると、撮影画像６１１が得られる。撮像画像６１１には、認識対象物６０２の直線部分６２１，６２２に対応する直線６１２，６１３が表示される。仮想球面６０１上に撮影画像６１１の直線６１２，６１３を投影した場合、直線６１２，６１３は仮想球面上６０１における大円６０３，６０４の一部となる。大円６０３，６０４は、仮想球面６０１の球中心Ｏを含む断面外周円である。

図７は、曲線と直線に関する球面投影の差を示した図である。図７(a)に示すように、撮像画像７１０に示される撮像線７１１が直線ではなく曲がっている場合は、仮想球面上に投影しても投影点７０２が大円７０１から外れて、大円７０１の一部とはならない。一方、撮像線７１２が直線の場合には、投影点７０４が大円７０３の一部となる。この性質を利用して、歪みを較正する。すなわち、図７(c)のように、直線７１２の特徴点列７０５が大円７０３の一部７０６となるように、歪みパラメータを調整する。

歪みパラメータの調整は、歪みパラメータを含む目的関数を、特徴点列が大円の一部となったときに最小化されるように設計し、目的関数を最小化する歪みパラメータを最適化手法によって推定することで実現する。目的関数は、例えば下記の式（２）となる。

ここで、ｎ_ｌは、画像中に撮像されているｌ本目の曲線上の特徴点を球面上に投影した点群中のｐ個目の点ｐ_ｌｐから推定した法線ベクトルである。この目的関数は、特徴点列を用いて推定した大円の法線ベクトルと、実際の特徴点を表現するベクトルは、特徴点が大円上にのっている場合は、直交するはずであるということを意味する目的関数である。ここで、

である。φは特徴点ｐ_ｌｐを画像平面に写像し、座標を極座標で表現したときの偏角である。また、この目的関数は、実空間と画像座標とを関係付ける式を用いて、光軸中心、単位撮像素子の縦横比、焦点距離、接線方向ひずみなどに関するパラメータを含むことで、歪みパラメータのみではなく、種々の内部パラメータの補正が可能である。これはあくまで実現の一例であり、その他の内部パラメータ推定方式によってパラメータを推定しても良い。

次に外部パラメータの推定方式に関して説明する。
外部パラメータは、実空間上における撮像部のカメラ位置とカメラ姿勢である。カメラ位置は世界座標系（x,y,z）における撮像部のレンズ中心（xc,yc,zc）である（図８（ｄ））。撮像部８０１の姿勢は図８に示すとおり、カメラ座標系のZ軸を回転軸とするロール（図８（ａ））、X軸を回転軸とするピッチ（図８（ｂ））、Y軸を回転軸とするヨー（図８（ｃ））、の三つの回転で表現する。1つのカメラごとにこの６つのパラメータを推定する。

外部パラメータ較正部３０４では、撮像部３０７，３０８，３０９，３１０から入力された画像、および、内部パラメータ較正部に３０３おいて推定された歪みパラメータおよび内部パラメータを利用して較正を実施する。

以下で、外部パラメータの較正方法の一例に関して図９を用いて説明する。
図９は、外部パラメータ（ピッチ，ヨー，カメラ高さ）の較正方法を説明する図であり、図９（ａ）は、撮像部で認識対象物を撮像した実際の画像、図９（ｂ）は、俯瞰画像である。

最初に、ピッチの求め方について説明する。X軸を回転軸とするピッチは、歪み補正後の特徴点の性質に基づいて推定する。

例えば、実際の画像９０１に示される認識対象物９１１は、路面表示であって、横方向に沿って延在する白線９１２と、白線９１２に直交して車両進行方向に沿って延在しかつ横方向に所定間隔をおいて互いに平行に配置された複数の平行白線９１３、９１３…を有している。

この認識対象物９１１を真上から見下ろした俯瞰画像９０２を撮影した場合、認識対象物９１１の平行白線９１３を構成するエッジ点列９２３は、俯瞰画像９０２中でも平行になるはずである。逆に考えれば、認識対象物９１１の平行成分を構成するエッジ点列９２３が平行になるような視点は、認識対象物９１１を真上から見下ろした視点（俯瞰視点）であるということを意味する。

したがって、現在の視点から、ピッチをどの位だけ変化させれば、俯瞰視点になるかを計算し、設計値どおりにカメラが設置されている場合の、俯瞰視点になるまでのピッチ変化量も同様に計算し、これら二つのピッチ変化量の差分をとることで、設計値からのピッチ方向の光軸ずれ量を推定できる。そして、この光軸ずれ量に基づいて、外部パラメータとしてピッチのパラメータを較正できる。

現在の視点から、ピッチをどれだけ変化させれば、俯瞰視点になるか、そのピッチ変化量は、目的関数を設計し、それをピッチに関して最適化することで算出可能である。目的関数は、

とすればよい。ここで、ν_ｐ、ν_ｑは内部パラメータを補正した画像中において、エッジ点列を近似する直線を表すベクトルである。Ｃは画像中の直線の全組み合わせを表す。これは、画像中の平行成分を構成するエッジ点列の近似直線が平行になる場合に、最小の値をとる関数である。

視点変換した場合のエッジ点の座標（ｕ’、ν’）は、ピッチに関する回転行列

を用いて、

で表すことができる。

ただし、この際、車両の状態についても考慮しておく必要がある。例えば、ピッチ角は、ブレーキングや操舵による荷重変化に伴う車両姿勢変化の影響も受ける。定常状態におけるずれ量を正しく求めるためには、このような荷重変化がかかっていない場合の撮像データを用いて実施する必要がある。例えば、ＣＡＮからブレーキングや操舵量の情報を取得し、ブレーキングや操舵といった荷重変化に伴う姿勢変化に関するアクションが起きているか否かを判断するといった仕組みを用いる。

このような仕組みがあれば、逆に、姿勢変化量を知ることも可能である。これは、荷重変化がおきている場合と定常状態それぞれについて俯瞰視点を得るためのピッチ角度を求め、その差分を計算することで実現できる。前記ピッチ角度のずれ量の計算法は、あくまで一例であり、他の手段を用いて求めても良い。

次に、ヨーの求め方について説明する。ヨーは、直線の直交性９３１をもとに推定する。ヨーに関しても、ピッチの場合と同様にヨーをどれだけ変化させれば、理想的な俯瞰視点になるかを計算する。ヨーが変化すると、図９（ａ）に示す画像９０１の水平方向の白線９１２が傾き、垂直方向の平行白線９１３との直交性が変化する。理想的な俯瞰視点から撮影した場合、図９（ｂ）の俯瞰画像９０２に示されるように、これらの直線９１２、９１３は直交９３１の関係をなす。そこで、これらの直線９１２、９１３が互いに直交するようなヨーを最適化手法などにより求める。

すなわち、現在の視点から、ヨーをどれだけ変化させれば、俯瞰視点になるかを計算し、設計値どおりにカメラが設置されている場合の、俯瞰視点になるまでのヨー変化量も同様に計算し、これら二つのヨー変化量の差分をとることで、設計値からのヨー方向の光軸ずれ量を推定できる。そして、この光軸ずれ量に基づいて、外部パラメータとしてヨーのパラメータを較正できる。

次に、カメラ高さの求め方について説明する。カメラ高さは、互いに平行な直線の間隔をもとに推定する。例えば、図９に示す認識対象物９１１の場合、各平行白線９１３、９１３の間隔９２０が一定の範囲になるよう定められている。俯瞰変換時のカメラ高さを調整することで、各平行白線９１３、９１３の間隔が一定の値になる画像を生成できる。

従って、例えば、カメラ高さを変数として、各直線の間隔が定められた値になった場合に最小となる目的関数を設定し、目的関数を最小化するカメラ高さを最適化手法により求めることで、理想的な俯瞰図を生成するカメラ高さを推定することができる。

目的関数は、例えば、

とする。ここで、ν_ｐおよびν_ｑは、ピッチ補正後の直線を表現するベクトルを想定している。ｂ_２は、ピッチ補正後の各直線の第二主成分平均値であり、ν_ｐ・ｂ_２は、ν_ｐの第二主成分平均ベクトル方向成分を表す。ｄ_ｐｑは直線ｐとｑのｑを基準とする第二主成分軸上の差分である。Ｎ_ｐ、Ｎ_ｑは、それぞれ直線ｐ上の特徴点数、直線ｑ上の特徴点数を表す。

したがって、推定したカメラ高さと、設計値どおりにカメラが設置されている場合のカメラ高さとの差分をとることで、設計値からのカメラ高さのずれ量を推定できる。そして、このカメラ高さのずれ量に基づいて、外部パラメータとしてカメラ高さのパラメータを較正できる。

次に、ロール角度と並進成分の求め方について図１０を用いて説明する。
図１０は、外部パラメータ（ロール，並進）の較正方法を説明する図であり、図１０（ａ）は、前カメラの画像を俯瞰視点に変換した俯瞰画像を示し、図１０（ｂ）は、右カメラの画像を俯瞰視点に変換した俯瞰画像を示している。ロール角度と並進成分の較正には、前述の処理で得られたパラメータを用いて生成した俯瞰図を用いる。

車両１００３は、撮像部として前後左右に４つのカメラを搭載しており、そのうちの前カメラと右カメラ間でロールと並進成分を較正する場合について説明する。他カメラの補正方法も同様である。

最後に、カメラのロールと位置(xc,yc,zc)を推定する。カメラのロールと位置推定は、カメラ間の画像位置合わせによって実施する。前述の手続きによって求めた前カメラのパラメータを用いて、俯瞰視点に変換した俯瞰画像1001を作成する。俯瞰画像は、前カメラの画像を俯瞰視点に存在すると仮定した俯瞰カメラの画像に変換することで生成する。俯瞰カメラのカメラパラメータは表示したい映像にあわせて望みのものに設定してよい。同様に右カメラも同一の俯瞰カメラからみた俯瞰視点画像に変換し、俯瞰画像1002を取得する。すなわち、俯瞰画像1001、および1002は同一視点から見た画像である。

キャリブレーションできていれば、1001、および1002の画像にズレはない。しかしながら、実際には前後左右カメラはロールと設置位置の設計値からの誤差に由来するズレが存在する。そこで、俯瞰画像1001、および俯瞰画像1002の画像にズレがなくなるように、ロールとカメラ位置(xc,yc,zc)を推定する。画像のズレを判定するために、俯瞰カメラ画像に画像領域1003を設定する。この画像領域1003には、前、右カメラの重複する撮像領域中の、共通する撮像対象がうつっている領域とするこの領域のカメラ映像が一致するように、ロールとカメラ位置(xc,yc,zc)を補正する。

補正方法はいろいろと考えられるが、例えば、前カメラの俯瞰映像を基準として、右カメラの俯瞰映像が前カメラ俯瞰映像と一致するようにロールとカメラ位置(xc,yc,zc)を補正する。この補正方法だと前カメラの俯瞰映像が著しくズレている場合は他のカメラのロールとカメラ位置(xc,yc,zc)にもズレが生じるので他の補正方法を採用してもよい。例えば、カメラの設置位置のズレが小さいとわかっている場合には、それらのパラメータの誤差による俯瞰図のズレも小さいため、ロールのみで画像がなるべく一致するように先に補正し、最後にカメラ位置(xc,yc,zc)を微修正してもよい。画像の位置合わせには、Lucas-Kanade法のような画像の最適化法を利用する。あるいは、この画像から抽出された特徴点やエッジ直線の方程式などの特徴情報を利用して位置合わせを実施してもよい。

２カメラ間の補正方法は上記のとおりである。同様に２カメラ間の補正を繰り返していくことで、４カメラの補正を実施する。例えば、前カメラと右カメラ、前カメラと左カメラ、左右カメラと後カメラという順序で実施する。順序は他でもよい。また、繰り返し実施するなどの工夫をしてもよい。

画像の位置合わせは、各カメラの画像輝度、あるいは、画像のエッジ強度などの特徴量が一致するように実施する。各カメラの並進成分および回転パラメータを微小変化させると、俯瞰画像の見え方が変化する。これらのパラメータを俯瞰画像が一致するまで変化させることで、画像を位置合わせする。２カメラ間（前カメラと右カメラ）の見え方が一致する並進および回転パラメータが最適化により求めるパラメータとなる。

各カメラの画像輝度、あるいは、画像のエッジ強度が一致する場合に最小となる目的関数を設計し、目的関数を最小化することで、俯瞰画像が一致するパラメータ推定、すなわちキャリブレーションを実施する。あるいは、画像そのものの位置合わせを実施するのではなく、対応する直線の方程式が一致するように補正してもよい。

また、画像そのものの位置合わせを実施するのではなく、対応する直線の方程式が一致するように補正してもよい。具体的には、画像中の白線の方程式を算出し、各画像間で対応する白線の方程式が一致するように、画像の位置合わせを実施する。各画像間で対応する白線とは、三次元空間中での同一の白線を意味する。各カメラの並進および回転パラメータを微小変化させ、俯瞰画像が一致するまで変化させることで、白線方程式を一致させる。対応する白線方程式が一致する場合に最小となる目的関数を設計し、最小化する並進／回転パラメータを推定することで、キャリブレーションを実施する。

上記構成を有する車載カメラシステム１によれば、平行性、直線性、間隔が既知であればその性質を利用してカメラの内部パラメータと外部パラメータの両方を較正することができる。例えば、線幅の幅にある範囲で変動はあるものの、横断歩道などは較正に用いるターゲットとできる。すなわち、特別な基準マーカや車両用設備を準備せずとも、道路標示のみでキャリブレーションできる。高さの調整は白線の幅の誤差分変動するが、厳密な位置表示が要求されない場合などは効果が期待できる。

しかしながら、横断歩道のみでしかキャリブレーションできないということになれば、キャリブレーションできるチャンスが少ない。単純なレーン表示用の白線や、走行シーンにおける直線的構造物だけでもキャリブレーションできることが望ましい。しかしながら、本方式では白線一本だけではキャリブレーションすることができない。したがって、走行中になるべく多くのキャリブレーションの機会を設けるためには走行しながら情報を集約し、キャリブレーションに必要なターゲットの情報をつくりだすことが必要となる。

そこで、走行中にキャリブレーションできるシーンを増やすための、上記キャリブレーションに必要となる特徴情報の取得方法を示す。対象としては、レーン表示の白線など、道路中に多く登場し、かつ直線性と平行性を有する物体が望ましい。間隔に関しては、構造的にある程度規定することができ、その間隔情報を利用できる。ただし、白線を１回撮影しただけの場合、１セットの平行白線が得られるのみである。キャリブレーションするには複数の直線が必要となるため、情報が不足している。白線は１カ所だけでなく、別の位置で撮影された白線とその白線同士の距離情報が必要となる。

別の位置に撮影された白線は、例えば車線変更のときなどに撮影することができる。車線変更の際には、白線との車両との相対位置が大きく変動するので、種々の相対位置関係にあるときに、これらの複数の白線の座標位置を保存しておけば、同時に複数の白線を撮影した状況を作り出すことができる。別方向の白線に関しては、例えば停止線のエッジ情報を走行しながら保存しておけばよい。白線間の平行性は保つことができないが、１白線の立ち上がり、立ち下がりエッジの平行性は確保できており、それが画像の複数個所で
同時に成立することを満たす必要があるため、拘束条件として成立する。白線間の間隔情報については、例えば、自車両の速度や舵角などから特徴点の移動方向と移動量を算出することで求めることができる。

上記によって、走行しながらキャリブレーションに必要となる情報を集約しターゲットをつくりだすことによって走行中に内部パラメータと外部パラメータを補正することができる。すなわち、同一白線を別の時刻に撮影し、白線間の距離を求める処理を繰り返すことで、一本の白線から複数の平行直線とそれらの間隔の情報を取得することができる。これを例えばレーン表示用の白線と停止線に関して実施することで、キャリブレーション
ターゲットを構成することができる。したがって、横断歩道など、較正に都合の良い認識対象物がない場合でも、白線などの直線的な構造物があれば、較正に必要な特徴情報を生成することができる。

以下で具体的な処理について説明する。
まず、走行中に画像を取得する。この場合を時刻tとする。次に、その画像中の白線を認識する。認識した白線の立ち上がり、立ち下がりエッジをともに特徴点として抽出する。続いて、抽出した特徴点情報をメモリに記憶しておく。次に、次時刻t+1に撮影された画像を取得する。この時刻間隔については任意に設定してよい。次時刻t+1に撮影された画像に対しても白線を認識し、立ち上がり、立ち下がりエッジを特徴点として抽出する。この際、時刻t+1の特徴点の相対位置が時刻tの特徴点位置と比較して、こちらが定めた一定量以上変化していれば、特徴点をメモリに記憶する。一定量以上の変化は、自車両の速度や舵角から車両の移動量を算出し、その量が一定以上であれば移動したと判定する。また同時に車両の移動量と移動方向についても記録しておく。判定は、画像認識された特徴点座標をもとに実施してもよい。車両の移動量は、キャリブレーションに必要となる白線間の距離を計算するために利用する。

ここで特徴点間の間隔の測定の仕方について説明する。ある時刻t に撮像した特徴点をpt とする。時刻t+1 に撮像された同一の特徴点をpt+1 とする。通常、カメラに撮影されたこれらの二点の三次元的な距離（実空間における距離）は、カメラの設置情報など必要な情報がなければ判断できない。しかしながら、車両の速度と舵角の情報があれば、pt と pt+1 の三次元的な距離を求めることができる。なぜなら、pt とpt+1 は別の場所から撮影した同一の点であるから、カメラから見たこれら二点の三次元的な距離は、車両の移動量そのものとなる。したがって、車両の速度と舵角の情報から、車両が移動した方向やその大きさを計算することで、pt と pt+1 の三次元的な距離を求めることができる。車両の速度や舵角などから車両の移動量を推定する技術は、デッドレコニングと呼ばれる一般に用いられている技術である。

上記の処理をt+2,t+3,と繰り返していく。これによってキャリブレーションに必要な情報を収集する。すなわち、時刻t の特徴点座標、t+1 の特徴点座標、t+2 の特徴点座標、t+3 の特徴点座標、・・・と各時刻で撮影した特徴点座標をメモリに保持しておき、情報を蓄積することで、ターゲットに必要となる情報を構成する。この際、時刻tと時刻t+1に撮影された白線は同一の白線でなくてもよい。

ターゲットの構成は、各カメラ画像において、少なくとも垂直方向に２本の白線とその間隔情報、水平方向に２本の白線と間隔情報が記録されるまで実施する。例えば停止線と走行レーンの白線をそれぞれ別の相対位置で撮影したものなどが利用できる。この特徴点情報は、歪みの大きい画面端のものや、歪みの小さい画面中央部分など、画像の左端から右端、上端から下端に至る広域に分布しているほうが、較正精度の向上に寄与するので、できるだけ広域の特徴点情報を集めることが望ましい。

また、走行レーン表示の白線は、破線，実線，二重線など線種を問わない。直線状の構造物からエッジを抽出できればよい。また横断歩道の存在を示す道路表示など、直線成分を有する道路標示を利用してもよい。

以上、本発明の実施形態について詳述したが、本発明は、前記の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の精神を逸脱しない範囲で、種々の設計変更を行うことができるものである。例えば、前記した実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施の形態の構成の一部を他の実施の形態の構成に置き換えることが可能であり、また、ある実施の形態の構成に他の実施の形態の構成を加えることも可能である。さらに、各実施の形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

１ 車載カメラシステム
１０５ 画像処理装置
３０１ 特徴点抽出部
３０３ 内部パラメータ較正部
３０４ 外部パラメータ較正部
３０７〜３１０ 撮像部

Claims (15)

1. 車両周囲の環境を画像認識する車載カメラシステムの較正方法であって、
   撮像部で車両移動中に所定の時間間隔をおいて車両周囲を撮像し、
   撮像された画像から予め設定された直線部分を有する認識対象物を認識し、前記画像から前記認識対象物の特徴点を抽出し、
   該抽出された特徴点の中から、前記撮像部の較正に不要な特徴点を選別して除外し、
   該除外により残された特徴点の情報をメモリに記憶し、
   該メモリに蓄積した特徴点の情報から較正に必要なターゲットの情報を生成し、
   該生成したターゲットの情報を利用して撮像部の内部パラメータと外部パラメータを較正し、
   該内部パラメータの較正では、前記ターゲットの特徴点を仮想球面に投影し、該仮想球面に形成された特徴点列の形状に基づいて撮像部の内部パラメータを推定し、該推定した内部パラメータを較正し、
   前記外部パラメータの較正では、前記ターゲットの特徴点に基づいて前記認識対象物を真上から見下ろした俯瞰視点と前記画像の視点との間の角度と、前記俯瞰視点と設計値との間の角度との差分を計算し、該差分に基づいて前記外部パラメータを較正することを特徴とする較正方法。
2. 前記ターゲットの情報には、複数の直線部分の平行性と直交性と間隔の情報が含まれており、
   前記外部パラメータの較正では、前記平行性と直交性と間隔の情報に基づいて前記撮像部の外部パラメータを推定して、該推定した外部パラメータを較正することを特徴とする請求項１に記載の較正方法。
3. 前記外部パラメータの較正では、
   前記平行性の情報に基づいて前記撮像部のピッチ角のパラメータを推定して、該推定したピッチ角のパラメータを較正し、
   前記直交性の情報に基づいて前記撮像部のヨー角のパラメータを推定して、該推定したヨー角のパラメータを較正し、
   前記間隔の情報に基づいて前記撮像部の高さのパラメータを推定して、該推定した高さのパラメータを較正することを特徴とする請求項２に記載の較正方法。
4. 前記認識対象物の特徴点として実空間での直線的物体のエッジ点列を抽出し、
   前記較正に不要な特徴点として実空間での曲線的構造のエッジ点列を除外することを特徴とする請求項３に記載の較正方法。
5. 複数の撮像部にて、同一の認識対象物を互いに異なる位置から撮像し、
   第１の撮像部で撮像した画像の視点を前記俯瞰視点に変換した第１の画像と、第２の撮像部で撮像した画像の視点を前記俯瞰視点に変換した第２の画像を用いて、前記外部パラメータを較正することを特徴とする請求項４に記載の較正方法。
6. 前記内部パラメータとして前記撮像部のレンズ歪みと、光軸中心、単位撮像素子の縦横比、焦点距離の少なくとも一つを含み、および／または、前記外部パラメータとして前記撮像部の三次元位置と姿勢状態を含むことを特徴とする請求項５に記載の較正方法。
7. 前記車両の挙動情報を取得し、
   前記車両の挙動情報に基づいて前記特徴点の間隔を推定することで前記特徴点を抽出することを特徴とする請求項１から請求項６のいずれか一項に記載の較正方法。
8. 車両周囲の環境を画像認識する車載カメラシステムであって、
   車両周囲を撮像する撮像部と、
   該撮像部により車両移動中に所定の時間間隔をおいて撮像された画像から予め設定された直線部分を有する認識対象物を認識し、前記画像から前記認識対象物の特徴点を抽出する特徴点抽出部と、
   該特徴点抽出部で抽出された特徴点の中から、前記撮像部の較正に不要な特徴点を選別して除外する特徴点選別部と、
   該特徴点選別部により除外されずに残された特徴点を記憶するメモリと、
   該メモリに蓄積した特徴点の情報から較正に必要なターゲットの情報を生成するターゲット情報生成部と、
   該生成したターゲットの情報を利用して撮像部の内部パラメータと外部パラメータを較正する内部パラメータ較正部と外部パラメータ較正部とを有し、
   前記内部パラメータ較正部は、前記ターゲットの特徴点を仮想球面に投影し、該仮想球面に形成された特徴点列の形状に基づいて前記撮像部の内部パラメータを推定し、該推定した内部パラメータを較正し、
   前記外部パラメータ較正部は、前記ターゲットの特徴点に基づいて前記認識対象物を真上から見下ろした俯瞰視点と前記画像の視点との間の角度と、前記俯瞰視点と設計値との間の角度との差分を計算し、該差分に基づいて前記外部パラメータを較正する
   ことを特徴とする車載カメラシステム。
9. 前記ターゲット情報生成部で生成される前記ターゲットの情報には、複数の直線部分の平行性と直交性と間隔の情報が含まれており、
   前記外部パラメータ較正部は、前記平行性と直交性と間隔の情報に基づいて前記撮像部の外部パラメータを推定して、該推定した外部パラメータを較正することを特徴とする請求項８に記載の車載カメラシステム。
10. 前記外部パラメータ較正部は、
    前記平行性の情報に基づいて前記撮像部のピッチ角のパラメータを推定して、該推定したピッチ角のパラメータを較正し、
    前記直交性の情報に基づいて前記撮像部のヨー角のパラメータを推定して、該推定したヨー角のパラメータを較正し、
    前記間隔の情報に基づいて前記撮像部の高さのパラメータを推定して、該推定した高さのパラメータを較正することを特徴とする請求項９に記載の車載カメラシステム。
11. 前記特徴点抽出部は、実空間での直線的物体のエッジ点列を抽出し、
    前記特徴点選別部は、実空間での曲線的構造のエッジ点列を除外することを特徴とする請求項１０に記載の車載カメラシステム。
12. 同一の認識対象物を互いに異なる位置から撮像可能な複数の撮像部を有し、
    前記外部パラメータ較正部は、
    第１の撮像部で撮像した画像の視点を前記俯瞰視点に変換した第１の画像と、
    第２の撮像部で撮像した画像の視点を前記俯瞰視点に変換した第２の画像を用いて、前記外部パラメータを較正することを特徴とする請求項１１に記載の車載カメラシステム。
13. 前記内部パラメータは、前記撮像部のレンズ歪みと、光軸中心、単位撮像素子の縦横比、焦点距離の少なくとも一つを含み、および／または、前記外部パラメータは、前記撮像部の三次元位置と姿勢状態を含むことを特徴とする請求項１２に記載の車載カメラシステム。
14. 前記車両の挙動情報を取得する車両挙動情報取得部を有し、
    前記特徴点抽出部は、前記車両の挙動情報に基づいて前記特徴点の間隔を推定することで前記特徴点を抽出することを特徴とする請求項８から請求項１３のいずれか一項に記載の車載カメラシステム。
15. 画像処理装置によって実行される車載カメラシステムの較正プログラムであって、
    前記車載カメラシステムの撮像部により車両移動中に所定の時間間隔をおいて撮像された車両周囲の画像から予め設定された直線部分を有する認識対象物を認識して前記画像から前記認識対象物の特徴点を抽出し、
    該抽出された特徴点の中から、前記撮像部の較正に不要な特徴点を選別して除外し、
    該除外により残された特徴点の情報をメモリに記憶し、
    該メモリに蓄積した特徴点の情報から較正に必要なターゲットの情報を生成し、
    該生成したターゲットの情報を利用して撮像部の内部パラメータと外部パラメータを較正し、
    該内部パラメータの較正では、前記ターゲットの特徴点を仮想球面に投影して該仮想球面に形成された特徴点列の形状に基づいて前記撮像部の内部パラメータを推定し、該推定した内部パラメータを較正し、
    前記外部パラメータの較正では、前記ターゲットの特徴点に基づいて前記認識対象物を真上から見下ろした俯瞰視点と前記画像の視点との間の角度と、前記俯瞰視点と設計値との間の角度との差分を計算し、該差分に基づいて前記外部パラメータを較正することを特徴とする車載カメラシステムの較正プログラム。

Images