JP6780661B2 - 画像処理装置および方法、プログラム、並びに画像処理システム - Google Patents

Description

本開示は、画像処理装置および方法、プログラム、並びに画像処理システムに関し、特に、走行中にカメラの位置・方向ズレを検出することができるようにした画像処理装置および方法、プログラム、並びに画像処理システムに関する。

従来、車両周辺を車両の上から見下ろした表示をする、いわゆるトップ・ビューやサラウンド・ビュー・システムと呼ばれるシステムでは、車両の外周囲に取り付けたカメラで路面を斜め横から撮影し、路面平面の位置（カメラに対する高さと向き）を仮定し、撮像した画像から該当路面を平らな平面と仮定した像投影として、それぞれのカメラの画像を貼りあわせて車両外周全体の路面像を実現している。

実際の取り付けなどによる理想設計値から製造取り付けに起因するズレなどが発生するため、車両の製造段階においては、これらの取り付け誤差を吸収して、複数位置に取り付けられた各カメラの合成した画像が理想的な連続表示となるように、各カメラの内部パラメータ（カメラの焦点距離、歪量、光軸ズレ）と外部パラメータ（路面からの設置高さ、路面に対する光軸の向き／ピッチ・ヨー角、路面に対する回転／ローテンション）を較正（キャリブレーション）している。

ただし、路面に対するシステムを構成するカメラの車両上の取り付け高さや向きは理想設計値からズレを一度較正したとしても、車両へ搭載荷重やバランス、物理的衝撃などの色々な要因で、路面との相対的位置関係の変動が起こり、変わってしまうことがある。

これら、取り付け高さや向き、カメラの固有特性ズレは、車両製造時や完成車両のメンテナンスを担う専用の場所でかつ専用のキャリブレーション・チャートを車両周辺に配置して、それらチャート上のターゲットパターンなどを用いて変動要因のパラメータ較正のためのキャリブレーションを行っていた。

例えば、特許文献１には、前後の一対のカメラで画像ズレを検出する点が記載されている。また、特許文献２には、消失点を用いてフロントカメラのキャリブレーションを行う点が記載されている。

他方で、車両の積載量や路面と傾斜や段差があると、統合俯瞰変換画像で、カメラ間で理想路面投影画像を作っても、その固有状態でのズレがあり、その状況が変動すると路画面が変わってしまうため、ズレが生じた状態でその都度メンテナンスの実施時のように、製造元やサービスステーションで較正することは現実的ではなかった。

特開２０１４−１９５１７０号公報 特開２０１１−１８５７５３号公報

以上のことから、車両搭載荷重が加わった場合など、その固有な状態でダイナミックなパラメータ較正ができることが望ましい。

本開示は、このような状況に鑑みてなされたものであり、走行中にカメラの位置・方向ズレを検出することができるものである。

本開示の一側面の画像処理装置は、車の直進状態を検出する車状態検出部と、第１のカメラにより撮像された画像と、前記車に対して前記第１のカメラと対向する位置に配置される第２のカメラにより撮像された画像と、前記第１のカメラおよび前記第２のカメラのいずれとも異なる第３のカメラにより撮像された画像とのぞれぞれの画像から線分を検出する線分検出部と、走行背景における無限点を検出する無限点検出部と、前記無限点検出部により検出された無限点に応じて、第１のカメラの補正量を算出する第１の補正量算出部と、前記第１の補正量算出部により算出された第１のカメラの補正量と前記線分検出部により検出された線分に基づいて、前記第３のカメラの補正量を算出する第２の補正量算出部と、前記第１のカメラの補正量に基づいて、前記第１のカメラの画角の補正処理を実行する補正処理部と車両の進行方向を検出する進行方向検出部とを備え、前記第１の補正量算出部は、前記進行方向検出部により検出された進行方向に変化がない場合、前記線分検出部により検出された線分の車両進行に伴う時系列変化から、前記線分検出部により検出された複数線分の線分交点が時系列変動した際、前記線分を用いての前記第１のカメラの補正量の算出処理を禁止する。

本技術の他の側面の画像処理システムは、車の車体に配置され、画像を撮像する撮像部と、前記撮像部により撮像された画像を送信する送信部とを備える第１のカメラ、前記車に対して前記第１のカメラと対向する位置に配置される第２のカメラ、および前記第１のカメラおよび前記第２のカメラのいずれとも異なる第３のカメラと、前記車の直進状態を検出する車状態検出部と、前記第１のカメラ、前記第２のカメラ、および前記第３のカメラにより撮像されたそれぞれの画像から線分を検出する線分検出部と、走行背景における無限点を検出する無限点検出部と、前記無限点検出部により検出された無限点に応じて、第１のカメラの補正量を算出する第１の補正量算出部と、前記第１の補正量算出部により算出された第１のカメラの補正量と前記線分検出部により検出された線分に基づいて、前記第３のカメラの補正量を算出する第２の補正量算出部と、前記第１のカメラの補正量に基づいて、前記第１のカメラの画角の補正処理を実行する補正処理部と、車両の進行方向を検出する進行方向検出部とを備え、前記第１の補正量算出部は、前記進行方向検出部により検出された進行方向に変化がない場合、前記線分検出部により検出された線分の車両進行に伴う時系列変化から、前記線分検出部により検出された複数線分の線分交点が時系列変動した際、前記線分を用いての前記第１のカメラの補正量の算出処理を禁止する画像処理装置とからなる。

本開示の一側面においては、車の直進状態が検出され、第１のカメラにより撮像された画像と、前記車に対して前記第１のカメラと対向する位置に配置される第２のカメラにより撮像された画像と、前記第１のカメラおよび前記第２のカメラのいずれとも異なる第３のカメラにより撮像された画像とのぞれぞれの画像から線分が検出され」、走行背景におまた、算出された第１のカメラの補正量と検出された線分に基づいて、前記第３のカメラの補正量が算出され、前記第１のカメラの補正量に基づいて、前記第１のカメラの画角の補正処理が実行され、車両の進行方向が検出される。そして、検出された進行方向に変化がない場合、検出された線分の車両進行に伴う時系列変化から、検出された複数線分の線分交点が時系列変動した際、前記線分を用いての前記第１のカメラの補正量の算出処理が禁止される。

本技術の他の側面においては、車の車体に配置された第１のカメラ、前記車に対して前記第１のカメラと対向する位置に配置される第２のカメラ、および前記第１のカメラおよび前記第２のカメラのいずれとも異なる第３のカメラにより、それぞれの画像が撮像され、撮像された画像が送信される。そして、画像処理装置により、前記車の直進状態が検出され、複数のカメラにより受信された画像から線分が検出され、走行背景における無限点が検出され、検出された無限点に応じて、第１のカメラの補正量が算出され、算出された第１のカメラの補正量と検出された線分に基づいて、前記第１のカメラの逆方向以外の異なる位置に配置された第２のカメラの補正量が算出され、前記第１のカメラの補正量に基づいて、前記第１のカメラの画角の補正処理が実行され、車両の進行方向が検出される。そして、検出された進行方向に変化がない場合、検出された線分の車両進行に伴う時系列変化から、検出された複数線分の線分交点が時系列変動した際、前記線分を用いての前記第１のカメラの補正量の算出処理が禁止される。

本技術によれば、走行中にカメラの位置・方向ズレを検出することができる。

なお、本明細書に記載された効果は、あくまで例示であり、本技術の効果は、本明細書に記載された効果に限定されるものではなく、付加的な効果があってもよい。

本技術を適用した複数カメラによる較正処理の概要を説明する図である。 本技術を適用したカメラ較正システムの構成例を示すブロック図である。 図２のカメラ較正システムの処理を説明するフローチャートである。 カメラ較正システムの詳細な構成例を示すブロック図である。 カメラおよび画像処理ＩＣの詳細な構成例を示すブロック図である。 カメラ較正システムの車両周辺俯瞰表示処理を説明するフローチャートである。 図６のステップＳ６１のカメラ間の同期処理について説明するフローチャートである。 較正値による歪み補正処理部の構成例を示すブロック図である。 車両の移動前におけるカメラで捉えた検出線分とカメラ画像上の検出線分を説明する図である。 車両の移動後における前方カメラで捉えた検出線分とカメラ画像上の検出線分とを示す図である。 前方カメラの向きが車両進行方向に対して角度Δθだけ横にずれている場合のカメラ画像の角度のズレ量の算出方法について説明する図である。 走行非平行成分の収束点が、偽消失点である例を示す図である。 車両が道路に対して角度θ傾いて走行を行う場合について説明する図である。 車両が道路に対して角度θ傾いて走行を行う場合について説明する図である。 車体の前のめりについて詳細を説明する図である。 車体の前のめりについて詳細を説明する図である。 車体の右前のめりについて詳細を説明する図である。 図６のステップＳ６４の較正処理について説明するフローチャートである。 本技術の効果例を説明する図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。 パーソナルコンピュータの構成例を示すブロック図である。

以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（概要）
２．第２の実施の形態（システム）
３．第３の実施の形態（応用例）
４．第４の実施の形態（パーソナルコンピュータ）

＜１．第１の実施の形態（概要）＞
[本技術の概要]
まず、図１を参照して、本技術を適用した複数カメラによる較正処理（キャリブレーション）の概要について説明する。図１のＡは、左から順に、理想位置状態、車体前側沈み状態、車体右側沈み状態のカメラ画像を示す図である。図１のＢは、左から順に、理想位置状態、車体前側沈み状態、車体右側沈み状態の俯瞰画像を示す図である。

車両においては、走行中や乗車人数の変化、荷物の搭載、車両の加減速による慣性力の影響、車両が上り坂や下り坂を走行する際の車両の傾きなどにより、車体が前後に沈んだり、左右に沈んだり、車体の高さが変わってしまい、カメラの有効画角に影響を及ぼすことになる。これに対して、本技術は、走行中であっても、カメラ位置ズレを検出し、補正を行うようにしたものである。

図１のＡのカメラ画像においては、各状態の車体１の前方部分と、２本の車線Ｌ、走行背景消失点（無限点）Ｐが示されている。ここで、消失点とは、透視変換によって三次元空間中の平行線を画像平面上に投影した場合に、それら平行線に対応する画面平面上の直線が収束する点のことである。すなわち、消失点とは、実際は奥行を有している空間が投影された平面画像上において、「無限に遠い点」であり、奥行方向に平行な線の延長線が交わる点や、奥行方向に伸びる面の延長が無限遠法に収束する点として認識されるものである。したがって、消失点は、無限遠点、無限点とも呼ばれ、以下、適宜、無限遠点、無限点とも称する。

図１のＡの例においては、理想位置状態に対して、車体１が前側に沈むと、２本の車線Ｌの収束点（交差点）が無限点Ｐから上にずれている。また、理想位置状態に対して、車体１が右側に沈むと、車体が時計回りに回転するために画像として検出される線分はその回転量に応じて反時計回りに回転する。さらに、車体ヨー方向への向きズレがあれば無限点はそのヨー角に応じてずれているため、車線Ｌの収束点は、無限点Ｐからさらに左に水平移動する。なお、車体１が前側に沈む「前のめり」についての詳細は、図１５以降に後述される。

図示されないが、同様に、理想位置状態に対して、車体１が後ろ側に沈むと、車線Ｌが回転してヨーの向きが変われば、その収束点は、無限点Ｐから下にずれ、理想位置状態に対して、車体１が左側に沈むと、車線Ｌの収束点は、無限点Ｐから右にずれてしまう。なお、通常車載積載量で直進時に車体のロール向きはあまり変わることはなく、横風を受けたり、前後のめり状態にさらに回転したりする特殊な条件と考えてよい。

図１のＢの俯瞰画像においては、各状態の車体１と、車線Ｌが示されている。この例の場合、車体１の前方部分には、カメラ１１−１（第１のカメラ）が配置され、車体１の左サイドミラー付近には、カメラ１１−２（第３のカメラ）が配置され、車体１の後方部分には、カメラ１１−３（第２のカメラ）が配置され、車体１の右サイドミラー付近には、カメラ１１−４（第３のカメラ）が配置されている。以下、前方に配置されるカメラを前方カメラ、後方に配置されるカメラを後方カメラ、右、左に配置されるカメラを、右カメラ、左カメラともそれぞれ称する。また、右カメラ、左カメラを、左右カメラと適宜総称し、前方カメラ、後方カメラを、前後カメラとも適宜称する。

図１のＢの例においては、車体１が前側に沈むと、俯瞰変換した画像であるので、車線Ｌが平行である理想位置状態に対して、車線Ｌが車体１の前方向に広がってしまっている。また、車体１が右側に沈むと、車線Ｌが平行である理想位置状態に対して、車線Ｌが平行状態のまま右にずれている。

図示されないが、同様に、車体１が後ろ側に沈むと、車線Ｌが平行である理想位置状態に対して、車線Ｌが車体１の後ろ方向に広がってしまい、車体１が左側に沈むと、車線Ｌが平行である理想位置状態に対して、車線Ｌが平行状態のまま左にずれてしまう。なお、例えば、前のカメラ１１−１が前に所定量傾き、後ろのカメラ１１−３が後ろにその所定量傾いている場合は、カメラがずれているのではなく、車体１が傾いていると判定される。

そこで、本技術においては、前後のカメラ１１−１および１１−３により、直進道路上で撮像画面投影上の無限点Ｐと車線Ｌの位置関係により傾きを検出して補正が行われる。ここで、直進状態は、例えば、車からのハンドル角度情報（ステアリングホイール情報）より得ることができる。または、車両に搭載されているヨーレートセンサからのヨーレート情報や、左右タイヤの回転速度差情報や、GPSによる車両の位置情報などから直進状態を判定することも可能である。また、すべての車線Ｌは、平地において平行車線に並進して走行している理想位置状態においては、消失点Ｐで収束（交差）するので、カメラ画像よりズレ量を検出して補正することが可能である。

さらに、本技術においては、左右のカメラ１１−２および１１−４により、図１のＢの俯瞰画像で、前後のカメラ１１−１および１１−３と重なる画像部分（四隅のハッチング部分）Ｅのマッチングにより補正が行われる。ここでは、補正済みの前後のカメラ１１−１および１１−３のカメラ画像が基準とされる。

より具体的には、まず、前後カメラのぞれぞれの向きズレ確認と必要に応じたズレの較正が行われる。

カメラの向きズレは、進行方向の縦方向ズレと横方向ズレと回転がある。また、前後カメラのうち、縦方向のピッチズレと、横方向のヨーズレは、走行中の進行方向で検出される平行線延長交差点が画面上の進行方向と一致することが知られているので、車両が特定の回転方向に曲がり続けることがない想定をして、その経時的安定中心を基に、パラメータ較正を行うことができる。ただし、本経時的安定中心は、テストコースのような一定方向に回り込む周回走行をするサーキット走行などでは当てはまらないため、適宜除外処理を行うこととする。

他方でカメラの車両進行方向に対する回転（ロール）成分と車両高さパラメータは、共に無限点からの垂線と検出線分Lとがなす角度θの変化として現れ、走行中の自車進行方向における平行線分検出した画面上の方角からだけでは、ズレ量の検出はできない。

そこで、検出白線などの道路平行線分の線分延長複数カメラ同時検出の有無判定をした上で、隣接同時刻の同期画像で車両進行方向に２台以上カメラで認識道路白線が連続単調接続（線分の２次微分が０で急激な曲率不連続接続がない）に重なるようにする。

かつ、一般的に俯瞰変換を実現する場合、魚眼のレンズとして歪がある画像から歪を補正処理して、疑似的レクティリニア投影画像（中心射影変換画像、すなわち、歪みのない画像）の俯瞰画像として推定路面に投影面がある仮定で歪補正変換が実施される。元の魚眼光軸中心の推定中心がずれている場合では、カメラ内部パラメータのズレで、平面上の直線線分が直線線分に投影されないことになる。車体左右に取り付けられた左右カメラのパラメータ較正の際には、本来直線線分が直線上に乗らない状況にある場合、このレンズズレが起きているため、カメラ１１の光軸較正をする内部パラメータの補正が行われる。ただし、通常車体姿勢のみできまるのは、カメラ１１と路面との間の関係を決定する補正パラメータであり、カメラ内部パラメータが、当該補正パラメータを用いて補正される。

また、特定取り込み路面上の任意形状認識パターンの車両進行方向位置が、上述した同期画像で一致するように左右カメラの位置補正が行われる。具体的には、特定取り込み路面上の任意形状認識パターンの車両進行方向位置が、上述した同期画像で一致したタイミングで取り込みができるようにタイミング調整が行われる。仮に進行方向移動にともなう取り込みタイミングのズレを有するような状況の画像なら、車速に応じて路面画像の位置補正を行い、進行方向へ移動分の補正が行われる。

さらに、前方カメラで車線幅を検出でき、かつ、後続カメラで車線幅を追従検出できる場合、前方カメラで検出された車線幅と後続カメラで検出された車線幅とを一致する補正が行われる。また、同時刻で、前後カメラで同時車線幅検出できないため、前方カメラで検出された車線幅を車両通過後の予測通過時刻に検出の車線幅と一定する補正が行われる。ここで、車線幅とは、車両と検出白線を隔てる進行方向に直角方向の距離成分をさす。

以上のようにすることで、本技術によれば、車両積載状況などにより旅程の都度で変化する走行中の車両姿勢に伴うカメラ位置パラメータの較正ずれの補正を行うことができる。

また、従来、静止した状態の較正であったことから、カメラ間同期を行う必要がなかったが、上記の走行中のカメラ位置ずれ補正を実現するために、カメラ１１間で同じタイミングで取り込んだ画像同士の比較が必要になる。そこで、図２を参照して、本技術を適用した複数カメラによる較正の概要について説明する。

[カメラ較正システム]
図２の例においては、本技術を適用したカメラ較正システムが示されている。カメラ較正システム２１は、カメラ１１−１乃至１１−４と画像信号処理装置３１を含むように構成されている。なお、図２の例においては、カメラが４台からなる例が示されているが、カメラの台数は、複数であれば何台でもよい。

カメラ１１−１乃至１１−４は、例えば、独立発信振動で動作しているカメラであり、視野角で150°以上であり、かつ、対称光学系の後軸が水平より30°以上に下方向にあり、図１のＢに示された車体１のそれぞれの位置に配置されている。また、カメラ１１−１乃至１１−４は、例えば、装着車両の直進走行進行方向の方角が、カメラの光軸周辺において30°以上の像高に位置している。カメラ１１−１乃至１１−４は、撮像を行い、それぞれ撮像した画像信号を、映像信号線で、画像信号処理装置３１に送ってくる。以下、カメラ１１−１乃至１１−４を特に区別する必要がない場合、カメラ１１と総称する。

カメラ１１は、画像信号処理装置３１からのコマンド（同期ズレ量）を受信し、受信された同期ズレ量に基づいて、次のフレームまたは次の次のフレームなどの垂直ブランキングを制御し、その後、画像信号を、画像信号処理装置３１に出力する。次の次のフレームの垂直ブランキングを制御する場合とは、積分蓄積調整をする必要がある場合である。

画像信号処理装置３１は、画像信号から、例えばフレーム開始パルスを抽出することで、同期ズレ量を検出し、検出した同期ズレ量を、コマンドとして、映像信号線に重畳下り通信を介して、カメラ１１に制御コマンド信号として送信する。

[カメラ較正システムの処理]
次に、図３のフローチャートを参照して、図２のカメラ較正システムの処理について説明する。

カメラ１１は、撮像を行い、ステップＳ１１において、映像信号線を介して、画像信号処理装置３１に対して映像信号を出力する。画像信号処理装置３１は、ステップＳ３１において、フレーム開始パルスを抽出し、ステップＳ３２において、同期ズレ量を検出する。ステップＳ３３において、画像信号処理装置３１は、ステップＳ３３において、検出された同期ズレ量を、コマンドとして、映像信号線に重畳される下り通信を介して、カメラ１１に送信する。その後、処理は、ステップＳ３１に戻り、それ以降の処理が繰り返される。

カメラ１１は、ステップＳ１２において、同期ズレ量を受信し、ステップＳ１３において、次のフレームの垂直ブランキングを制御する。その後、処理は、ステップＳ１１に戻って、それ以降の処理が繰り返される。なお、当該較正処理は、毎フレームに行うことは必須ではなく、遅延量が所定の閾値を超えた場合に実行されてもよい。このように閾値を設定することで、処理量を低減することができる。

以上のようにして、本技術においては、独立発信振動で動作している各カメラに対し、遅延などが発生した場合、映像信号線に重畳下り通信を介して、遅延情報を引き渡し、コマンドで、タイミング是正をして継続して動作される。

したがって、本技術によれば、カメラ間で同じタイミングで撮像が可能となり、取り込んだ画像同士の比較が可能になる。これにより、走行中でもカメラ位置ズレ補正を行うことができるようになる。

以下、これらの技術について、さらに具体的に説明していく。

＜２．第２の実施の形態（システム）＞
[本技術のカメラ較正システムの詳細な構成例]
図４は、本技術を適用した画像処理システムとしてのカメラ較正システムの詳細な構成例を示すブロック図である。このカメラ較正システム２１は、車に搭載されるシステムである。

図４の例において、カメラ較正システム２１は、図２のカメラ１１−１乃至１１−４と画像信号処理装置３１の他に、さらに、表示部４１、通信ネットワーク４２、駆動系制御ユニット４３、車外情報検出ユニット４４、および環境センサ４５を含むように構成されている。

カメラ１１−１乃至１１−４は、それぞれ、イメージセンサ５１−１乃至５１−４および通信部５２−１乃至５２−４で構成されている。カメラ１１−１乃至１１−４は、それぞれ、イメージセンサ５１−１乃至５１−４で取得した画像に対応する画像信号を、画像信号処理装置３１に出力したり、画像信号処理装置３１より受信したコマンド（同期ズレ量を含む）に基づいて、次のフレームの垂直ブランキングを制御することで、カメラ１１−１乃至１１−４の間で同期を行う。

イメージセンサ５１−１乃至５１−４は、例えば、CMOS撮像装置などで構成され、フォトダイオードなどで取得された画像に対応する画像信号に、所定のカメラ信号処理を行い、通信部５２−１乃至５２−４に出力する。

通信部５２−１乃至５２−４は、イメージセンサ５１−１乃至５１−４からの画像信号を、画像信号処理装置３１に送信する。また、通信部５２−１乃至５２−４は、画像信号処理装置３１から送られてきたコマンドを受信する。

画像信号処理装置３１は、通信部６１−１乃至６１−４、画像処理IC６２、表示制御部６３、メモリ６４、制御マイクロコンピュータ６５、メモリ６６、並びにセンシングチップ６７により構成されている。画像信号処理装置３１は、カメラ１１−１乃至１１−４から取得された画像信号からフレーム開始パルスを抽出することで、同期ズレ量を検出し、検出した同期ズレ量を、コマンドとして、映像信号線に重畳下り通信を介して、カメラ１１に送信する。

通信部６１−１乃至６１−４は、カメラ１１−１乃至１１−４から取得された画像信号を受信し、画像処理IC６２に供給する。通信部６１−１乃至６１−４は、検出された同期ズレ量を、コマンドとして、映像信号線に重畳下り通信を介して、カメラ１１に送信する。

画像処理IC６２は、通信部６１−１乃至６１−４からの画像信号を用いて、カメラからの同期ズレ量を検出し、検出した同期ズレ量を、コマンドとして、通信部６１−１乃至６１−４に出力する。

また、画像処理IC６２は、通信部６１−１乃至６１−４からの画像信号より得られる情報、センシングチップ６７からのセンシング情報、制御マイクロコンピュータ６５からの駆動系制御ユニット４３などから検出される情報と、通信部６１−１乃至６１−４からの画像信号とを用いて、カメラ１１−１乃至１１−４の較正処理を行う。例えば、画像処理IC６２は、走行背景の無限点に基づいて、少なくとも前後に配置されたカメラ１１−１および１１−３の向きを較正し、向き較正された補正値を用いて各カメラの俯瞰画像を生成し、生成された俯瞰画像が用いられて、隣接カメラでの線分の連続性を確保し、線分の進行方向に対する一次微分の連続性を確認することで、少なくとも左右に配置されたカメラ１１−２および１１−４の較正を行う。以上により、カメラ１１−１乃至１１−４の較正が行われる。画像処理IC６２は、較正された画像信号を合成し、表示制御部６３に出力する。

なお、車体の剛性がある仮定で、上記の２つの拘束条件とは別に、車両の進行方向を軸として回転する角、いわゆるロール角は進行方向に配置された前後カメラ１１−１および１１−３で互いに逆方向へほぼ統一回転特性を示す。

表示制御部６３は、画像処理IC６２により較正され、各カメラ１１の内部パラメータ、外部パラメータに基づき、俯瞰変換および画像合成され、合成された画像信号に対応する画像を、表示部４１に表示させる。メモリ６４は、画像処理IC６２の一時的なデータを保存する。

制御マイクロコンピュータ６５は、車の駆動系制御ユニット４３、車外情報検出ユニット４４、および環境センサ４５からの情報を、通信ネットワーク４２を介して受信し、画像処理IC６２に供給する。メモリ６６は、センシングチップ６７が得たセンシング情報を一時的に記憶する。センシングチップ６７は、例えば、測距センサなどからなり、GPS（Global Positioning System）衛星からのGPS信号を用いて測距を行った結果やGPSデータを画像処理IC６２に供給する。

表示部４１は、車に搭載されるLCDなどであり、表示制御部６３からの画像信号に対応する画像を表示する。

駆動系制御ユニット４３は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御し、車両の駆動系に関連する装置から得られる情報（例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、サスペンションの沈み量、ピッチセンサからの情報、エンジン回転数又は車輪の回転速度等を検出するためのセンサなど）を、通信ネットワーク４２を介して、制御マイクロコンピュータ６５に送信する。例えば、サスペンションの沈み量により車回転のときの沈み量がわかるので、必要に応じて更新処理などを行うようにしてもよい。

車外情報検出ユニット４４は、車両の外部の情報（例えば、路面以外の路肩の障害物やガードレールなど）を検出し、通信ネットワーク４２を介して、制御マイクロコンピュータ６５に送信する。

環境センサ４５は、車外において検出されるセンサ情報（例えば、雨センサや雪センサ）などを、通信ネットワーク４２を介して、制御マイクロコンピュータ６５に送信する。

なお、図４の例においては、通信ネットワーク４２には、車の駆動系制御ユニット４３、車外情報検出ユニット４４、および環境センサ４５しか示されていないが、実際には、車を構成する他のユニットも接続されている。

[カメラおよび画像処理ICの構成例]
図５は、カメラおよび画像処理ICの詳細な構成例を示す機能ブロック図である。

図５の例において、カメラ１１は、イメージセンサ５１、画像処理部８１、コマンド受信部８２、および制御部８３を含むように構成される。イメージセンサ５１からの画像信号は、画像処理部８１に入力される。画像処理部８１は、画像信号に対して、所定の信号処理を行い、信号処理が行われた画像信号を、コマンド受信部８２に出力する。

コマンド受信部８２は、画像処理部８１からの画像信号を、映像信号線を介して、画像処理IC６２に送信する。また、コマンド受信部８２は、画像処理IC６２からのコマンドを受信し、受信したコマンドを制御部８３に供給する。

制御部８３は、コマンド受信部８２からのコマンドに応じて、イメージセンサ５１の蓄積をリセットしたり、または、読み出しタイミングを制御する。すなわち、制御部８３は、コマンド受信部８２がマスタブロードキャストコマンドを受信すると、そのタイミングに対して、一定の遅延となるように、イメージセンサ５１の次フレームタイミングの早遅延処理をして、次のフレームでの同期ズレを規定値以下にする。このブロードキャスト方式で一定のマスタタイミングをすべてのカメラに共通通知する使用方法の場合は、遅延量を個別にカメラ毎に送らなくてよい。

画像処理IC６２は、コマンド送信部９１、カメラ同期マスタ信号管理部９２、差分管理部９３、カメラ制御部９４、較正値による歪み補正処理部９５、および画像合成部９６を含むように構成される。

コマンド送信部９１は、映像信号線を介して、カメラ１１からの画像信号を受信するとともに、映像信号線に重畳される下り通信を介して、差分管理部９３からのコマンドを遅延量に応じて個別に差分情報として当該カメラ１１に送信する。コマンド送信部９１は、受信した画像信号から、カメラ同期マスタ信号管理部９２および差分管理部９３に、そのタイミングを出力する。

カメラ同期マスタ信号管理部９２は、各カメラ１１の画像信号に含まれる同期信号を解析して、あるカメラ１１またはそれに基づく基準マスタを設定し、設定したマスタの情報を、差分管理部９３に供給する。

その際に、同期のブロードキャストコマンドや個別同期コマンドは、優先処理として、画像受信およびコマンド送信部（Rxデバイス）９１で同期コマンドキューを優先送信とする。

差分管理部９３は、カメラ同期マスタ信号管理部９２により設定されたマスタに応じて、各カメラ１１の同期信号を解析して、または、解析せずにダミーを用いて、マスタとの差分やカメラ１１毎の同期ズレを管理するフレームレートでのブランキング信号を生成して、各カメラに一斉に定期的にブロードキャストするように、基準同期コマンドをコマンド送信部９１に供給する。例えば、例えば、表示タイミングが検出され、差分管理部９３においては、表示タイミングの差分が検出される。また、差分管理部９３は、各カメラ１１に対するフィードバックを生成し、それを、コマンド送信部９１に送信する。差分管理部９３は、カメラ１１からの画像信号を、較正値による歪み補正処理部９５に送信する。

カメラ制御部９４は、必要に応じて、カメラ１１の制御をするためのコマンドを、コマンド送信部９１に供給する。

較正値による歪み補正処理部９５は、カメラ１１の画像信号を用いて、カメラ１１の設置パラメータに応じて、つまり想定路面との相対位置関係の較正値に基づき歪補正処理を行い、その結果得られる俯瞰画像を、画像合成部９６に供給する。画像合成部９６は、較正値による歪み補正処理部９５からの各カメラ１１の俯瞰画像を合成し、合成した俯瞰画像を表示部４１に出力する。

[カメラ較正システムの処理]
次に、図６のフローチャートを参照して、カメラ較正システム２１の車両周辺俯瞰表示処理について説明する。

ステップＳ６１において、カメラ較正システム２１は、カメラ１１間の同期処理を行う。このカメラ１１間の同期処理の詳細は、図７を参照して後述されるが、ステップＳ６１の処理により、車体１の前方部分に配置されたカメラ１１−１、車体１の左サイドミラー付近に配置されたカメラ１１−２、車体１の後方部分に配置されたカメラ１１−３、車体１の右サイドミラー付近に配置されたカメラ１１−４の同期をとることができる。

ステップＳ６２において、制御マイクロコンピュータ６５は、駆動系制御ユニット４３から得られる情報（ヨーレートセンサ、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角など）に基づいて、車が走行中であるか否かを判定する。このとき、まっすぐな道を走行中のときだけ判定するようにしてもよい。なお、走行中であるか否か、走行が直線軌道に乗っているか否かは、上述したヨーレートセンサ、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、GNSS（全地球航法衛星システム）、GPSデータや認識画像から得られる周辺環境情報、あるいは地図データ、検出線分の交点変動のいずれか１つ、または、その組み合わせのデータ情報から判定するようにしてもよい。ステップＳ６２において、車が走行中であると判定された場合、処理は、ステップＳ６３に進む。

ステップＳ６３において、制御マイクロコンピュータ６５は、さらに、駆動系制御ユニット４３から得られる情報に基づいて、車の車体姿勢変更があったか否かを判定する。または、図示はしていないが、検出白線の無限点のシフト有無、隣接カメラ間での同一線分の非連続性発生や進行軸に対する線図の２次微分値増大（実空間で折曲がっていないが、俯瞰変換合成時に折曲がりが発生）などから車体姿勢変更を判定してもよい。ステップＳ６３において、車の車体姿勢変更があったと判定された場合、処理は、ステップＳ６４に進む。

なお、例えば、車の加速度が所定以下か否か（車速が安定しているか否か）が判定されて、較正処理が行われるようにしてもよい。車の加速度が所定以上の場合は、車両が加減速する際に車体が前のめりになったりする一時的な変動であり、その値で較正を実施してしまうのは好ましくなく、変動パラメータの較正は適用しないことが好ましい。

ステップＳ６４において、画像処理IC６２の較正値による歪み補正処理部９５は、カメラの較正処理を行う。このカメラの較正処理については、図８を参照して後述する。この処理により、走行背景の無限点に基づいて、少なくともカメラ１１−１および１１−３の向きが較正され、向き較正された補正値を用いて各カメラの俯瞰画像が生成され、生成された俯瞰画像が用いられて、隣接カメラでの線分の連続性が確保され、線分の進行方向に対する一次微分の連続性が確認され、少なくともカメラ１１−２およびカメラ１１−４の較正が行われる。このようにすることで、カメラ１１−１乃至１１−４の較正が行われる。

ステップＳ６２において、車が走行中ではないと判定された場合、ステップＳ６３およびＳ６４はスキップされ、処理は、ステップＳ６５に進む。ステップＳ６３において、車の車体姿勢変更がないと判定された場合、ステップＳ６４はスキップされ、ステップＳ６５に進む。ステップＳ６５において、画像処理IC６２の画像合成部９６は、カメラの内部パラメータメモリ１３０に保存保管されている較正値を基にカメラ１１−１乃至１１−４の俯瞰画像を合成し、表示制御部６３に出力する。

ステップＳ６６において、表示制御部６３は、合成された俯瞰画像を表示部４１に表示する。

画像処理IC６２は、ステップＳ６７において、車両のイグニッションがオフされたか否かを判定する。ステップＳ６７において、オフされていないと判定された場合、つまり、車両が走行状態を維持していると判定された場合、車両の積載ステータスの検出処理を適時実施し、ステップＳ６１に戻り、それ以降の処理が繰り返される。

画像処理IC６２は、ステップＳ６７において、オフされたと判定された場合、カメラ較正システム２１の車両周辺俯瞰表示処理は終了される。なお、空転を検出したら、このカメラ較正システム２１の車両周辺俯瞰表示処理が終了されるようにしてもよい。

なお、図６においては、走行中に車体姿勢変更があった場合のみ較正処理を行う例を説明したが、ステップＳ６３をスキップし、走行中であれば較正処理を行うようにしてもよい。また、較正処理は、荷物を載せ降ろしの後、または、ドアを閉めたあとに行われるようにしてもよいし、車両電源オンで行われるようにしてもよい。つまり、一度イグニッションをオン状態にし、荷物の積載や乗員の乗り降りが完了した後で、次に乗員や積載量変動が発生するまでの間は路面に対する車体のサスペンション沈み込みなどが大きく変動しないことから、ドアの開け閉めなどを判断材料に較正値の更新を行わないようにしてもよい。

[同期処理]
次に、図７のフローチャートを参照して、図６のステップＳ６１のカメラ間の同期処理について説明する。なお、この処理は、カメラ１１間のクロックのタイミングのズレがあまりないのであれば一定以上の位相ズレを検出するまでの非定期で行ってもよいし、または定期的に行われるようにしてもよいし、較正処理をより正確に行う為にその前の処理として行われるようにしてもよい。

カメラ１１−１乃至カメラ１１−４は、撮像を行い、それぞれ撮像した画像信号を、映像信号線で、画像信号処理装置３１に送ってくる。ステップＳ１１１において、コマンド送信部９１は、各カメラ１１からの画像信号を受信し、受信した画像信号を、カメラ同期マスタ信号管理部９２および差分管理部９３に出力する。

ステップＳ１１２において、カメラ同期マスタ信号管理部９２は、複数のカメラ１１からマスタタイミングを決め、差分管理部９３は、各カメラ１１の同期信号を解析して、カメラ同期マスタ信号管理部９２により決められたマスタタイミングに基づいて、各カメラ１１へフレームのタイミング差分情報を算出する。

ステップＳ１１３において、差分管理部９３は、マスタに対する差分閾値超えのカメラがあるか否かを判定する。ステップＳ１１３において、マスタに対する差分閾値超えのカメラがあると判定された場合、処理は、ステップＳ１１４に進む。

ステップＳ１１４において、差分管理部９３は、差分閾値超えのカメラ１１に、対する補正早遅延レジスタを設定する。ステップＳ１１５において、早遅延カメラ（差分閾値超えのカメラ）１１に対するタイミング補正コマンドを発行する。コマンド送信部９１は、タイミング補正コマンドを、カメラ１１に向けて送信する。

これに対応して、カメラ１１において、コマンド受信部８２が送信コマンドを受信すると、制御部８３は、そのタイミングに対して、一定の遅延で、イメージセンサ５１の次フレームタイミングの早遅延処理をして、次のフレームでの同期ズレを規定値以下にする。

なお、他方で、マスタ信号管理部９２が一定の基準同期信号を一斉に全てのカメラに統一ブロードキャストする駆動較正の場合、制御部８３は、基準同期信号と自己のフレーム駆動との遅延を独自判別して、カメラ１１は実判別を行い、一定の早遅延に応じてタイミングの調整を行い、クロック変動による同期信号のドリフトを相殺するタイミング較正処理を行う。図７の例においては、代表例として、１つのカメラ１１にタイミング補正コマンドを送信する前者の場合について以下説明する。

ステップＳ１１６において、差分管理部９３は、カメラ１１間の同期行うための同期モードまたは前動作を終了するか否かを判定する。ステップＳ１１６において、カメラ１１間の同期行うための同期モードまたは前動作を終了しないと判定された場合、処理は、ステップＳ１１１に戻り、それ以降の処理が繰り返される。

一方、ステップＳ１１３において、マスタに対する差分閾値超えのカメラ１１がないと判定された場合、または、ステップＳ１１６において、カメラ１１間の同期を行うための同期モードまたは前動作を終了し、カメラ間同期処理は終了される。

[較正値による歪み補正処理部の構成例]
図８は、図５の較正値による歪み補正処理部の構成例を示すブロック図である。

図８の例において、較正値による歪み補正処理部９５は、ヨー角直線判定部１１１、パラメータ算出部１１２、パラメータ制御部１１３、およびパラメータ最適化部１１４を含むように構成される。

ヨー角直線判定部１１１には、制御マイクロコンピュータ６５を介して、ヨーレートセンサやステアリングホイールの情報などから得られるヨー角が入力される。ヨー角直線判定部１１１は、ヨー角に基づいて、車の状態を検出する。具体的には、ヨー角直線判定部１１１は、ヨー角に基づいて、車が直線運転しているか否かを判定し、判定結果を、パラメータ算出部１１２の無限点のオフセット算出部１２９に供給する。

パラメータ算出部１１２は、カメラ毎に、カメラ１１の画像から検出される情報から、回転較正のための較正パラメータを算出し、カメラ毎の無限点ズレを較正する。これにより、縦のピッチズレと、横のヨーズレが較正される。なお、較正の対象としては、前後カメラは必須であるが、左右カメラも行われることで、より正確さを求めることが可能である。左右カメラを較正の対象とする場合、左右カメラの視野角に平行併走線と無限点が含まれる場合は、両者の関係から較正パラメータを算出する。無限点が含まれなくとも、その平行併走線から（無限点は必ずしも画面撮像内に含まれる必要性はない）較正パラメータを推定してもよい。

パラメータ算出部１１２は、線分検出部１２１、線分曲線推定部１２２、ハフフィルタ１２３、無限点探索機１２４、平行線分判定部１２５、オプティカルフローフィルタ１２６、無限点統計演算器１２７、ヨー角推定部１２８、および無限点のオフセット算出部１２９を含むように構成されている。パラメータ算出部１１２は、また、カメラ毎の内部パラメータメモリ１３０、無限点算出部１３１、カメラ毎の外部パラメータメモリ１３２、カメラ毎の更新外部パラメータメモリ１３３、カメラ外部パラメータのオフセット値仮記録メモリ１３４を含むように構成されている。さらに、パラメータ算出部１１２は、俯瞰画像変換部１３５、検出線分のラベリングと曲率判定部１３６、路面上線分判定部１３７、画角ズレ換算部１３８を含むように構成されている。

線分検出部１２１乃至カメラ外部パラメータのオフセット値仮記録メモリ１３４は、前に配置されたカメラ１１−１乃至１１−４（特に、前後に配置されたカメラ１１）の画像から、進行方向無限点の統計安定点を算出する。

具体的には、線分検出部１２１は、カメラ１１の画像から線分を検出し、検出した線分の情報を線分曲線推定部１２２に供給する。線分曲線推定部１２２は、線分の情報から、直線以外の曲線を推定し、推定した線分曲線の情報を、無限点のオフセット算出部１２９に出力する。なお、線分検出は、狭義の意味で実際に道路境界を定める道路標識線としての線分を主とするが、広義の意味で、道路の車線を定める境界線の意味で用いられる。その意味で、実際には、路肩縁石（ショルダ）で構成される線分、キャッツアイと呼ばれるチャッターバーや北米加州であれば（Botts' dots）や（Turtle）と呼ばれる非実線の点状の車線境界域定義線を定めた境界を結ぶスプライン線も線分に含まれる。

ハフフィルタ(Hough Filter)１２３は、画像に、Hough変換を行うことで、画像から直線（センターラインなど）を検出し、検出した直線を無限点探索機１２４に供給する。無限点探索機１２４は、ハフフィルタ１２３からの直線から、無限点を探索する。無限点探索機１２４は、探索された無限点を、平行線分判定部１２５に出力する。

平行線分判定部１２５は、検出された直線が平行線分であるか否かを判定し、その判定結果と、直線の情報、無限点の情報を、無限点のオフセット算出部１２９に供給する。

オプティカルフローフィルタ(Optical Flow Filter)１２６は、被写体上の 特定多数の点が各々時系列画像フレーム間で移動する速度を検出し、検出した速度の情報を、無限点統計演算器１２７に供給する。無限点統計演算器１２７は、その速度ベクトルの画面内集合で直線運動の際に速度が０となる無限点統計演算を行い、無限点を検出する。例えば、搭載カメラから見た水平線の上方に検出される特徴点は、特徴点の接近に従い、上方へ流れ、また水平線の下なら特徴点の接近に従い下方へ流れ、車両搭載カメラ進行方向左側は、検出された特徴点が車両進行に従い左へ流れ、その逆に右はその右へと流れる。この流れをオプティカルフローと呼ぶ。つまり、無限点とは、これらオプティカルフローのベクトル画面内分布でオプティカルフローのベクトルが０となる座標位置であり、無限点統計演算器１２７は、検出オプティカルフローの統計演算により検出した無限点の情報を、無限点のオフセット算出部１２９に供給する。

無限点のオフセット算出部１２９は、以下の線分曲線推定部１２２により推定された無限点、無限点探索機１２４により探索された無限点、無限点統計演算器１２７により演算された無限点のうちの１つまたは何れの複数の方法から求められた無限点と、無限点算出部１３１により算出された無限点を用いて、カメラ（特に、前後カメラ）１１毎に、検出無限点と保存デフォルトパラメータによる無限点のオフセットズレ量（更新パラメータ）の算出を行う。また、無限点のオフセット算出部１２９は、進行方向における実無限点とカメラ１１の想定無限点との間で較正を行う。進行方向を光軸の中心と中心射影投影との投影画像のズレ量は、その画角ズレ量をθ、カメラの焦点距離をｆとしてf^*tan(θ)で算出できる。なお、その詳細については、図１３および図１４を参照して後述される。

無限点のオフセット算出部１２９は、較正を行った更新パラメータを、俯瞰画像変換部１３５、および検出線分のラベリングと曲率判定部１３６に供給するとともに、カメラ外部パラメータのオフセット値仮記録メモリ１３４に仮記録する。ここで、オフセット値を一時仮記録に留めて直接外部パラメータ１３２に恒久的書換えを行わないのは、検出状態でのオフセット値は車体の一時的積載特有値の可能性があり、定常状態での較正値ではない可能性が大きく、通常、書換えは適さないためである。

なお、このとき、検出線に対して車両が併走走行をする場合、かつ、同一車線延長成分を後方カメラ１１−３でも検出している場合、該当線分は連続しているため、走行中に後続カメラで追従検出し、その車両と検出線までの幅（ここでは車線幅と呼ぶ）は、前後のカメラ１１で一致するので、その拘束条件を元にカメラ１１の外部パラメータ較正を行う。また、無限点のオフセット算出部１２９は、同時刻で、前後カメラで同時車幅検出できない状況においては、前方カメラ１１−１で検出された車線幅通過後の予測通過時刻に検出の車線幅と一致させる補正を行う。すなわち、前方カメラ１１−１で検出された車線幅を、後方カメラ１１−３のカメラ視野が通過後の予測通過時刻に検出した車線幅と一致させる補正が行われる。

カメラ毎の内部パラメータメモリ１３０は、カメラ１１毎の内部パラメータ（例えば、カメラの焦点距離、歪量、光学系の光軸ズレなど）のデフォルト値を記憶している。

無限点算出部１３１は、カメラ毎の内部パラメータメモリ１３０から、カメラ１１毎の内部パラメータのデフォルト値を読み出し、カメラ１１毎の外部パラメータのデフォルト値を読み出し、カメラ１１毎の外部パラメータの更新値を読み出し、読み出したパラメータを用いて、パラメータに基づいて、無限点の算出を行う。無限点算出部１３１は、算出した無限点の情報を、無限点のオフセット算出部１２９に供給する。

カメラ毎の外部パラメータメモリ１３２は、カメラ１１毎の外部パラメータ（例えば、路面からの設置高さ、路面に対する光軸の向き／ピッチ、ヨー角、路面に対する回転／ローテーションなど）のデフォルト値を記憶している。カメラ毎の更新外部パラメータメモリ１３３は、パラメータ制御部１１３の制御のもと、カメラ１１毎の外部パラメータの更新値を記憶している。

カメラ外部パラメータのオフセット値仮記録メモリ１３４は、向きの較正が行われた更新パラメータを、一時的なデータとして仮記録する。一時的な状態であるので、置き換え記録ではなく仮記録をする。これにより、前の状態のパラメータに戻すことも可能となる。前の状態のパラメータに戻すタイミングとしては、例えばドアの開閉が行われた際が望ましい。これは、ドアの開閉により、乗員の乗り降りや積載物の載せ降ろしが行われる可能性があるためである。ドアの開閉を検出するセンサが検出したドア開閉動作に応じて、オフセット値仮記録メモリ１３４は、一時的に記録された較正パラメータがリセットされ、新たな較正パラメータが記録される。なお、較正パラメータのリセットはドアの開閉に時に限らず、例えば、着座センサにより乗員の着座位置が変わった際などに実行されるようにしてもよい。

俯瞰画像変換部１３５は、向きの較正が行われた画像を変換し、俯瞰画像を生成する。俯瞰画像変換部１３５は、生成した俯瞰画像を、パラメータ最適化部１１４に出力する。

線分ラベリングと曲率判定部１３６は、舵角（ヨー角）情報も併用して、路上の検出マーカの直線線分、区間判別などを行い、前に配置されたカメラ１１−１で得られた画像情報より、線分へ較正用マーカとして適正有無のラベリングを行う。また、線分ラベリングと曲率判定部１３６は、直線判定マーカ線分が、前後に配置されたカメラ１１で連続性があるか否かを判定する。このとき、少なくとも２つ以上のカメラ１１の検出線分の画像情報が比較利用される。

なお、以降のことは、図９乃至図１１を参照に後述されるが、このとき、（前後カメラ１１でとらえた）線分の車両進行に伴う時系列変化から、走行車両の進行方向に対して平行な線分は車両が進行してもその線分境界部は相対的に常に一定であるために変化しない。一方、線分に関して検出線分のうち、その法線方向成分を有するシフトが発生する線分は、車両進行と平行でないことを示すため、較正利用から除外される。また、線分の時系列変化と車両のヨー角情報が併用されて、走行車両の進行方向に変化がないとき、すなわち、線分に関して検出線分のうち、その法線方向成分を有するシフトが発生する線分は、較正利用から除外される。さらに、走行車両の進行方向に変化がないとき、検出された線分の車両進行に伴う時系列変化から、検出された複数線分の線分交点が時系列変動した際、前記線分が較正利用から除外される。すなわち、較正利用から除外される線分の収束点は、偽消失点となるために、較正利用から除外される。なお、走行車両の進行方向に変化があるか否かは、上述したヨー角情報だけでなく、操舵角センサからの操舵角情報やタイヤ切れ角センサからのタイヤ切れ角情報を用いて判定するようにしてもよい。

線分ラベリングと曲率判定部１３６は、直線判定マーカ線分が、連続性があると判定した場合、ラベリング後の較正パラメータを、路面上線分判別部１３７および画角ズレ換算部１３８に出力する。路面上線分判別部１３７は、直線判定マーカ線分が路面上にあるものであるか否かを判別する。その際、高さ判別も行い、高さ方向に延びる線分、例えば、縁石などが除外される。その理由は、俯瞰変化の際に斜め横から撮像した画像で路面の実際の高さが異なるからである。路面上線分判別部１３７は、判別結果をパラメータ制御部１１３に供給する。

画角ズレ換算部１３８は、位置ズレ（オフセット）を画角ズレに換算して、換算した画角ズレの値を、パラメータ制御部１１３に供給する。画角ズレ換算値の情報で保存することで、歪みのある部分であっても誤差が生じることを抑制することができる。なお、画角ズレ換算部１３８により換算されたものが、カメラ外部パラメータのオフセット値仮記録メモリ１３４に仮記録されるようにしてもよい。画角ズレは、進行方向無限遠点を光軸として中心射影された像であれば、f*tan(θ)で得られるが、歪のある魚眼画像の場合、固有特有のルックアップテーブルから参照換算するなどしてもよい。

パラメータ制御部１１３は、例えば、CPUなどで構成され、パラメータ算出部１１２により算出された較正パラメータおよびパラメータ最適化部１１４により最適化されたパラメータの使用や各メモリへの記録を制御する。

パラメータ最適化部１１４は、例えば、CPUなどで構成され、パラメータ算出部１１２からの各カメラ１１の検出路面分の画像（俯瞰画像であってもよいし、なくてもよい）に対して、パラメータ制御部１１３からの較正パラメータを用いて、隣接カメラ１１間で、隣接カメラ１１での線分の連続性の確保と線分の進行方向を変数軸とした一次微分値の連続性の確保を行うために、各パラメータを最適化する。この最適化により、左右カメラ１１の較正が行われ、回転ズレの較正が行われる。

すなわち、パラメータ最適化部１１４は、特定取り込み路面上の任意形状認識パターンの車両進行方向が、隣接カメラ１１の同期画像で一致するように、左右カメラ１１の位置補正を行う。また、パラメータ最適化部１１４は、検出線分の進行方向を軸としてその一次微分が、隣接画像間で一致するようにパラメータを補正する。線分が隣接画像間で折曲がらず、連続的な線分となるようにする。または、パラメータ最適化部１１４は、検出線分の進行方向を軸として、進行に伴い検出される同一線分の実空間投影画像（俯瞰変換画像のうちの線分）の一次微分が、異なるカメラ画像で一致するようにパラメータを補正する。

なお、パラメータ最適化部１１４においては、カメラ１１を含む回転パラメータは、３つ以上の装置で算出され、そのうち２つ以上の変動量が最小である場合で、特定カメラのみの変動が大きい場合は、その特定カメラが衝突などの何等かの外的要因により取り付けが変わり、外部パラメータの影響を受けている可能性が大きいと判定される。そのパラメータに合わせて他のカメラパラメータを変更することは適切ではなく、その場合は、特定カメラのパラメータ較正値の較正をし、その他変動量の微小なカメラは事前値を基本保持する。

また、パラメータ算出部１１２において、図８に示される点線で示される各部は、互いに補完する機能であり、必ずしもすべての実施を要する必要はなく、また、機能を省略されてもよい。

ここで、検出道路白線と平行して車両が走行し、その一部で走行に非平行な線分の中心射影の取り込み画像の時系列挙動は、該当線分のみが、同線分と直角方向へ平行移動してとらえることができる。そこで、この特性を利用し、時系列画像で検出線分がこの直角方向への移動が認められた場合は、その線分と他線分との交点を進行方向の無限点とはみなさない。

このことについて、図９および図１０を参照して説明する。

図９は、車両の移動前におけるカメラ（例えば、カメラ１１−１とする）で捉えた検出線分とカメラ画像上の検出線分とを示す図である。図９のＡは、車両を上から見たときの検出線分を示す図である。図９のＢは、車両を横から見たときの検出線分と、カメラ画像における検出線分を示す図である。

なお、図９の例において、車両中央位置からの左側の検出道路白線までの距離lwとし、車両中央からの右側の検出道路白線までの距離rwとする。また、カメラ画像２０１においてカメラ仮想進行方向の無限点設定点（仮無限点）Ｐ（ずれていない場合）の位置から、左側の検出道路白線までの距離LWとし、右側の検出道路白線までの距離RWとすると、lw:rw = LW:RWである。図１０は、車両の移動後におけるカメラ（例えば、カメラ１１−１）で捉えた検出線分とカメラ画像上の検出線分とを示す図である。

図９のＡおよび図９のＢに示されるように、一点鎖線で示す（車体１を有する）車両の前方方向の直進方向に、カメラ１１−１で捉えた車両進行方向と平行でない線分m2-m3は、車両が進行方向に進むと、例えば、図１０に示す位置まで進む際に、線分m1-m2や線分m3-m4のように、同一線分上には保たれずに、カメラ画像２０１上の該当線分が元線分n2-n3からシフトする。ここで、元線分n2-n3は、図９のＡおよび図９のＢに示される移動前に、線分m2-m3がカメラ画像２０１上に捉えられた位置である。

カメラ画像２０１から得られる直線線分が交叉する収束点Ｑとなるが、移動に伴う時系列画像で線分のシフトが発生するため、車両進行方向に対する非平行線が含まれることとなり、収束点Ｑは、偽消失点となる。

つまり、自車両の進行方向平行線分と平行でない線分は、このような線分がその法線方向成分を有するシフトが発生するか否かで判別を行うことができる。

また、車両は、例えば、インフラ環境から得られた線分情報で車両進行平行線の収束点が得られる状況にあって、前方カメラ（カメラ１１−１）の向きが車両進行方向に対して角度Δθだけ横にずれている場合、その際の撮像画像は、図１１に示されるように、角度のズレ量をカメラの焦点距離fによりf*tan(θ)として知ることができる。

一点鎖線で示す過去のカメラ較正値に基づく車両進行方向の仮無限点Ｐと現走行状態での検出車両の平行線分の収束点Ｑの不一致、つまり、そのズレ量がf*tan(θ)となることから、傾き角Δθを得ることができる。これに対して、図１０を参照して上述したが、図１２に示されるように、走行非平行成分の収束点Ｑは、偽消失点であるため、この点をΔθの算出に用いてはならない。したがって、車両においては、図８を参照して上述した線分の除外処理（使用禁止処理）を行う必要がある。

次に、図１３および図１４を参照して、車両が道路に対して角度θ傾いて走行を行う場合について説明する。

図１３に示されるように、車両が道路などの周辺認識環境における平行線分（周辺平行線分と称する）に対して一定の角度θで進むと、該当車両に搭載しているカメラ（例えば、前方カメラ）の進行方向無限点Ｐは、その前方カメラの焦点距離に応じて周辺平行線分の交点となる平行線分収束点Ｑから、f*tan(θ)だけ横ズレする。

車両が周辺検出される複数の平行線とのなす角θだけ傾いて走行する場合、該当車両の搭載カメラの無限点と該当検出複数線分の収束点（交点）Ｑと角度θに相当する画面上とf*tan(θ)だけずれるはずである。

そこで、図１４に示されるように、車両搭載カメラの車両隣接時系列画像から車両進行方向に対する横ズレと前進の距離情報から角度θだけずれた場合、その角度θが、道路などのインフラ平行線に対しての角度θであるとき、そのズレ量は、撮像画像としてf*tan(θ＋Δθ)だけずれて検出されるため、進んだ距離の伴う車両の横ズレで得られるθの値からΔθを得ることもできる。なお、前進の距離情報として、進んだ距離v*Δtは、車速や車輪回転情報から取得でき、隣接カメラ画像から、平行線の進行方向に対する車両の横シフト量が検出される。そのタンジェントから、角度θを得ることができる。

次に、図１５乃至図１７を参照して、図１を参照して上述した車体１の前のめりについて詳細を説明する。

図１５の例においては、俯瞰画像２１１と、車体１の前方カメラ（カメラ１１−１）の画角を表す長方錐２２１、前のめり状態の撮像路面２２２、工場出荷時の路面想定２２３などが示されている。図１５に示されるように、サラウンドビュの俯瞰画像２１１は、広角のカメラ１１−１から路面上の、例えば、長方形領域となる領域の視野画像を変換して得られる。

車体１が荷物のバランスなどで前のめりになると、カメラ１１−１の撮像路面２２２が、工場出荷時の路面想定２２３よりも近づくため、カメラ１１−１が捉える同じ撮像領域は、同じ画角画面内で対象路面像が外に広がる（見かけ、拡大される）。なお、カメラ１１−１で説明しているが、カメラは、前方のカメラ１１−１に限らない。

実際には、無限遠点も含む広角画像のカメラを用いるが、図１６に示されるように、通常の投影面２２４で投影し、工場出荷時の路面想定２２３に映し出される俯瞰画像２１１Ａは、例えば、路面の長方形を含む中心射影像とした場合、車両左右の平行線は、台形左右線として捉えられ、無限遠点を画面内に含む場合は、その交点がいわゆる無限点となっている。

これは、平行移動で近くなるのであれば、拡大率のみが変わることになるが、前のめりに車体１の前方が沈むと、前のめりの撮像路面２２２は、通常工場出荷時の路面想定２２３よりもカメラ１１−１に接近し、前方がより多くの接近する結果、同じ画角を捉えている画面上では、該当の派に、その画角を決めている長方錐２２１の外側に広がって見えるようになる。つまり、前のめりの際のカメラ１１−１の俯瞰変換画像２２１Ｂは、通常の投影面２２４での俯瞰変換画像２２１Ａよりも、前方がより広がる。

さらに、図１７は、右側に沈んだ状態の車体１が正面向きに示されている。図１７に示されるように、車体１が（正面から見て）右側に沈むと、車体１が時計回りに回転するために画像として検出される線分は、その回転量（すなわち、ロール角θ）に応じて反時計回りに回転することがわかる。

[較正処理例]
次に、図１８のフローチャートを参照して、図６のステップＳ６４の較正処理について説明する。なお、ステップＳ１３１乃至Ｓ１３６は、カメラ１１毎（特に前後カメラ）に行われる較正処理であり、ステップＳ１３７以降は、ステップＳ１３１乃至Ｓ１３６で求められた結果を用いて、隣接カメラ間で行われる左右カメラ１１の較正処理である。

ステップＳ１３１において、線分検出部１２１乃至カメラ外部パラメータのオフセット値仮記録メモリ１３４は、前に配置されたカメラ１１−１乃至１１−４（特に、前後に配置されたカメラ１１）の画像から、進行方向無限点の統計安定点を算出する。

すなわち、さまざまな方法で求められた無限点の情報（線分曲線推定部１２２からの無限点、無限点探索機１２４からの無限点、無限点統計演算器１２７からの無限点、無限点算出部１３１からの無限点の情報）が入力される。無限点のオフセット算出部１２９は、これらの無限点を用いて、検出無限点と保存デフォルトパラメータによる無限点のオフセット（更新パラメータ）の算出を行う。

なお、ここで、算出された無限点のオフセットが、パラメータのデフォルト値または累計直近走行値と差分がない場合、次のステップＳ１３２はスキップされ、車両前後配置のカメラピッチおよびヨー角の較正変更は行われない。

ステップＳ１３２において、無限点のオフセット算出部１２９は、進行方向の無限画角と光軸画角の較正を行う。無限点のオフセット算出部１２９は、較正を行った更新パラメータを、俯瞰画像変換部１３５、および検出線分のラベリングと曲率判定部１３６に供給するとともに、カメラ外部パラメータのオフセット値仮記録メモリ１３４に仮記録する。

なお、ここで較正される縦のピッチズレと、横のヨーズレ、すなわち、カメラ光軸または仮想光軸と無限点は、画角ズレ換算値の情報または同等換算が可能なパラメータとして較正される。

ステップＳ１３３において、俯瞰画像変換部１３５は、回転の較正が行われた画像を変換し、俯瞰画像を生成する。俯瞰画像変換部１３５は、生成した俯瞰画像を、パラメータ最適化部１１４に出力する。なお、この後のステップＳ１３４以降の処理は、俯瞰画像に変換しなくても実施可能な処理であるので、俯瞰画像の生成は、ステップＳ１３９の後に行われるようにしてもよい。

ステップＳ１３４において、線分ラベリングと曲率判定部１３６は、舵角（ヨー角）情報も併用して、路上の検出マーカの直線線分、区間判別などを行い、前に配置されたカメラ１１−１で得られた画像情報より、線分へ較正用マーカとして適正有無のラベリングを行う。ここでラベリングを行う目的は、走行に伴い、前方のカメラ１１−１で直線区間と判別できた線分に対して、後方のカメラ１１−３の視野角に入り追従検出をした際に、事前に、前方のカメラ１１−１で直線部と判別がついていることで、該当ラベリングされたときの線分との同一性確認、つまり、その該当線分とのズレ差分検出のマッチングをとるためである。

ステップＳ１３５において、線分ラベリングと曲率判定部１３６は、直線判定マーカ線分が、前後に配置されたカメラでラベリング線分を参照して、連続性があるか否かを判定する。ステップＳ１３５において、直線判定マーカ線分が、前後に配置されたカメラで連続性がないと判定された場合、処理は、ステップＳ１３１に戻り、それ以降の処理が繰り返される。

ステップＳ１３５において、直線判定マーカ線分が、前後に配置されたカメラ１１で連続性があると判定された場合、処理は、ステップＳ１３６に進む。ステップＳ１３６において、路面上線分判別部１３７は、直線判定マーカ線分が路面上にあるものであるか否かを判定する。なお、このとき、高さ判別も行い、高さ線分、例えば、縁石などは俯瞰変換の際の投影面が縁石の高さだけ横にシフトしてずれてしまうため処理から除外される。

ステップＳ１３６において、直線判定マーカ線分が路面上にあるものではないと判定された場合、処理は、ステップＳ１３１に戻り、検出されるほかの線全部に関してもそれ以降の処理が繰り返される。なお、遠方の線分や路面外の道路平行周辺建築物などの不要な不確定線分は不要なので、該当処理は有限近傍台形範囲などの路面想定範囲に限ってもよい。さらに、その際に、車両最接近線分が最も精度の高い情報を含むため、車体からの距離に応じて線分の信頼度の重み付けを行ってもよい。

パラメータ制御部１１３は、カメラ外部パラメータのオフセット値メモリ１３４に仮記録されたパラメータと画角ズレ換算部１３８により換算された画角ズレの情報を、パラメータ最適化部１１４に供給する。ステップＳ１３７において、パラメータ最適化部１１４は、供給されたパラメータに基づいて、隣接カメラ１１間において、位置ズレがある場合、車体高さ、車体ローテーションを補正して連続性を確保する。

ステップＳ１３８において、パラメータ最適化部１１４は、隣接カメラ１１間の重なり領域（図１のＥ）で、上述した検出マーカ線分の進行方向に対する１次微分（傾き）の連続性を確認する。

ステップＳ１３９において、パラメータ最適化部１１４は、これら拘束条件（線分の信頼度）を元にすべての周辺配置カメラ間で滑らかに連続接続された線分となるようにパラメータ算出を行うが、必ずしも完全合致はできないため、隣接カメラ１１間でのそのズレの差分が最小化されるように、残差差分の二乗和最小化することでパラメータを最終的に決定する。この決定されたパラメータに基づいて、パラメータ制御部１１３は、カメラ毎の更新外部パラメータメモリ１３３を更新する。そして、カメラ毎の更新外部パラメータメモリ１３３は、次の処理に用いられる。

ただし、特定カメラの、例えば無限較正値が履歴情報と大きく異なっている場合は、カメラ自体の外的要因による設置向きの傾きなど通常の車体姿勢ズレを超えた範囲に及ぶこともあるため、その場合は異常として処理を行い、残りの整合がとれるカメラ間の較正に留めたパラメータ調整とする。

以上のように、本技術においては、前後のカメラ１１−１および１１−３により、直進道路上で無限点（消失点）と車線の位置関係により傾きを検出して位置ズレの補正が行われる。

また、本技術においては、左右のカメラ１１−２および１１−４により、俯瞰画像において、前後のカメラ１１−１および１１−３と重なる画像部分のマッチングにより回転ズレの補正が行われる。

以上により、本技術によれば、走行中にカメラの位置ずれを検出することができる。

[本技術の効果例]
図１９のＡの例においては、４つのカメラ１１−１乃至１１−４の合成画像で、各カメラ１１の較正がずれた場合の画像が疑似的に示されている。

図１９のＢの例においては、本技術により、車両前後に配置されたカメラ１１−１および１１−３で撮像される線分の延設方向を進行方向に合わせた上で、車両左右に配置されたカメラ１１−２および１１−４の平行較正を行った場合の画像が示されている。

この例においては、座標合致と進行方向一次微分値の連続性を確保する手順の４隅（図１のＥ）での整合がとられること、または、最小２乗法による誤差最小化によりパラメータが確定されることで、車両周辺画像をすべて滑らかに繋がるようにする。また、この例においては、一致点検出は、近傍的テキスチュアマッチングまたはハリスコーナフィルタなど特徴検出をして、一致点検出をすることで精度よい画像の境界合成を行ってもよい。

なお、図１９のＡに示されるように俯瞰変換画像が、前に狭くなっているのは、地面から遠ざかっている場合である。一方、俯瞰変換画像が、広がるのは、カメラが向きを変えずに下がった場合であり、進行方向側のみが広がるのは、視野角の手前距離を一定にして前方側が回転して下がる場合である。

＜３．第３の実施の形態（応用例）＞
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車などのいずれかの種類の車両に搭載される装置として実現されてもよい。

[車両制御システムの構成例]
図２０は、本開示に係る技術が適用され得る車両制御システム２０００の概略的な構成の一例を示すブロック図である。車両制御システム２０００は、通信ネットワーク２０１０を介して接続された複数の電子制御ユニットを備える。図２０に示した例では、車両制御システム２０００は、駆動系制御ユニット２１００、ボディ系制御ユニット２２００、バッテリ制御ユニット２３００、車外情報検出装置２４００、車内情報検出装置２５００、及び統合制御ユニット２６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク２０１０は、例えば、CAN（Controller Area Network）、LIN（Local Interconnect Network）、LAN（Local Area Network）又はFlexRay（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。

各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク２０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図２０では、統合制御ユニット２６００の機能構成として、マイクロコンピュータ２６１０、汎用通信Ｉ／Ｆ２６２０、専用通信Ｉ／Ｆ２６３０、測位部２６４０、ビーコン受信部２６５０、車内機器Ｉ／Ｆ２６６０、音声画像出力部２６７０、車載ネットワークＩ／Ｆ２６８０及び記憶部２６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。

駆動系制御ユニット２１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット２１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット２１００は、ABS（Antilock Brake System）又はESC（Electronic Stability Control）等の制御装置としての機能を有してもよい。

駆動系制御ユニット２１００には、車両状態検出部２１１０が接続される。車両状態検出部２１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット２１００は、車両状態検出部２１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。

ボディ系制御ユニット２２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット２２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット２２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット２２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

バッテリ制御ユニット２３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池２３１０を制御する。例えば、バッテリ制御ユニット２３００には、二次電池２３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット２３００は、これらの信号を用いて演算処理を行い、二次電池２３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。

車外情報検出装置２４００は、車両制御システム２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出装置２４００には、撮像部２４１０及び車外情報検出部２４２０のうちの少なくとも一方が接続される。撮像部２４１０には、ToF（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部２４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム２０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサが含まれる。

環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びLIDAR（Light Detection and Ranging、Laser Imaging Detection and Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部２４１０及び車外情報検出部２４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。

[撮像部および車外情報検出部の設置位置の例]
ここで、図２１は、撮像部２４１０及び車外情報検出部２４２０の設置位置の例を示す。撮像部２９１０，２９１２，２９１４，２９１６，２９１８は、例えば、車両２９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部２９１０及び車室内のフロントガラスの上部に備えられる撮像部２９１８は、主として車両２９００の前方の画像を取得する。サイドミラーに備えられる撮像部２９１２，２９１４は、主として車両２９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部２９１６は、主として車両２９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部２９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。

なお、図２１には、それぞれの撮像部２９１０，２９１２，２９１４，２９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部２９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部２９１２，２９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部２９１６の撮像範囲を示す。例えば、撮像部２９１０，２９１２，２９１４，２９１６で撮像された画像データが重ね合わせられることにより、車両２９００を上方から見た俯瞰画像が得られる。

車両２９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部２９２０，２９２２，２９２４，２９２６，２９２８，２９３０は、例えば超音波センサ又はレーダ装置であってよい。車両２９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部２９２０，２９２６，２９３０は、例えばLIDAR装置であってよい。これらの車外情報検出部２９２０乃至２９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。

図２０に戻って説明を続ける。車外情報検出装置２４００は、撮像部２４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出装置２４００は、接続されている車外情報検出部２４２０から検出情報を受信する。車外情報検出部２４２０が超音波センサ、レーダ装置又はLIDAR装置である場合には、車外情報検出装置２４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出装置２４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出装置２４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出装置２４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。

また、車外情報検出装置２４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出装置２４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部２４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出装置２４００は、異なる撮像部２４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。

車内情報検出装置２５００は、車内の情報を検出する。車内情報検出装置２５００には、例えば、運転者の状態を検出する運転者状態検出部２５１０が接続される。運転者状態検出部２５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出装置２５００は、運転者状態検出部２５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出装置２５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。

統合制御ユニット２６００は、各種プログラムにしたがって車両制御システム２０００内の動作全般を制御する。統合制御ユニット２６００には、入力部２８００が接続されている。入力部２８００は、例えば、タッチパネル、ボタン、マイクロホン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。入力部２８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム２０００の操作に対応した携帯電話又はPDA（Personal Digital Assistant）等の外部接続機器であってもよい。入力部２８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。さらに、入力部２８００は、例えば、上記の入力部２８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット２６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部２８００を操作することにより、車両制御システム２０００に対して各種のデータを入力したり処理動作を指示したりする。

記憶部２６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するRAM（Random Access Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するROM（Read Only Memory）を含んでいてもよい。また、記憶部２６９０は、HDD（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。

汎用通信Ｉ／Ｆ２６２０は、外部環境２７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ２６２０は、GSM(登録商標)（Global System of Mobile communications）、WiMAX、LTE（Long Term Evolution）若しくはLTE‐A（LTE−Advanced）などのセルラー通信プロトコル、又は無線LAN（Wi‐Fi（登録商標）ともいう）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ２６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ２６２０は、例えばP2P（Peer To Peer）技術を用いて、車両の近傍に存在する端末（例えば、歩行者若しくは店舗の端末、又はMTC（Machine Type Communication）端末）と接続してもよい。

専用通信Ｉ／Ｆ２６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ２６３０は、例えば、下位レイヤのIEEE802.11pと上位レイヤのIEEE1609との組合せであるWAVE（Wireless Access in Vehicle Environment）、又はDSRC（Dedicated Short Range Communications）といった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ２６３０は、典型的には、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信及び歩車間（Vehicle to Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。

測位部２６４０は、例えば、GNSS（Global Navigation Satellite System）衛星からのGNSS信号（例えば、GPS（Global Positioning System）衛星からのGPS信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部２６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、PHS若しくはスマートフォンといった端末から位置情報を取得してもよい。

ビーコン受信部２６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部２６５０の機能は、上述した専用通信Ｉ／Ｆ２６３０に含まれてもよい。

車内機器Ｉ／Ｆ２６６０は、マイクロコンピュータ２６１０と車内に存在する様々な機器との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ２６６０は、無線LAN、Bluetooth（登録商標）、NFC（Near Field Communication）又はWUSB（Wireless USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ２６６０は、図示しない接続端子（及び、必要であればケーブル）を介して有線接続を確立してもよい。車内機器Ｉ／Ｆ２６６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器との間で、制御信号又はデータ信号を交換する。

車載ネットワークＩ／Ｆ２６８０は、マイクロコンピュータ２６１０と通信ネットワーク２０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ２６８０は、通信ネットワーク２０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。

統合制御ユニット２６００のマイクロコンピュータ２６１０は、汎用通信Ｉ／Ｆ２６２０、専用通信Ｉ／Ｆ２６３０、測位部２６４０、ビーコン受信部２６５０、車内機器Ｉ／Ｆ２６６０及び車載ネットワークＩ／Ｆ２６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム２０００を制御する。例えば、マイクロコンピュータ２６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット２１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ２６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、自動運転等を目的とした協調制御を行ってもよい。

マイクロコンピュータ２６１０は、汎用通信Ｉ／Ｆ２６２０、専用通信Ｉ／Ｆ２６３０、測位部２６４０、ビーコン受信部２６５０、車内機器Ｉ／Ｆ２６６０及び車載ネットワークＩ／Ｆ２６８０のうちの少なくとも一つを介して取得される情報に基づき、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ２６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。

音声画像出力部２６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図２０の例では、出力装置として、オーディオスピーカ２７１０、表示部２７２０及びインストルメントパネル２７３０が例示されている。表示部２７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部２７２０は、AR（Augmented Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ２６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。

なお、図２０に示した例において、通信ネットワーク２０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム２０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク２０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク２０１０を介して相互に検出情報を送受信してもよい。

以上説明した車両制御システム２０００において、図４を用いて説明した本実施形態に係る画像信号処理装置３１は、図２０に示した応用例の統合制御ユニット２６００に適用することができる。例えば、画像信号処理装置３１の画像処理IC６２、メモリ６４、制御マイクロコンピュータ６５は、統合制御ユニット２６００のマイクロコンピュータ２６１０、記憶部２６９０、車載ネットワークＩ／Ｆ２６８０に相当する。例えば、統合制御ユニット２６００が、複数のカメラを同期させるようにしたので、位置ズレを検出することができる。これにより、統合制御ユニット２６００は、前後のカメラにより、直進道路上で無限点（消失点）と車線の位置関係により傾きを検出して位置ズレの補正を行い、左右のカメラ１１−２および１１−４により、俯瞰画像において、前後のカメラ１１−１および１１−３と重なる画像部分のマッチングにより回転ズレの補正が行うことにより、走行中に向きズレを較正することができる。

また、図４を用いて説明した画像信号処理装置３１の少なくとも一部の構成要素は、図１１に示した統合制御ユニット２６００のためのモジュール（例えば、一つのダイで構成される集積回路モジュール）において実現されてもよい。あるいは、図４を用いて説明した画像信号処理装置３１が、図２０に示した車両制御システム２０００の複数の制御ユニットによって実現されてもよい。

なお、図４を用いて説明した画像信号処理装置３１の各機能を実現するためのコンピュータプログラムを、いずれかの制御ユニット等に実装することができる。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体を提供することもできる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。

＜４．第４の実施の形態（パーソナルコンピュータ）＞
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な汎用のパーソナルコンピュータなどが含まれる。

[パーソナルコンピュータの構成例]
図２２は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータのハードウエアの構成例を示すブロック図である。

パーソナルコンピュータ３０００において、CPU（Central Processing Unit）３００１、ROM（Read Only Memory）３００２、RAM（Random Access Memory）３００３は、バス３００４により相互に接続されている。

バス３００４には、さらに、入出力インタフェース３００５が接続されている。入出力インタフェース３００５には、入力部３００６、出力部３００７、記憶部３００８、通信部３００９、及びドライブ３０１０が接続されている。

入力部３００６は、キーボード、マウス、マイクロホンなどよりなる。出力部３００７は、ディスプレイ、スピーカなどよりなる。記憶部３００８は、ハードディスクや不揮発性のメモリなどよりなる。通信部３００９は、ネットワークインタフェースなどよりなる。ドライブ３０１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア３０１１を駆動する。

以上のように構成されるパーソナルコンピュータ３０００では、CPU３００１が、例えば、記憶部３００８に記憶されているプログラムを、入出力インタフェース３００５及びバス３００４を介して、RAM３００３にロードして実行する。これにより、上述した一連の処理が行われる。

コンピュータ（CPU３００１）が実行するプログラムは、リムーバブルメディア３０１１に記録して提供することができる。リムーバブルメディア３０１１は、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディア等である。また、あるいは、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータにおいて、プログラムは、リムーバブルメディア３０１１をドライブ３０１０に装着することにより、入出力インタフェース３００５を介して、記憶部３００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部３００９で受信し、記憶部３００８にインストールすることができる。その他、プログラムは、ROM３００２や記憶部３００８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要な段階で処理が行われるプログラムであっても良い。

また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

さらに、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。

なお、本開示における実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本開示は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。つまり、本技術は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有するのであれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例また修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

なお、本技術は以下のような構成も取ることができる。
（１） 車の直進状態を検出する車状態検出部と、
第１のカメラにより撮像された画像と、前記車に対して前記第１のカメラと対向する位置に配置される第２のカメラにより撮像された画像と、前記第１のカメラおよび前記第２のカメラのいずれとも異なる第３のカメラにより撮像された画像とのぞれぞれの画像から線分を検出する線分検出部と、
走行背景における無限点を検出する無限点検出部と、
前記無限点検出部により検出された無限点に応じて、第１のカメラの補正量を算出する第１の補正量算出部と、
前記第１の補正量算出部により算出された第１のカメラの補正量と前記線分検出部により検出された線分に基づいて、前記第３のカメラの補正量を算出する第２の補正量算出部と、
前記第１のカメラの補正量に基づいて、前記第１のカメラの画角の補正処理を実行する補正処理部と
を備える画像処理装置。
（２） 前記無限点検出部により検出された無限点と、前記線分検出部により検出された線分の収束点とが一致しない場合、前記第１のカメラの補正量である画角の不整合量をカメラ光軸と車両進行方向のズレ角として保存する保存部を
さらに備える前記（１）に記載の画像処理装置。
（３） 前記第１の補正量算出部は、前記線分検出部により検出された線分の車両進行に伴う時系列変化から、前記線分検出部により検出された線分のうち、その法線方向成分を有するシフトが発生しない線分を用いて、前記第１のカメラの補正量を算出し、その法線方向成分を有するシフトが発生する線分を用いての前記第１のカメラの補正量の算出処理を禁止する
前記（１）または（２）に記載の画像処理装置。
（４） 車両の進行方向を検出する進行方向検出部を
さらに備え、
前記第１の補正量算出部は、前記進行方向検出により検出された進行方向に変化がない場合、前記線分検出部により検出された線分の車両進行に伴う時系列変化から、前記線分検出部により検出された線分のうち、その法線方向成分を有するシフトが発生しない線分を用いて、前記第１のカメラの補正量を算出し、その法線方向成分を有するシフトが発生する線分を用いての前記第１のカメラの補正量の算出処理を禁止する
前記（１）または（２）に記載の画像処理装置。
（５） 車両の進行方向を検出する進行方向検出部を
さらに備え、
前記第１の補正量算出部は、前記進行方向検出により検出された進行方向に変化がない場合、前記線分検出部により検出された線分の車両進行に伴う時系列変化から、前記線分検出部により検出された複数線分の線分交点が時系列変動した際、前記線分を補正処理から除外する
前記（１）乃至（３）のいずれかに記載の画像処理装置。
（６） 前記進行方向検出部は、車両のヨー角を検出することで、車両の進行方向を検出する
前記（４）または（５）に記載の画像処理装置。
（７） 前記第２の補正量算出部は、前記線分検出部により検出された線分の進行方向を軸として、進行に伴い検出される同一線分の俯瞰変換画像のうちの線分の一次微分が、異なるカメラ画像で一致するように前記第２のカメラの補正量を算出する
前記（１）乃至（６）のいずれかに記載の画像処理装置。
（８） 前記第２の補正量算出部は、前記線分検出部により検出された線分の進行方向を軸として、その一次微分が、俯瞰画像または魚眼投影からの歪みのない画像にした投影で一致するように前記第２のカメラの補正量を算出する
前記（１）乃至（７）のいずれかに記載の画像処理装置。
（９） 前記第２の補正量算出部は、撮像された路面上の認識パターンに基づいて、各カメラが特定する車両進行方向位置が、前記第１のカメラにより撮像された画像と前記第３のカメラにより撮像された画像で一致するように、前記第３のカメラの位置補正の算出を行う
前記（１）乃至（８）のいずれかに記載の画像処理装置。
（１０） 前記第１の補正量算出部は、前記無限点検出部により検出された無限点と前記線分検出部により検出された線分の傾きに応じて、第１のカメラの補正量と、前記第２のカメラの補正量を算出し、
前記第２の補正量算出部は、前記第１および第２のカメラの補正量と、前記線分検出部により検出された線分に基づいて、前記第３のカメラの補正量と、前記第３のカメラと対向する位置に配置される第４のカメラの補正量を算出する
前記（１）乃至（９）のいずれかに記載の画像処理装置。
（１１） 前記第１の補正処理部は、前記第１および第２のカメラで車線幅を検出する場合、車線幅を一致させる補正を行う
前記（１０）に記載の画像処理装置。
（１２） 前記第１の補正処理部は、同時刻で前記第１および第２のカメラで車線幅を検出できない場合、前記第１のカメラで検出された車線幅を前記第２のカメラのカメラ視野が通過後の予測通過時刻に検出した車幅と一致させる補正を行う
前記（１０）に記載の画像処理装置。
（１３） 前記第１、第２、および第３のカメラのタイミングの差分を検出する差分検出部と、
前記差分検出部により検出された差分に基づいて、信号線を介して、各カメラに同期コマンドを送信するコマンド送信部と
をさらに備える
前記（１）乃至（１２）のいずれかに記載の画像処理装置。
（１４） 前記同期コマンドは、基準カメラの同期タイミングを参照に遅延量を算出して、算出された遅延量に比例した時間情報を有し、
前記コマンド送信部は、前記同期コマンドを送信する
前記（１３）に記載の画像処理装置。
（１５） 前記第１、第２、および第３のカメラは、視野角で150°以上であり、かつ、対称光学系の後軸が水平より30°以上に下方向にあり、装着車両の直進走行進行方向の方角が、各カメラの光軸周辺において30°以上の像高に位置している
前記（１）乃至（１４）のいずれかに記載の画像処理装置。
（１６） 前記車状態検出部は、GNSS（全地球航法衛星システム）、GPS（Global Positioning System）データ、ヨーレートセンサ、ステアリング操舵角、検出線分の交点変動のいずれか１つ、またはその組み合わせのデータ情報から前記車の直進状態を判定する
前記（１）乃至（１５）のいずれかに記載の画像処理装置。
（１７） 画像処理装置が、
車の直進状態を検出し、
第１のカメラにより撮像された画像と、前記車に対して前記第１のカメラと対向する位置に配置される第２のカメラにより撮像された画像と、前記第１のカメラおよび前記第２のカメラのいずれとも異なる第３のカメラにより撮像された画像とのぞれぞれの画像から線分を検出し、
走行背景における無限点を検出し、
検出された無限点に応じて、第１のカメラの補正量を算出し、
算出された第１のカメラの補正量と前記線分検出部により検出された線分に基づいて、前記第３のカメラの補正量を算出し、
前記第１のカメラの補正量に基づいて、前記第１のカメラの画角の補正処理を実行する
画像処理方法。
（１８） 車の直進状態を検出する車状態検出部と、
第１のカメラにより撮像された画像と、前記車に対して前記第１のカメラと対向する位置に配置される第２のカメラにより撮像された画像と、前記第１のカメラおよび前記第２のカメラのいずれとも異なる第３のカメラにより撮像された画像とのぞれぞれの画像から線分を検出する線分検出部と、
走行背景における無限点を検出する無限点検出部と、
前記無限点検出部により検出された無限点に応じて、第１のカメラの補正量を算出する第１の補正量算出部と、
前記第１の補正量算出部により算出された第１のカメラの補正量と前記線分検出部により検出された線分に基づいて、前記第３のカメラの補正量を算出する第２の補正量算出部と、
前記第１のカメラの補正量に基づいて、前記第１のカメラの画角の補正処理を実行する補正処理部と
して、コンピュータを機能させるプログラム。
（１９） 車の車体に配置され、
画像を撮像する撮像部と、
前記撮像部により撮像された画像を送信する送信部と
を備える第１のカメラ、前記車に対して前記第１のカメラと対向する位置に配置される第２のカメラ、および前記第１のカメラおよび前記第２のカメラのいずれとも異なる第３のカメラと、
前記車の直進状態を検出する車状態検出部と、
前記第１のカメラ、前記第２のカメラ、および前記第３のカメラにより撮像されたそれぞれの画像から線分を検出する線分検出部と、
走行背景における無限点を検出する無限点検出部と、
前記無限点検出部により検出された無限点に応じて、第１のカメラの補正量を算出する第１の補正量算出部と、
前記第１の補正量算出部により算出された第１のカメラの補正量と前記線分検出部により検出された線分に基づいて、前記第３のカメラの補正量を算出する第２の補正量算出部と、
前記第１のカメラの補正量に基づいて、前記第１のカメラの画角の補正処理を実行する補正処理部と
を備える画像処理装置と
からなる画像処理システム。

１ 車体， １１，１１−１乃至１１−４ カメラ， ２１ カメラ較正システム， ３１ 画像信号処理装置， ４１ 表示部，４２ 通信ネットワーク， ４３ 駆動系制御ユニット， ４４ 車外情報検出ユニット， ４５ 環境センサ， ５１−１乃至５１−４ イメージセンサ， ５２−１乃至５２−４ 通信部， ６１−１乃至６１−４ 通信部， ６２ 画像処理IC， ６３ 表示制御部， ６４ メモリ， ６５ 制御マイクロコンピュータ， ６６ メモリ， ６７ センシングチップ， ８１ 画像処理部， ８２ コマンド受信部， ８３ 制御部， ９１ コマンド送信部， ９２ カメラ同期マスタ信号管理部， ９３ 差分管理部， ９４ カメラ制御部， ９５ 較正値による歪み補正処理部， ９６ 画像合成部， １１１ ヨー角直線判定部， １１２ パラメータ算出部， １１３ パラメータ制御部， １１４ パラメータ最適化部， １２１ 線分検出部， １２２ 線分曲線推定部， １２３ ハフフィルタ， １２４ 無限点探索機， １２５ 平行線分判定部， １２６ オプティカルフローフィルタ， １２７ 無限点統計演算器， １２８ ヨー角推定部， １２９ 無限点のオフセット算出部， １３０ カメラ毎の内部パラメータメモリ， １３１ 無限点算出部， １３２ カメラ毎の外部パラメータメモリ， １３３ カメラ毎の更新外部パラメータメモリ， １３４ カメラ外部パラメータのオフセット値仮記録メモリ， １３５ 俯瞰画像変換部， １３６ 検出線分のラベリングと曲率判定部， １３７ 路面上線分判定部， １３８ 画角ズレ換算部， ２０００ 車両制御システム， ３０００ パーソナルコンピュータ

Claims (18)

1. 車の直進状態を検出する車状態検出部と、
   第１のカメラにより撮像された画像と、前記車に対して前記第１のカメラと対向する位置に配置される第２のカメラにより撮像された画像と、前記第１のカメラおよび前記第２のカメラのいずれとも異なる第３のカメラにより撮像された画像とのぞれぞれの画像から線分を検出する線分検出部と、
   走行背景における無限点を検出する無限点検出部と、
   前記無限点検出部により検出された無限点に応じて、第１のカメラの補正量を算出する第１の補正量算出部と、
   前記第１の補正量算出部により算出された第１のカメラの補正量と前記線分検出部により検出された線分に基づいて、前記第３のカメラの補正量を算出する第２の補正量算出部と、
   前記第１のカメラの補正量に基づいて、前記第１のカメラの画角の補正処理を実行する補正処理部と
   車両の進行方向を検出する進行方向検出部と
   を備え、
   前記第１の補正量算出部は、前記進行方向検出部により検出された進行方向に変化がない場合、前記線分検出部により検出された線分の車両進行に伴う時系列変化から、前記線分検出部により検出された複数線分の線分交点が時系列変動した際、前記線分を用いての前記第１のカメラの補正量の算出処理を禁止する
   画像処理装置。
2. 前記無限点検出部により検出された無限点と、前記線分検出部により検出された線分の収束点とが一致しない場合、前記第１のカメラの補正量である画角の不整合量をカメラ光軸と車両進行方向のズレ角として保存する保存部を
   さらに備える請求項１に記載の画像処理装置。
3. 前記第１の補正量算出部は、前記線分検出部により検出された線分の車両進行に伴う時系列変化から、前記線分検出部により検出された線分のうち、その法線方向成分を有するシフトが発生しない線分を用いて、前記第１のカメラの補正量を算出し、その法線方向成分を有するシフトが発生する線分を用いての前記第１のカメラの補正量の算出処理を禁止する
   請求項１に記載の画像処理装置。
4. 前記第１の補正量算出部は、前記進行方向検出部により検出された進行方向に変化がない場合、前記線分検出部により検出された線分の車両進行に伴う時系列変化から、前記線分検出部により検出された線分のうち、その法線方向成分を有するシフトが発生しない線分を用いて、前記第１のカメラの補正量を算出し、その法線方向成分を有するシフトが発生する線分を用いての前記第１のカメラの補正量の算出処理を禁止する
   請求項１に記載の画像処理装置。
5. 前記進行方向検出部は、車両のヨー角を検出することで、車両の進行方向を検出する
   請求項４に記載の画像処理装置。
6. 前記第２の補正量算出部は、前記線分検出部により検出された線分の進行方向を軸として、進行に伴い検出される同一線分の俯瞰変換画像のうちの線分の一次微分が、異なるカメラ画像で一致するように前記第２のカメラの補正量を算出する
   請求項１に記載の画像処理装置。
7. 前記第２の補正量算出部は、前記線分検出部により検出された線分の進行方向を軸として、その一次微分が、俯瞰画像または魚眼投影からの歪みのない画像にした投影で一致するように前記第２のカメラの補正量を算出する
   請求項１に記載の画像処理装置。
8. 前記第２の補正量算出部は、撮像された路面上の認識パターンに基づいて、各カメラが特定する車両進行方向位置が、前記第１のカメラにより撮像された画像と前記第３のカメラにより撮像された画像で一致するように、前記第３のカメラの位置補正の算出を行う
   請求項１の記載の画像処理装置。
9. 前記第１の補正量算出部は、前記無限点検出部により検出された無限点と前記線分検出部により検出された線分の傾きに応じて、第１のカメラの補正量と、前記第２のカメラの補正量を算出し、
   前記第２の補正量算出部は、前記第１および第２のカメラの補正量と、前記線分検出部により検出された線分に基づいて、前記第３のカメラの補正量と、前記第３のカメラと対向する位置に配置される第４のカメラの補正量を算出する
   請求項１に記載の画像処理装置。
10. 前記補正処理部は、前記第１および第２のカメラで車線幅を検出する場合、車線幅を一致させる補正を行う
    請求項９の記載の画像処理装置。
11. 前記補正処理部は、同時刻で前記第１および第２のカメラで車線幅を検出できない場合、前記第１のカメラで検出された車線幅を前記第２のカメラのカメラ視野が通過後の予測通過時刻に検出した車幅と一致させる補正を行う
    請求項９の記載の画像処理装置。
12. 前記第１、第２、および第３のカメラのタイミングの差分を検出する差分検出部と、
    前記差分検出部により検出された差分に基づいて、信号線を介して、各カメラに同期コマンドを送信するコマンド送信部と
    をさらに備える請求項１に記載の画像処理装置。
13. 前記同期コマンドは、基準カメラの同期タイミングを参照に遅延量を算出して、算出された遅延量に比例した時間情報を有し、
    前記コマンド送信部は、前記同期コマンドを送信する
    請求項１２の記載の画像処理装置。
14. 前記第１、第２、および第３のカメラは、視野角で150°以上であり、かつ、対称光学系の後軸が水平より30°以上に下方向にあり、装着車両の直進走行進行方向の方角が、各カメラの光軸周辺において30°以上の像高に位置している
    請求項１の記載の画像処理装置。
15. 前記車状態検出部は、GNSS（全地球航法衛星システム）、GPS（Global Positioning System）データ、ヨーレートセンサ、ステアリング操舵角、検出線分の交点変動のいずれか１つ、またはその組み合わせのデータ情報から前記車の直進状態を判定する
    請求項１に記載の画像処理装置。
16. 画像処理装置が、
    車の直進状態を検出し、
    第１のカメラにより撮像された画像と、前記車に対して前記第１のカメラと対向する位置に配置される第２のカメラにより撮像された画像と、前記第１のカメラおよび前記第２のカメラのいずれとも異なる第３のカメラにより撮像された画像とのぞれぞれの画像から線分を検出し、
    走行背景における無限点を検出し、
    検出された無限点に応じて、第１のカメラの補正量を算出し、
    算出された第１のカメラの補正量と検出された線分に基づいて、前記第３のカメラの補正量を算出し、
    前記第１のカメラの補正量に基づいて、前記第１のカメラの画角の補正処理を実行し、
    車両の進行方向を検出し、
    検出された進行方向に変化がない場合、検出された線分の車両進行に伴う時系列変化から、検出された複数線分の線分交点が時系列変動した際、前記線分を用いての前記第１のカメラの補正量の算出処理を禁止する
    画像処理方法。
17. 車の直進状態を検出する車状態検出部と、
    第１のカメラにより撮像された画像と、前記車に対して前記第１のカメラと対向する位置に配置される第２のカメラにより撮像された画像と、前記第１のカメラおよび前記第２のカメラのいずれとも異なる第３のカメラにより撮像された画像とのぞれぞれの画像から線分を検出する線分検出部と、
    走行背景における無限点を検出する無限点検出部と、
    前記無限点検出部により検出された無限点に応じて、第１のカメラの補正量を算出する第１の補正量算出部と、
    前記第１の補正量算出部により算出された第１のカメラの補正量と前記線分検出部により検出された線分に基づいて、前記第３のカメラの補正量を算出する第２の補正量算出部と、
    前記第１のカメラの補正量に基づいて、前記第１のカメラの画角の補正処理を実行する補正処理部と、
    車両の進行方向を検出する進行方向検出部と
    して、コンピュータを機能させ、
    前記第１の補正量算出部は、前記進行方向検出部により検出された進行方向に変化がない場合、前記線分検出部により検出された線分の車両進行に伴う時系列変化から、前記線分検出部により検出された複数線分の線分交点が時系列変動した際、前記線分を用いての前記第１のカメラの補正量の算出処理を禁止する
    プログラム。
18. 車の車体に配置され、
    画像を撮像する撮像部と、
    前記撮像部により撮像された画像を送信する送信部と
    を備える第１のカメラ、前記車に対して前記第１のカメラと対向する位置に配置される第２のカメラ、および前記第１のカメラおよび前記第２のカメラのいずれとも異なる第３のカメラと、
    前記車の直進状態を検出する車状態検出部と、
    前記第１のカメラ、前記第２のカメラ、および前記第３のカメラにより撮像されたそれぞれの画像から線分を検出する線分検出部と、
    走行背景における無限点を検出する無限点検出部と、
    前記無限点検出部により検出された無限点に応じて、第１のカメラの補正量を算出する第１の補正量算出部と、
    前記第１の補正量算出部により算出された第１のカメラの補正量と前記線分検出部により検出された線分に基づいて、前記第３のカメラの補正量を算出する第２の補正量算出部と、
    前記第１のカメラの補正量に基づいて、前記第１のカメラの画角の補正処理を実行する補正処理部と、
    車両の進行方向を検出する進行方向検出部と
    を備え、
    前記第１の補正量算出部は、前記進行方向検出部により検出された進行方向に変化がない場合、前記線分検出部により検出された線分の車両進行に伴う時系列変化から、前記線分検出部により検出された複数線分の線分交点が時系列変動した際、前記線分を用いての前記第１のカメラの補正量の算出処理を禁止する画像処理装置と
    からなる画像処理システム。

Images