JP7219561B2

JP7219561B2 - 車載環境認識装置

Info

Publication number: JP7219561B2
Application number: JP2018135236A
Authority: JP
Inventors: 雅幸竹村; 彰二村松
Original assignee: Hitachi Astemo Ltd
Current assignee: Hitachi Astemo Ltd
Priority date: 2018-07-18
Filing date: 2018-07-18
Publication date: 2023-02-08
Anticipated expiration: 2038-07-18
Also published as: JP2020012735A; WO2020017334A1; CN112424565B; CN112424565A

Description

本発明は車両に設置されたカメラにより車両の周囲環境を認識する車載環境認識装置に関する。

車両に設置された２つのカメラにより車両の周囲環境を認識する車載カメラに関する技術がある。予防安全技術の製品化が普及期に入りつつあり、より多機能化かつ広視野なセンシングが廉価に求められるようになっている。

車両に設置された２つのカメラ間の位置、姿勢を推定し、２つのカメラの画像が平行な位置関係となるように、幾何校正（キャリブレーション）する方法がある。この際に、２つのカメラの位置、姿勢の幾何関係を求めるための情報として、２つのカメラの画像上から得られる対応点を利用する手法が一般的である。この対応点を取得する手法は、左右画像上から特徴点といわれる画像上の角（コーナー）などのユニークな点を抽出し、その特徴点の周囲における輝度変化から特徴量を演算し、この特徴量が類似する特徴点を左右画像上で探索して発見された特徴点を対応点とし、左右画像における対応点の座標を基に幾何校正を実施する。

例えば、特開２０１４－７４６３２号公報（特許文献１）には、互いの視野が重なるように配置された左右のカメラの出力に基づき物体までの距離を算出するとともに物体の３次元位置を推定する３次元座標推定部と、３次元座標推定部における推定処理に用いられるカメラ間パラメータを記憶するカメラ間パラメータ記憶部と、左右のカメラの出力に基づき予め大きさが分かっている平面状の対象物を認識するとともに、対象物の特徴点座標を取得する対象物認識及び特徴点収集部と、特徴点座標に基づきカメラ間パラメータを求めるカメラ間パラメータ推定部とを備える車載ステレオカメラの校正装置が開示されている。

特開２０１４－７４６３２号公報

しかしながら、２つのカメラ間に映る風景や物体がカメラから近距離の場合や、２つのカメラの距離が離れている場合には、大きく異なる視点から同じ物体を観測することになり、２つの画像での同一物体の見え方（写り方）が大きく異なってしまう場合がある。このように同一物体の見え方が大きく異なると、２つの画像から対応を取りたい特徴点の抽出がうまくいっても、その点の周囲の輝度変化を基に演算した特徴量が２つのカメラ間で異なる可能性が高い。すなわち２つの特徴点の特徴量が異なる値となって計算されるため、対応点が見つからない、間違った対応点（誤対応点）が見つかる、又は対応点が見つかってもその個数が非常に少ない、といった課題が生じる。対応点が少ない又は誤対応点が多ければ、それだけカメラの幾何校正の精度が低下する要因となる。また、収束演算で２つのカメラ間の位置、姿勢が推定できないような場合も発生する。

本発明の目的は、複数のカメラで撮影した画像に見え方の大きく異なる同一物体が写っている場合でも容易にカメラの幾何校正ができる車載環境認識装置を提供することにある。

本願は、上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、第１カメラ及び第２カメラと、前記第１カメラによって撮像された第１画像と前記第２カメラによって撮像された第２画像の少なくとも一方を変形することで前記第１画像及び前記第２画像を共通の視点からの画像に変換する視点変換を行った後に複数の対応点を抽出し、前記視点変換前の前記第１画像及び前記第２画像における前記複数の対応点の座標を利用して前記第１カメラ及び前記第２カメラの幾何校正を行う制御装置とを備え、前記視点変換は、前記制御装置が、前記第１画像にパラメータを変化させながらアフィン変換を施して複数の変換画像を生成し、前記複数の変換画像のそれぞれと前記第２画像の対応点の抽出を実施し、前記複数の変換画像の中で前記対応点の数が最も多くかつ所定の閾値以上の変換画像を、前記第１画像を前記第２カメラの視点からの画像に変換した画像とする視点変換であることを特徴とする。

本発明によれば、車両に設置された複数台のカメラの共通視野領域において、視点変換を実施することで、画像上で密な対応点を抽出し、この対応点に基づいて幾何校正することで、高精度にカメラ間の位置、姿勢を推定、２つのカメラの高精度な平行化を実現する。高精度な平行化を実施した状態でステレオマッチングすることで、高密度な視差画像の生成を実現、更にこの視差から高精度な距離復元を可能とする。

第１実施形態に係る車載環境認識装置の構成図。視点変換部の機能ブロック図。変換パラメータ生成部の機能ブロック図。対応点探索部の機能ブロック図。カメラ幾何校正部の機能ブロック図。視差画像生成部の機能ブロック図（第１実施形態）。視差画像生成部の機能ブロック図（第２実施形態）。対応点からカメラ幾何校正をするプロセスの説明。対応点取得の課題の説明。視点変換による解決方法の説明。上下領域分割の視点変換の一例。せん断（近似変形）による視点変換の一例。６領域分割の視点変換の一例。逆変換に関する説明図。第１実施形態の制御装置の処理フローチャート。自由領域分割の視点変換の一例。左右カメラに対する視点変換の一例。第２実施形態の制御装置による視差画像生成処理のフローチャート。

以下、本発明の実施形態について図面を用いて説明する。

・第１実施形態
＜図１車載環境認識装置＞
図１に本実施形態に係る車載環境認識装置１の構成図を示す。車載環境認識装置１は、水平方向の左右に間隔を介して配置された左カメラ（第１カメラ）１００と右カメラ（第２カメラ）１１０と、２台のカメラ１００，１１０から出力される撮像画像（左カメラ１００による画像を第１画像、右カメラ１１０による画像を第２画像と称することがある）を基に、２台のカメラ１００，１１０の幾何校正（キャリブレーション）を行う処理や、２台のカメラ１００，１１０によって同一タイミングで撮像された２枚の画像をステレオマッチングして視差画像を作成する処理などを実行する制御装置（コンピュータ）１０を備えている。

制御装置（コンピュータ）１０は、図示しない演算処理装置（例えばＣＰＵ）と、その演算処理装置が実行するプログラム等が記憶される記憶装置（例えば、メモリ、ハードディスク、フラッシュメモリ）と、内部の機器同士や外部との機器との通信を行うための通信装置等を備えている。制御装置１０は、記憶装置に記憶されたプログラムを実行することで、視点変換部２００、対応点探索部３００、カメラ幾何校正部４００及び視差画像生成部５００として機能する。なお、プログラムの追加によりその他の機能の実装も可能である。

一般に左右２台のカメラから成るステレオカメラは共通視野領域を利用して車載周囲環境を認識する。左右カメラを支持体の所定の位置に高精度に取り付けた後、カメラ工場において左右カメラでキャリブレーションチャートを撮像しながら左右カメラの位置、姿勢を推定し、その結果を利用して、左右カメラから撮像される画像がお互い平行になるようにパラメータを補正する。この状態でステレオマッチングすれば、高密度な視差と視差画像の取得が可能となり、さらにはその視差画像から高精度な距離が計測可能となる。しかし、高精度なカメラ製造や、温度変化、衝撃、振動及び経年変化等によるカメラの変形を抑制する部品や構造は高価である。

本願発明者らは、この種のコスト抑制のために、カメラの位置ズレや温度・経年変化等によるカメラの変形を事後的に容易に補正可能で、走行中の高精度なキャリブレーションを実現可能なものとして本実施形態の車載環境認識装置１を発明した。

まず、本実施形態では、公知の技術と同様に、左右カメラ１００，１１０の画像上から特徴点（例えば画像上の物体の角（コーナー）等のユニークな点）を抽出し、その特徴点の周囲の輝度変化から特徴量を計算し、左右画像上で類似する特徴量を保有する特徴点を探索し、左右画像上で特徴量が類似する１組の特徴点を１組の対応点として設定する。図８の画像は探索された左右画像上の複数の対応点同士を線でつないで表示した画像であり、この複数の対応点を基に左右カメラ１００，１１０の幾何校正を実施する。

図１において、対応点探索部３００は、左右カメラ１００，１１０の画像上から先ほど説明したような特徴点を抽出し、その特徴点の周囲の輝度変化から特徴量を計算し、左右画像上で類似する特徴量を保有する特徴点（対応点）を探索する。

カメラ幾何校正部４００は、対応点探索部３００で得られた複数の対応点を基に左右画像を平行にする幾何校正パラメータを演算する。左右カメラ１００，１１０の画像を幾何校正した画像は、左右平行な位置関係であると共に、レンズ歪みの全くない画像となる。これにより幾何的にマッチングし易い、左右画像が準備可能となる。

視差画像生成部５００は、同一タイミングで撮像されカメラ幾何校正部４００の幾何校正パラメータで補正された２枚の画像（平行化画像）に対してステレオマッチングを実施して、２枚の画像上で同じ物（同じパターン）が撮影された位置のズレを示す距離情報（視差情報）を公知の方法で計算して視差画像（距離画像）を生成する。視差画像生成部５００では、左カメラ１００と右カメラ１１０から撮像された左右の画像を利用する。本実施形態では右カメラ１１０による右画像（第２画像）をベースとしてステレオマッチングを実施するために、基本的には右基準に感度、幾何などを合わせるものとする。視差画像生成部５００は、幾何と感度の補正が適応された左右カメラの画像を入力してステレオマッチングを実施し、視差画像を生成し、最後にノイズ除去を実施することでノイズ除去された視差画像が得られる。

本実施形態では視点変換部２００で行われる処理が最も特徴的な部分となる。視点変換部２００は、左カメラ１００によって撮像された左画像（第１画像）と右カメラ１１０によって撮像された右画像（第２画像）の少なくとも一方を変形することで左右画像（第１画像及び前記第２画像）を共通の視点からの画像に変換する視点変換を行う。これにより対応点探索部３００において左右画像から対応点が見つかりやすくなる。画像の変形方法（視点変換の方法）の詳細については後述するが、例えば、左カメラ１００により撮像された画像（左画像,第１画像）を、右カメラ１１０の視点からの見え方に近づくように変形する（例えば、画像の拡大縮小、回転、平行移動、せん断を含むアフィン変換により画像を変形する）ことで、画像上の領域の全体又はその一部において、視点変換前よりも数の多い密な対応点の探索結果を対応点探索部３００で得ることができる。この密な対応点を利用することで、後段で行われるカメラ幾何校正部４００の処理では、高精度な幾何校正を実現する。幾何校正により正確に平行化された左右のペア画像を利用することで、視差画像生成部５００における高密度かつ高精度な視差画像の生成が可能となる。

２つのカメラ間の距離が比較的大きい長基線長のステレオカメラの場合や、近距離対象物が撮像された場合、同じ物体を全く異なる角度から撮像することになり、左右画像に撮像される当該物体の見え方は大きく異なるため、左右画像上で類似する特徴量を探索する一般的な対応点抽出手法では、対応点が取得しづらい。例えば、図９の上側に示す左右画像では、遠距離は左右画像での変形が相対的に少ないため対応点の取得が容易であるが、路面上に置いた物体９１をはじめとした近距離では変形が相対的に大きく対応点を密に得ることが難しい。対応点探索方法として、図１０の（２）、（３）に示すように、左画像での路面上の４点の見え方（画像上の位置）が右画像と一致又は類似するように視点変換してから対応点探索する。このようにすると、変形前の図９下側の画像では対応点が路面からほとんど探索できなかったが、図１０の最下段に示すように変形後は路面から対応点が密に得られていることが確認できる。

このように画像の変形、例えば視点変換による変形などを活用して、密な対応点を得ることで、高精度に幾何校正を実施し、平行化してからステレオマッチングすることで、高密度、高精度な視差画像の生成と測距を実現する。

＜図２視点変換部２００＞
次に視点変換部２００で実施可能な視点変換（画像変形）の例について説明する。図２に示すように視点変換部２００は、左右画像の少なくとも一方について視点変換を行う領域と行わない領域を設定する領域設定部２１０と、領域設定部２１０で設定された視点変換を行う領域を変形することで左右画像を共通の視点からの画像に変換するために必要な行列や関数のパラメータを生成する変換パラメータ生成部２２０と、変換パラメータ生成部２２０によって生成されたパラメータ（変換パラメータ）を有する行列や関数を利用することで左右画像の少なくとも一方を視点変換した画像（視点変換画像）を生成する視点変換画像生成部２４０と、視点変換後の画像を元に戻す逆変換に必要な逆行列や関数のパラメータ（逆変換パラメータ）を生成する逆変換パラメータ計算部２３０とを備えている。

視点変換画像生成部２４０により生成された視点変換画像は対応点探索部３００における対応点探索で利用される。また、逆変換パラメータ計算部２３０で計算された逆変換パラメータはカメラ幾何校正部４００の対応点逆変換補正部４１０で利用される。

なお、領域設定部２１０ではカメラ画像内の全ての領域を視点変換を行う領域や視点変換を行わない領域として設定しても良い。左右カメラ１００，１１０の視点変換先である共通の視点としては、左右カメラ１００，１１０のいずれか一方の視点と、左右カメラ１００，１１０のいずれとも異なる任意の視点がある。後者の場合には、例えば、左カメラ１００と右カメラ１１０の間に位置する所定の視点（例えば左右カメラ１００，１１０の中点）を共通の視点に設定して視点変換することができる。

（１）簡易的な視点変換
視点変換の１つとしては、制御装置１０の視点変換部２００が、左右画像（第１画像及び前記第２画像）で重複して撮像された部分（重複領域）の少なくとも一部が平面であると仮定し、当該平面に対する左カメラ１００及び右カメラ１１０の位置及び姿勢を左右画像に基づいてカメラ幾何的に演算し、その演算した当該平面に対する左カメラ１００及び右カメラ１１０の位置及び姿勢に基づいて左画像（第１画像）を右カメラ１１０の視点からの画像に変換するものがある。

この方法に関して図１０の例では、左カメラ１００の画像に撮像された一部が路面（平面）であると仮定して、左右カメラ１００,１１０と当該路面（平面）上の任意の点との相対的な位置・姿勢をカメラ幾何的に演算し、その位置・姿勢を基に左カメラ１００の画像を右カメラ１１０の位置・姿勢に視点変換した画像を生成することで密な対応点を取得している。

ただし、ここで変形前の図９の下に示す画像（元画像）では遠方の立体物上で多くの密な対応点が抽出されており、反対に、変形後の図１０の下に示す画像（視点変換画像）では、遠方の立体物上で対応点があまり抽出されていない代わりに路面上から多くの密な対応点が得られている。図１０では、左カメラ１００の元画像中の左下にある路面が右カメラ１１０の画像中の当該路面と同じ見え方になるように左右方向に平行な水平せん断変形を左画像に施した。これにより左右画像で当該路面の形状が類似した結果、当該路面上の対応点が密に得られた。ただし、この視点変換は、左画像の一部に過ぎない路面のみに着目して左画像全体を変形したため、路面上に存在しない立体物（特に図１０に示す建物など）の形状に着目すると視点変換後に大きく斜めになっていることが確認できる。このような変形を施すと、当該建物については、むしろ変形前の方が左右画像上で見え方（形状）が類似しており、元々の画像（原画像）でもカメラ１００,１１０から遠方では密な対応点が得られることが理解できる。

（２）上下２分割による視点変換
そこで、本実施形態では、左右画像からより多くの対応点を得るために、視点変換を行う領域と視点変換を行わない領域の２種類の領域に左画像を分割して対応点の探索を行うこととする。前者の視点変換を行う領域は、視点変換を行うと対応点が増加する領域と換言でき、例えばカメラから近距離の領域が該当する。後者の視点変換を行わない領域は、原画像でも密な対応点が取得できる領域と換言でき、例えばカメラから遠距離の領域が該当する。

この種の視点変換としては、図１１に示すように、画像中の消失点ＶＰを基準として、左画像を水平方向の境界線で上下に２分割し、２つの領域のうち上側の領域（上側領域）１１１については視点変換を行わない領域として設定し、下側の領域（下側領域）１１２については視点変換を行う領域として設定するものがある。具体的には、制御装置１０の視点変換部２００が、消失点ＶＰを含む又は消失点ＶＰに接する境界を有する上側領域（遠景）１１１と、その上側領域１１１の下方に位置する下側領域（路面）１１２の２つの領域に左画像（第１画像）を上下に２分割し、下側領域１１２の少なくとも一部が平面であると仮定し、その平面に対する左右カメラ１００，１１０の位置及び姿勢を演算し、その演算した当該平面に対する左右カメラ１００，１１０の位置及び姿勢に基づいて下側領域１１２を右カメラ１１０の視点からの画像に変換し、その変換後の下側領域１１２と上側領域（視点変換無し）１１１を合わせたものを視点変換後の左画像（第１画像）とする。

この視点変換は車載カメラ（車載環境認識装置）のカメラ幾何校正において最も簡単かつ有効なものの１つである。また、この方法では、視点変換後の画像（視点変換画像）をＦＰＧＡ（Field-Programmable Gate Array），ＡＳＩＣ（Application Specific Integrated Circuit），ＧＰＵ（Graphics Processing Unit）等のハードウェアで利用すること等を想定し、長方形にしか分割しないという制約をつけて簡易的に変換している。遠方の路面も平面と仮定して変形可能であるが、そもそも遠方であれば視点変換による路面の変形量が小さい。また遠景の立体物なども視点変換による変形が小さいため、消失点ＶＰを含む上側の領域１１１は視点変換しない領域として領域設定部２１０において設定する。車載カメラの場合には、画面の下側の領域１１２には基本的に自車両が走行する道路が撮像されるため、多くの領域が平面である路面が撮像される可能性が非常に高い。そこで、下側領域１１２は、路面が撮像される領域である仮定して、視点変換する領域として領域設定部２１０において設定する。

視点変換部２００は、変換パラメータ生成部２２０で生成された変換パラメータを利用して下側領域１１２の視点変換を行う。簡単な視点変換方法としては、車両に取り付けられたカメラ１００，１１０の位置・姿勢の設計値を利用して変換パラメータ生成部２２０で変換パラメータを生成する方法がある。車載環境認識装置１の画像処理によりカメラ１００，１１０の位置・姿勢を設計値から補正している場合には補正後の値を使っても良い。また、路面上の少なくとも３点の距離情報に基づいて当該路面の姿勢をカメラの位置・姿勢と同時に推定している場合には路面の姿勢情報を利用してよい。なお、ここで左右カメラの位置・姿勢として設計値が利用可能としているのは、左右画像が視点変換前より類似することが重要であり、両者が数学的に完全に一致する必要はないという理由からである。なぜならば、視点変換の目的は視点変換後の画像で対応点を密に得ることであり、対応点が得られる程度に類似した画像を生成できれば足りるからである。また、変換パラメータによる視点変換後の対応点の座標は、もう一度、逆変換パラメータによって視点変換前の座標に戻した上でカメラの幾何校正に利用される。そのため必ずしも高精度なカメラの位置・姿勢が必要なわけではない。

（２－１）上下２分割による視点変換（画像の拡大縮小、回転、平行移動、せん断を含むアフィン変換）
上記のように、数学的にカメラ１００，１１０と路面の相対位置・姿勢から数学的に視点変換の演算を実施しても良いが、視点変換の主目的は正確な変換にあるのではなく、左右画像の対応点を密に得ることである。このため、数学的に正確な変換でなかったとしても、ある程度の効果が認められる手法で代替も可能である。ハードウェアでの数学演算に基づく変換を省略しても良い。

例えば、左右カメラ１００，１１０の位置・姿勢が未知（未演算及び演算不可の場合を含む）で画像の変形量が決まっていない場合には、変換パラメータ生成部２２０において、消失点ＶＲを中心と考えた画像の回転や路面のせん断変形等を含むアフィン変換で画像を変形して視点変換を行っても良い。

この場合の視点変換の具体的方法としては、制御装置１０の視点変換部２００が、左カメラ１００による左画像（第１画像）にパラメータ（アフィン変換のための行列のパラメータ）を変化させながらアフィン変換を施して複数の変換画像を生成し、その複数の変換画像のそれぞれと右画像（第２画像）の対応点の抽出を実施し、その複数の変換画像の中で対応点の数が最も多くかつ所定の閾値（基準値）以上の変換画像を後続の処理で利用する最終的な視点変換画像（すなわち左画像を右カメラ１１０の視点からの画像に変換した画像）とする処理がある。この方法で複数の変換画像を生成する際には、例えば、画像の拡大縮小、回転、平行移動及びせん断の少なくとも１つを含む全ての組合せについて、パラメータを少しずつ変化させながらアフィン変換を施す。これにより実質的に全てのパターンの変換画像とそれに利用した変換行列が生成できる。その際、変換画像の数はパラメータを変化させる間隔で調整できる。そして、生成された全ての変換画像について右画像との対応点の探索を実行し、得られた対応点の数を比較することで、右画像に最も類似する形状に左画像を変形した視点変換画像と変換行列を取得できる。このように取得された変換行列のパラメータは変換パラメータとして利用できる。

図１２を用いてアフィン変換としてせん断変形を利用した視点変換の方法について説明する。図１２の例では、左画像の路面領域のせん断の変形量（せん断量）を所定の間隔で増やし続けて複数の変換画像を生成しつつ、各変換画像について右画像との対応点を探索し、その対応点の数が最も多くかつ基準（所定の閾値）より多い変換画像のせん断量を変換パラメータとして採用することを決定している。

せん断量をＡｐｉｘｅｌ、Ｂｐｉｘｅｌ、Ｃｐｉｘｅｌ（但し、Ａ＞Ｂ＞Ｃ）と増やすごとに左画像の路面領域（下側領域）の変形を増していき、その都度、左画像の路面と右画像の対応点数を記録する。その後、変形をＣｐｉｘｅｌまで続けていくと、Ｂｐｉｘｅｌ付近に対応点数のピークがあることがわかった。このような場合には、せん断量がＢｐｉｘｅｌの場合に右画像に最も類似した変形ができたことを示す。

このため、変換パラメータの算出に際しては、本来であれば乗員の乗車や走行中のピッチングなどを考慮して路面とカメラの位置・姿勢の関係を補正する必要があるが、これらを無視した上記の簡易な方法でも密な対応点を取得することができる。パラメータが毎回固定となるだけでなく、ありふれた変形であるため、比較的スペックの低いハードウェアでの利用や共通化なども容易となる。なお、ここではせん断を利用する場合について説明したが、回転、拡大縮小、平行移動などのアフィン変換を利用する場合にも上記と同様のアプローチで視点変換が可能である。

下側領域１１２の視点変換が終わったら、視点変換画像生成部２４０は、視点変換後の下側領域１１２と視点変換を行わなかった上側領域１１１とを合わせて視点変換画像（視点変換後の左画像）を生成する。視点変換部２００で生成された視点変換画像は、対応点探索部３００で右画像と対比されて対応点が抽出される。抽出された対応点の座標は、図１４に示すようにカメラ幾何校正部４００による逆変換で原画像における座標に戻されてカメラ幾何校正に利用される。

このように、画像を遠景や立体物を含んだ上側領域１１１と、路面が大半を占める下側領域１１２に分割して対応点を得ることで、上側領域１１１では視点変換無しの画像から対応点を抽出し、下側領域１１２では視点変換有りの画像から対応点を抽出することとなり、上下から密な対応点を得ることができる。なお、視点変換部２００においては、視点変換のパラメータ生成から視点変換画像生成と、逆変換パラメータの計算までを実施する。逆変換パラメータは特徴点を統合して利用するカメラ幾何校正部４００で利用される。

＜図３変換パラメータ生成部＞
図３に示すように変換パラメータ生成部２２０は、視差解析部２２１と、属性決定部２２２と、変換パラメータ演算部２２３を備えている。

視差解析部２２１は、領域設定部２１０によって視点変換を行う領域として設定された領域の視差を、視差画像生成部５００で生成された前フレーム（例えば１フレーム前）の視差画像から取得し、その視差を解析することで当該領域内に平面に近似可能な部分が存在するか否かを判断する。

属性決定部２２２は、視差解析部２２１の解析結果に基づいて当該領域の平面属性を決定する。平面属性としては、まず、当該領域に平面に近似可能な部分が存在することを示す「平面」と、当該領域には平面に近似可能な部分が存在しないことを示す「非平面」がある。前者の「平面」の属性には、さらに、当該領域の種別を示す属性として「路面（地面）」や「壁面（壁）」がある。後者の「非平面」の属性には当該領域の種別を示す属性として「無限遠」がある。また、各領域には予め平面属性が付与されている場合がある。この場合、属性決定部２２２は、予め付与された平面属性が妥当か否かを視差解析部２２１の解析結果に基づいて判断し、妥当と判断した領域のうち左右カメラ１００，１１０からの距離が所定の閾値未満の領域の平面属性を「平面」と決定し、その領域を視点変換の対象領域として決定する。距離が所定の閾値未満という条件を付することで、必要な場合にだけ、すなわち左右画像で同じ物体の見え方が大きく異なる場合にだけ視点変換を行うことができる。

変換パラメータ演算部２２３は、属性決定部２２２で平面属性が平面であると決定された領域を視点変換するための変換パラメータを演算する。変換パラメータは公知の方法で算出できる。ここではその一例を説明する。

＜視点変換計算＞
まず、左カメラ１００から見た変換対象領域内の平面４隅の３次元座標を計算する。簡単な手法としては、路面平面が高さ０ｃｍにあると仮定すると共に、カメラ内部パラメータ（ｆ，ｋｎ，Ｃｎ）、外部パラメータ（ｒｎｎ，ｔｎ）、世界座標原点に対する左カメラ１００の設置位置・姿勢が既知とすると、下記式（１）の右辺における第１及び第２の行列が既知となる。更に同式右辺の右端に位置する４要素を持つベクトルのＹworldの世界座標が０であることから、未知の数字が世界座標のＸworldとＺworldのみで表現できる。画像座標は変換する領域を自ら設定しているため既知とできる。このようにして、変換したい領域内の平面４隅の画像座標を式（１）に入力すれば、その４隅の３次元の世界座標を演算できる。次に右辺右端のＸworld，Ｙworld，Ｚworldに演算で求めた４隅の３次元座標を順に設定する。そして外部パラメータの行列に世界座標原点から見た右カメラの位置・姿勢を設定すると、世界座標系の４点の位置を右カメラで見た場合の画像座標へ変換できる。このようにして視点変換したい領域内の平面の４隅の画像座標を求めて４角形の変換パラメータを得る。４隅が計算できれば、その４角形内部の座標は全て内挿で算出できる。

変換パラメータの生成に際しては、まず、左画像（視点変換対象の画像）内で視点変換に利用する平面を決定する必要がある。例えば、上記のように左画像を上下２分割した場合であれば、視差解析部２２１において、路面が撮像されることが多い下側領域１１２は平面に近似可能な部分と推定される。各領域に平面に近似可能な部分が含まれているか否かはステレオ画像から得られる視差を利用して解析可能である。左カメラ１００を中心に考えて３次元測量したとすると、左カメラ１００から見た路面平面の位置を視差を利用して解析することができる。下側領域１１２に予め「路面」という平面属性が付与されており、解析結果からその属性が妥当と判断された場合には、下側領域１１２は視点変換の対象と決定される。これとは反対に、その属性が妥当でないと判断された場合には、下側領域１１２は視点変換の対象から除外される。すなわち視点変換を実施しないで対応点探索されることで誤った視点変換を抑制する。領域の平面属性として「路面」や「壁」といった属性が決定された場合には、変換パラメータ演算部２２３は当該領域の変換パラメータを演算する。

＜図４対応点探索部３００＞
対応点探索部３００は、視点変換部２００で視点変換された左画像（視点変換画像）と、右画像の原画像とを対比して両者の対応点を探索する。なお、視点変換部２００で左右画像に対して視点変換がされた場合には視点変換後の左右画像から対応点を探索する。図４に示すように対応点探索部３００は、特徴点抽出部３１０と、特徴量記述部３２０と、最大誤差設定部３３０と、対応点探索部３４０と、信頼度計算部３５０として機能し得る。

特徴点抽出部３１０は、左画像において特徴点を抽出する。特徴点は、例えば画像上の物体の角（コーナー）等のユニークな点である。なお、左右画像のいずれか一方で特徴点を抽出すればよく、右画像で特徴点を抽出しても良い。

特徴量記述部３２０は、特徴点抽出部３１０で抽出した特徴点の周囲輝度変化を数値化した特徴量の記述を実施する。左画像上の特徴点・特徴量を基準にして右画像の対応点を探索する場合には、右画像の探索範囲を視差分だけ広げた領域に設定してもよい。

最大誤差設定部３３０は、対応点探索を実施する前に、左右カメラ１００，１１０の最大縦誤差発生範囲を考慮して、画像の縦方向における探索範囲（縦探索範囲）を設定する。例えば左画像から特徴点を得る場合には、縦探索範囲は右画像に設定される。左右画像の平行化が完璧であれば、左画像の特徴点の対応点は、右画像における同一高さの横一列を探索すればよい。しかしながら、利用する部品の温度特性や組み付け精度によって縦誤差の範囲が異なる。このような場合に縦最大誤差を定義すると、左画像から抽出された特徴点の対応点は、右画像における同一座標から±縦最大誤差の範囲内で対応点探索を実施すれば足りる。最大誤差設定部３３０において、このように縦探索範囲を限定し、また領域も限定することによって、対応点探索の候補数を大幅に減らすことができる。縦の探索範囲を最大誤差設定部３３０において削減し、横方向は左画像の分割領域の視差最大値で設定する。これにより対応点探索部３４０が探索すべき特徴点の候補を削減できる。

対応点探索部３４０は、特徴点について計算された特徴量の類似性を比較しながら右画像で対応点探索を実施する。通常は１つの特徴点について対応点の候補が複数発見されるが、その中でも最も類似性が高くかつ所定の閾値以上の類似性のある候補点を対応点とする。図１４の例では、左右画像を上側領域と下側領域の２つの分割したうえで、上側領域（無限遠）では視点変換無しの画像から対応点を抽出し、下側領域（路面）では視点変換有りの画像から対応点を抽出する。これにより、視点変換を実施しない従前の場合と比較して、上下領域から多数の密な対応点を得ることができる。

信頼度計算部３５０は、対応点探索部３４０で得られた対応点の類似性の高さや対応点個数などから、当該領域が後段のカメラ幾何に利用してよい領域かどうかを判断するための指標値である信頼度を計算する。信頼度が低い場合には、その領域にカメラ幾何での利用不可の判定を下す。全ての領域において信頼度を計算してカメラ幾何への利用可否の判定を実施する。或る閾値以上の数の領域で利用不可とされた場合には、今回取得した画像ではキャリブレーション（幾何校正）ができないと判断する。

＜図５カメラ幾何校正部＞
カメラ幾何校正部４００は、対応点探索部３００で得られた複数の対応点を基に左右画像が平行になるように左右カメラ１００，１１０の幾何校正を実施する。図５に示すように、カメラ幾何校正部４００は、対応点逆変換補正部４１０と、対応点集約部４２０と、ノイズ対応点削除部４３０と、幾何校正パラメータ推定部４４０と、利用可否判定部４５０と、幾何校正反映部４６０として機能し得る。

まず、対応点逆変換補正部４１０においては、視点変化や、画像変形を利用して得られた対応点の座標を、原画像上の座標系に戻す計算を実施する。本実施形態では原画像の座標系に戻すために逆変換パラメータを利用する。逆変換のパラメータは、既に逆変換パラメータ計算部２３０で求められており、左右画像のうち視点変換された画像（左画像）の対応点の座標を逆変換パラメータを利用して原画像の座標に逆変換する。図１４に左画像の下側領域に視点変換を実施した場合の逆変換の方法について示す。この図の例では３段のうち中断の画像図に示すように左画像の下側領域だけに変形を加えて視点変換している。この状態で上側領域と下側領域の双方で対応点探索を実施する。対応点探索の後、下側領域では対応点（特徴点）の座標を視点変形前の座標に基に戻す逆変換（座標変換）を実施し、変形前の画像における対応点の位置を算出する。すなわち視点変換後の画像に基づいて発見した多数の対応点を原画像上の座標に逆変換した上で幾何校正に利用する。

このように対応点逆変換補正部４１０において視点変換（変形）した領域の対応点座標を逆変換して原画像の座標系上に移動させ、対応点集約部４２０は左右画像の全ての対応点を原画像の座標系における対応点として集約する。

次に、対応点集約部４２０が集めた対応点を利用してカメラ幾何校正を実施したいが、集約した段階の対応点には誤対応点も含まれる。そこで対応点のノイズ成分除去を実施する。まず、得られる対応点が画面全体に散らばるような所定組数（ここでは８組とする）の対応点をランダムに抽出し、その８組の対応点を基に左右画像の対応関係を数学的に示す基礎行列を計算する。これを基礎行列の基となる対応点を変えて複数回繰り返す。その結果、多くの基礎行列を得ることができるが、８組の対応点に誤対応点が混入している場合には、算出された基礎行列が真の値からはずれることになる。反対に、８組の対応点が全て正しい場合には、基礎行列が類似した値に集約される。このため類似した基礎行列を出力した対応点は信頼できる対応点とし、類似しないはずれ値の基礎行列を出力した対応点は８組中どの対応点が誤対応点なのかは不明のためその後の処理では利用しない。ただし、別の８組として選ばれた際に、基礎行列が類似した値に集約され、はずれ値でないことがわかった際に利用するものとする。

このようにして得られたはずれ値以外の基礎行列の中から、ある評価尺度を決定し、最も評価値が高かった基礎行列を初期値に利用する。評価尺度は例えば、基礎行列生成に利用しなかった８組の対応点を除く信頼のおける対応点のペアを更にランダムで選択し、その対応点のペアが基礎行列にどの程度の誤差を生じるかなどを評価尺度とする。このようにして得られた基礎行列を左右カメラ１００，１１０の対応関係を示す基礎行列の初期値としてまずは設定し、更には、信頼できると判断された対応点を利用して高精度な幾何校正パラメータの最適化を実施する。

上記の手法で得られた基礎行列を初期値として利用して、画像上の対応点と、基礎行列を利用して算出された推定点との距離誤差をコスト関数として最小化する最適化問題を幾何校正パラメータ推定部４４０にて解く。これにより８点法と比較して高精度な基礎行列（幾何校正パラメータ）を推定できる。

次に、利用可否判定部４５０は、まず、対応点集約部４２０から得られる対応点の数（対応点数は所定数を超えているか）と、ノイズ対応点削除部４３０から得られるはずれ値以外の対応点のペア数（ペア数は所定数を超えているか）、幾何校正パラメータ推定部４４０から得られる最小化された距離誤差の大きさ（距離誤差の大きさは所定値未満か）等の外部情報を利用して、幾何校正パラメータ推定部４４０によるカメラ幾何校正の結果を利用して良いか否かを判定する。更に、求められた幾何校正パラメータを利用して左右カメラ画像を平行化した場合、求められていた対応点ペアのうち平行化後の左右画像座標において縦誤差が発生していない対応点ペアの存在比率が所定の割合（例えば９５％）を超えているかどうかで利用可否を判定する。

幾何校正反映部４６０では、利用可否判定部４５０において利用可能と判定された場合において、幾何校正パラメータ推定部４４０で推定された左右カメラ１００，１１０の幾何を示すパラメータ基礎行列を利用して平行化画像を生成するための画像変形のアフィンテーブルの更新を実行する。

＜図６視差画像生成部５００＞
視差画像生成部５００は、左右カメラ１００，１１０で撮像された左右画像と、カメラ幾何校正部４００でリアルタイムに更新される最新のアフィンテーブルに基づいて視差画像を生成する。本実施形態の視差画像生成部５００は、図６に示すように平行化画像生成部５１０と、ステレオマッチング部５２０と、距離演算部５３０として機能する。

平行化画像生成部５１０は、カメラ幾何校正部４００にて更新された平行化画像生成のためのアフィンテーブルを利用して左右平行化画像を生成する。ステレオマッチング部５２０は、平行化された左右画像に対してステレオマッチングを実施して視差画像を生成する。距離演算部５３０は、左右カメラ１００，１１０の基線長や、カメラの内部パラメータ（焦点距離やセルサイズ）を利用して視差画像から３次元の距離変換を実施することで左右画像上の任意の物体までの距離を演算する。

＜図１５制御装置１０の処理フローチャート＞
ここで上記のように左画像を上下に２分割した場合に制御装置１０が実行する処理フローについて説明する。制御装置１０は所定の周期で図１５に示す一連の処理を繰り返している。

ステップＳ０１では、まず、制御装置１０（視点変換部２００）は左右カメラ（ステレオカメラ）１００，１１０で撮像された左右画像を入力する。

ステップＳ０２では、制御装置１０（視点変換部２００）は、ステップＳ０４で入力した左画像を上下２分割することを決定する。なお、右画像については分割を行わない。

ステップＳ０３では、制御装置１０（視点変換部２００）は、左画像を上下に２分割し、そのうち消失点ＶＰを含む領域を上側領域１１１と設定する。上側領域１１１は消失点ＶＰを含み遠方の景色が撮像される傾向のある領域であり、視点変換を施されることなくそのまま対応点探索に利用される。

ステップＳ０４では、制御装置１０（視点変換部２００）は、左画像から上側領域１１１を除いた領域（上側領域１１１の下方に位置する領域）を下側領域１１２と設定し、ステップＳ０５に処理を移行する。下側領域１１２は、自車が走行する路面が撮像物の大半を占める領域であり、左右カメラ１００，１１０から比較的近傍の路面では左右カメラ１００，１１０で見え方の変化が特に大きいので視点変換の実施のために分割する。

ステップＳ０５では、制御装置１０（視点変換部２００）は、下側領域１１２を視点変換するための変換パラメータの生成と、視点変換後の下側領域１１２上の対応点を逆変換により視点変換前の座標上に戻すための逆変換パラメータを生成する。ここで生成される変換パラメータによる視点変換は、下側領域１１２の少なくとも一部が平面であると仮定し、その平面に対する左右カメラ１００，１１０の位置及び姿勢を推定し、その推定した左右カメラ１００，１１０の位置及び姿勢に基づいて下側領域１１２を右カメラ１１０の視点からの画像に変換するものである。

ステップＳ０６では、制御装置１０（視点変換部２００）は、ステップＳ０５で生成した変換パラメータを利用して左画像の下側領域１１２を視点変換する。

ステップＳ０７では、制御装置１０（視点変換部２００）は、ステップＳ０３で分割した上側領域１１１と、ステップＳ０６で視点変換した下側領域１１２を合わせた視点変換画像を生成する。そして、制御装置１０（対応点探索部３００）は、その視点変換画像とステップＳ０１で入力した右画像に対して対応点探索を実施する。すなわち、変形を実施していない上側領域１１１と変形を実施した下側領域１１２の画像上の特徴点及び特徴量を基準として右画像の対応点を探索する処理が実行される。これにより、視点変換後の左画像の下側領域１１２と、視点変換未実施の右画像の下側領域１１２とから、特徴点及び特徴量を基準として複数の対応点の集合である第１対応点群が抽出され、視点変換前の左画像の上側領域１１１と、視点変換未実施の右画像の上側領域１１１とから、特徴点及び特徴量を基準として複数の対応点の集合である第２対応点群が抽出される。

ステップＳ０８では、制御装置１０（カメラ幾何校正部４００）は、ステップＳ０７で下側領域１１２から発見された複数の対応点（第１対応点群）のうち上下の領域１１１，１１２に跨がったものは排除し、残りの対応点についてはステップＳ０５で生成した逆変換パラメータを利用して逆変換し、当該残りの対応点の座標値を原画像（ステップＳ０１で入力した左画像）で対応点をとった場合の座標値に戻す。

ステップＳ０９では、制御装置１０（カメラ幾何校正部４００）は、ステップＳ０７で発見された上側領域１１１上の複数の対応点（第２対応点群）の座標値と、ステップＳ０８で逆変換された下側領域１１２上の複数の対応点（第１対応点群）の座標値を集約する。このとき、第１対応点群のうち左画像上の対応点の座標は視点変換前の座標に逆変換した座標となり、第１対応点群のうち右画像上の対応点の座標は視点変換未実施の元々の座標となる。また、第２対応点群の座標は左右画像ともに視点変換前の座標となる。これにより上下側領域１１１，１１２すべての対応点の座標系が、左右の原画像での座標系で統一的に扱うことが可能になる。

ステップＳ１０では、制御装置１０（カメラ幾何校正部４００）は、ノイズ除去を実施する。ステップＳ０９で集約された対応点のなかから、画像上で散らばる座標系になるようにかつランダムに８組の対応点ペアを選択し、選択した対応点ペア（入力対応点）を基にいわゆる８点法により基礎行列の値を計算する。そして、その基礎行列の値をベースにはずれ値とならなかった基礎行列の入力対応点を、その後の処理で利用できるようにフラグを立ててはずれ値となった入力対応点と区別する。

ステップＳ１１では、制御装置１０（カメラ幾何校正部４００）は、ステップＳ１０でノイズと判定されなかった対応点の座標を利用し、幾何校正のパラメータ推定を実施する。上記の手法で得られた基礎行列を初期値として利用して、画像上の対応点と、基礎行列を利用して算出された推定点との距離誤差をコスト関数として最小化する最適化問題を解く。これにより８点法と比較して高精度な幾何校正パラメータを演算できる。

ステップＳ１２では、制御装置１０（カメラ幾何校正部４００）は、ステップＳ１１で演算した距離誤差の大きさが所定値未満であるか、対応点の数が所定値以上か等の情報を利用して、ステップＳ１１で演算した幾何校正パラメータを利用して良いか判定する。ここで幾何校正パラメータが利用可能と判断された場合にはステップＳ１３に処理を進める。一方、利用不可と判断された場合には、アフィンテーブルを更新せずにステップＳ１４に処理を進める。

ステップＳ１３では、制御装置１０（カメラ幾何校正部４００）は、前フレームに利用していた左右画像の平行化のためのアフィンテーブルをステップＳ１１で演算した幾何校正パラメータに基づいて更新する。

ステップＳ１４では、制御装置１０（視差画像生成部５００）は、記憶されているアフィンテーブルを利用して左右画像の平行化画像を生成し、これを利用してステレオマッチングを実施し視差画像を生成する。

上記のように較正した本実施形態の車載環境認識装置では、左右カメラ１００，１１０（左右画像）で見え方の大きく異なる領域（下側領域１１２）に視点変換を施すことで、左右画像から発見される対応点の数を大幅に増加した。すなわち、カメラ１００により撮像された左画像の下側領域１１２を、右カメラ１１０の視点からの見え方に近づくように変形することで、視点変換前よりも数の多い密な対応点の探索結果を対応点探索部３００で得ることができる。この密な対応点を利用することで、カメラ幾何校正部４００による処理では高精度な幾何校正が可能となる。幾何校正により正確に平行化された左右のペア画像を利用することで、視差画像生成部５００における高密度かつ高精度な視差画像の生成が可能となる。

なお、上記では左右画像を上側領域と下側領域に分割し、下側領域については左画像に視点変換を実施してから対応点を探索し、上側領域については左右画像ともに視点変換を実施することなく対応点を探索したが、左右画像を複数の領域に分割する構成は必須ではない。例えば、視点変換後の左画像と視点変換未実施の右画像から複数の対応点（第１対応点群）を抽出し、視点変換前の左画像と視点変換未実施の右画像から複数の対応点（第２対応点群）を抽出して左右カメラ１００，１１０の幾何校正を行っても良い。

＜視点変換の変形例＞
視点変換部２００による視点変換の他の例について説明する。上記ではカメラ画像を上下に２分割する方式について説明したが、６分割にする方式や、自由な領域に分割する方式が利用可能である。

（１）６分割による視点変換
カメラの幾何校正は、画像上の全体から対応点が取れたほうが精度が向上する。ある固定箇所から密に対応点が得られたような場合に、そのまま対応点を利用すると対応点が密に得られた部分だけの幾何校正が小さくなるように計算されるため、画像全体から満遍なく対応点が得られたほうが本来の幾何校正すべき値に近い値が得られることが多い。しかし、画像全体において特徴点の抽出、特徴量の記述、対応点の探索などを実行すると処理負荷が重くなる。

そこで図１３に示すように画像を６領域に分割し、この６領域に関して左右画像上で対応点を探す方法を選定する。この方法では、制御装置１０は、左画像を６つの矩形領域に分割し、その６つの矩形領域には、自車走行中に各矩形領域に出現すると予測される平面属性が付与されており、その６つの矩形領域に付与された平面属性が妥当か否かを前フレームの視差画像を基に判断し、その６つの矩形領域において平面属性が妥当と判断された矩形領域のうち、左右カメラ１００，１１０の距離が所定の閾値未満の矩形領域を変換対象領域に決定し、その変換対象領域に対する左右カメラ１００，１１０の位置及び姿勢を推定し、その推定した左右カメラ１００，１１０の位置及び姿勢に基づいて変換対象領域を右カメラの視点からの画像に変換し、その６つの領域から変換対象領域を除いた残りの領域と変換対象領域を合わせたものを視点変換後の左画像とする。６つの矩形領域は、左画像を縦に２つ、横に３つに分割して得られ、２行３列で各矩形領域が配置されている。画像を上段と下段の２段に分け、上段の左側から第１領域、第２領域、第３領域と称し、下段の左側から第４領域、第５領域、第６領域と称する。６つの矩形領域における下側の３つの矩形領域（第４－６領域）の平面属性は「路面」であり、６つの矩形領域における上側の３つの矩形領域のうち左右に位置する２つの矩形領域（第１、第３領域）の平面属性は「壁」であり、６つの矩形領域における上側の３つの矩形領域のうち中央に位置する矩形領域（第２領域）の平面属性は「無限遠」である。

この方法は、特徴点抽出、記述の処理時間の削減、対応点探索候補の絞込みに効果がある。
この方法による視点変換に際して、自車走行中に各領域に出現すると予測される平面属性を決定しておくと、６領域毎に変形量を選択しやすい。例えば、図１３に示す一例のように、基本を考えると、下段の３つの領域（第４－６領域）は従来どおり路面（地面）と仮定した視点変換による視点変換を実施する。上側の無限遠（消失点）辺りにある真ん中の領域（第２領域）は遠景や空しか入っていないために、変形無しとする。上側の左右の領域（第１，第３領域）であるが、これは走行路の風景にもよるが、街中を走行中などは、建築物や樹木などが走行路に対して「壁」のように左右に存在することが多々ある。このような場合には、走行路左右に存在する壁を想定した変換を実施する。路面や壁などを或る固定値を想定して変換してもよいし、図１３の真ん中の図のように、壁の横位置と回転だけを、前フレームの視差画像から推定しておいてそれを利用するような手法でも良い。分割した領域内の視差値を距離に変換して平面推定を実施し、はずれ値の多さや、最終推定平面からある距離の範囲内にどれだけの何％の視差点群が占有するかなどを利用して平面に近似してよいかの判断を実施しても良い。これにより平面近似が可能と判別された場合には、この平面が２つのカメラ視点から見て近距離かつ視点を変えたことによる見え方の違いが大きいかどうかも計算する。見え方の違いが小さい場合にはそもそも視点変換の必要性が低い。見え方の違いが大きい場合に視点変換を行うと、対応点の探索性能が大幅に上がるため、多少の誤差が視点変換にあったとしても変換前の原画像で対応点探索を実施するよりも大幅に密な対応点の取得が可能となる。

図１３の各矩形領域内に示したように、自車走行中に各矩形領域に出現すると予測される平面属性が予め各領域に付されている。例えば、上段の左右の領域（第１，第３領域）は「壁」、下段の３つの領域（第４－６領域）は「路面」、上段の中央の領域（第２領域）は「無限遠」という平面属性が付されており、前フレームの視差値から推定される平面がこれらの属性が規定する平面と類似しているか否かを判定する。予め付された平面属性と異なる場合には、うまく平面近似できなかったと仮定し、視点変換を実施しない。これにより間違えた視点変換を避けることが可能となる。また、予め平面属性を決めているため、不安定要素となるはずれ値除去も比較的実施しやすく、推定するパラメータが絞り込まれるので安定性が強化される。

なお、上記のように６つの矩形領域に分割した場合、上段の左右に位置する２つの領域（第１，第３領域）は、走行路に沿った建物や樹木などがある場合に壁相当の平面（平面属性が「壁」の領域）があることを想定した視点変換を利用可能である。しかし、田舎道で走行路の周囲の立体物が少ない場合等にはその２つの領域に「平面」の属性を付与することなく、例えば「無限遠」等と非平面の属性を付与した方が対応点が多くなる場合もある。このため前フレームの視差画像から各領域に現れる風景の３次元構造の傾向を理解し、その後に視点変換の実施の有無を決定して対応点探索を実施しても良い。

（２）自由領域分割による視点変換
また、ＧＰＵなどを活用した視点変換を実施する場合には、３次元の平面にカメラ画像を貼って変形すればよいので、矩形領域にこだわらずに自由な領域でカメラ画像を分割できる。そこで図１６に示すように各領域の境界線に斜め線も利用した領域分割を実施する。前フレームの視差画像から得られる情報（例えば、路面領域推定結果と路端領域推定結果）に基づいて画像内に平面に近似可能な部分が存在するか否かを判断する。そして、平面に近似可能な部分と判断された部分を含む領域を路面平面領域と推定する。このとき当該領域から左右カメラ１００，１１０までの距離が閾値未満か否かを判定し、距離が閾値未満の領域を路面平面領域、すなわち視点変換を行う領域として設定しても良い。また同様に、同一物体について左右カメラ１００，１１０で見え方が大きく異なる領域であるか否かを判定しても良い。

また、路端領域の近辺には建築物や樹木がたっていることから、走行路の進行方向に沿って壁があると仮定した領域分割を画像の色合いと３次元の両方を活用して、領域分割を実施しても良い。分割した領域のそれぞれについて、３次元の平面に近似可能か否かを上記６領域の場合と同様に前フレームの視差画像から推定する。平面に近似可能な場合にはその平面に応じた視点変換を実施する。

先述の矩形領域よりも適切で柔軟な領域で画像を分割しているため、画面全体を比較的有効に活用することが可能となる。ただし、カメラ画像の背景が複雑な場合には、領域の分割が実施しづらく、安定的な判定は６領域のようにある程度、どのような平面になるかわかっている前提を利用するものの方が安定性が高い。

（３）左右カメラ双方の視点変換
上記の例ではステレオカメラの一方のカメラ（左カメラ１００）の画像を他方のカメラ（右カメラ１１０）の視点からの画像に変換する場合について説明したが、ステレオカメラの両方のカメラ（左右カメラ１００，１１０）の画像を他の視点（例えば、左右カメラ１００，１１０間に位置する所定の視点）からの画像に変換しても良い。図１７の例では、左右画像を上下２分割にしている。そして、それぞれの下側領域を、左右カメラ１００，１１０の光軸の真ん中（すなわちステレオカメラの場合のベースラインの中央）に光軸を有する他のカメラの視点からの画像に視点変換している。

このように左右画像を視点変換すると、左右画像のそれぞれに視点変換による画質劣化が生じるため、同等の画質劣化状態でマッチングを実施でき、マッチングスコアの向上が見込める。更に、この方法の利点は環境認識装置が３つ以上のカメラを備え、複数カメラのペアから三角測量を実施するような場合であって、どのカメラ主体で３次元復元すべきかが明確でない多視点カメラによる３次元測量時に利用しやすい。このように本発明には図１４に示すような右カメラ主体の３次元復元である必要性はない。

・第２実施形態
上記の実施形態では視差画像生成部５００における視差画像の生成に視点変換画像を利用しなかったが、視差画像の生成に視点変換画像を利用しても良い。本実施形態の制御装置１０は視差画像生成部５００Ａを備えている。他の部分については第１実施形態と同じであるとし、説明は省略する。

＜図７視差画像生成部＞
図７に示す視差画像生成部５００Ａは、領域別視点変換平行化画像生成部５５０と、領域別マッチング部５６０と、結果統合部５７０と、距離演算部５８０を備えている。

長基線長のステレオカメラでは、対応点探索と同様に視差画像生成時のステレオマッチングにおいても、近距離の被写体の見え方が左右カメラ１００，１１０で大きく異なり得る。このためステレオマッチングにおいても視差のマッチングが困難になるおそれがある。しかし、第１実施形態の対応点探索のようにステレオマッチング時にも視点変換を行えば、路面など平面で構成されるシーンについては、その平面の視差を密に得ることができる。また、対応点同様に遠方の風景に関しては変形しなくとも対応点がそれなりに得ることができる。路面形状を解析したり、小さな凹凸を解析したりする目的や、自車両がどこを走行してよいかなど路面平面を主に観測するような目的のアルゴリズムに対しては、対応点の手法と同様に左画像を視点変換し、左右画像のステレオマッチングを行うことが好ましい。

そこで、本実施形態では、まず、領域別視点変換平行化画像生成部５５０において、第１実施形態と同様に遠方と近傍で２つの領域（上側領域、下側領域）に左画像を分割する。そして、上側領域は視点変換を実施せず、下側領域は右カメラ視点への視点変換をアフィンテーブルによる平行化と同時に実施する。なお、平行化後に画像分割して視点変換を行っても良い。視点変換時の変換パラメータや平行化時（幾何校正時）のアフィンテーブルは第１実施形態と同様に視点変換部２００とカメラ幾何校正部４００で演算されたものを利用するものとする。次に、領域別マッチング部５６０において、画像生成部５５０で生成した２つの領域について個別に視差値を演算して個別に視差画像を生成する。結果統合部５７０において、領域別マッチング部５６０で演算された視差値のうち、下側領域に属する視差値（視差画像）には視点変換に応じた補正を施すことで上側領域と下側領域で視差値の意味合いを合わせる補正を実施し、その後に上側領域と下側領域の視差値（視差画像）の統合を実施する。更に、距離演算部５８０においては、左右カメラ１００，ｌ１０の基線長の情報と左右カメラ１００，１１０の内部パラメータの情報を利用して、結果統合部５７０で統合した視差画像から距離を演算する。これにより左右画像で見え方の大きく異なり得る下側領域（カメラから近距離の路面領域）については従前のステレオマッチングよりも多数の密な対応点に基づく視差画像が得られるので視差画像の精度が向上する。

ただし、大半が路面であっても下側領域の端に歩行者がいる場合などは、視点変換画像を利用したステレオマッチングでは、ほぼ路面付近に存在する物体は、密な視差画像を得ることができるが、反対に歩行者部分は視点変換しない方が視差画像を綺麗に得られることがある。そこで、別の実施形態として、下側領域については、領域分割及び平行化の後に視点変換無しで左右画像（つまり、右画像と視点変換前の左画像のペア（第１ペア））をマッチングした結果と、領域分割及び平行化の後に視点変換有りで左右画像（つまり、右画像と視点変換後の左画像のペア（第２ペア））をマッチングした結果の双方を生成し、２つのマッチング結果のうち、どれだけ左右画像が類似していたかを示すマッチングスコアが高い方を利用して視差値及び視差画像を生成しても良い。この際、視点変換有りのマッチング結果を逆変換した状態に戻し、更に、どれだけ左右画像が類似していたかを示すマッチングスコアも両方の場合の各視差値から参照可能な状態としておくと良い。この手法であれば、例えば下側領域内に歩行者などの立体物が存在しており視点変換後の画像によるステレオマッチングではマッチングスコアが低下することが回避されるので視差画像の精度の平均を向上できる。

＜図１８制御装置１０による視差画像生成処理のフローチャート＞
ここで上記のように視差画像生成時に左画像を上下に２分割した場合に制御装置１０（視差画像生成部５００Ａ）が実行する処理フローについて説明する。制御装置１０は視差画像の要求指令の入力に基づいて図１８に示す一連の処理を繰り返している。なお、図中のステップＤＳ０２－ＤＳ０４で実行されるキャリブレーション用の対応点探索や幾何校正パラメータの推定・更新の処理は、どのような手法を利用してもよく、図１５に示した第１実施形態の方法に限られず、公知の方法を利用しても構わない。また、ここでは、既に平行化のためのキャリブレーションは左右画像に実施済みとして、第１実施形態の視点変換を視差画像生成に応用する方法の一例を示す。

ステップＤＳ０１では、まず、制御装置１０（視差画像生成部５００Ａ）は左右カメラ（ステレオカメラ）１００，１１０で撮像された左右画像を入力する。

ステップＤＳ０２では、制御装置１０（対応点探索部３００）は、左右画像の対応点を探索する。

ステップＤＳ０３では、制御装置１０（カメラ幾何校正部４００）は、左右画像の平行化を実施するための幾何校正パラメータを推定する。

ステップＤＳ０４では、制御装置１０（カメラ幾何校正部４００）は、ステップＤ０２で演算された幾何校正パラメータでもって、左右画像の平行化画像を作成する際に利用される幾何校正用のパラメータを更新する。このとき、左右カメラ１００，１１０の相対位置や姿勢の推定値や、路面とステレオカメラの位置姿勢のパラメータ更新も実施しても良い。

ステップＤＳ０５では、制御装置１０（視差画像生成部５００Ａ）は、ステップＤＳ０１で入力した左画像を上下２分割することを決定する。なお、右画像については分割を行わない。

ステップＤＳ０６では、制御装置１０（視差画像生成部５００Ａ）は、左画像を上下に２分割し、そのうち消失点ＶＰを含む領域を上側領域１１１と設定する。上側領域１１１は消失点ＶＰを含み遠方の景色が撮像される傾向のある領域であり、視点変換を施されることなくそのままステレオマッチング（ステップＤＳ０７）に利用される。ただし、特に下側領域１１２において路面以外の物体の視差を重要視するような場合や処理に余裕がある場合には、左画像の全てを上側領域に設定し、視点変換を実施することなく右画像とステレオマッチングを実施しても良い（ステップＤＳ０７）。

ステップＤＳ０８では、制御装置１０（視差画像生成部５００Ａ）は、左画像から上側領域１１１を除いた領域（上側領域１１１の下方に位置する領域）を下側領域１１２と設定する。下側領域１１２は、自車が走行する路面が撮像物の大半を占める領域であり、左右カメラ１００，１１０から比較的近傍の路面では左右カメラ１００，１１０で見え方の変化が特に大きいので視点変換の実施のために分割する。

そして、制御装置１０（視差画像生成部５００Ａ）は、下側領域１１２を視点変換するための変換パラメータの生成と、視点変換後の下側領域１１２上の対応点を逆変換により視点変換前の座標上に戻すための逆変換パラメータを生成する。ここで生成される変換パラメータによる視点変換は、下側領域１１２の少なくとも一部が平面であると仮定し、その平面に対する左右カメラ１００，１１０の位置及び姿勢を推定し、その推定した左右カメラ１００，１１０の位置及び姿勢に基づいて下側領域１１２を右カメラ１１０の視点からの画像に変換するものである。

さらに、制御装置１０（視差画像生成部５００Ａ）は、生成した変換パラメータを利用して左画像の下側領域１１２を視点変換する。

なお、このステップＤＳ０８で生成する視点変換画像は、左画像の視点を右カメラ１１０の視点に変換したような視点変換画像を生成しても良いし。左右カメラ１００，１１０の中心位置にカメラがあると仮定したように左右カメラの画像を、ステレオカメラの重心位置に持っていったような画像変換をしても良い。

ステップＤＳ０７では、制御装置１０（視差画像生成部５００Ａ）は、ステップＤＳ０６の上側領域１１１とこれに対応する右画像の領域をステレオマッチングして視差値を演算と視差画像の生成を行う。これと同時に、ステップＤＳ０９では、制御装置１０（視差画像生成部５００Ａ）は、ステップＤＳ０８で視点変換した下側領域１１２とこれに対応する右画像の領域をステレオマッチングして視差値を演算と視差画像の生成を行う。

ステップＤＳ１０では、制御装置１０（視差画像生成部５００Ａ）は、ステップＤＳ１０で生成された視点変換画像ベースの視差値を、逆変換パラメータを利用して逆変換することで視差値の視点変換分の換算を実施する。

ステップＤＳ１１では、制御装置１０（視差画像生成部５００Ａ）は、視点変換前の平行化画像座標上における２枚の画像（左右画像）に重畳領域がある場合には、視点変換前の下側領域１１２と右画像の対応部分のマッチングスコアと、視点変換後の下側領域１１２と右画像の対応部分のマッチングスコアとを比較し、マッチングスコアが高い方の視差値を下側領域の視差値として選択する。これにより路面においては視点変換した場合の視差を優先的に利用し、立体物が存在する場合等には視点変換しない場合の視差を優先的に利用するようにスコアマッチングの比較が作用するので視差画像の精度が向上する。

ステップＤＳ１２では、制御装置１０（視差画像生成部５００Ａ）は、ステップＤＳ０７で生成した上側領域１１１の視差画像と、ステップＤＳ１１の比較を介して選択された下側領域１１２の視差画像を一枚の視差画像（合成視差画像）として合成することで、従来よりも密でノイズの少ない視差画像生成が可能となる。

なお、本実施形態では、左画像を上下に分割する場合について説明したが、左右画像で見え方の大きく異なる領域であって平面に近似できる部分が含まれる領域であれば、視点変換による視差値の精度向上効果が望める。すなわち、上記で説明した下側領域とは異なる領域に視点変換を実施してステレオマッチングを行っても良く、この種の領域としては第１実施形態で視点変換を行う領域が含まれる。

＜その他＞
図１５のフローチャートにおいてステップＳ１０，Ｓ１２は省略可能である。

本発明は，上記の各実施形態に限定されるものではなく，その要旨を逸脱しない範囲内の様々な変形例が含まれる。例えば，本発明は，上記の各実施形態で説明した全ての構成を備えるものに限定されず，その構成の一部を削除したものも含まれる。また，ある実施形態に係る構成の一部を，他の実施形態に係る構成に追加又は置換することが可能である。

また，上記の制御装置１０に係る各構成や当該各構成の機能及び実行処理等は，それらの一部又は全部をハードウェア（例えば各機能を実行するロジックを集積回路で設計する等）で実現しても良い。また，上記の制御装置１０に係る構成は，演算処理装置（例えばＣＰＵ）によって読み出し・実行されることで当該装置の構成に係る各機能が実現されるプログラム（ソフトウェア）としてもよい。当該プログラムに係る情報は，例えば，半導体メモリ（フラッシュメモリ，ＳＳＤ等），磁気記憶装置（ハードディスクドライブ等）及び記録媒体（磁気ディスク，光ディスク等）等に記憶することができる。

また，上記の各実施形態の説明では，制御線や情報線は，当該実施の形態の説明に必要であると解されるものを示したが，必ずしも製品に係る全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えて良い。

１００…左カメラ，１１０…右カメラ，１１１…上側領域，１１２…下側領域，２００…視点変換部，２１０…領域設定部，２２０…変換パラメータ生成部，２２１…視差解析部，２２２…視点変換属性決定部，２２３…変換パラメータ演算部，２３０…逆変換パラメータ計算部，２４０…視点変換画像生成部，３００…対応点探索部，３１０…特徴点抽出部，３２０…特徴量記述部，３３０…最大誤差設定部，３４０…対応点探索部，３５０…信頼度計算部，４００…カメラ幾何校正部，４１０…対応点逆変換補正部，４２０…対応点集約部，４３０…ノイズ対応点削除部，４４０…幾何校正パラメータ推定部，４５０…利用可否判定部，４６０…幾何校正反映部，５００…視差画像生成部，５１０…平行化画像生成部，５２０…ステレオマッチング部，５３０…距離演算部

Claims

第１カメラ及び第２カメラと、
前記第１カメラによって撮像された第１画像と前記第２カメラによって撮像された第２画像の少なくとも一方を変形することで前記第１画像及び前記第２画像を共通の視点からの画像に変換する視点変換を行った後に複数の対応点を抽出し、前記視点変換前の前記第１画像及び前記第２画像における前記複数の対応点の座標を利用して前記第１カメラ及び前記第２カメラの幾何校正を行う制御装置と
を備え、
前記視点変換は、前記制御装置が、前記第１画像にパラメータを変化させながらアフィン変換を施して複数の変換画像を生成し、前記複数の変換画像のそれぞれと前記第２画像の対応点の抽出を実施し、前記複数の変換画像の中で前記対応点の数が最も多くかつ所定の閾値以上の変換画像を、前記第１画像を前記第２カメラの視点からの画像に変換した画像とする視点変換である
ことを特徴とする車載環境認識装置。
第１カメラ及び第２カメラと、
前記第１カメラによって撮像された第１画像と前記第２カメラによって撮像された第２画像の少なくとも一方を変形することで前記第１画像及び前記第２画像を共通の視点からの画像に変換する視点変換を行った後に複数の対応点を抽出し、前記視点変換前の前記第１画像及び前記第２画像における前記複数の対応点の座標を利用して前記第１カメラ及び前記第２カメラの幾何校正を行う制御装置と
を備え、
前記視点変換は、
前記制御装置が、
前記第１画像を消失点を含む又は消失点と接する上側領域と前記上側領域の下方に位置する下側領域の２つの領域に上下に２分割し、
前記下側領域の少なくとも一部が平面であると仮定し、
前記平面に対する前記第１カメラ及び前記第２カメラの位置及び姿勢を推定し、
その推定した前記平面に対する前記第１カメラ及び前記第２カメラの位置及び姿勢に基づいて前記下側領域を前記第２カメラの視点からの画像に変換し、
その変換後の前記下側領域と前記上側領域を合わせたものを視点変換後の第１画像とする視点変換である
ことを特徴とする車載環境認識装置。
第１カメラ及び第２カメラと、
前記第１カメラによって撮像された第１画像と前記第２カメラによって撮像された第２画像の少なくとも一方を変形することで前記第１画像及び前記第２画像を共通の視点からの画像に変換する視点変換を行った後に複数の対応点を抽出し、前記視点変換前の前記第１画像及び前記第２画像における前記複数の対応点の座標を利用して前記第１カメラ及び前記第２カメラの幾何校正を行う制御装置と
を備え、
前記視点変換は、
前記制御装置が、
前記第１画像を複数の領域に分割し、
前記複数の領域内に平面に近似可能な部分が存在するか否かを前フレームの視差画像を基に判断し、
前記複数の領域のうち前記平面に近似可能な部分が存在する領域のうち前記第１カメラ及び前記第２カメラからの距離が所定の閾値未満の領域を変換対象領域に決定し、
前記変換対象領域に対する前記第１カメラ及び前記第２カメラの位置及び姿勢を推定し、
その推定した前記第１カメラ及び前記第２カメラの位置及び姿勢に基づいて前記変換対象領域を前記第２カメラの視点からの画像に変換し、
前記複数の領域から前記変換対象領域を除いた残りの領域と前記変換対象領域を合わせたものを視点変換後の第１画像とする視点変換である
ことを特徴とする車載環境認識装置。
第１カメラ及び第２カメラと、
前記第１カメラによって撮像された第１画像と前記第２カメラによって撮像された第２画像の少なくとも一方を変形することで前記第１画像及び前記第２画像を共通の視点からの画像に変換する視点変換を行った後に複数の対応点を抽出し、前記視点変換前の前記第１画像及び前記第２画像における前記複数の対応点の座標を利用して前記第１カメラ及び前記第２カメラの幾何校正を行う制御装置と
を備え、
前記視点変換は、
前記制御装置が、
前記第１画像を複数の矩形領域に分割し、
前記複数の矩形領域には、自車走行中に各矩形領域に出現すると予測される平面の属性が付与されており、
前記複数の矩形領域に付与された平面の属性が妥当か否かを前フレームの視差画像を基に判断し、
前記複数の矩形領域において前記平面の属性が妥当と判断された矩形領域のうち、前記第１カメラ及び前記第２カメラからの距離が所定の閾値未満の矩形領域を変換対象領域に決定し、
前記変換対象領域に対する前記第１カメラ及び前記第２カメラの位置及び姿勢を推定し、
その推定した前記第１カメラ及び前記第２カメラの位置及び姿勢に基づいて前記変換対象領域を前記第２カメラの視点からの画像に変換し、
前記複数の領域から前記変換対象領域を除いた残りの領域と前記変換対象領域を合わせたものを視点変換後の第１画像とする視点変換である
ことを特徴とする車載環境認識装置。
請求項４の車載環境認識装置において、
前記複数の矩形領域は、前記第１画像を縦に２つ、横に３つに分割して得られる６つの矩形領域であり、
前記６つの矩形領域における下側の３つの矩形領域の平面の属性は路面であり、
前記６つの矩形領域における上側の３つの矩形領域のうち左右の２つの矩形領域の平面の属性は壁であり、
前記６つの矩形領域における上側の３つの矩形領域のうち中央の矩形領域の平面の属性は無限遠であることを特徴とする車載環境認識装置。
第１カメラ及び第２カメラと、
前記第１カメラによって撮像された第１画像と前記第２カメラによって撮像された第２画像の少なくとも一方を変形することで前記第１画像及び前記第２画像を共通の視点からの画像に変換する視点変換を行った後に複数の対応点を抽出し、前記視点変換前の前記第１画像及び前記第２画像における前記複数の対応点の座標を利用して前記第１カメラ及び前記第２カメラの幾何校正を行う制御装置と
を備え、
前記制御装置は、前記第１画像及び前記第２画像を共通の視点からの画像に変換する視点変換を行った後にステレオマッチングして視差値を取得し、前記視差値に対して前記視点変換に応じた補正を施して視差画像を生成する
ことを特徴とする車載環境認識装置。
請求項２の車載環境認識装置において、
前記制御装置は、前記第２画像と前記視点変換後の第１画像をステレオマッチングして視差値を取得し、前記視差値のうち前記下側領域に属するものは前記視点変換に応じた補正を施して視差画像を生成することを特徴とする車載環境認識装置。
請求項７の車載環境認識装置において、
前記制御装置は、前記第２画像と前記視点変換前の第１画像からなる第１ペアと、前記第２画像と前記視点変換後の第１画像からなる第２ペアの２つのペアでステレオマッチングを実施し、前記２つのペアのうちステレオマッチングのマッチングスコアが高い方を利用して視差画像を生成することを特徴とする車載環境認識装置。