JP4655242B2

JP4655242B2 - 車両用画像処理装置

Info

Publication number: JP4655242B2
Application number: JP2008254385A
Authority: JP
Inventors: 友和奥木; 正基千葉
Original assignee: Mazda Motor Corp
Current assignee: Mazda Motor Corp
Priority date: 2008-09-30
Filing date: 2008-09-30
Publication date: 2011-03-23
Anticipated expiration: 2028-09-30
Also published as: JP2010086267A

Description

本発明は、車両用画像処理装置に係り、特にテンプレートを用いて画像認識処理により画像中の対象物を認識する車両用画像処理装置に関する。

従来、予め用意したテンプレート画像を用いて、撮像画像中の対象物（道路標識等）の画像認識を行う技術が提案されている（例えば、特許文献１−３、非特許文献１参照）。
特許文献１に記載の装置では、実際の道路標識を撮影した画像データに対して、道路標識のテンプレート画像により、いわゆるテンプレートマッチング処理が行われる。その際、テンプレート画像を所定角度ずつ回転させてパターンマッチングが行われる。そして、特許文献１に記載の装置では、マッチング度合が所定レベルを超えるとマッチングが成立したものと判定され、画像データ中で道路標識が認識される。

また、特許文献２に記載の装置では、テンプレートマッチング処理を行う際に、マッチング対象物までの距離を考慮して、テンプレート画像の大きさを拡大・縮小させるように補正する。そして、特許文献２に記載の装置では、この補正されたテンプレート画像を用いて、パターンマッチングが行われる。

また、特許文献３に記載の装置では、テンプレートマッチング処理を行う際に、マッチング対象物とテンプレート画像の画像特徴量（画像座標や輝度情報等）の相関により、最適なテンプレート画像を判定する。
また、非特許文献１では、回転やスケール変化、射影変換的歪みによる変形に適合するために、テンプレートを並進，相似変換，アフィン変換，射影変換の順で段階的に変形させ、評価指数（幾何学的ＡＩＣ）により最適な変換を選択する方法が提案されている。

特開２００８−９９１５号公報特開２００７−２５７３０１号公報特開２００８−５９３１９号公報金澤靖等，「段階的マッチングによる画像モザイク生成」，電子情報通信学会論文誌D-II，Vol.J86-D-II，No.6(2003)，pp.816-824

しかしながら、実空間中での撮像手段と対象物との位置関係によって対象物画像がフレーム画像上で歪んで見える場合には、特許文献１及び２に記載の装置では、テンプレート画像を回転や拡大・縮小により変形しても、この変形したテンプレート画像を対象物画像に正確にマッチングさせることができず、対象物を認識できないという問題があった。

また、このような問題を解決するために、対象物を様々な角度方向から見た複数のテンプレート画像を用意し、各テンプレート画像についてマッチング処理を行うことも考えられる。しかしながら、このように１つの対象物に対して複数のテンプレート画像を用いてマッチング処理を行うのは、非効率的であると共に、演算負荷が高くなってしまうという問題が生じる。

また、特許文献３に記載の装置のように、画像特徴量の相関によりマッチング処理を行う場合であっても、上述のように歪んで見える対象物画像に対しては、テンプレート画像を正確にマッチングさせることができず、また、異なる種類であるが見かけが類似している対象物を識別することが困難であるという問題があった。

また、非特許文献１では、変形を包括するすべての画像変換を段階的に行い、評価指数（幾何学的ＡＩＣ）により最適な変換を選択するため、非効率的であると共に、演算負荷が高くなってしまうという問題があった。

本発明は、このような課題を解決するためになされたものであり、道路標識等の対象物に対する撮像手段の相対的な距離及び向きにかかわらず、演算負荷を増大させることなく、確実に対象物を認識することが可能な車両用画像処理装置を提供することを目的としている。

上記の目的を達成するために、本発明は、車両用画像処理装置であって、車両に搭載され、第１時間に車両周囲の対象物を含む第１画像を撮像し、第１時間から所定時間経過した第２時間に車両周囲の対象物を含む第２画像を撮像する撮像手段と、対象物に対する撮像手段の相対的な運動量を算出する運動量算出手段と、対象物と撮像手段との間の距離を算出する距離算出手段と、第１画像に基づいて、この第１画像中にある対象物の基本テンプレートを作成する基本テンプレート作成手段と、第１画像の対象物を第２画像の対象物へ画像変換するための変換行列を算出する変換行列算出手段と、基本テンプレートを変換行列で変形して、変形テンプレートを作成する変形テンプレート作成手段と、変形テンプレートを用いて、第２画像に対しテンプレートマッチング処理を行い、対象物を検出するマッチング手段と、を備え、変換行列算出手段は、運動量算出手段が算出した運動量の大きさ，及び距離算出手段が算出した第２時間における距離に応じて、相似変換行列，アフィン変換行列，および射影変換行列の中から選択したいずれか１つの形式で、変換行列を算出するように構成され、変換行列算出手段は、運動量が所定の設定運動量より大きく且つ距離が所定の設定距離以下である場合に、変換行列を射影変換行列の形式で算出し、変換行列算出手段は、運動量が設定運動量以下且つ距離が設定距離以下である場合，及び運動量が設定運動量より大きく且つ距離が設定距離よりも大きい場合に、変換行列をアフィン変換行列の形式で算出し、変換行列算出手段は、運動量が設定運動量以下且つ距離が設定距離よりも大きい場合に、変換行列を相似変換行列の形式で算出することを特徴としている。

このように構成された本発明によれば、第１画像から作成した基本テンプレートを、画像変換行列で画像変換して変形テンプレートを作成し、これを第２画像に適用してテンプレートマッチング処理する。したがって、対象物に対して複数のテンプレートを予め用意しておく必要がない。また、本発明では、第１画像と第２画像間の撮像手段の回転運動成分及び並進運動成分からなる運動量と、対象物までの距離に応じて、対象物の歪みに適合した変換行列の形式を選択することで、変換行列算出処理での演算負荷を軽減することができる。そして、本発明では、最適な変換行列で変形テンプレートを作成することができるので、正確に対象物を検出することが可能となる。

また、このように構成された本発明によれば、カメラ運動量が大きく且つ対象物が近くにある場合は、対象物画像に扇形変形による歪みの影響があらわれるので、変換行列として射影変換行列を選択することで、対象物画像に対して正確にマッチング可能な変形テンプレートを得ることができる。

また、このように構成された本発明によれば、対象物が遠くにあっても運動量が大きい場合や、運動量が小さくても対象物が近くにある場合には、対象物画像にせん断変形による歪みの影響があらわれるので、変換行列としてアフィン変換行列を選択することで、対象物画像に対して正確にマッチング可能な変形テンプレートを得ることができる。

また、このように構成された本発明によれば、カメラ運動量が小さく且つ対象物が遠くにある場合は、対象物画像は相似変形のみを考慮すればよいので、変換行列として相似変換行列を選択することで、対象物画像に対して正確にマッチング可能な変形テンプレートを得ることができる。

本発明の車両用画像処理装置によれば、道路標識等の対象物に対する撮像手段の相対的な距離及び向きにかかわらず、演算負荷を増大させることなく、確実に対象物を認識することができる。

以下、添付図面を参照して本発明の実施形態について説明する。図１は車両用画像処理装置の構成図、図２はフレーム画像撮像時の説明図、図３は図２において外界カメラで撮像されたフレーム画像、図４は基本テンプレートの説明図、図５は改変例に係るカメラ運動量の算出処理のフローチャート、図６は他の改変例に係るカメラ運動量の算出処理のフローチャート、図７は更に他の改変例に係るカメラ運動量の算出処理の説明図、図８は変形テンプレートの説明図、図９は図８の変形テンプレートによるテンプレートマッチング処理の説明図、図１０は変形テンプレートの説明図、図１１は図１０の変形テンプレートによるテンプレートマッチング処理の説明図、図１２は従来例に係る変形テンプレートの説明図、図１３は車両用画像処理装置が実行する処理のフローチャートである。

本実施形態の車両用画像処理装置１は、図１に示すように、外界カメラ２と、コントローラ３と、モニタ４と、測位センサ５と、車載センサ６と、地図データベース７と、距離センサ８と、固定既知データベース９とを備えている。
外界カメラ２は、ＣＣＤカメラやＣＭＯＳカメラ等の撮像手段であり、例えば車幅方向右側を向くように車両１０に所定高さで搭載されている（図２参照）。この外界カメラ２は、車両右側の画像を所定のフレームレートで撮像し、撮像したフレーム画像をコントローラ３に出力するように構成されている。
モニタ４は、ＬＣＤ等の表示装置であり、コントローラ３から受け取ったフレーム画像を運転者に対して表示可能に構成されている。

測位センサ５は、ＧＰＳ，ＩＮＳ等の車両測位データを測定するために車両に搭載されたセンサであり、測位データをコントローラ３に出力する。この測位データにより、車両１０及び車両１０に搭載された外界カメラ２の測位変化を検出可能である。
車載センサ６は、車両速度，車両加速度，ヨー角，ロール角，ピッチ角，角速度等の車両の移動量，移動量変化を測定するために車両に搭載されたセンサであり、これらの測定データをコントローラ３に出力する。この測定データにより、車両１０及び車両１０に搭載された外界カメラ２の位置変化を検出可能である。
地図データベース７は、ＨＤＤ等の記憶装置で構成され、測位センサ５からの測位データ等と合わせて、自車両の位置を特定するための地図データを格納し、この地図データをコントローラ３に出力する。

距離センサ８は、レーザレーダ，ミリ波レーダ，赤外線ＴＯＦ装置等で構成することができ、任意の対象物までの距離データをコントローラ３に出力する。
固定既知データベース９は、ＨＤＤ等の記憶装置で構成され、道路標識情報，信号機情報，ナンバープレート情報，ランドマーク情報を記憶し、これらのデータをコントローラ３に出力する。これら情報は、道路標識，信号機，ナンバープレート，ランドマークの形状や大きさ，寸法を含んでいる。

コントローラ３は、車両１０内に配置されており、ＣＰＵ，プログラム等を記憶したメモリ等を備えたマイクロコンピュータを含んで構成されている。コントローラ３は、外界カメラ２から受け取ったフレーム画像に対して画像認識処理を行うことにより、道路標識等の対象物を認識して、認識した対象物を含むフレーム画像をモニタ４に出力するように構成されている。
なお、対象物は、道路標識以外にも、道路案内表示，交通規制表示，渋滞情報表示，信号機，路面上のマーク，ランドマーク等であってもよい。

本実施形態では、コントローラ３は、画像取得部３１，テンプレートマッチング処理部３２，特徴点マッチング処理部３３，カメラ運動推定部３４，テンプレート作成部３５，画像変換パラメータ算出部３６，テンプレート変換部３８を備えている。これらは、ＣＰＵがプログラムを実行することにより実現される。また、コントローラ３は、ＨＤＤ等の記憶装置により構成される記憶手段であるテンプレートデータ蓄積部３９を備えている。

画像取得部３１は、外界カメラ２からフレーム画像を取得し、このフレーム画像を各種の処理を行うために各機能部に出力する。
テンプレート作成部３５は、外界カメラ２からのフレーム画像を受け取り、このフレーム画像から道路標識等の対象物画像を切り出して、テンプレートマッチング処理のための基本テンプレートを作成し、テンプレートデータ蓄積部３９に保存する。

特徴点マッチング処理部３３は、受け取ったフレーム画像から基本テンプレートを作成した対象物画像領域を含む画像領域中の特徴点を抽出し、フレーム画像間の特徴点の対応付けを行う。
カメラ運動推定部３４は、画像取得部３１からフレーム画像，測位センサ５から測位データ，車載センサ６から測定データ，地図データベース７から地図データ，距離センサ８から距離データをそれぞれ受け取ることが可能であり、これらのデータを用いて、外界カメラ２の運動量を算出する。

３次元座標値算出部３７は、カメラ運動量や距離データ等からフレーム画像中の特徴点の３次元座標値を算出する。
画像変換パラメータ算出部３６は、カメラ運動量や対象物までの距離に応じて、フレーム画像間で対応点同士を適切に対応付けて画像変換するための画像変換行列を算出する。

テンプレート変換部３８は、基本テンプレートを画像変換行列によって画像変換し、変形テンプレートを作成する。
テンプレートマッチング処理部３２は、フレーム画像に対して、変形テンプレートによりテンプレートマッチング処理を行って対象物を検出する。

図２は、車両１０が、時刻ｔ１から時刻ｔ３にかけて丁字路を右折する状況を示している。時刻ｔ１，ｔ２，ｔ３において、それぞれ車両１０に搭載されている外界カメラ２のカメラ視野ａ１，ａ２，ａ３が標識２０を捉えている。図３（Ａ），（Ｂ），（Ｃ）は、それぞれ時刻ｔ１，ｔ２，ｔ３におけるフレーム画像Ａ１，Ａ２，Ａ３を示している。標識２０は、ほぼ正方形の平板状のマーカプレートであり、標識平面には、四角枠と、その内側に縦横方向にそれぞれ等間隔で丸印が描かれている。

標識２０は、時刻ｔ１にはカメラ視野ａ１の水平方向の広がりの中央からやや後方に位置しておりほぼ真正面から撮像されている。フレーム画像中の標識２０の外形は、ほぼ正方形である。
また、標識２０は、時刻ｔ２にはカメラ視野ａ２の後方で捉えられている。このとき、外界カメラ２の光軸方向と標識２０の標識平面の法線方向とは約２０度となっている。フレーム画像Ａ２中の標識２０の外形は、矩形に近いがやや歪んでおり菱形状となっている。
また、標識２０は、時刻ｔ３にはカメラ視野ａ３の後端付近で捉えられている。このとき、外界カメラ２の光軸方向と標識２０の標識平面の法線方向とは約４０度となっている。フレーム画像Ａ３中の標識２０の外形は、さらに歪んでおり台形状となっている。

このように、外界カメラ２と標識２０の間の相対的な運動量の大きさによって、フレーム画像中において標識２０の外形の見かけ上の歪み方が異なる。また、移動距離が同じであっても、外界カメラ２と標識２０の間の距離が遠ければ、フレーム画像中での標識２０の歪み度合は小さくなり、距離が近ければ、歪み度合は大きくなる。

次に、画像変換について説明する。
同一の対象物を異なる位置から撮像した場合、これらのフレーム画像間で適正な画像変換を行えば、画像中の対象物は相互に正確に一致する。一般に、画像変換は、射影変換，アフィン変換，相似変換，ユークリッド変換に分類される。

ユークリッド変換は、対象物を２次元の画像平面に投影した映像に対して、２次元平面上での回転と並進を考慮した変換である。相似変換は、ユークリッド変換にスケール変換（拡大縮小）を加えたものである。アフィン変換は、相似変換にせん断変形を加えたものである。せん断変形とは、正方形を菱形にするような変形である。射影変換は、アフィン変換に扇形変形を加えたものである。扇形変形では、直線性は保たれるが、平行性や直角性は保たれない。
したがって、これらは、包含関係にあり、ユークリッド変換は相似変換に含まれ、相似変換はアフィン変換に含まれ、アフィン変換は射影変換に含まれる（射影変換＞アフィン変換＞相似変換＞ユークリッド変換）。

図２及び図３の例では、図３（Ｂ）の標識画像は、図３（Ａ）の標識画像に対して、距離変化に応じた相似変形に加えて菱形状に変形している。このため、図３（Ｂ）の標識画像は、図３（Ａ）の標識画像を相似変換させただけでは完全にマッチングさせることはできないが、アフィン変換すれば完全にマッチングさせることができる。
一方、図３（Ｃ）の標識画像は、図３（Ａ）の標識画像に対して、距離変化に応じた相似変形に加えて台形状に変形している。このため、図３（Ｃ）の標識画像は、図３（Ａ）の標識画像を相似変換又はアフィン変換させただけでは完全にマッチングさせることはできないが、射影変換すれば完全にマッチングさせることができる。

本実施形態では、このような外界カメラ２と対象物との相対的な運動量およびこれらの距離に応じて、フレーム画像での標識２０の歪み度合が異なるという現象を考慮して、外界カメラ２からのフレーム画像中で、標識２０等の対象物を継続的に認識することを特徴としている。このため、本実施形態では、ある時刻のフレーム画像に基づいて標識２０の基本テンプレートを作成し、これ以降に受け取るフレーム画像中で、外界カメラ２と対象物との相対的な運動量およびこれらの間の距離に応じて適切な画像変換の形式を選択する。そして、選択した画像変換形式で画像変換行列を算出し、これにより基本テンプレートを変形し、得られた変形テンプレートを用いてデータマッチング処理により対象物を継続的に認識する。

ここで、運動量の大小は、外界カメラ２と対象物との間の単純な相対的移動距離の大小で判断するのではなく、運動量が小さいとは、並進運動が小さく且つ回転運動も小さいことであり、運動量が大きいとは、並進運動が大きいか、又は回転運動が大きいことである。また、運動量は、対象とする２枚のフレーム画像間での相対的な運動量である。したがって、例えば、車両１０が低速走行していても、外界カメラ２のフレームレートが低かったり、フレーム間隔を大きく開けたりしたフレーム画像間では、運動量が大きくなる。

次に、画像変換の選択について説明する。
本実施形態では、後述するように、画像変換として相似変換，アフィン変換，射影変換のいずれかを択一的に選択して、選択した画像変換により算出した変換行列によって基本テンプレートを変形して変形テンプレートを算出する。

２つの画像平面での相似変換行列Ｈｓは、一般に、次の３×３行列の式で表すことができ、回転角θと、並進成分（Ｔｘ，Ｔｙ）と、スケールファクタｓが特定されれば決定されるから、自由度は４である。

また、同様にアフィン変換行列Ｈａは、せん断変形行列をＤとすると、Ｈａ＝ＨｓＤで表される３×３行列である。せん断変形行列は、回転角τと、ｘ方向に関する拡大（縮小）率σが特定されれば決定される。したがって、アフィン変換行列Ｈａは自由度６である。式（２）中、ｈ_ijは変数である。

また、同様に射影変換行列Ｈｐは、扇形変形行列をＢとすると、Ｈｐ＝ＨａＢで表される３×３行列である。扇形変形行列の自由度は２である。したがって、射影変換行列Ｈｐは自由度８である。式（４），（５）中、ｈ_ij及びα，βは変数である。
なお、射影変換行列Ｈｐには、９つの要素ｈ_ijがあるが、すべての要素を定数倍してもまったく同じ変換を表すので、自由度は８である。

したがって、最も演算負荷が軽いのは相似変換であり、最も演算負荷が重いのは射影変換であり、アフィン変換はこれらの間の演算負荷となる。射影変換は、上述のように他の変換を包含するものであるから、すべての変換を射影変換に設定することで、上述の運動量及び距離にかかわらず、テンプレートマッチングが可能となる。しかしながら、この場合、演算負荷が常に大きくなってしまう。
そこで、本実施形態では、テンプレートマッチングが可能な変換のうち、最も演算負荷が軽い変換を選択するように構成されている。

撮像する状況（外界カメラ２と対象物との関係）としては、以下の４つのシーン１−４が考えられる。シーン１は、外界カメラ２及び対象物が共に静止状態である場合である。シーン２は、外界カメラ２が移動状態で、対象物が静止状態である場合である。シーン３は、外界カメラ２が静止状態で、対象物が移動状態である場合である。シーン４は、外界カメラ２及び対象物が共に移動状態である場合である。

シーン１の場合は、連続するフレーム画像間で対象物に位置変化がないので、完全なテンプレートマッチングが可能となる。
シーン２の場合は、外界カメラ２の運動量が小さく外界カメラ２と対象物との距離が遠いときは、せん断変形や扇形変形の影響が小さいので相似変換が選択される。また、運動量は小さいが距離が近いとき及び運動量は大きいが距離が遠いときは、せん断変形の影響はあらわれるが、扇形変形の影響は小さいのでアフィン変換が選択される。また、運動量が大きく距離が近いときは、扇形変形の影響があらわれるので射影変換が選択される。

シーン２とシーン３は、外界カメラ２と対象物の間の相対的な運動において、外界カメラ２が移動するか、対象物が移動するかの相違であるので、基本的には同一視することができる。したがって、シーン３の場合は、対象物の運動量が小さく外界カメラ２と対象物との距離が遠いときは相似変換が選択され、運動量は小さいが距離が近いとき及び運動量は大きいが距離が遠いときはアフィン変換が選択され、運動量が大きく距離が近いときは射影変換が選択される。

シーン４の場合は、外界カメラ２の運動量を算出して、これに基づいて画像を修正して、外界カメラ２が静止して撮像した場合と同じような画像に変換する。その後、シーン３の場合の外界カメラ２が静止状態で、対象物が移動する場合に当てはめることで処理することができる。
以下では、理解の容易のため代表的にシーン２について説明する。

次に、外界カメラ２の運動量と、外界カメラ２と撮影対象物との距離の算出処理について説明する。
本実施形態のコントローラ３では、カメラ運動推定部３４が、例えば、時刻ｔ１，時刻ｔ２において測位センサ５から測位データを受け取り、測位データの時間変化から外界カメラ２の運動量、すなわち３軸の回転運動成分Ｒと並進運動成分ｔを算出する。
また、これ以外にも、車速センサ，角度センサ及び加速度センサ等の車載センサ６によるデッドレコニングにより外界カメラ２の運動量を算出するようにコントローラ３を構成してもよい。

また、カメラ運動推定部３４は、距離センサ８からの距離データに基づいて、対象物までの距離を算出することができる。
また、これ以外にも、例えば時刻ｔ１での対象物の特徴点の３次元座標値を他の処理で算出していた場合には、カメラ運動推定部３４が、上述のように算出した外界カメラ２の運動量に基づいて、その特徴点の時刻ｔ２における３次元座標値を算出するように構成してもよい。これにより、カメラ運動推定部３４は、算出した３次元座標値から対象物までの距離を算出することができる。

また、更なる改変例として、画像処理による方法、距離データを利用する方法、既知情報を利用する方法により、運動量を算出するように構成してもよい。
図５に示すように、画像処理による方法では、例えば８点アルゴリズムを利用して運動量を算出することができる。この処理では、コントローラ３は、まず、例えば時刻ｔ１にフレーム画像Ａ１を受け取った後、時刻ｔ２にフレーム画像Ａ２を受け取ると、これらの画像中から静止物ではない移動体画像領域を分離する（ステップＳ１）。

そして、コントローラ３は、移動体を分離したフレーム画像から公知の手法で特徴点を抽出する（ステップＳ２）。特徴点を抽出する方法として、Harrisオペレータ，SUSANオペレータ，Foerstnerオペレータ，Sojkaオペレータ，ＳＩＦＴ等を用いることができる。
コントローラ３は、特徴点をそれぞれのフレーム画像で抽出すると、公知の手法で８点以上の特徴点をフレーム画像間でマッチングさせる処理を行う（ステップＳ３）。特徴点を対応付ける方法としては、輝度相関，輝度勾配相関，位相限定相関，特徴量相関，ＳＩＦＴの相関等による方法を用いることができる。

そして、コントローラ３は、８点以上の対応する特徴点及び既知の内部カメラパラメータ等に基づいて、基礎行列及び基本行列を算出し、基本行列を特異値分解法等によって解くことにより、外界カメラ２の回転運動成分Ｒと並進運動成分ｔを推定する（ステップＳ４）。なお、スケールの決定については、フレーム画像から道路平面を検出して、外界カメラ２の設置高さに基づいてスケールを決定してもよいし、距離センサ８等の距離データを使用してもよい。

また、図６に示すように、距離データを利用する方法では、コントローラ３は、例えば時刻ｔ１にフレーム画像Ａ１を受け取った後、時刻ｔ２にフレーム画像Ａ２を受け取ると、これらフレーム画像中から３点以上の対応する特徴点を抽出し、各時刻における距離センサ８からの距離データ及び既知の焦点距離ｆに基づいて特徴点までの距離を取得すると共に、これら特徴点の３次元座標を算出する（ステップＳ１１）。

そして、コントローラ３は、この３点以上の特徴点の３次元座標から、フレーム画像間（カメラ座標系間）における特徴点の座標変換行列を算出し、これに基づいて外界カメラ２の回転運動成分Ｒと並進運動成分ｔを推定する（ステップＳ１２）。

また、図７に示すように、既知情報を利用する方法では、コントローラ３は、予め寸法が分かっている標識等の長さ情報を利用する。この既知情報は、固定既知データベース９に記憶されているものである。図７の例では、縦横それぞれ６０ｃｍであると分かっている標識がフレーム画像Ａ１及びＡ２に捉えられている場合を示している。時刻ｔ１におけるカメラ座標系をＣ１（Ｘｃ１，Ｙｃ１，Ｚｃ１）、時刻ｔ２におけるカメラ座標系をＣ２（Ｘｃ２，Ｙｃ２，Ｚｃ２）とする。標識上の空間点Ｐ（Ｘ，Ｙ，Ｚ）は、各画像平面において、画像座標値ｍ１（ｕ１，ｖ１），ｍ２（ｕ２，ｖ２）として認識される。

この場合、画像平面上での標識画像の各辺の長さは、実際には６０ｃｍに相当する。したがって、コントローラ３は、既知の焦点距離ｆをも利用して、相似の関係から、３点以上の３次元座標を算出することができる。これにより、上述の他の方法と同様の処理により、外界カメラ２の回転運動成分Ｒと並進運動成分ｔを算出することができる。

次に、変換行列の算出処理について説明する。
まず、射影変換行列については、画像変換パラメータ算出部３６は、外界カメラ２の運動量（回転Ｒ，並進ｔ）と少なくとも１点の特徴点までの距離から算出する。
また、改変例として、画像変換パラメータ算出部３６は、フレーム画像中の対応する少なくとも３点の３次元座標値から射影変換行列を算出してもよい。このとき、上述のように射影変換行列の自由度は８であるから、少なくとも３点の３次元座標値において３軸成分がそれぞれ対応するので少なくとも９つの拘束が得られることにより、線形的に解くことができる。

また、画像変換パラメータ算出部３６は、フレーム画像中の対応する少なくとも４点の画像座標値から射影変換行列を算出してもよい。このとき、少なくとも４点の画像座標値において２軸成分がそれぞれ対応するので少なくとも８つの拘束が得られることにより、線形的に解くことができる。
また、対象物が平面状の物体であると特定されている場合には、画像変換パラメータ算出部３６は、対象物の平面の法線ベクトルと少なくとも１点の３次元座標値から射影変換行列を算出してもよい。

また、アフィン変換行列については、画像変換パラメータ算出部３６は、外界カメラ２の運動量（回転Ｒ，並進ｔ）から算出する。
また、改変例として、画像変換パラメータ算出部３６は、フレーム画像中の対応する少なくとも２点の３次元座標値からアフィン変換行列を算出してもよい。このとき、上述のようにアフィン変換行列の自由度は６であるから、少なくとも２点の３次元座標値において少なくとも６つの拘束が得られることにより、線形的に解くことができる。

また、画像変換パラメータ算出部３６は、フレーム画像中の対応する少なくとも３点の画像座標値からアフィン変換行列を算出してもよい。このとき、少なくとも３点の画像座標値において少なくとも６つの拘束が得られることにより、線形的に解くことができる。
また、対象物が平面状の物体であると特定されている場合には、射影変換行列の算出と同様に、画像変換パラメータ算出部３６は、対象物の平面の法線ベクトルと少なくとも１点の３次元座標値からアフィン変換行列を算出してもよい。

また、相似変換行列については、画像変換パラメータ算出部３６は、外界カメラ２の運動量（回転Ｒ，並進ｔ）から算出する。
また、改変例として、画像変換パラメータ算出部３６は、フレーム画像中の対応する少なくとも２点の３次元座標値から相似変換行列を算出してもよい。このとき、上述のように相似変換行列の自由度は４であるから、少なくとも２点の３次元座標値において少なくとも６つの拘束が得られることにより、線形的に解くことができる。

また、画像変換パラメータ算出部３６は、フレーム画像中の対応する少なくとも２点の画像座標値から相似変換行列を算出してもよい。このとき、少なくとも２点の画像座標値において少なくとも４つの拘束が得られることにより、線形的に解くことができる。
また、対象物が平面状の物体であると特定されている場合には、射影変換行列の算出と同様に、画像変換パラメータ算出部３６は、対象物の平面の法線ベクトルと少なくとも１点の３次元座標値から相似変換行列を算出してもよい。

なお、変換行列を算出する際に用いる特徴点は、フレーム画像中の対象物内の特徴点であってもよいし、対象物内の特徴点でなくてもよい。すなわち、フレーム画像中の任意の対応する特徴点を用いて算出された変換行列は、後述する基本テンプレートの変形にも適用することができる。

アフィン変換行列，相似変換行列については、上述のように、回転角と並進成分を含む行列であるため、外界カメラ２の運動が分かれば算出することができる。なお、スケールファクタ，拡大（縮小）率は外界カメラ２の移動量の大きさから推定してもよいし、距離センサ８等の測定データを用いて算出してもよい。このように、これら変換行列は、カメラ運動から算出できるものであり、異なる時刻についての画像平面から画像平面への変換であるから、画像平面全体に共通する変換である。よって、対象物毎に変換行列を算出する必要はない。

射影変換行列については、上述のように、回転角と並進成分に加え、変数α，βを含んでいるため、カメラ運動のみでは決定することができない。
図７を参照して、カメラ座標系Ｃ１において、対象物までの距離Ｚｃ１が既知であるとすると、時刻ｔ１におけるフレーム画像Ａ１から読取った対象物の画像座標値ｍ１（ｕ１，ｖ１）と、既知の３×３行列で表される内部カメラパラメータＡから、以下に示すように、画像平面座標値（ｘ１，ｙ１）を求めることができる。さらに、点Ｐの３次元座標値Ｘｃ１，Ｙｃ１も算出することができる。

運動量（回転運動成分Ｒ，並進運動成分Ｔ）が与えられると、３次元座標値（Ｘｃ１，Ｙｃ１，Ｚｃ１）は、以下の式によりカメラ座標系Ｃ２の３次元座標値（Ｘｃ２，Ｙｃ２，Ｚｃ２）に変換することができる。

さらに、画像座標値（ｕ２，ｖ２）に対応する画像平面座標値（ｘ２，ｙ２），及び画像座標値（ｕ２，ｖ２）は、以下のように表される。なお、カメラ座標系Ｃ２における対象物までの距離をＺｃ２とする。

式６乃至式８は、以下の式１１に書き換えることができる。

また、式９及び式１０は、以下の式１２に書き換えることができる。

さらに、式１１と式１２をまとめると以下の式１３が得られる。

式１３では、右辺の第１行列の４行目が（０，０，０，１）であり、４列目が（０，０，０，１）^Tである。よって、式１３は３×３行列と考えることができ、式１４のように表すことができる。

このように、射影変換行列については、運動量（回転角，並進成分）と、対象物までの距離を用いて算出することができる。このように、変換行列の算出に距離データを用いているが、式１４の導出過程で、カメラ座標系Ｃ１の距離Ｚｃ１を乗算し、カメラ座標系Ｃ２の距離Ｚｃ２で除していることから、距離の絶対値ではなく距離の比が用いられることになる。そして、この変換行列は、異なる時刻についての画像平面から画像平面への変換を行うものであるから、画像平面全体に共通する変換である。よって、対象物毎に変換行列を算出する必要はない。

次に、本実施形態におけるマッチング処理について説明する。
まず、コントローラ３が、画像取得部３１で外界カメラ２からフレーム画像Ａ１を受け取り、これをテンプレート作成部３５に出力すると、テンプレート作成部３５は、図４に示すように、このフレーム画像Ａ１から標識２０を含む画像領域を切り出して基本テンプレート２２を作成する。作成された基本テンプレート２２は、テンプレートデータ蓄積部３９に記憶される。なお、図４では、理解の容易のため、基本テンプレート２２に丸印を縦横方向に繋いだ線分を付加している。

そして、コントローラ３が、外界カメラ２からフレーム画像Ａ２を受け取ると、外界カメラ２の運動量と対象物と推定される標識２０までの距離に応じて、画像変換パラメータ算出部３６は変換行列を算出する。
時刻ｔ２では、時刻ｔ１から時刻ｔ２までの外界カメラ２の運動量が小さく、標識２０までの距離が近いので、画像変換パラメータ算出部３６は、アフィン変換行列の形式、すなわち、式２に示すように６つの変数を算出して、変換行列を導出する。

変換行列が導出されると、図８に示すように、テンプレート変換部３８は、この変換行列を用いて、基本テンプレート２２を変形して変形テンプレート２３ａを作成する。なお、図８等には直交するｘ軸，ｙ軸が付加的に描かれている。また、図８等に示す変形テンプレートでは、理解の容易のため、外形，枠及び丸印を縦横方向に繋いだ線分のみで示している。

変形テンプレート２３ａが作成されると、図９に示すように、テンプレートマッチング処理部３２は、変形テンプレート２３ａを用いて、フレーム画像Ａ２でテンプレートマッチング処理して、所定の一致度がある画像領域を対象物として検出する。図９（Ａ）に示すように、テンプレートマッチング処理は、変形テンプレート２３ａをフレーム画像Ａ２中で、１画素ずつずらしながら画面全体を走査し、例えば輝度の分布の相関を計算する。そして、相関が所定値よりも高い画像領域が対象物として検出される。

この場合には、図９（Ａ）のフレーム画像Ａ２のうち、図９（Ｂ）に示す画像領域２４ａと、変形テンプレート２３ａとが、高い相関度で一致するため、この画像領域２４ａが対象物と認識される。

また、コントローラ３が、外界カメラ２からフレーム画像Ａ３を受け取ると、外界カメラ２の運動量と対象物である標識２０までの距離に応じて、画像変換パラメータ算出部３６は、変換行列を算出する。
時刻ｔ３では、時刻ｔ１から時刻ｔ３までの外界カメラ２の運動量が大きく、標識２０までの距離が近いので、画像変換パラメータ算出部３６は、射影変換行列の形式、すなわち、式４に示すように９つの変数を算出して、変換行列を導出する。

変換行列が導出されると、図１０に示すように、テンプレート変換部３８は、この変換行列を用いて、基本テンプレート２２を変形して変形テンプレート２３ｂを作成する。
変形テンプレート２３ｂが作成されると、テンプレートマッチング処理部３２は、変形テンプレート２３ｂを用いて、フレーム画像Ａ３でテンプレートマッチング処理して、所定の一致度がある画像領域を対象物として検出する。
この場合には、フレーム画像Ａ３のうち、図１１（Ａ）に示す画像領域２４ｂと、変形テンプレート２３ｂとが高い相関度で一致するため、この画像領域２４ｂが対象物と認識される。

なお、従来との比較のため、図１２に、同図（Ａ）の基本テンプレート２２に対して、これを縮小変形した縮小テンプレート３０ａ（同図（Ｂ）），拡大変形した拡大テンプレート３０ｂ（同図（Ｃ）），回転変形した回転テンプレート３０ｃ（同図（Ｄ）），回転及び縦横比を変形した変形テンプレート３０ｄ（同図（Ｅ））を示す。

これら変形テンプレート３０ａ−３０ｄを例えばフレーム画像Ａ３に適用した場合を考える。フレーム画像Ａ３中の画像領域２４ｂでは、標識２０は台形状に歪んでいる。このため、変形テンプレート３０ａ−３０ｄのように標識の上辺と下辺及び左辺と右辺がそれぞれ平行であると、画像領域２４ｂと高い相関度で一致させることができず、対象物を認識することができない。

次に、図１３に基づいて、本実施形態の車両用画像処理装置１の処理フローについて説明する。
この処理は、コントローラ３によって所定間隔で繰り返し行われる。まず、コントローラ３の画像取得部３１は、外界カメラ２から車両１０の外部を撮像したフレーム画像を受け取る（ステップＳ２１）。そして、画像取得部３１は、今回の処理で受け取ったフレーム画像が基準画像（第１画像）であるか否かを判定する（ステップＳ２２）。画像取得部３１は、例えば撮像開始時に始めてフレーム画像を受け取ったときに、そのフレーム画像を基準画像と判定する。

受け取ったフレーム画像が基準画像である場合（ステップＳ２２；Ｙｅｓ）、画像取得部３１はこのフレーム画像を特徴点マッチング処理部３３，カメラ運動推定部３４，及びテンプレート作成部３５に出力する。テンプレート作成部３５は、このフレーム画像中から標識等の任意の対象物についての画像領域を抽出し、基本テンプレートを作成し（ステップＳ２３）、処理を終了する。

一方、受け取ったフレーム画像が基準画像でない場合（ステップＳ２２；Ｎｏ）、画像取得部３１は、このフレーム画像を特徴点マッチング処理部３３，カメラ運動推定部３４，及びテンプレート作成部３５に出力する。特徴点マッチング処理部３３は、基準画像の特徴点と今回の処理で受け取ったフレーム画像の特徴点をマッチング処理し、特徴点の対応付けを行う。カメラ運動推定部３４は、距離センサ８等の測定データ等を用いて、今回受け取ったフレーム画像から基本テンプレートを作成した対象物と推定される画像領域中の特徴点までの距離を算出する（ステップＳ２４）。

また、カメラ運動推定部３４は、車載センサ６の測定データ等を用いて、基準画像を取得した時点から今回のフレーム画像を受け取った時点までのカメラ運動量を算出し、３次元座標値算出部３７は、カメラ運動量や距離データから特徴点の３次元座標値を算出する（ステップＳ２５）。

画像変換パラメータ算出部３６は、カメラ運動量，対象物までの距離，３次元座標値を取得し、カメラ運動量が所定の設定運動量よりも大きく且つ対象物までの距離が設定距離以下であるか否かを判定する（ステップＳ２６）。本実施形態では、外界カメラ２の焦点距離ｆが８ｍｍ，フレームレートが３０ｆｐｓであり、カメラ設定運動量がヨー角で２０度の回転又は１ｍの並進運動、設定距離が５０ｍに設定されている。なお、これら設定運動量，設定距離は、任意に設定することができる。

カメラ運動量が設定運動量よりも大きく且つ対象物までの距離が設定距離以下である場合（ステップＳ２６；Ｙｅｓ）、画像変換パラメータ算出部３６は、カメラ運動量，特徴点までの距離，３次元座標値等に基づいて、基準画像から今回のフレーム画像への射影変換行列を算出する（ステップＳ２９）。

一方、カメラ運動量が設定運動量以下か、対象物までの距離が設定距離よりも大きい場合（ステップＳ２６；Ｎｏ）、画像変換パラメータ算出部３６は、カメラ運動量が所定の設定運動量以下且つ対象物までの距離が設定距離以下であるか否かを判定する（ステップＳ２７）。
カメラ運動量が設定運動量以下且つ対象物までの距離が設定距離以下である場合（ステップＳ２７；Ｙｅｓ）、画像変換パラメータ算出部３６は、カメラ運動量等に基づいて、基準画像から今回のフレーム画像へのアフィン変換行列を算出する（ステップＳ３０）。

一方、カメラ運動量が設定運動量よりも大きいか、対象物までの距離が設定距離よりも大きい場合（ステップＳ２７；Ｎｏ）、画像変換パラメータ算出部３６は、カメラ運動量が所定の設定運動量よりも大きく且つ対象物までの距離が設定距離よりも大きいか否かを判定する（ステップＳ２８）。
カメラ運動量が設定運動量以下よりも大きく且つ対象物までの距離が設定距離よりも大きい場合（ステップＳ２８；Ｙｅｓ）、画像変換パラメータ算出部３６は、カメラ運動量等に基づいて、基準画像から今回のフレーム画像へのアフィン変換行列を算出する（ステップＳ３１）。

一方、カメラ運動量が設定運動量以下か、対象物までの距離が設定距離以下である場合（ステップＳ２８；Ｎｏ）、カメラ運動量が設定運動量以下且つ対象物までの距離が設定距離よりも大きいので、画像変換パラメータ算出部３６は、カメラ運動量等に基づいて、基準画像から今回のフレーム画像への相似変換行列を算出する（ステップＳ３２）。

テンプレート変換部３８は、画像変換パラメータ算出部３６が算出した画像変換行列により、基本テンプレート画像を画像変換して、変形テンプレートを作成する（ステップＳ３３）。そして、テンプレートマッチング処理部３２は、変形テンプレートを用いて、今回の処理で受け取ったフレーム画像に対してテンプレートマッチング処理を行って（ステップＳ３２）、処理を終了する。これにより、コントローラ３は、今回受け取ったフレーム画像において、基本テンプレートで特定される対象物を検出することができる。

なお、上記実施形態では、フレーム画像中の対象物を１つのみとして説明したが、これに限らず、対象物が複数あってもよい。対象物が複数ある場合は、これに応じて基本テンプレートが同数だけ作成される。そして、任意の対象物に対して画像変換行列を算出した場合には、その画像変換行列を他の対象物についての基本テンプレートの変形に使用することができる。

以上のように、本実施形態では、カメラ運動量の大小及び対象物と外界カメラ２までの距離の遠近を考慮して、対象物の見かけ上の変化に対応し且つ演算負荷の小さい最適な画像変換行列を選択するように構成されている。そして、本実施形態では、選択した画像変換行列を算出し、これにより基本テンプレートを画像変換して変形テンプレートを作成し、この変形テンプレートを用いてテンプレートマッチング処理を行う。これにより、本実施形態では、従来においてマッチングさせることができなかったあらゆる回転等による見かけ上の歪みを含む画像に対しても、マッチング処理を行うことができ、確実に対象物を認識することができると共に、演算負荷を重くすることなく高速に処理することができる。

本発明の実施形態による車両用画像処理装置の構成図である。本発明の実施形態によるフレーム画像撮像時の説明図である。図２において外界カメラで撮像されたフレーム画像である。本発明の実施形態による基本テンプレートの説明図である。本発明の実施形態の改変例に係るカメラ運動量の算出処理のフローチャートである。本発明の実施形態の他の改変例に係るカメラ運動量の算出処理のフローチャートである。本発明の実施形態の更に他の改変例に係るカメラ運動量の算出処理の説明図である。本発明の実施形態による変形テンプレートの説明図である。図８の変形テンプレートによるテンプレートマッチング処理の説明図である。本発明の実施形態による変形テンプレートの説明図である。図１０の変形テンプレートによるテンプレートマッチング処理の説明図である。従来例に係る変形テンプレートの説明図である。本発明の実施形態による車両用画像処理装置が実行する処理のフローチャートである。

符号の説明

１車両用画像処理装置
２外界カメラ
３コントローラ
４モニタ
５測位センサ
６車載センサ
７地図データベース
８距離センサ
９固定既知データベース
１０車両
２０標識
２２基本テンプレート
２３ａ，２３ｂ変形テンプレート
２４ａ，２４ｂ画像領域
ａ１，ａ２，ａ３カメラ視野
Ａ１，Ａ２，Ａ３フレーム画像

Claims

車両用画像処理装置であって、
車両に搭載され、第１時間に車両周囲の対象物を含む第１画像を撮像し、第１時間から所定時間経過した第２時間に車両周囲の前記対象物を含む第２画像を撮像する撮像手段と、
前記対象物に対する前記撮像手段の相対的な運動量を算出する運動量算出手段と、
前記対象物と前記撮像手段との間の距離を算出する距離算出手段と、
前記第１画像に基づいて、この第１画像中にある対象物の基本テンプレートを作成する基本テンプレート作成手段と、
前記第１画像の対象物を前記第２画像の対象物へ画像変換するための変換行列を算出する変換行列算出手段と、
前記基本テンプレートを前記変換行列で変形して、変形テンプレートを作成する変形テンプレート作成手段と、
前記変形テンプレートを用いて、前記第２画像に対しテンプレートマッチング処理を行い、前記対象物を検出するマッチング手段と、を備え、
前記変換行列算出手段は、前記運動量算出手段が算出した前記運動量の大きさ，及び前記距離算出手段が算出した第２時間における前記距離に応じて、相似変換行列，アフィン変換行列，および射影変換行列の中から選択したいずれか１つの形式で、前記変換行列を算出するように構成され、
前記変換行列算出手段は、前記運動量が所定の設定運動量より大きく且つ前記距離が所定の設定距離以下である場合に、前記変換行列を射影変換行列の形式で算出し、
前記変換行列算出手段は、前記運動量が前記設定運動量以下且つ前記距離が前記設定距離以下である場合，及び前記運動量が前記設定運動量より大きく且つ前記距離が前記設定距離よりも大きい場合に、前記変換行列をアフィン変換行列の形式で算出し、
前記変換行列算出手段は、前記運動量が前記設定運動量以下且つ前記距離が前記設定距離よりも大きい場合に、前記変換行列を相似変換行列の形式で算出することを特徴とする車両用画像処理装置。