JP2024003407A - 外界認識装置及び外界認識方法 - Google Patents

Abstract

【課題】見え方が異なる２つの画像に不特定の物標が映った場合であっても、この物標までの距離を推定できる外界認識装置を提供する。【解決手段】外界認識装置１００は、物標検知部１０１による物標の検知結果に基づいて、画像４０ａにおける撮像平面を推定する撮像平面推定部１１１と、撮像平面推定部１１１が推定した撮像平面の情報と、複数の撮像部のカメラパラメータ１０３とに基づいて、画像４１ａにおける撮像平面に合わせた画像変換パラメータを推定する画像変換推定部１１２と、画像変換推定部１１２による画像変換パラメータを用いて画像変換した画像４０ａから検知された物標の特徴と、画像４１ａから検知された物標の特徴とを照合する特徴照合部１０５と、特徴照合部１０５による照合処理の結果に基づいて、物標の三次元位置を推定する位置推定部１０６と、を備える。【選択図】図３

Description

本発明は、外界認識装置及び外界認識方法に関する。

自動運転や高度運転支援システムの実現においては、車両の外界を監視し、走行経路にある障害物や、走行経路のレーン情報などの車両の走行に必要な物体を検知するカメラの重要性が高まっている。特に、物体の検知性能を高めるために、車両に複数台のカメラを搭載し、カメラから車両の周囲の情報を取得して、周囲の状況を認識する機能が実現されている。

このような外界を認識するカメラの種類として、例えば、複数のカメラを使用したステレオカメラがある。ステレオカメラは、所定の間隔を空けて２つのカメラが車両に配置されたものである。そして、２つのカメラが撮影した画像の重複領域の視差を利用して、撮影された物体までの距離を計測することができる。

ステレオカメラには、２台のカメラの光軸を平行に設置した平行ステレオカメラや、光軸を非平行に設置した非平行ステレオカメラなどが存在する。また、２台以上のカメラを使用したカメラシステムをマルチビューステレオシステムと呼称することもある。

車両に搭載された電子制御装置（以下、ＥＣＵ（Electronic Control Unit）と呼ぶ）は、複数のカメラが撮影した複数の画像を用いて、物体までの距離を測定することで、車両の前方にある物体との接触可能性を把握できる。しかし、異なる位置にある２つのカメラでは同じ物体を撮像していたとしても、一般に２つのカメラ間で物体の映り方が異なる。映り方の違う画像同士を照合した場合、一方の画像と他方の画像とで映り方の違うパターンと似たパターンがあった場合に、誤った位置で画像を照合する可能性がある。

誤った位置で画像を照合してしまうと、照合結果に基づいて測定される物体までの距離を誤ることに繋がり、車両の誤制御に繋がる可能性がある。実世界における物体の形状や平面のモデルが分かれば、各画像上での映り方が幾何学的に求まるため、形状や平面などを予測して照合することで誤照合が抑制できると考えられる。

特許文献１には、「第１カメラによって撮像された第１画像と第２カメラによって撮像された第２画像の少なくとも一方を変形することで第１画像及び第２画像を共通の視点からの画像に変換する視点変換を行った後に複数の対応点を抽出し、視点変換前の第１画像及び第２画像における複数の対応点の座標を利用して第１カメラ及び第２カメラの幾何校正を行う」と記載されている。

また、特許文献２には、「撮像手段により撮像されたステレオカメラ画像情報が、下向きで路面や床面等の監視対象面を撮像したものであることから、従来のほぼ水平方向に向いて設置されたステレオカメラによるステレオカメラ画像情報と比較して、監視対象面により向き合うような画像情報とすることにより、さらに、この下向きのステレオカメラ画像情報を平行化変換処理した平行化画像情報に基づいて３Ｄ距離画像情報を生成するので、監視対象面に対して上から見下ろす俯瞰画像となるため、路面や床面に対する距離を高精度で求めることができる。」と記載されている。

特開２０２０－１２７３５号公報 特開２０１９－１６３０８号公報

画像に映っている物体毎に、自車両から物体までの距離を算出する方法を変えるのが適切であるが、特許文献１及び２に開示された技術では、画像内の特定の場所には特定の物体が映っていることを前提とした処理が行われていた。このため、画像内の特定の場所に不特定の物体が映っていた場合、その物体までの距離の測定を誤ることがあった。また、特許文献１及び２に開示された技術では、自車両に正対した物体までの距離を算出することができても、自車両に正対していない物体（例えば、側壁、ガードレール）等の距離を誤ることがあった。

本発明はこのような状況に鑑みて成されたものであり、見え方が異なる２つの画像に不特定の物標が映った場合であっても、この物標までの距離を推定できるようにすることを目的とする。

本発明に係る外界認識装置は、外界に対する撮像視野の少なくとも一部が重複する複数の撮像部のうち、少なくとも第一の撮像部から取得した第一画像に基づいて、物標を検知する第一の物標検知部と、複数の撮像部のうち、第二の撮像部から取得した第二画像に基づいて、物標を検知する第二の物標検知部と、第一の物標検知部による物標の検知結果に基づいて、第一画像における撮像平面を推定する撮像平面推定部と、撮像平面推定部が推定した撮像平面の情報と、複数の撮像部の撮像パラメータとに基づいて、第二画像における撮像平面に合わせた画像変換パラメータを推定する画像変換推定部と、画像変換推定部による画像変換パラメータを用いて画像変換した第一画像から検知された物標の特徴と、第二画像から検知された物標の特徴とを照合する特徴照合部と、特徴照合部による照合処理の結果に基づいて、物標の三次元位置を推定する位置推定部と、を備える。

本発明によれば、見え方が異なる２つの画像に不特定の物標が映った場合であっても、この物標までの距離を推定できるようになる。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

本発明の第１の実施形態に係る車両に搭載されるカメラの位置、車両を基準とした世界座標系、画像座標系について示す図である。 本発明の第１の実施形態に係るフロントカメラと左カメラが撮像した車両の前景の画像の例を示す図である。 本発明の第１の実施形態に係る外界認識装置の内部構成例を示すブロック図である。 本発明の第１の実施形態に係る計算機のハードウェア構成例を示すブロック図である。 本発明の第１の実施形態に係るフロントカメラで撮像された画像の例を示す図である。 本発明の第１の実施形態に係る特徴照合部の処理の例を示す図である。 本発明の第１の実施形態に係る特徴照合部が左カメラ画像とフロントカメラ画像を用いてテンプレートマッチングをする処理の様子を示す図である。 本発明の第２の実施形態に係る外界認識装置の内部構成例を示すブロック図である。 本発明の第３の実施形態に係る外界認識装置の内部構成例を示すブロック図である。 本発明の第３の実施形態に係る車両と背景が混在する領域の例を示す図である。 本発明の第４の実施形態に係る外界認識装置の内部構成例を示すブロック図である。 本発明の第４の実施形態に係る外界認識装置の変形例に係る幾何変換推定部と特徴照合部の内部構成例を示すブロック図である。 本発明の第５の実施形態に係る外界認識装置の内部構成例を示すブロック図である。

以下、本発明を実施するための形態について、添付図面を参照して説明する。本明細書及び図面において、実質的に同一の機能又は構成を有する構成要素については、同一の符号を付することにより重複する説明を省略する。

［第１の実施形態］
図１は、第１の実施形態に係る車両１に搭載されるカメラの位置、車両１を基準とした世界座標系、画像座標系について示す図である。

図１Ａは、車両１のフロント、左側面、右側面にそれぞれ、フロントカメラ１０、左カメラ２０、右カメラ３０を設けた構成例を示す。以下の説明で、フロントカメラ１０、左カメラ２０、右カメラ３０を区別しない場合、単に「カメラ」とも呼ぶ。

図１Ａでは、フロントカメラ１０の撮影範囲１０ａ、左カメラ２０の撮影範囲２０ａ、右カメラ３０の撮影範囲３０ａが一点鎖線で区切って示されている。撮影範囲１０ａ，２０ａは、一部の範囲が重なっている。同様に、撮影範囲１０ａ，３０ａは、一部の範囲が重なっており、撮影範囲２０ａ，３０ａは、一部の範囲が重なっている。これらの重なった範囲では、同じものがそれぞれのカメラで撮影された画像に映り込む。

車両１に設置されたカメラが撮影した画像により、車両１に搭載されたＥＣＵ（後述する図３に示す外界認識装置１００）は、歩行者、他の車両、白線、路面などの、車両１の周囲に存在する物体の物体情報と、車両１から物体までの距離、物体のサイズ、物体の速度などの物理量を推定して取得する。そして、他のＥＣＵ（不図示の自動運転制御ＥＣＵ）は、取得した物理量に基づいて車両１の制御量を決定し、車両１の自動運転や運転支援等を実施する。以下の説明では、車両１の走行に影響を与える可能性のある物体（路面、人、ガードレール、白線等）を「物標」と呼ぶ。

図１Ｂは、車両１の位置を原点とした世界座標系の例を示す。この世界座標系では、車両１の進行方向にＸ軸をとり、該Ｘ軸と直交する水平方向にＹ軸をとり、鉛直方向にＺ軸をとる。車両１以外の物標の位置は、世界座標系により推定される。このため、車両１から物標までの距離も推定される。

車両１から物標までの距離の推定方法にはいくつかある。代表的な距離の推定方法として、複数のカメラが同じ物標を撮像する場合に、三角測量の原理で物標までの距離を計測する方法がある。この方法では、道路上に存在する世界座標の任意の点を斉次座標系で転置行列Ｘ＝（Ｘ，Ｙ，Ｚ，１）^Ｔとし、カメラの回転角に関わる外部パラメータ行列をＲとし、カメラの設置位置に関わる外部パラメータ行列をＴとする。そして、外部パラメータ行列Ｒ，Ｔの行列をＰ＝（Ｒ｜Ｔ）とし、カメラの焦点距離や光学中心など内部状態を管理する内部パラメータ行列をＫとする。

図１Ｃは、画像内で物標を特定するための画像座標系の例を示す。この画像座標系では、画像の左上を原点として水平方向にｕ軸をとり、垂直方向にｖ軸をとる。そして、カメラが撮像した画像内における物標の位置が（ｕ，ｖ）で特定される。

ここで、転置行列Ｘが撮像された画像座標を斉次座標系で転置行列ｕ＝（ｕ，ｖ，１）^Ｔとし、スケールパラメータをｓとし、透視投影モデルのレンズで仮定するとそれぞれのカメラについて式（１）が成り立つ。スケールパラメータｓはスカラー値である。また、式（１）における記号上の添え字はカメラの種類を表す。ここでは、２つのカメラを識別するために、一方のカメラの添え字を「０」とし、他方のカメラの添え字を「１」としている。なお、式（１）にて、スケールパラメータｓが無ければ、式（１）の右辺が左辺の定数倍になってしまう。そこで、式（１）の右辺が左辺の定数倍にならないようにするためにスケールパラメータｓが設けられる。

一つのカメラの画像座標が与えられた場合、この画像座標から物標の三次元点を復元することは何らかの前提条件なしには不可能である。しかし、同じ位置Ｘを映す２つのカメラの組があった場合には、位置Ｘの同一箇所が画像座標（ｕ_０，ｕ_１）で表されるのであれば、式（２）を用いて最小二乗法を解くことで三次元点Ｘを推定することができる。ただし、式変形の形によっては、式（２）を用いた解き方に限る必要はない。

ここで、図１Ａを参照して、式（２）の意味を説明する。
フロントカメラ１０の画角は、撮影範囲１０ａに示されるように、フロントカメラ１０の設置位置における三角形の頂角である。同様に、左カメラ２０の画角は、撮影範囲２０ａに示されるように、左カメラ２０の設置位置における三角形の頂角である。右カメラ３０の画角は、撮影範囲３０ａに示されるように、右カメラ３０の設置位置における三角形の頂角である。

フロントカメラ１０の画角と、左カメラ２０の画角が重複する領域が車両１の左前方にある。このため、２つのカメラの画角が重複する領域に映る物標に対して三角測量の原理で距離が推定できる。同様に、フロントカメラ１０の画角と、右カメラ３０の画角が重複する領域（車両１の右前方）についても、三角測量の原理で距離が推定できる。

２つの画像に共通して映る物標を、２つの画像の同一位置で効率的に探索するためには、式（３）に示すエピポール拘束式が用いられる。この式を使う際には、片方の画像に映った物標の画像座標を与えた場合に、もう片方の画像に映った物標の画像座標の位置の候補が直線上にあるため、画像全体ではなく、その直線上を探索すればよいという条件を与える。エピポール拘束式で用いられる基本行列は、上に示した２つのカメラ（例えば、フロントカメラ１０と左カメラ２０）の外部パラメータ行列と内部パラメータ行列から導かれる。

また、上記に示したパラメータ群を適切に用いて平行化という前処理を施せば、世界座標の任意の点Ｘが同一の画像の高さに並ぶ画像に変換することができる。平行化された画像の横方向に探索するという簡易な処理で物標の同一位置の探索を実施できる。これは平行ステレオカメラの原理である。いずれにせよ、２つの画像から物標の同一位置を探索することは、各画像を撮像したカメラに固有のパラメータや設置条件の情報などから推定することが可能である。ここで、両画像とは、図１では、フロントカメラ１０と左カメラ２０の画像、フロントカメラ１０と右カメラ３０の画像、左カメラ２０と右カメラ３０の画像の組み合わせが想定される。このように２つの画像を探索して物標の同一位置を求めることを以下では簡単に「照合する」と呼ぶ。

なお、画像情報を照合する手法にはいくつかあり、典型的な手法としてテンプレートマッチングが挙げられる。テンプレートマッチングは、一方の画像から関心のある物標の画像座標の周辺を矩形などの小さい領域で切り出し、その矩形内の画素分布に近い領域を他方の画像から小さい矩形領域を移動しながら適当なコスト関数を用いて探索する手法である。比較手法としては差分絶対値和、差分二乗和などが基本的な手法として知られる。

画像情報を照合する別の手法としては、画像内における物標の角（コーナー）などの画像特徴の高い部分における画像座標をまず探索して特徴点とした上で、この特徴点の周辺の画像特徴量をベクトル化（特徴量化）して保持する方法がある。特徴量化の手法としてはＳＩＦＴ（Scale Invariant Feature Transform）、ＯＲＢ（Oriented FAST and Rotated BRIEF）などが代表的なものとして知られ、深層学習ベースの手法も存在する。深層学習ベースの手法は、２つの画像間で特徴量同士を照合する手法である。

ここで、２つのカメラの画角の重複領域にて同一の物標が映る画像について説明する。
図２は、図１に示したフロントカメラ１０と左カメラ２０が撮像した車両１の前景の画像の例を示す図である。フロントカメラ１０の画像を「フロントカメラ画像」と呼び、左カメラ２０が撮像した画像を「左カメラ画像」と呼ぶ。

車両１の手前には横断歩道があり、奥には直方体状の物標が存在する。横断歩道と直方体上の物標は、いずれも左カメラ画像とフロントカメラ画像に映っている。ここで、左カメラ画像に映る横断歩道の一部の領域２１，２２を破線の矩形枠で表す。同様にフロントカメラ画像に映る横断歩道の一部の領域１１，１２を破線の矩形枠で表す。領域２１，１１の組み合わせ、領域２２，１２の組み合わせのように左カメラ画像の矩形枠に対応する場所が、フロントカメラ画像にも存在している。しかし、左カメラ画像とフロントカメラ画像とで、矩形枠の内部（横断歩道の一部）の見え方が大きく異なる。

このように大きく見え方が異なる２つの画像に映る同じ場所の画像を照合するのは、上述したテンプレートマッチングでは難しく、特徴点又は特徴量を用いた照合であっても難しい。通常、テンプレートマッチングは、画像中の同じ位置にある画素同士を比較するが、見え方が異なるとマッチングしにくくなる。また、見え方が異なる画像同士で特徴点又は特徴量が作成されることでも、互いに画像をマッチングしにくくなる。このため、本来異なる形状同士が照合されたり、本来同一と判断されるべき形状が画像内で見つからず照合されなかったりする。このように異なる画像に映る同じ物標の照合が正しく行われなければ、その物標までの距離を誤って推定する可能性がある。

そこで、本発明者は、片方の画像に対してどのような変換をすれば、大きく見え方が異なる２つの画像の照合時に物標の差分が少なくなるかを検討した。以下に、２つの画像に映る同一物の照合の性能を上げることが可能な本発明の各実施形態に係る外界認識装置及び物標照合方法について、図３以降の図面を参照して説明する。外界認識装置は、車両１に搭載されるＥＣＵに構成されるソフトウェアにより、その機能が実現される。

図３は、第１の実施形態に係る外界認識装置１００の内部構成例を示すブロック図である。外界認識装置１００は、例えば、車両１に搭載されるＥＣＵの一形態である。また、以下の説明では、外界認識装置１００が搭載される車両１を他の車両２と区別するため、「自車両１」とも呼ぶ。

外界認識装置１００は、車両１に搭載される装置である。外界とは、例えば、外界認識装置１００が搭載される車両１の外のことであり、外界認識装置１００は、外界に存在する様々な物標を認識する。物標の認識結果は、例えば、物標の属性、物標の大きさ、車両１から物標までの距離等の情報を含む。
外界認識装置１００には、２つの撮像部４０，４１が撮像した２つの画像がそれぞれ入力される。撮像部４０は、例えば、図１に示した左カメラ２０であり、左カメラ２０が撮像した画像４０ａを物標検知部１０１に出力する。
撮像部４１は、例えば、図１に示したフロントカメラ１０であり、フロントカメラ１０が撮像した画像４１ａを物標検知部１０２に出力する。
撮像部４０，４１の図１に示した各カメラの組み合わせは、フロントカメラ１０と右カメラ３０、左カメラ２０と右カメラ３０としてもよい。

外界認識装置１００は、２つの物標検知部１０１，１０２、カメラパラメータ１０３、照合条件決定部１０４、特徴照合部１０５、及び位置推定部１０６を備える。

物標検知部１０１は、撮像部４０から入力した画像に対する物標検知処理を行う。この第一の物標検知部（物標検知部１０１）は、外界に対する撮像視野の少なくとも一部が重複する複数の撮像部のうち、少なくとも第一の撮像部（撮像部４０）から取得した第一画像（画像４０ａ）に基づいて、物標を検知する。
物標検知部１０２は、撮像部４１から入力した画像に対する物標検知処理を行う。この第二の物標検知部（物標検知部１０２）は、複数の撮像部のうち、第二の撮像部（撮像部４１）から取得した第二画像（画像４１ａ）に基づいて、物標を検知する。

物標検知部１０１，１０２で行われる物標検知処理は、例えば、入力された画像４０ａ，４１ａから車両２や白線、歩行者、車両１の走行可能領域、ガードレール、側壁などを検知する処理である。図２に示したような領域１１，１２，２１，２２に示される各画像の一部が物標検知処理の結果として後続の機能部に出力される。なお、物標検知部１０１，１０２は、物標検知処理を通じて、物標毎に画像解析をすることで物標の属性を求めることもできる。物標検知部１０１による物標検知処理の結果は、照合条件決定部１０４の撮像平面推定部１１１に出力される。物標検知部１０２による物標検知処理の結果は、特徴照合部１０５に出力される。以下の説明では、物標検知処理の結果を「物標の検知結果」とも呼ぶ。

また、撮像部４０が撮像した画像は、物標検知部１０１を介して、照合条件決定部１０４に入力され、さらに照合条件決定部１０４を介して特徴照合部１０５に入力される。撮像部４１が撮像した画像は、物標検知部１０２を介して、特徴照合部１０５に入力される。

照合条件決定部１０４は、画像４０ａ，４１ａにおいて検知された同じ物標が互いに対応する位置を特徴照合部１０５が照合するための照合条件を決定する。この照合条件決定部１０４は、撮像平面推定部１１１及び幾何変換推定部１１２を備える。

撮像平面推定部（撮像平面推定部１１１）は、物標検知部（物標検知部１０１）による物標の検知結果に基づいて、第一画像（画像４０ａ）における撮像平面を推定する。この撮像平面推定部１１１は、物標検知部１０１から入力した物標の検知結果に基づいて、各物標が実世界でどのような平面で構成されているかを推定する。各物標を構成する平面を撮像平面と呼び、撮像平面の平面方程式で表現される。撮像平面推定部（撮像平面推定部１１１）は、物標の大きさ、及び物標までの距離に基づいて、撮像平面を推定する。また、撮像平面推定部（撮像平面推定部１１１）は、物標が撮像された画像領域において撮像平面を推定する。なお、平面方程式は、例えば、パラメータ（α，β，γ，δ）で表される。撮像平面推定部１１１が推定した撮像平面の方程式は、幾何変換推定部１１２に出力される。

画像変換推定部（幾何変換推定部１１２）は、撮像平面推定部（撮像平面推定部１１１）が推定した撮像平面の情報と、複数の撮像部の撮像パラメータ（カメラパラメータ１０３）とに基づいて、複数の撮像部のうち、第二画像（画像４１ａ）における撮像平面に合わせた画像変換パラメータ（幾何変換パラメータ）を推定する。例えば、幾何変換推定部１１２は、撮像平面推定部１１１から入力した撮像平面の方程式と、カメラパラメータ１０３とに基づいて、撮像部４０，４１で撮像されている場所における画像間の幾何変換パラメータを推定する。カメラパラメータ１０３として、例えば、上述した式（１）に含まれるＫ及びＰがある。ただし、カメラパラメータ１０３は、固定値としてもよい。
なお、撮像平面推定部１１１及び幾何変換推定部１１２は物標検知部１０２側にあってもよい。

特徴照合部（特徴照合部１０５）は、画像変換推定部（幾何変換推定部１１２）による画像変換パラメータ（幾何変換パラメータ）を用いて画像変換した第一画像（画像４０ａ）から検知された物標の特徴と、第二画像（画像４１ａ）から検知された物標の特徴とを照合する。この特徴照合部１０５は、物標検知部１０１が検知した物標に幾何変換を行った変換結果の特徴と、物標検知部１０２から入力した物標の検知結果の特徴とを照合する。このため、特徴照合部１０５は、幾何変換推定部１１２により推定された幾何変換パラメータを用いて、画像４０ａから検知された物標の形状を変換する。その後、特徴照合部１０５は、形状が変換された物標の形状と、画像４１ａから検知された物標の形状とを照合し、自車両１から物標までの距離を算出する。自車両１から物標までの距離が特徴照合部１０５による照合結果として位置推定部１０６に出力される。照合結果は、例えば、照合される物標を含む画像領域ごとに、不一致を０％、完全一致を１００％とする値で表してもよい。そして、特徴照合部１０５は、８０％以上の照合結果であれば、この照合結果は信頼度が高いと判断し、信頼度が高い照合結果を位置推定部１０６に出力してもよい。

位置推定部（位置推定部１０６）は、特徴照合部（特徴照合部１０５）による照合処理の結果に基づいて、物標の三次元位置を推定する。例えば、位置推定部１０６は、特徴照合部１０５による照合結果に基づいて、世界座標系（図１Ｂを参照）における物標の三次元位置（「位置推定結果」と呼ぶ）を推定する。この時、位置推定部１０６は、自車両１から物標までの距離を算出し、物標ごとの距離を位置推定結果に含めることができる。位置推定結果は、自車両１に搭載された他のＥＣＵ（例えば、自動運転制御用のＥＣＵ）による自車両１の車両制御に用いられたり、自車両１の周辺にある物標の奥行き情報を求めるために用いられたりする。

次に、外界認識装置１００を構成する計算機８０のハードウェア構成を説明する。
図４は、計算機８０のハードウェア構成例を示すブロック図である。計算機８０は、本実施の形態に係る外界認識装置１００として動作可能なコンピューターとして用いられるハードウェアの一例である。本実施の形態に係る外界認識装置１００は、計算機８０（コンピューター）がプログラムを実行することにより、図３に示した各機能ブロックが連携して行う画像処理方法を実現する。

計算機８０は、バス８４にそれぞれ接続されたＣＰＵ（Central Processing Unit）８１、ＲＯＭ（Read Only Memory）８２、及びＲＡＭ（Random Access Memory）８３を備える。さらに、計算機８０は、不揮発性ストレージ８５及びネットワークインターフェイス８６を備える。

ＣＰＵ８１は、本実施の形態に係る各機能を実現するソフトウェアのプログラムコードをＲＯＭ８２から読み出してＲＡＭ８３にロードし、実行する。ＲＡＭ８３には、ＣＰＵ８１の演算処理の途中で発生した変数やパラメータ等が一時的に書き込まれ、これらの変数やパラメータ等がＣＰＵ８１によって適宜読み出される。ただし、ＣＰＵ８１に代えてＭＰＵ（Micro Processing Unit）を用いてもよい。外界認識装置１００における各機能部の機能は、ＣＰＵ８１、ＲＯＭ８２及びＲＡＭ８３により実現される。

不揮発性ストレージ８５としては、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、フレキシブルディスク、光ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、磁気テープ又は不揮発性のメモリ等が用いられる。この不揮発性ストレージ８５には、ＯＳ（Operating System）、各種のパラメータの他に、計算機８０を機能させるためのプログラムが記録されている。ＲＯＭ８２及び不揮発性ストレージ８５は、ＣＰＵ８１が動作するために必要なプログラムやデータ等を記録しており、計算機８０によって実行されるプログラムを格納したコンピューター読取可能な非一過性の記憶媒体の一例として用いられる。カメラパラメータ１０３等の各種の値は、ＲＡＭ８３又は不揮発性ストレージ８５に保存され、適宜読み出される。

ネットワークインターフェイス８６には、例えば、ＮＩＣ（Network Interface Card）等が用いられ、ＮＩＣの端子に接続されたＬＡＮ（Local Area Network）、専用線等を介して各種のデータを外部の装置と送受信することが可能である。

ここで、撮像平面推定部１１１が行う処理について、図５を参照して説明する。
図５は、フロントカメラ１０で撮像された画像の例を示す。
図５Ａは、直進方向に、他の車両２、人物、ガードレール、側壁が映っている画像である。図５Ａでは、領域５１が路面の検知結果を表し、領域５２がガードレールの検知結果を表し、領域５３が人物の検知結果を表し、領域５４が側壁の検知結果を表している。このように領域５１～５４が物標の検知結果として用いられる。

撮像平面推定部１１１は、ある画像座標における検知結果に従って、例えば、その撮像平面を、平面方程式であるαＸ＋βＹ＋γＺ＋δ＝０に従うようにパラメータ（α，β，γ，δ）を推定する。

例えば、物標検知部１０１が画像から物標を検知した結果が領域５１のような路面であるとする。この場合、撮像平面推定部１１１は、その画像座標で撮像された平面を車両１が接地して走行している車両接地面として、Ｚ＝０、つまり（α，β，γ，δ）＝（０，０，１，０）として推定する。なお、物標の検知結果が坂道の場合は、平面方程式は、例えばｈＸ＋Ｚ＋ｋ＝０と表される。つまり、撮像平面推定部１１１は、（α，β，γ，δ）＝（ｈ，０，１，ｋ）として推定することができる。

図５Ｂは、自車両１の斜め前に他の車両２が映っている画像である。ここでは、自車両１の前方にカーブした道路がある場面が想定される。例えば、物標検知部１０１による検知結果が他の車両２であって、領域５５のように直方体のバウンディングボックスとして検知結果が出力される場合を想定する。この場合、撮像平面推定部１１１は、領域５５で表される直方体の形状から、直方体の正面、背面及び側面を撮像平面とした各面の平面方程式を推定する。なお、領域５５のバウンディングボックスの正面とは、車両２の前方の面であり、背面とは車両２の後方の面であり、側面とは車両２の左右の面である。

ここで、物標検知部１０１により検知された他の車両２が、Ｚ＝０の平面に直立していると仮定する。このため、撮像平面推定部１１１は、領域５５で表される直方体の面の平面方程式は、例えばａＸ＋ｂＹ＋ｄ＝０と表される。つまり、撮像平面推定部１１１は、（α，β，γ，δ）＝（ａ，ｂ，０，ｄ）として平面方程式のパラメータを推定する。本明細書では、平面方程式のパラメータを推定することを「撮像平面を推定する」とも呼ぶ。

ただし、直方体の面によって実際の係数値は異なる。実際の係数値はセンサから出力される、自車両１から他の車両２までの推定距離などを用いる。例えば、路面と他の車両２の接地面の位置、並びに単眼カメラの設置位置及び設置角度から距離を推定可能とする公知の測定原理を用いることで、検知結果が距離の推定情報を含むことがある。この場合、撮像平面推定部１１１は、検知結果に含まれる距離の推定情報に基づいて、車両１の側面などの平面方程式も推定可能である。このため、撮像平面推定部１１１は、推定した平面方程式を推定結果として出力することもできる。

また、例えば、検知結果が歩行者や障害物である場合を想定する。この場合、図５Ａの領域５２，５３に示したように矩形のバウンディングボックスが検知結果として出力されただけでは、撮像平面推定部１１１は、撮像平面を明確には推定できない。そこで、撮像平面推定部１１１は、例えば、自車両１の進行方向に垂直な面ができていると仮定する。そして、撮像平面推定部１１１は、平面方程式を、Ｘ＋ｅ＝０と表す。つまり、撮像平面推定部１１１は、（α，β，γ，δ）＝（１，０，０，ｅ）として、平面方程式のパラメータを推定することができる。他にも、図５Ａに示したガードレールが映る領域５２、側壁が映る領域５４に対して、直方体のバウンディングボックスが検知結果として出力されると、撮像平面推定部１１１は、直方体の側面に対応する撮像平面の平面方程式を推定することができる。なお、撮像平面推定部１１１は、各カメラへの光線の到来方向、又は各カメラの光軸に対して物体が垂直に正対していると仮定して、物体毎に平面方程式のパラメータ（α，β，γ，δ）を推定してもよい。

ところで、ポールや木などの立体物に対して属性が付与されておらず、検知結果の属性が不明な領域がある場合も想定される。この場合、撮像平面推定部１１１は、ポールや木の位置に所定の高さの立体物を想定し、車両１の進行方向に垂直な面が出来ていると仮定する。そして、撮像平面推定部１１１は、検知結果を歩行者としたように、検知結果の属性が不明な領域に矩形のバウンディングボックスを仮定して、平面方程式のパラメータを推定することも可能である。

なお、撮像平面推定部１１１が撮像平面を推定する方法の他の例として、物標の検知結果に対して単純な線形方程式ではなく、二次方程式や多次方程式を用いることも考えられる。その場合は、撮像平面推定部１１１は、画像上で着目している位置に従って、多次方程式を区分的な線形式に分割して近似し、撮像平面を推定する。以上のように、撮像平面推定部１１１は、物標の検知結果に基づいて、物標の撮像平面を推定する。

次に、幾何変換推定部１１２が幾何変換パラメータを推定する方法について説明する。
幾何変換推定部１１２は、撮像平面推定部１１１で推定された撮像平面の推定結果とカメラパラメータ１０３に基づいて２つのカメラ（撮像部４０，４１）で撮像された２つの画像４０ａ，４１ａの幾何変換パラメータを推定する。この幾何変換パラメータの推定方法の一例について説明する。

まず、片方の画像（撮像部４０が撮像した画像４０ａ）に対して処理された撮像平面推定部１１１の推定結果を用いる。幾何変換推定部１１２は、撮像部４０が撮像した画像内のある画素座標に着目した場合に、その画素座標に対する平面方程式を平面変換行列に変換する。幾何変換推定部１１２は、例えば、Ｚについて平面方程式を整理して、式（４）に示すように平面変換行列Ｃを導入する。そして、４次元の世界座標（斉次座標）Ｘを一次元圧縮し、Ｘ’として整理する。

幾何変換推定部１１２は、Ｘ’を用いることで、式（１）に示したｓ_０ｕ_０，ｓ_１ｕ_１を、式（５）、式（６）のように変換できる。幾何変換推定部１１２は、式（５）と式（６）を連立して整理することで、射影変換行列Ｈ（幾何変換パラメータ）を式（７）のように導くことができる。なお、照合条件決定部１０４に入力したカメラパラメータ１０３は、式（１）に含まれるＫ及びＰがあるため、式（５）～式（７）で用いられる。式（７）により、２つの画像４０ａ，４１ａの相対関係が表される。

なお、幾何変換推定部１１２は、前述した平行化処理を使用した場合や、カメラの設置位置、平面方程式によっては、射影変換よりも変換パラメータ数が少ないアフィン変換や剪断変換等で幾何変換が済む場合もある。幾何変換推定部１１２が幾何変換に用いる変換パラメータが少なければ、幾何変換推定部１１２による計算時間の短縮につながる。そこで、幾何変換推定部１１２は、変換パラメータの数に合わせて変換の種類を切り替えてもよい。以降の処理では、画像変換の一例として、様々な種類の変換処理をまとめて「幾何変換」と呼ぶ。

特徴照合部１０５は、幾何変換推定部１１２による推定結果と、撮像部４０，４１で撮像された画像とを用いて、画像同士を照合する。特徴照合部１０５が２つの画像を照合する処理の例について、図６を参照して説明する。
図６は、特徴照合部１０５の処理の例を示す図である。特徴照合部１０５には、図３に示した撮像部４０，４１から画像４０ａ，４１ａが入力される。

画像４０ａ内の任意の点に対する幾何変換推定部１１２の推定結果として幾何変換パラメータが用いられる。幾何変換パラメータは、上述した式（７）の射影変換行列Ｈとして表される。特徴照合部１０５では、撮像部４０で撮像された画像４０ａと、幾何変換推定部１１２で推定された幾何変換パラメータとが入力され、画像４０ａの該当場所に対して幾何変換処理が行われる（Ｓ１）。

また、特徴照合部１０５には、撮像部４１で撮像された画像４１ａが物標検知部１０２を介して入力される。そして、特徴照合部１０５は、ステップＳ１で幾何変換処理が行われた画像４０ａと、物標検知部１０２を介して入力された他方の画像４１ａとの画像照合処理が行われる（Ｓ２）。ただし、幾何変換される箇所は、画像４０ａ，４１ａで同一部の物標が検知された位置を含む、この位置の周辺の領域である。

画像照合処理では、画像４０ａの幾何変換された箇所と、画像４１ａの対応する箇所とのテンプレートマッチングや、画像の特徴点の抽出処理、及び特徴量の抽出処理が行われる。射影変換の場合、幾何変換自体が移動成分を含むので、照合箇所は、幾何変換で与えられる位置の周辺である程度推定されていることと等価になる。このため、特徴照合部１０５は、幾何変換で与えられる位置の周辺を探索すればよい。ステップＳ２の後、処理結果が位置推定部１０６に出力される。

ここで、テンプレートマッチングの例について、図７を参照して説明する。
図７は、特徴照合部１０５が左カメラ画像とフロントカメラ画像を用いてテンプレートマッチングをする処理の様子を示す図である。ここでは、左カメラ画像が、図７に示した画像４０ａであり、フロントカメラ画像が、図７に示した画像４１ａであるとする。

図２に示したように、左カメラ画像とフロントカメラ画像の一部に交差点の特徴的な部分（白線が交差する箇所）が映り込んだ領域２１，２２が存在する。この特徴的な部分は、フロントカメラ画像にもそれぞれ領域１１，１２として存在する。しかし、領域２１，１１の形状が異なっており、また、領域２２，１２の形状も異なっていたので、従来の方法では各領域の形状を単純にマッチングすることができなかった。

一方、本実施の形態に係る射影変換（幾何変換）を利用することで、左カメラ画像に含まれる領域２１，２２の物標は、図７の下側に示す領域７１，７２の形状に変換される。この時、領域７１，７２に含まれる形状は、それぞれ領域１１，１２に含まれる形状に近くなる。このため、特徴照合部１０５は、領域２１，２２に含まれる幾何変換前の形状を、フロントカメラ画像から探すよりも照合処理を簡単に行えるようになる。このように特徴部分を含む領域の形状が幾何変換されると、特徴照合部１０５が照合処理を簡単に行えるという効果が得られる。

なお、平面方程式がある画像領域内で一定である場合には、特徴照合部１０５がその領域を射影変換した後、テンプレートマッチングを行ってもよい。あるいは、特徴照合部１０５がテンプレートごとに射影変換を実施してもよい。

また、画像内の特徴点を抽出する処理、及び特徴量を抽出する処理（「特徴点及び特徴量の抽出」と呼ぶ）も同様である。特徴照合部１０５は、一旦、画像を射影変換した上で特徴点及び特徴量の抽出を実施してもよい。あるいは、特徴照合部１０５は、特徴点及び特徴量の抽出の処理内に射影変換を組み込んで、特徴点及び特徴量の抽出を実施してもよい。

位置推定部１０６は、特徴照合部１０５による照合の結果、求められた対応位置から上式（２）を用いて、世界座標系における物標の座標点を計算する。
外界認識装置１００では、上述した構成にすることで、車両１、歩行者、道路など、車両１の走行中における環境変化に対応しつつ、２つの画像に映る物標の照合精度と、車両１から物標までの距離の推定精度とを上げることが可能となる。

以上説明した第１の実施形態に係る外界認識装置１００では、自車両１から物標までの距離の推定をするために、車両の走行に伴って動的に変化する走行環境に合わせて、画像４０ａ内の位置に応じた撮像平面の平面方程式を物標ごとに推定する。そして、外界認識装置１００は、物標ごとに幾何変換を行って、画像４１ａから検知された物標と特徴を照合する。このため、外界認識装置１００は、見え方が異なる２つの画像に不特定の物標が映った場合であっても、この物標までの距離を推定できる。また、位置推定部１０６は、特徴が照合された物標の位置を推定するため、物標までの距離の誤差を低減することが可能となる。

［第２の実施形態］
次に、本発明の第２の実施形態に係る外界認識装置１００Ａの構成例及び処理例について、図８を参照して説明する。
図８は、第２の実施形態に係る外界認識装置１００Ａの内部構成例を示すブロック図である。

外界認識装置１００Ａは、撮像部４０，４１から入力する２つの画像に対して、それぞれ撮像平面の推定処理と、幾何変換パラメータの推定を実施する。このため、外界認識装置１００Ａは、第一画像（画像４０ａ）から検知される物標と、第二画像（画像４１ａ）から検知される物標に対して、それぞれ設けられた複数の撮像平面推定部（撮像平面推定部１１１，１１３）と、複数の画像変換推定部（幾何変換推定部１１２，１１４）と、を備える。図８に示すように、外界認識装置１００Ａが備える照合条件決定部１０４Ａは、撮像平面推定部１１１，１１３、幾何変換推定部１１２，１１４を備える。撮像平面推定部１１１，１１３は同じ機能を持ち、幾何変換推定部１１２，１１４は同じ機能を持つ。

物標検知部１０１は、撮像部４０で撮像された画像から物標を検知する。この検知結果に対して、撮像平面推定部１１１が撮像平面を推定し、幾何変換推定部１１２が幾何変換パラメータを推定する。
同様に、物標検知部１０２は、撮像部４１で撮像された画像から物標を検知する。この物標の検知結果に対して、撮像平面推定部１１３が撮像平面を推定し、幾何変換推定部１１４が幾何変換パラメータを推定する。

特徴照合部１０５Ａは、幾何変換推定部１１２，１１４を通じて二つの結果を受け取る。このため、特徴照合部１０５Ａの機能は、図３に示した第１の実施形態に係る特徴照合部１０５の機能とは異なる。

特徴照合部１０５Ａの機能を実装する方法には、いくつか想定される。その一つの方法では、特徴照合部１０５Ａが、一方の幾何変換推定部１１２により推定された幾何変換パラメータを使って画像４０ａを幾何変換した結果と、画像４１ａとの照合結果を得る。また、特徴照合部１０５Ａが、他方の幾何変換推定部１１４により推定された幾何変換パラメータを使って画像４１ａを幾何変換した結果と、画像４０ａとの照合結果を得る。そして、特徴照合部１０５Ａが得た２つの照合結果を比較する。２つの照合結果より、同じ場所で同じ物標が照合されたことが判明した場合に、いずれの照合結果も信頼度が高いとみなすことができる。

そこで、特徴照合部（特徴照合部１０５Ａ）は、一方の画像変換推定部（幾何変換推定部１１２）により推定された画像変換パラメータ（幾何変換パラメータ）を使って第一画像（画像４０ａ）を画像変換（幾何変換）した結果と、第二画像（画像４１ａ）との照合結果を取得し、他方の画像変換推定部（幾何変換推定部１１４）により推定された画像変換パラメータ（幾何変換パラメータ）を使って第二画像（画像４１ａ）を幾何変換した結果と、第一画像（画像４０ａ）との照合結果を取得し、それぞれの照合結果を比較して、第一画像（画像４０ａ）から検知される物標と、第二画像（画像４１ａ）から検知される物標が同じ三次元位置で照合した場合に、照合結果に高い信頼度を付与する。ここでの照合結果に付与される信頼度は、各画像から検知された物標ごとに、同じ三次元位置で照合されなかったら不一致を０％とし、同じ三次元位置で照合されたら１００％とする値で表してもよい。そして、特徴照合部１０５は、８０％以上の信頼度であれば、信頼度が高い照合結果を位置推定部１０６に出力してもよい。

また、特徴照合部１０５Ａは、推定される撮像平面を照合してもよい。そこで、特徴照合部１０５Ａは、撮像平面推定部１１１が推定する撮像平面と、撮像平面推定部１１３が推定する撮像平面とを比較する。この時、特徴照合部１０５Ａは、撮像平面推定部１１３が推定する撮像平面を基準とし、撮像平面推定部１１１が推定する撮像平面が異なる場合には、照合結果の信頼度が低いため、照合ミスと判定する。そして、特徴照合部１０５Ａは、推定した撮像平面の対象である物標に関して、特徴の照合結果を位置推定部１０６に出力しない対応ができる。このように、特徴照合部１０５Ａは、信頼度が高い照合結果のみを残して位置推定部１０６に照合結果を出力したり、信頼度が低い照合結果をノイズと判断して照合結果を出力しなかったりする。このため、位置推定部１０６は、照合結果の信頼度が高い物標に限定して、この物標の位置及び距離を推定することが可能となる。

以上説明した第２の実施形態に係る外界認識装置１００Ａでは、照合条件決定部１０４Ａが、撮像平面推定部１１１，１１３、幾何変換推定部１１２，１１４を備える構成とした。そして、特徴照合部１０５Ａが、幾何変換推定部１１２，１１４から出力される推定結果のうち、一方の推定結果を基準にとって推定結果を照合することで、照合結果の信頼度を求めることができる。このため、特徴照合部１０５Ａによる照合結果の信頼度の高低に基づいて、物標を正しく照合できたか判定しやすくなり、位置推定部１０６による物標の位置の推定も正確に行えるようになる。

［第３の実施形態］
次に、本発明の第３の実施形態に係る外界認識装置１００Ｂの構成例及び処理例について、図９と図１０を参照して説明する。

物標検知部１０１により指定された画像領域の中に複数の属性の物標が混在する場合に、図９に示す照合条件決定部１０４Ｂが各属性の物標を正確に検知するためにはいくつかの方法が考えられる。例えば、照合条件決定部１０４Ｂは、物標検知部１０１が検知した物標の検知結果を受け取ると、物標検知部１０１により検知された物標の属性や、撮像平面推定部１１１により推定された平面方程式から照合対象である物標の前景となる物標を優先して計測する方法が考えられる。

また、物標検知部１０１により物標ごとに複数の属性が検知された場合、照合条件決定部１０４Ｂは、支配的な物標の属性を選択する方法をとってもよい。支配的な物標とは、例えば、画像領域に複数の物標が映る場合に前景となる物標である。この場合、特徴照合部１０５は、被支配的な物標に対して前景となる、支配的な物標の属性に従って物標の特徴を照合し、物標の位置を推定する。ここでは、画像４０ａ，４１ａから検知された複数の物標のうち、支配的な物標を選択することが可能な外界認識装置１００Ｂが有する照合条件決定部１０４Ｂについて説明する。

図９は、第３の実施形態に係る外界認識装置１００Ｂの内部構成例を示すブロック図である。第３の実施形態に係る外界認識装置１００Ｂでは、物標検知部１０１により指定された画像領域の中に複数の属性の物標が混在する場合に、特定の物標を特徴照合部１０５によるテンプレートマッチングの対象として選択する処理が行われる。

外界認識装置１００Ｂが備える照合条件決定部１０４Ｂは、撮像平面推定部１１１、幾何変換推定部１１２に加えて、変換選択部１１５を備える。
変換選択部（変換選択部１１５）は、第一画像（画像４０ａ）及び第二画像（画像４１ａ）から検知される複数の物標のうち、距離が近い物標を選択して、選択された物標に対して画像変換推定部（幾何変換推定部１１２）が推定した画像変換パラメータ（幾何変換パラメータ）を選択する。例えば、変換選択部１１５は、幾何変換推定部１１２で推定された複数の物標に対する幾何変換パラメータから、支配的な属性を有する物標に対して推定された幾何変換パラメータを選択する。そして、変換選択部１１５が選択した幾何変換パラメータが特徴照合部１０５に出力される。

特徴照合部（特徴照合部１０５）は、変換選択部（変換選択部１１５）により選択された画像変換パラメータ（幾何変換パラメータ）を用いて、第一画像（画像４０ａ）から検知された物標の画像変換を行う。そして、特徴照合部１０５は、幾何変換後の物標の特徴と、物標検知部１０２により検知された物標の特徴とを照合し、照合結果を位置推定部１０６に出力する。

ここで、図９に示した照合条件決定部１０４Ｂで行われる処理の具体例について、図１０を参照して説明する。ここでは例として、照合条件決定部１０４Ｂが平面方程式を用いて、自車両１に近い、すなわち手前にある物標の属性を選択する例を示す。

図１０は、車両２と背景が混在する領域５６，５７の例を示す図である。車両２は、自車両１に対向して走行しているものとする。

領域５６では、車両２の左側の一部と、背景である路面とが混在している。また、領域５７では、車両２の下側の一部と、背景である路面とが混在している。通常、画像の上側に路面が含まれている場合、立体物の方が路面よりも手前にある。特徴照合部１０５によるテンプレートマッチングの対象となる枠が領域５６である場合、背景よりも前方にある車両２の形状がマッチングの対象として優先して採用される。

逆に、画像に立体物と路面とが含まれている場合、画像の下側にある路面の方が立体物よりも手前にある。特徴照合部１０５によるテンプレートマッチングの対象となる枠が領域５７である場合、車両２の下部と路面との接合点の方が自車両に近いため、自車両１よりも前方にある路面の形状がマッチングの対象として優先して採用される。

他の例として、車両制御の観点から、自車両１が接触した場合に走行への影響が大きい立体物（例えば、車両２）を優先し、単純に車両ごとの属性の情報からマッチングの対象として決定してもよい。この場合、変換選択部（変換選択部１１５）は、自車両の走行に影響の大きい属性を持つ物標を優先して選択する。この結果、位置推定部１０６により、自車両の走行に影響の大きい属性を持つ物標までの距離が優先して推定されるので、自車両は、距離が推定された物標を回避する等の制御が可能となる。

以上説明した第３の実施形態に係る外界認識装置１００Ｂでは、画像４０ａにおける一つの画像領域に複数の属性の物標が検知された場合に、一つの物標に対する幾何変換パラメータを選択して、この物標の幾何変換を行い、画像４１ａの対応する画像領域の物標と照合することができる。このため、特徴照合部１０５では画像４０ａ，４１ａの照合対象となる物標が一致しやすく、位置推定部１０６では、照合された物標の位置推定も正確に行える。

［第４の実施形態］
次に、本発明の第４の実施形態に係る外界認識装置１００Ｃの構成例及び処理例について、図１１と図１２を参照して説明する。

撮像平面推定部１１１が推定する路面のモデル（平面方程式）は、自車両１に対して物標が遠方であるほど、実際の平面モデルからずれることが予想される。つまり、物標検知部１０１の検知結果に基づいて撮像平面推定部１１１が推定する平面方程式は、その平面方程式自身が誤差を含む場合がある。このため、平面方程式に含まれる誤差が、特徴照合部１０５Ｂによる特徴照合の精度に影響を与える可能性が想定される。ここでは、平面方程式に含まれる誤差が、特徴照合部１０５Ｂによる特徴照合の精度に影響を与えない外界認識装置１００Ｃの構成例について説明する。

図１１は、第４の実施形態に係る外界認識装置１００Ｃの内部構成例を示すブロック図である。第４の実施形態に係る外界認識装置１００Ｃでは、平面方程式が誤差を含む場合に、物標の特徴を照合する処理を行う。

外界認識装置１００Ｃは、図３に示した外界認識装置１００と同様の構成としているが、照合条件決定部１０４Ｃの幾何変換推定部１１２Ａに接続される誤差推定部１０７を備える点が異なる。
誤差推定部（誤差推定部１０７）は、撮像平面推定部（撮像平面推定部１１１）により推定された撮像平面の誤差を推定する。例えば、誤差推定部１０７は、撮像平面推定部１１１によって推定される平面方程式の誤差を推定し、推定結果を幾何変換推定部１１２Ａに出力する。平面方程式の誤差は、例えば、事前に行われる実験や設計段階で決定される値である。誤差推定部１０７による誤差の推定結果としては、物標が遠方であればあるほど誤差の出力を大きくする方式が考えられる。そこで、誤差推定部１０７は、自車両１に対して遠方の物体に大きな誤差を推定し、自車両１に対して近方の物体に小さな誤差を推定する。

誤差推定部１０７から出力される誤差の使い方の一つとして、例えば、誤差推定部１０７による誤差の推定結果が一定以上となる平面方程式に対して、幾何変換推定部１１２Ａが幾何変換パラメータを出力しないようにする。この結果、特徴照合部１０５Ｂは、幾何変換推定部１１２Ａが推定する幾何変換パラメータを使用しなくてすむ。このような処理を行うのは、特徴照合部１０５Ｂが撮像平面を幾何変換することが、逆に特徴の照合処理に悪影響を与えることが予想されるためである。特徴照合部１０５Ｂが幾何変換パラメータを使用しない場合には、撮像平面の幾何変換を実施せず、画像４０ａ，４１ａから検知された物標をそのまま照合する。

画像変換推定部（幾何変換推定部１１２Ａ）は、撮像平面の誤差に基づいて、画像変換される撮像平面の誤差の範囲を決定する。そして、幾何変換推定部１１２Ａは、誤差推定部１０７から入力した平面方程式の誤差の推定結果を用いて、撮像平面推定部１１１が推定した撮像平面に対して推定した幾何変換パラメータの出力可否を判定する。このように撮像平面の誤差の範囲が決定されるので、誤差の大きな撮像平面に対して推定された幾何変換パラメータは出力されなくなる。
特徴照合部１０５Ｂは、幾何変換推定部１１２Ａから幾何変換パラメータが出力されない場合には、画像４０ａ，４１ａの物標が検知された領域を幾何変換せずに照合し、照合結果を位置推定部１０６に出力する。

以上説明した第４の実施形態に係る外界認識装置１００Ｃでは、幾何変換推定部１１２Ａが平面方程式の誤差の推定結果を用いて、幾何変換パラメータの出力可否を判定する。幾何変換パラメータが出力されない場合、特徴照合部１０５Ｂは、物標が検知された領域を幾何変換せずに照合するため、誤差の大きい平面方程式を用いた撮像平面から幾何変換した領域を照合した場合に比べて、物標の特徴を照合する精度が向上する。

［第４の実施形態の変形例］
ここで、誤差推定部１０７が出力する誤差の推定結果を使う別の方法について説明する。
図１２は、外界認識装置１００Ｃの変形例に係る幾何変換推定部１１２Ａと特徴照合部１０５Ｂの内部構成例を示すブロック図である。ここでは、図１１に示した外界認識装置１００Ｃのうち、幾何変換推定部１１２Ａと特徴照合部１０５Ｂの構成例を重点的に説明する。

撮像平面推定部１１１が撮像平面から推定した平面方程式のパラメータが、本来のパラメータ（α，β，γ，δ）に対して、経験的に誤差（±εα，±εβ，±εγ，±εδ）だけずれると仮定する。この場合、幾何変換推定部１１２Ａは、この誤差幅の範囲で、撮像平面の推定結果を撮像平面ごとにＮパターン分複製する。複製の仕方は様々な方法があるが、図１２には、そのうちの一つの方法を実行可能な幾何変換推定部１１２Ａの構成例及び処理の例を示す。

図１２に示す画像変換推定部（幾何変換推定部１１２Ａ）は、誤差推定部（誤差推定部１０７）により推定された撮像平面の誤差に基づいて複数の撮像平面を生成し、複数の撮像平面のそれぞれに対して複数の画像変換パラメータ（幾何変換パラメータ）を推定する。この幾何変換推定部１１２Ａは、撮像平面Ｎ生成部１１２Ａ－１と、幾何変換Ｎ推定部１１２Ａ－２を備える。

撮像平面Ｎ生成部１１２Ａ－１は、例えばランダムで上記の誤差幅に収まるようにパラメータを振り、撮像平面推定部１１１が推定した平面方程式のパラメータに加算して、Ｎパターンの複数の撮像平面を生成する。

幾何変換Ｎ推定部１１２Ａ－２は、生成されたＮパターンの撮像平面のそれぞれに対して複数の幾何変換パラメータを推定する。このため、幾何変換Ｎ推定部１１２Ａ－２は、Ｎパターンの幾何変換パラメータを推定することが可能である。幾何変換Ｎ推定部１１２Ａ－２が推定した幾何変換Ｎ推定部１１２Ａ－２は、特徴照合部１０５Ｂに出力される。

特徴照合部（特徴照合部１０５Ｂ）は、複数の画像変換パラメータ（幾何変換パラメータ）を用いて画像変換された第一画像（画像４０ａ）から検知された物標の特徴と、第二画像（画像４１ａ）から検知された物標の特徴との照合処理を複数回行って、評価が高い照合処理の結果を位置推定部（位置推定部１０６）に出力する。この特徴照合部１０５Ｂは、特徴Ｎ照合部１０５Ｂ－１及び特徴照合結果選択部１０５Ｂ－２を備える。

特徴Ｎ照合部１０５Ｂ－１には、幾何変換推定部１１２Ａの幾何変換Ｎ推定部１１２Ａ－２からＮパターンの幾何変換パラメータの推定結果が入力される。そして、特徴Ｎ照合部１０５Ｂ－１は、入力されたＮパターンの幾何変換パラメータの推定結果に基づいて、物標の特徴に対するＮ回の異なる照合処理を行う。このＮ回の照合処理の結果は、それぞれ特徴照合結果選択部１０５Ｂ－２に出力される。

特徴照合結果選択部１０５Ｂ－２は、特徴Ｎ照合部１０５Ｂ－１から入力したＮ回の照合処理の結果のうち、最も照合時の評価が高い照合処理の結果を選択し、選択した照合処理の結果を位置推定部１０６に出力する。
位置推定部１０６は、特徴照合部１０５Ｂから入力した照合処理の結果に基づいて、物標の位置を推定する。

以上説明した第４の実施形態の変形例に係る外界認識装置１００Ｃは、幾何変換推定部１１２Ａ及び特徴照合部１０５Ｂを備えることで、撮像平面のＮパターン分の推定結果からＮパターンの幾何変換パラメータの推定結果を得られる。そして、Ｎパターンの幾何変換パラメータの推定結果によりＮ回の照合処理が行われた後、最も照合時の評価が高い照合処理の結果が選択される。このため、撮像平面推定部１１１により推定される平面方程式のパラメータが、本来のパラメータに対して誤差を含む場合であっても、位置推定部１０６が画像４０ａ，４１ａに映る物標の位置推定を正確に行えるようになる。

［第５の実施形態］
次に、本発明の第５の実施形態に係る外界認識装置１００Ｄの構成例及び処理例について、図１３を参照して説明する。
図１３は、外界認識装置１００Ｄの内部構成例を示すブロック図である。

外界認識装置１００Ｄは、物標検知部１０１，１０２、照合条件決定部１０４、位置推定部１０６に加えて、視差算出部１０８及び視差妥当性検証部１０９を備える。

視差算出部（視差算出部１０８）は、撮像部４０から入力する第１画像（画像４０ａ）、及び撮像部４１から入力する第２画像（画像４１ａ）から視差を算出して、第１画像（画像４０ａ）と第２画像（画像４１ａ）に映る物標の位置を照合する。すなわち、視差算出部１０８は、物標検知部１０１の物標の検知結果に基づいて撮像平面推定部１１１が推定する平面方程式を用いずに、画像４０ａ，４１ａの視差を算出する。視差算出部１０８が視差を算出する方法として、視差を計測する公知の方法を用いてよい。視差算出部１０８は、視差を算出することで、画像４０ａ，４１ａに映る同一物標が対応する位置を照合した結果を第２の照合結果として視差妥当性検証部１０９に出力する。

視差妥当性検証部１０９は、第１の実施形態に係る特徴照合部１０５を変形したものである。特徴照合部（視差妥当性検証部１０９）は、画像変換パラメータ（幾何変換パラメータ）を用いて画像変換した第１画像（画像４０ａ）から検知された物標の特徴と、第２画像（画像４１ａ）から検知された物標の特徴とを照合した第１の照合結果と、視差により照合された第２の照合結果とを比較し、比較結果の妥当性に基づいて、第１の照合結果又は第２照合結果を位置推定部（位置推定部１０６）に出力する。すなわち、視差妥当性検証部１０９は、撮像平面推定部１１１が推定する平面方程式を用いて幾何変換推定部１１２が推定した幾何変換パラメータにより幾何変換された画像領域の物標と、画像４１ａの画像領域の物標とを照合し、第１の照合結果を求める。そして、視差妥当性検証部１０９は、第１の照合結果と第２の照合結果とを比較し、視差算出部１０８による第２の照合結果の妥当性を検証する。視差妥当性検証部１０９による照合結果の妥当性は、例えばテンプレートマッチングにおいてはマッチング度合いの高さにより判断される方法などが想定される。

なお、撮像平面推定部１１１により平面方程式が推定された範囲では、幾何変換推定部１１２が推定した幾何変換パラメータに基づいて幾何変換された物標の照合精度が高いことが想定される。ただし、撮像平面推定部１１１による平面方程式の推定無しで、視差算出部１０８が画像４０ａ，４１ａから算出した視差により物標の対応位置を求める方法は、平面方程式による条件分岐が発生しない。このため、視差算出部１０８をハードウェア化すれば、視差の算出処理の高速化をしやすくなるというメリットがある。

そこで、視差妥当性検証部１０９は、平面方程式と幾何変換パラメータにより求められる第１の照合結果を限定し、この限定した第１の照合結果を、視差算出部１０８による第２の照合結果が正しいか否かの検証処理に用いる。このように処理を行うのは、視差妥当性検証部１０９が画像４０ａ，４１ａに共通して含まれる全ての物標に対して平面方程式と幾何変換パラメータにより求められる第１の照合結果を求めるのは、視差妥当性検証部１０９の処理負荷が高くなるからである。

視差妥当性検証部１０９は、限定した第１の照合結果と、第２の照合結果とを比較し、幾何変換を用いた第１の照合結果の妥当性が高い場合には、第１の照合結果を採用し、位置推定部１０６に第１の照合結果を出力する。例えば、自車両１に近い位置で検知された物標であれば、視差が大きくなるため、視差により照合された第２の照合結果の妥当性が低くなる。一方、この物標が自車両１に近い位置にあると、撮像平面が正確に推定されるため、幾何変換による第１の照合結果の妥当性が高くなる。そこで、位置推定部１０６は、上述した第１の実施形態に係る外界認識装置１００と同様に、第１の照合結果を用いて物標の位置を推定する。

なお、視差妥当性検証部１０９は、第１の照合結果と第２の照合結果とを比較し、第２の照合結果の妥当性が低い場合に、画像４０ａ，４１ａの視差を算出して照合された第２の照合結果を位置推定部１０６に出力する。例えば、自車両１から遠い位置で検知された物標であれば、視差が小さくなるため、視差により照合された第２の照合結果の妥当性が高くなる。一方、この物標が自車両１に遠い位置にあるので、撮像平面が不正確に推定されるため、幾何変換による第１の照合結果の妥当性が低くなる。このため、位置推定部１０６は、第２の照合結果を用いて物標の位置を推定する。なお、第２の照合結果の妥当性が低い場合、第１の照合結果と第２の照合結果とで差が大きい物標が存在する。そこで、視差妥当性検証部１０９は、この物標が映る画像領域について、再び第１の照合結果と第２の照合結果とを比較してもよい。

以上説明した第５の実施形態に係る外界認識装置１００Ｄでは、照合条件決定部１０４から出力された幾何変換パラメータにより幾何変換された画像４０ａの画像領域と画像４１ａの画像領域とで照合した第１の照合結果と、視差算出部１０８が算出した視差を用いた画像４０ａ，４１ａの第２の照合結果とを比較して照合結果の妥当性が検証される。そして、視差妥当性検証部１０９は、照合結果の妥当性に応じて、位置推定部１０６に出力する結果を、第１の照合結果、又は第２の照合結果のいずれかに決定する。第１の照合結果と第２の照合結果の比較による妥当性が低い場合には、位置推定部１０６が第２の照合結果を用いて物標の位置を推定することができる。このため、物標が自車両１に近い位置にあるか、遠い位置にあるかで、第１の照合結果又は第２の照合結果のいずれかが位置推定部１０６に出力される。このため、位置推定部１０６が様々な位置にある物標の位置を高速に推定することができる。

［変形例］
なお、上述した各実施の形態では、本発明を車両１に搭載される外界認識装置として説明したが、この外界認識装置は、例えば、複数のカメラを備える自走型のロボット、複数のカメラが撮影した映像により構内を監視するインフラ監視システムで用いられてもよい。インフラ監視システムでは、例えば、一つの場所に複数のカメラが設置される構成が想定される。

また、上述した各実施の形態に加えて、機械学習の結果から直接距離を算出する機能を有する外界認識装置を構成することもできる。この場合、外界認識装置が機械学習により物標までの距離を算出することが可能になると、画像から物標が検知された時点で距離を算出することができ、外界認識装置の演算負荷を低減することができる。

また、上述した各実施の形態に加えて、外界認識装置は、従来のステレオカメラで用いられる視差マッチングを実施してもよい。この場合、外界認識装置は、複数の画像を照合した結果から最も照合結果が良いと推定される結果を参照し、さらに予め用意した地図情報を用いて物標ごとの位置関係を推定することもできる。

なお、本発明は上述した各実施形態に限られるものではなく、特許請求の範囲に記載した本発明の要旨を逸脱しない限りその他種々の応用例、変形例を取り得ることは勿論である。
例えば、上述した各実施形態は本発明を分かりやすく説明するために装置及びシステムの構成を詳細かつ具体的に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されない。また、ここで説明した実施形態の構成の一部を他の実施形態の構成に置き換えることは可能であり、さらにはある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加、削除、置換をすることも可能である。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

１，２…車両、４０，４１…撮像部、４０ａ，４１ａ…画像、１００…外界認識装置、１０１，１０２…物標検知部、１０３…カメラパラメータ、１０４…照合条件決定部、１０５…特徴照合部、１０６…位置推定部、１１１…撮像平面推定部、１１２…幾何変換推定部、１１３…撮像平面推定部、１１４…幾何変換推定部

Claims (10)

1. 外界に対する撮像視野の少なくとも一部が重複する複数の撮像部のうち、少なくとも第一の撮像部から取得した第一画像に基づいて、物標を検知する第一の物標検知部と、
   複数の前記撮像部のうち、第二の撮像部から取得した第二画像に基づいて、物標を検知する第二の物標検知部と、
   前記第一の物標検知部による前記物標の検知結果に基づいて、前記第一画像における撮像平面を推定する撮像平面推定部と、
   前記撮像平面推定部が推定した前記撮像平面の情報と、前記複数の撮像部の撮像パラメータとに基づいて、前記第二画像における撮像平面に合わせた画像変換パラメータを推定する画像変換推定部と、
   前記画像変換推定部による画像変換パラメータを用いて画像変換した前記第一画像から検知された前記物標の特徴と、前記第二画像から検知された前記物標の特徴とを照合する特徴照合部と、
   前記特徴照合部の照合結果に基づいて、前記物標の三次元位置を推定する位置推定部と、を備える
   外界認識装置。
2. 前記撮像平面推定部は、前記物標の大きさ、及び前記物標までの距離に基づいて、前記撮像平面を推定する
   請求項１に記載の外界認識装置。
3. 前記撮像平面推定部は、前記物標が撮像された画像領域において前記撮像平面を推定する
   請求項２に記載の外界認識装置。
4. 前記第一画像から検知される前記物標と、前記第二画像から検知される前記物標に対して、それぞれ設けられた複数の前記撮像平面推定部と、複数の前記画像変換推定部と、を備え、
   前記特徴照合部は、一方の前記画像変換推定部により推定された前記画像変換パラメータを使って前記第一画像を画像変換した結果と、前記第二画像との照合結果を取得し、他方の前記画像変換推定部により推定された前記画像変換パラメータを使って前記第二画像を画像変換した結果と、前記第一画像との照合結果を取得し、それぞれの前記照合結果を比較して、前記第一画像から検知される前記物標と、前記第二画像から検知される前記物標が同じ三次元位置で照合した場合に、前記照合結果に高い信頼度を付与する
   請求項３に記載の外界認識装置。
5. 前記第一画像及び前記第二画像から検知される複数の前記物標のうち、自車両からの距離が近い前記物標を選択して、選択された前記物標に対して前記画像変換推定部が推定した前記画像変換パラメータを選択する変換選択部を備え、
   前記特徴照合部は、前記変換選択部により選択された前記画像変換パラメータを用いて、前記第一画像から検知された物標の画像変換を行う
   請求項３に記載の外界認識装置。
6. 前記変換選択部は、前記自車両の走行に影響の大きい属性を持つ前記物標を優先して選択する
   請求項５に記載の外界認識装置。
7. 前記撮像平面推定部により推定された前記撮像平面の誤差を推定する誤差推定部を備え、
   前記画像変換推定部は、前記撮像平面の誤差に基づいて、画像変換される前記撮像平面の誤差の範囲を決定する
   請求項３に記載の外界認識装置。
8. 前記画像変換推定部は、前記誤差推定部により推定された前記撮像平面の誤差に基づいて複数の撮像平面を生成し、複数の前記撮像平面のそれぞれに対して複数の前記画像変換パラメータを推定し、
   前記特徴照合部は、複数の前記画像変換パラメータを用いて画像変換した前記第一画像から検知された特徴と、前記第二画像から検知された特徴との照合処理を複数回行って、評価が高い前記照合処理の結果を前記位置推定部に出力する
   請求項７に記載の外界認識装置。
9. 前記第一画像及び前記第二画像から視差を算出して、前記第一画像と前記第二画像に映る物標の位置を照合する視差算出部を備え、
   前記特徴照合部は、前記画像変換パラメータを用いて画像変換した前記第一画像から検知された前記物標の特徴と、前記第二画像から検知された前記物標の特徴とを照合した第１の照合結果と、前記視差により照合された第２の照合結果とを比較し、比較結果の妥当性に基づいて、前記第１の照合結果又は前記第２の照合結果を前記位置推定部に出力する
   請求項３に記載の外界認識装置。
10. 外界に対する撮像視野の少なくとも一部が重複する複数の撮像部のうち、少なくとも第一の撮像部から取得した第一画像に基づいて、第一の物標検知部が物標を検知する処理と、
    複数の前記撮像部のうち、第二の撮像部から取得した第二画像に基づいて、第二の物標検知部物標を検知する処理と、
    撮像平面推定部が、前記第一の物標検知部による前記物標の検知結果に基づいて、前記第一画像における撮像平面を推定する処理と、
    前記撮像平面推定部が推定した前記撮像平面の情報と、前記複数の撮像部の撮像パラメータとに基づいて、画像変換推定部が、前記第二画像における撮像平面に合わせた画像変換パラメータを推定する処理と、
    前記画像変換推定部による画像変換パラメータを用いて画像変換した前記第一画像から検知された前記物標の特徴と、前記第二画像から検知された前記物標の特徴とを照合する処理と、
    照合処理の結果に基づいて、前記物標の三次元位置を推定する処理と、を含む
    外界認識方法。

Images