JP6941677B2 - 画像認識装置 - Google Patents

Description

本発明は、車両に搭載され、撮像デバイスで撮像した周囲の画像に基づいて対象物の認識を行う画像認識装置に関する。

従来、車両に搭載され、画像認識装置を備えた車載カメラ装置が知られている。最近では、安全運転や自動運転に向けた社会的認知度の向上に伴い、車載カメラ装置における各種物体認識に対する要求は高いレベルになってきている。

車載カメラ装置は、例えば一対のカメラで車外を撮像した画像を用いて、画像による視覚的な情報と、対象物への距離情報とを同時に計測するため、車両周辺の様々な対象物（人、他の車両、立体物、白線・路面、標識など）を詳細に把握することができ、運転支援時の安全性の向上に寄与する装置である。

例えば、特許第４９７３７３６号公報には、撮影した映像から認識する路面標示（Ｔ字交差点を示すＴ字標示）と、撮影した映像から認識する道路形状（Ｔ字交差点）と、を対応付け、誤認識を低減しようとする発明が開示されている。

特許第４９７３７３６号公報

しかし、上述の特許第４９７３７３６号公報に記載の発明では、路面標示や道路形状についての認識については開示しているが、その他の対象物の認識については何ら記載がないものであった。

一例として、制限速度の規制などの標識の認識について検討すると、最近では、画像認識技術の精度が向上する反面、その意図をどのように解釈するかが課題となることが増えてきた。例えば、画像処理技術の向上により、カメラで撮像した画像内に映ったあらゆる標識を認識することが可能となってきたが、その一方で、どの標識が自車両に対する有効な指示なのかを判定することができないという問題があった。

本発明の目的は、撮像画像から標識を認識するとともにその標識の自車両との関連を判断することができる画像認識装置を提供することにある。

本発明は上記の目的を達成するために、車両に搭載され、前記撮像画像から該車両に対して有効な標識を判定する画像認識装置であって、撮像画像を撮像する撮像部と、前記撮像部で撮像した撮像画像に基づき前記車両の走行領域を検知する検知部と、前記撮像部で撮像した撮像画像に基づき標識情報を認識する認識部と、前記検知部によって検知した走行領域を走行する前記車両と前記認識部によって認識した標識情報との関連を判断する判断部と、を備え、前記検知部は、前記撮像画像から前記車両が走行している道路の路端を検知する路端検知部を有し、前記認識部は、前記撮像画像から標識を認識する標識認識部を有し、前記路端検知部は、前記撮像画像から検知した路面上にある一定高さ以上の凸状物体のうち連続している箇所を前記路端として検知し、前記判断部は、前記撮像画像から各要素を認識する要素認識部と、前記要素認識部によって認識した各要素に基づき前記車両の走行状況を認識する走行状況理解部と、前記標識認識部によって認識した標識のうち前記車両に適用される標識を、前記走行状況理解部によって認識した走行状況及び前記路端検知部による検知結果に基づいて判定する有効標識判定部と、を有する、ことを特徴とする。

本発明によれば、撮像画像から標識を認識するとともにその標識の自車両との関連を判断することができる画像認識装置を提供することができる。

上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

本発明に係る画像認識装置の概略構成を示すブロック図。 本発明の実施例１に係る車載ステレオカメラ装置を備える車載システムの概略構成を示すブロック図。 図２に示した車載ステレオカメラ装置１００における、認識アプリケーションの処理フローを示す図。 図３に示した各種物体認識処理２０９及び走行状況理解・標識判定処理２１１を実行する構成を示すブロック図。 路端検知部３０４で検知した路端を示す図。 分岐路において路端検知部３０４で検知した路端を示す図。 合流路において路端検知部３０４で検知した路端を示す図。 図４に示した走行状況理解部３０９による走行状況の認識の手順を示す遷移図。 走行状況と有効標識の関係を示す図。 走行状況と有効標識の関係を示す図。

以下、添付図面を参照して本発明の実施形態について説明する。なお、添付図面や以下の説明は、本発明の原理に則った具体的な実施例を示しているが、これらは本発明の理解のためのものであり、決して本発明を限定的に解釈するために用いられるものではない。

図１は、本発明に係る画像認識装置の概略構成を示すブロック図である。

画像認識装置１は、例えば車両に搭載され、撮像画像に基づき自車両の走行領域を検知する検知部２と、撮像画像に基づき標識情報を認識する認識部３と、検知部２によって検知した走行領域を走行する前記車両と認識部３によって認識した標識情報との関連を判断する判断部４と、を備えている。

画像認識装置１によれば、判断部４が、検知部２によって検知した走行領域を走行する自車両と認識部３によって認識した標識情報との関連を判断することで、例えば撮像画像から標識を認識するとともに自車両に対して有効な標識であるか否かの判定を行うことができる。なお、検知部２によって検知した走行領域を走行する自車両と認識部３によって認識した標識情報との関連とは、例えば、その標識が自車両に対して適用されるものであるか、その標識が自車両に対して適用されないものであるか、自車両が進行することによってその標識が自車両に対して適用されるようになるものであるか、自車両が進行することによってその標識が自車両に対して適用されないようになるものであるか、という関連であるとすることができる。

例えば、判断部４は、検知部２が検知した走行領域から所定範囲内に、認識部３が認識した標識情報が位置する場合に、該標識情報が自車両に適用されるものであると判断する。

また例えば、判断部４は、検知部２が検知した走行領域から所定範囲内に、認識部３が認識した標識情報が位置しない場合に、該標識情報が自車両に適用されないものであると判断し、該標識情報を外部に出力しない、または該標識情報を自車両に適用されないものである旨とともに外部に出力する。

図２は、本発明の実施例１に係る車載ステレオカメラ装置を備える車載システムの概略構成を示すブロック図である。

本実施例では、本発明に係る画像認識装置の一例としての車載ステレオカメラ装置１００について説明する。本実施例の車載ステレオカメラ装置１００は、不図示の車両に搭載され、車両前方の撮影対象領域の画像をカメラ１０１及び１０２によって撮像し、その撮像画像に基づいて車外環境を認識する装置である。

車載ステレオカメラ装置１００は、例えば、道路の白線、歩行者、車両、その他の立体物、信号、標識、点灯ランプなどの認識を行い、この車載ステレオカメラ装置１００を搭載した車両（自車両）のブレーキ、ステアリング調整などの調整を行う。また、車載ステレオカメラ装置１００を車両に搭載した後に、車両工場において光軸や測距誤差の補正量等を計算するエーミング処理も、この車載ステレオカメラ装置１００によって行う。

車載ステレオカメラ装置１００は、画像情報を取得（画像を撮像）する左右に配置された二つのカメラ１０１及び１０２と、カメラ１０１及び１０２の撮像を制御して、撮像した画像を取り込むための画像入力インタフェース１０３と、を有する。この画像入力インタフェース１０３を通して取り込まれたカメラ１０１及び１０２による撮像画像は、内部バス１０９を通してそのデータが送られ、画像処理部１０４や、演算処理部１０５で処理され、処理途中の結果や最終結果となる画像データなどが記憶部１０６に記憶される。

画像処理部１０４は、ステレオカメラであるカメラ１０１及び１０２のうちカメラ１０１の撮像素から得られる第一の画像と、ステレオカメラであるカメラ１０１及び１０２のうちカメラ１０２の撮像素子から得られる第二の画像と、を比較して、それぞれの画像に対して、撮像素子に起因するデバイス固有の偏差の補正や、ノイズ補間などの画像補正を行い、これを記憶部１０６に記憶する。更に第一の画像と第二の画像との間で、相互に対応する箇所を計算して、視差情報を計算し、この処理された画像情報等を記憶部１０６に記憶する。

演算処理部１０５は、記憶部１０６に蓄えられた画像および視差情報（画像上の各点に対する距離情報）を使い、車両周辺の環境を知覚するために必要な、各種物体の認識を行う。各種物体とは、人、他の車両、その他の障害物、信号機、標識、他の車両のテールランプやヘッドライド、などである。これら認識結果や中間的な計算結果の一部が、先程と同様に記憶部１０６に記録される。撮像した画像に対して各種物体認識を行った後に、これら認識結果を用いて車両の制御を計算する。

計算の結果として得られた車両の制御方針や、物体認識結果の一部はＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）インタフェース１０７を通して、車載ネットワークＣＡＮ１１０に伝えられ、これにより車両の制御が行われる。また、これらの動作について、各処理部が異常動作を起こしていないか、データ転送時にエラーが発生していないかどうかなどを、制御処理部１０８が監視しており、異常動作を防ぐ仕掛けをなっている。

また、画像処理部１０４は、内部バス１０９を介して、制御処理部１０８と、記憶部１０６と、演算処理部１０５と、画像入力インタフェース１０３と、ＣＡＮインタフェース１０７と、に接続されている。

制御処理部１０８、画像処理部１０４、記憶部１０６、演算処理部１０５、画像入力インタフェース１０３、及びＣＡＮインタフェース１０７のそれぞれは、単一または複数のコンピュータユニットにより構成されている。

記憶部１０６は、例えば、画像処理部１０４によって画像処理された画像情報等や、演算処理部１０５によって演算処理された画像情報等を記憶するメモリ等により構成されている。

車載ネットワークＣＡＮ１１０との入出力を行うＣＡＮインタフェース１０７は、車載ステレオカメラ装置１００から出力された情報を、車載ネットワークＣＡＮ１１０を介して自車両の制御システム（図示せず）に出力する。

続いて、図３を参照して、車載ステレオカメラ装置１００の内部における処理フローについて説明する。

図３は、図２に示した車載ステレオカメラ装置１００における、認識アプリケーションの処理フローを示す図である。

まず、車載ステレオカメラ装置１００では、左右のカメラ１０１及び１０２により車両の外部を撮像する。

次に、このカメラ１０１及び１０２の各々で撮像した画像データ２０３及び２０４のそれぞれについて、カメラ１０１及び１０２の撮像素子（不図示）が持つ固有の癖を吸収するための補正などの画像処理２０５を行う。この画像処理２０５は既知の如何なる手法を用いてもよい。画像処理２０５の処理結果である補正された二つの画像（左右画像）は画像バッファ２０６に蓄えられる。画像バッファ２０６は、図１の記憶部１０６に設けられる。

続いて、補正された二つの画像（画像バッファ２０６に蓄えられている画像）を使って、画像同士の照合を行い、これにより左右のカメラ１０１及び１０２で得た画像の視差情報を得る。左右画像の視差により、対象物上のある着目点が、左右のカメラ１０１及び１０２で得た画像上の何処と何処に対応するかが明らかとなり、例えば三角測量の原理によって、対象物までの距離が得られることになる。これを行うのが視差処理２０７である。画像処理２０５および視差処理２０７は、図１の画像処理部１０４で行われ、最終的に得られた画像、および視差情報は記憶部１０６に蓄えられる。

続いて、記憶部１０６に記憶された画像、および視差情報、すなわち、画像処理２０５および視差処理２０７の処理結果を用いて、各種物体認識処理２０９を行う。認識対象の物体としては、人、他の車両、その他の立体物、標識、信号機、テールランプ、路端、路面上立体物などがあるが、認識の際は必要に応じて認識辞書２１０を利用する。本実施例では、認識辞書２１０は記憶部１０６に記憶されているが、不図示の他の記憶装置に記憶されているものであってもよい。認識辞書２１０は、例えば、認識対象の形状や動作の特徴を、その種類（名称）や意味合いと対応付けて、辞書として記憶したものである。各種物体認識処理２０９では、画像処理２０５および視差処理２０７によって記憶部１０６に記憶された画像や視差情報を、認識辞書２１０と対比させて物体の認識を行う。各種物体認識処理２０９における物体の認識処理は既知の如何なる手法を用いてもよい。

続いて、各種物体認識処理２０９による物体認識の結果と、自車両の状態（速度、舵角など）（例えば、不図示の速度センサや操舵角センサなどで取得し、車載ネットワークＣＡＮ１１０及びＣＡＮインタフェース１０７を介して得た値）とを勘案して、走行状況理解・標識判定処理２１１において、走行状況理解及び自車両に対する有効な指示標識の判定を行う。この走行状況理解・標識判定処理２１１について詳しくは後述する。

走行状況理解・標識判定処理２１１による自車両に対する有効指示標識の結果に基づき、車両制御処理２１２では、例えば、乗員に速度超過や検知した標識の種別に関する警告を発し、自車両のブレーキングや舵角調整などの制動を行う、あるいは、対象物の回避制御を行う方針を決め、その警告や制動や回避制御などの方針を、ＣＡＮインタフェース１０７を通して出力する。

各種物体認識処理２０９および走行状況理解・標識判定処理２１１、並びに車両制御処理２１２は、図１の演算処理部１０５で行われ、車載ネットワークＣＡＮ１１０への出力は、ＣＡＮインタフェース１０７にて行われる。これらの各処理各手段は、例えば単一または複数のコンピュータユニットにより構成され、相互にデータを交換可能に構成されている。

次に、図４を参照して本実施例において物体を認識する処理についてさらに説明する。

図４は、図３に示した各種物体認識処理２０９及び走行状況理解・標識判定処理２１１を実行する構成を示すブロック図である。

要素認識部３０１は、撮像画像から各種物体である各要素を認識する。本実施例では、要素認識部３０１は、各要素の一つである信号機を認識する信号機認識部３０２と、各要素の一つである立体物・歩行者の検知を行う立体物・歩行者検知部３０３と、各要素の一つである路端の検知を行う路端検知部３０４と、各要素の一つである標識の認識を行う標識認識部３０５と、各要素の一つである路面マークのゼブラゾーン（導流帯）や路面に表示された白線や案内を認識するゼブラゾーン認識部３０６と、各要素の一つである路面上の立体物を認識する路面立体物認識３０７と、各要素の一つである高速道路の行き先を示す看板を認識する行き先看板認識部３０８と、を有して、それぞれで各要素の認識、検知を行う。

路端検知部３０４では、自車両が走行している道路の路端を検知する。この路端の検知について、図５Ａ、図５Ｂ及び図５Ｃを参照しながら、説明する
図５Ａは、路端検知部３０４で検知した路端を示す図である。図５Ａは、左右のカメラ１０１及び１０２で自車両の前方を撮像した撮像画像の一例である。

図５Ｂは、分岐路において路端検知部３０４で検知した路端を示す図である。図５Ｂは、図５Ａとは別の道路で、左右のカメラ１０１及び１０２で自車両の前方を撮像した撮像画像を俯瞰した図に加工した図の一例である。

図５Ｃは、合流路において路端検知部３０４で検知した路端を示す図である。図５Ｃは、図５Ａ及び図５Ｂとは別の道路で、左右のカメラ１０１及び１０２で自車両の前方を撮像した撮像画像を俯瞰した図に加工した図の一例である。

例えば、図４に示した立体物・歩行者検知部３０３によれば、路面上にある一定高さ以上の凸状物体を検知することができる。路端検知部３０４では、この立体物・歩行者検知部３０３で検知した凸状物体のうち連続している箇所を検知し、これにより、ガードレール、側壁、縁石などの道路の端部を検知するのが路端検知である。路端検知の結果である路端３２０は、図５Ａ、図５Ｂ及び図５Ｃに四角で囲んで示すように検知される。

この検知した路端３２０を参照し、図５Ａのように、自車両の進行方向の前方に向けて、左側の路端３２０と右側の路端３２０とがほぼ同じ角度で内側に傾いて続いている場合には、一本道であることが分かる。

有効標識判定部３１０では、自車両の走行領域（左側の路端３２０と右側の路端３２０との間の領域）に基づき、この走行領域から予め定めた範囲内に、標識認識部３０５により認識した標識がある場合に、その標識が自車両に適用される標識（有効な標識）であると判定する。走行領域から予め定めた範囲内の標識とは、例えば、左側の路端３２０及び右側の路端３２０から数ｍ（例えば２ｍ）以内の標識としてもよい。また、有効標識判定部３１０では、自車両の走行領域（左側の路端３２０と右側の路端３２０との間の領域）に基づき、この走行領域から予め定めた範囲外に、標識認識部３０５により認識した標識がある場合に、その標識が自車両に適用されない標識（有効ではない標識）であると判定してもよい。

なお、路面立体物認識３０７により対向車を認識した場合には、右側の路端３２０が対向車よりも右側である場合には（車両が左側通行である場合を想定している。）、左側の路端３２０から数ｍ（例えば２ｍ）以内の標識は、自車両に適用される標識（有効な標識）であると判定し、右側の路端３２０から数ｍ（例えば２ｍ）以内の標識は、自車両に適用されない標識（有効ではない標識）（対向車に適用される標識）であると判定してもよい。

なお、路面立体物認識３０７により自車両よりも右側に自車両と進行方向が同じである先行車を認識した場合には、右側の路端３２０が先行車よりも右側である場合であっても（車両が左側通行である場合を想定している。）、左側の路端３２０から数ｍ（例えば２ｍ）以内の標識は、自車両に適用される標識（有効な標識）であると判定し、右側の路端３２０から数ｍ（例えば２ｍ）以内の標識は、自車両に適用される標識（有効な標識）であると判定してもよい。

なお、路面立体物認識３０７により自車両よりも左側に自車両と進行方向が同じである先行車を認識した場合には、左側の路端３２０が先行車よりも左側である場合であっても（車両が左側通行である場合を想定している。）、左側の路端３２０から数ｍ（例えば２ｍ）以内の標識は、自車両に適用される標識（有効な標識）であると判定し、右側の路端３２０から数ｍ（例えば２ｍ）以内の標識は、自車両に適用される標識（有効な標識）であると判定してもよい。

図５Ｂの俯瞰図のように、自車両の進行方向の前方に向けて、左側の路端３２０は外側に傾き、右側の路端３２０は傾いていない場合には、左側に分岐路があることが分かる。また、図５Ｃの俯瞰図のように、自車両の進行方向の前方に向けて、左側の路端３２０は内側に傾き、右側の路端３２０は傾いていない場合には、左側に合流路があることが分かる。

図５Ｂでは、左側の分岐路を走行している車両に適用される標識３２１がある場合を示し、図５Ｃでは、左側の合流路を走行している車両に適用される標識３２１がある場合を示している。図５Ｂでは、標識認識部３０５は、左側の路端３２０の外側（走行領域から予め定めた範囲内）に標識３２１を認識し、図５Ｃでは、標識認識部３０５は、左側の路端３２０の外側（走行領域から予め定めた範囲内）に標識３２１を認識する。

路端検知部３０４で路端を検知することにより、路端の位置が判明し、道路の広がり方が距離に応じて変化することが検知できるため、道路に合流がある場合や分岐がある場合を検出することができ、標識３２１が自車両に対して適用される標識（有効な標識）であるか否かが判明する。

例えば、図５Ｂに示す場合において、自車両が本線を走行している走行状況のときは、分岐路に適用される標識３２１は、自車両に有効な標識ではない。また、図５Ｂに示す場合において、自車両が分岐路を走行している走行状況のときは、分岐路に適用される標識３２１は、自車両に有効な標識である。また、図５Ｃに示す場合において、自車両が本線を走行している走行状況のときは、合流路に適用される標識３２１は、自車両に有効な標識ではない。また、図５Ｃに示す場合において、自車両が合流路を走行している走行状況のときは、分岐路に適用される標識３２１は、自車両に有効な標識である。

なお、上述のように自車両の走行状況によって有効な標識が異なるため、図４に示した走行状況理解部３０９では自車両の走行状況の認識を行い、有効標識判定部３１０では、走行状況理解部３０９による認識結果を参照し、有効標識の判定を行う。有効標識判定部３１０では有効標識（有効と判定した標識）の情報を車両制御処理２１２に引き渡すことができ、ＣＡＮインタフェース１０７を介して車載ネットワークＣＡＮ１１０に引き渡すことができる。また、有効標識判定部３１０では有効ではない標識（有効と判定しなかった標識）の情報を車両制御処理２１２に引き渡さないことができ、ＣＡＮインタフェース１０７を介して車載ネットワークＣＡＮ１１０に引き渡さないことができる。また、有効標識判定部３１０では有効ではない標識（有効と判定しなかった標識）の情報であっても有効ではない旨とともに車両制御処理２１２に引き渡すことができ、ＣＡＮインタフェース１０７を介して車載ネットワークＣＡＮ１１０に引き渡すことができる。

以下に、図６を参照して走行状況理解部３０９の処理についてさらに説明する。

図６は、図４に示した走行状況理解部３０９による走行状況の認識の手順を示す遷移図である。

走行状況理解部３０９では、要素認識部３０１による認識結果、検知結果を併せ見て、自車両が、現在どのような走行状況にあるかを認識する。本実施例では、走行状況として、自車両が高速道路の本線を走行中である「高速道路本線走行」、自車両が高速道路の支線を走行中であって本線に入ろうとしている（合流前）「支線走行（ｉｎ）」、自車両が高速道路の支線を走行中であって本線から出たところである（分岐後）「支線走行（ｏｕｔ）」、自車両が市内道路を走行中である「市内道路走行」及び、自車両が市外道路を走行中である「市外道路走行」の五種類の走行状況を認識するようにしている。なお走行状況理解部３０９で認識する走行状況としては、本実施例以外の走行状況を認識するようにしてもよい。

走行状況理解部３０９では、走行開始時の走行状況は、前回の停車時の走行状況と同じであるとして、処理を開始する。なお、走行開始時の走行状況は、五種類の走行状況のうちのいずれかであると仮定し、その後、例えば要素認識部３０１による認識結果、検知結果に応じて、現在の走行状況を認識するようにしてもよい。

現在の走行状況が「市内道路走行」である場合において、
・信号機認識部３０２や立体物・歩行者検知部３０３による最後の歩行者／信号機の検知、認識箇所から一定時間または距離が経過し、緯度経度も一定範囲の変化をした。
または、
・行き先看板認識部３０８によりＣｉｔｙＥｘｉｔ看板を認識した。
の場合に、走行状況を「市外道路走行」に遷移させる。

現在の走行状況が「市内道路走行」である場合において、
・信号機認識部３０２により信号機を一定時間検知しない。
の場合に、走行状況を「高速道路本線走行」に遷移させる。

現在の走行状況が「市外道路走行」である場合において、
・信号機認識部３０２により信号機を一定時間検知しない。
の場合に、走行状況を「高速道路本線走行」に遷移させる。

現在の走行状況が「市外道路走行」である場合において、
・ＨｉｇｈＷａｙＥｎｔｒｙ看板を認識した。
の場合に、走行状況を「支線走行（ｉｎ）」に遷移させる。

現在の走行状況が「市外道路走行」である場合において、
・信号機認識部３０２や立体物・歩行者検知部３０３により高い頻度で歩行者／信号機を検知、認識した。
または、
・行き先看板認識部３０８によりＣｉｔｙＥｎｔｒｙ看板を認識した。
の場合に、走行状況を「市内道路走行」に遷移させる。

現在の走行状況が「支線走行（ｉｎ）」である場合において、
・標識認識部３０５により高速な速度（高速道路でのみ許容される速度）の速度制限標識を認識した。
または
・直線路に入ってから一定時間経過した。
の場合に、走行状況を「高速道路本線走行」に遷移させる。

現在の走行状況が「高速道路本線走行」である場合において、
・路端検知部３０４により前方道路エリアの道幅の拡大を検知した（支線の分岐路の出現により道幅が拡大）。
または、
・左端（または右端）車線への車線変更（舵角変更）があった。
または、
・標識認識部３０５により低速な速度（一般道で許容される速度）の速度制限標識を認識し、強いカーブ（曲率小のカーブ）に入った（支線への車線変更、支線特有の螺旋状のループ線を走行）。
の場合に、走行状況を「支線走行（ｏｕｔ）」に遷移させる。

現在の走行状況が「高速道路本線走行」である場合において、
・信号機認識部３０２や立体物・歩行者検知部３０３により高い頻度で歩行者／信号機を検知、認識した。
または、
・行き先看板認識部３０８によりＣｉｔｙＥｎｔｒｙ看板を認識した。
の場合に、走行状況を「市内道路走行」に遷移させる。

現在の走行状況が「高速道路本線走行」である場合において、
・ＨｉｇｈＷａｙＥｎｄ看板を認識した。
または、
・信号機認識部３０２や立体物・歩行者検知部３０３により歩行者／信号機を検知、認識した。
の場合に、走行状況を「市外道路走行」に遷移させる。

現在の走行状況が「支線走行（ｏｕｔ）」である場合において、
・信号機認識部３０２や立体物・歩行者検知部３０３により高い頻度で歩行者／信号機を検知、認識した。
または、
・行き先看板認識部３０８によりＣｉｔｙＥｎｔｒｙ看板を認識した。
の場合に、走行状況を「市内道路走行」に遷移させる。

以上のようにして走行状況理解部３０９によって認識した走行状況は、図４に示した有効標識判定部３１０に送られる。

なお、標識の中には高速道路に設置され、且つ市内道路には設置されない標識（以下「高速道路用標識」という。）や、市内道路に設置され、且つ高速道路には設置されない標識（以下「市内道路用標識」という。）が存在する。そこで、走行状況理解部３０９では、カメラ１０１及び１０２で撮像した画像を用いて標識認識部３０５により認識した標識が、高速道路用標識である場合には走行状況を「高速道路走行」にし、市内道路用標識である場合には走行状況を「市内道路走行」にするようにしてもよい。

図７Ａ及び図７Ｂは走行状況と有効標識の関係を示す図である。図７Ａ及び図７Ｂにおいて、標識３２１は、最高速度がＡｋｍであることを示す速度制限標識である。

有効標識判定部３１０では、要素認識部３０１による認識結果、検知結果や、走行状況理解部３０９による走行状況に基づき、自車両に対する有効な標識を判定する。

例えば、
ａ）支線に進入する場合：標識認識結果と自車両の走行状況を取得後、自車両が減速した場合は支線に進入したと判断し（図７Ａ参照）、支線に対する標識３２１を有効な標識であると判定し、出力する、
ｂ）本線の走行を続ける場合：標識認識結果と自車両の走行状況を取得後、自車両の車速などの車両情報に大きな変化が無い場合は（図７Ｂ参照）、本線の走行を継続していると判断し、本線に対する標識を有効な標識であると判定し、出力する、
ｃ）挙動が確定するまでの間は、本線と支線の両方の標識を、有効な標識である可能性があるものとして同時に出力し、その後の自車両挙動によって本線、支線の標識の有効性を判定する、
といったように、有効標識の判定を行う。

なお、高速道路において、合流・分岐エリアの有無を判断するためには、１）路端検知による判断、２）行き先看板認識による判断、３）白線・ゼブラソーン認識による判断、４）路面上の立体物認識による判断、などにより行うことができる。図５Ａ、図５Ｂ及び図５Ｃに示したように、立体物・歩行者検知部３０３で検知した路端３２０を用いて、合流・分岐エリアにおいて、道路の広がり方が距離に応じて変化することが検知できるため、合流・分岐エリアの有無の判断が可能となる。

以上により、図７Ａや図７Ｂに示したケースなどで、標識認識の一意性を同定することが可能となる。この場合、標識３２１は、三車線の本線に対する指示標識か、支線のみに対する指示標識かが存在位置（横位置）だけでは不明である。これに対して、本実施例の走行状況理解部３０９及び有効標識判定部３１０によれば、高速道路を走行中と判断される場合において、且つ、合流・分岐エリアと推定される場合において、車両が減速または車線変更で標識３２１に近づく場合、支線に行くものと判断して標識３２１を有効標識とする。また、車両に減速が見られない、直進するといった場合には標識３２１を有効標識とせず、高速道路の本線の制限速度を有効とするといった切り分けが可能となる。

なお、標識認識部３０５は、速度制限標識などの規制標識のほか、如何なる標識を認識するものであってもよく、例えば、案内標識や指示標識や補助標識を認識することによって、その認識結果を走行状況理解部３０９や有効標識判定部３１０で参照し、走行状況の認識や有効標識の判定の正確性を高めることができる。

また、標識認識部３０５が、案内標識や指示標識や補助標識を認識することによって、例えば「出口１ｋｍ」のようにこれから先で生じる事象の予測を行うことができ、その予測結果を走行状況理解部３０９や有効標識判定部３１０で参照し、走行状況の認識や有効標識の判定の正確性を高めることができる。

また、ゼブラゾーン認識部３０６によって、分岐路の破線の白線を認識することで、その認識結果を走行状況理解部３０９や有効標識判定部３１０で参照し、走行状況の認識や有効標識の判定の正確性を高めることができる。

＜付記１＞
なお、以上説明した本発明は、
１．
撮像画像に基づき車両の走行領域を検知する検知部（例えば、検知部２）と、
撮像画像に基づき標識情報を認識する認識部（例えば、認識部３）と、
前記検知部によって検知した走行領域を走行する前記車両と前記認識部によって認識した標識情報との関連を判断する判断部（例えば、判断部４）と、
を備えた、
ことを特徴とする画像認識装置、としたので、
・撮像画像から標識を認識するとともにその標識の自車両との関連を判断することができる画像認識装置を提供することができる。
・また、判断部が、検知部によって検知した走行領域を走行する自車両と認識部によって認識した標識情報との関連を判断することで、例えば撮像画像から標識を認識するとともに自車両に対して有効な標識であるか否かの判定を行うことができる。

また、本発明は、
２．
１．に記載の画像認識装置において、
前記判断部は、前記検知部が検知した走行領域から所定範囲内に、前記認識部が認識した標識情報が位置する場合に、該標識情報が前記車両に適用されるものであると判断する、ことを特徴とする画像認識装置、としたので、
・判断部が、走行領域から所定範囲内に標識情報が位置する場合に、該標識情報が自車両に適用されるものであると判断することで、自動運転時や運転支援時の安全性の向上に寄与することができる。

また、本発明は、
３．
１．に記載の画像認識装置において、
前記判断部は、前記検知部が検知した走行領域から所定範囲内に、前記認識部が認識した標識情報が位置しない場合に、該標識情報が前記車両に適用されないものであると判断し、該標識情報を外部に出力しない、または該標識情報を前記車両に適用されないものである旨とともに外部に出力する、
ことを特徴とする画像認識装置、としたので、
・判断部が、走行領域から所定範囲内に標識情報が位置しない場合に、該標識情報が自車両に適用されないものであると判断することで、自動運転時や運転支援時の安全性の向上に寄与することができる。

また、本発明は、
４．
１．に記載の画像認識装置において、
前記車両に搭載され、前記撮像画像から該車両に対して有効な標識を判定する画像認識装置であって、
前記撮像画像を撮像する撮像部をさらに備え、
前記検知部は前記撮像画像から路端を検知する路端検知部を有し、
前記認識部は前記撮像画像から標識を認識する標識認識部を有し、
前記判断部は、前記撮像画像から各要素を認識する要素認識部と、前記要素認識部によって認識した各要素に基づき前記車両の走行状況を認識する走行状況理解部と、前記標識認識部によって認識した標識のうち前記車両に適用される標識を、前記走行状況理解部によって認識した走行状況及び前記路端検知部による検知結果に基づいて判定する有効標識判定部と、を有する、
ことを特徴とする画像認識装置、としたので、
・撮像画像から標識を認識するとともにその標識の自車両との関連（自車両に適用される標識であるか）を判断することができる画像認識装置を提供することができる。

また、本発明は、
５．
４．に記載の画像認識装置において、
前記撮像部は左右に配置された二つのカメラから成る、
ことを特徴とする画像認識装置、としたので、
・二つのカメラで視差画像を得ることによって、より高精度に各要素の認識を行うことができる。

また、本発明は、
６．
４．に記載の画像認識装置において、
前記検知部は、前記路端検知部で検知した右側の路端と左側の路端との間を走行領域として検知する、
ことを特徴とする画像認識装置、としたので、
・路端を検出することで、道路の幅が進行方向に向けて広がっているのか、狭まっているのかを知ることができ、これにより合流路や分岐路などの道路状況を知ることができて、自車両に対して適用される標識の見極めをより正確に行うことができる。

また、本発明は、
７．
４．に記載の画像認識装置において、
前記走行状況理解部は、前記車両が高速道路の本線を走行中であるという走行状況と前記車両が高速道路の支線を走行中であるという走行状況とを認識する、
ことを特徴とする画像認識装置、としたので、
・高速道路の本線を走行中か、支線を走行中かを認識することで、自車両に対して適用される標識の見極めをより正確に行うことができる。

また、本発明は、
８．
４．に記載の画像認識装置において、
前記走行状況理解部は、前記標識認識部によって認識した標識が高速道路用標識である場合には前記車両が高速道路を走行中であるという走行状況と認識し、前記標識認識部によって認識した標識が市内道路用標識である場合には前記車両が市内道路を走行中であるという走行状況と認識する、
ことを特徴とする画像認識装置、としたので、
・標識の認識結果から、高速道路を走行中か、市内道路を走行中かを認識することで、自車両に対して適用される標識の見極めをより正確に行うことができる。

なお、本発明は、上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。

また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。

また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、上述した個々の実施例の各要素のいかなる組合せも本発明に含むものである。

１…画像認識装置、２…検知部、３…認識部、１００…車載ステレオカメラ装置、１０１…左カメラ、１０２…右カメラ、１０３…画像入力インタフェース、１０４…画像処理部、１０５…演算処理部、１０６…記憶部、１０７…ＣＡＮインタフェース、１０８…制御処理部、１０９…内部バス、１１０…車載ネットワークＣＡＮ。

Claims (7)

1. 車両に搭載され、前記撮像画像から該車両に対して有効な標識を判定する画像認識装置であって、
   撮像画像を撮像する撮像部と、
   前記撮像部で撮像した撮像画像に基づき前記車両の走行領域を検知する検知部と、
   前記撮像部で撮像した撮像画像に基づき標識情報を認識する認識部と、
   前記検知部によって検知した走行領域を走行する前記車両と前記認識部によって認識した標識情報との関連を判断する判断部と、
   を備え、
   前記検知部は、前記撮像画像から前記車両が走行している道路の路端を検知する路端検知部を有し、
   前記認識部は、前記撮像画像から標識を認識する標識認識部を有し、
   前記路端検知部は、前記撮像画像から検知した路面上にある一定高さ以上の凸状物体のうち連続している箇所を路端として検知し、
   前記判断部は、前記撮像画像から各要素を認識する要素認識部と、前記要素認識部によって認識した各要素に基づき前記車両の走行状況を認識する走行状況理解部と、前記標識認識部によって認識した標識のうち前記車両に適用される標識を、前記走行状況理解部によって認識した走行状況及び前記路端検知部による検知結果に基づいて判定する有効標識判定部と、を有する、
   ことを特徴とする画像認識装置。
2. 請求項１に記載の画像認識装置において、
   前記判断部は、前記検知部が検知した走行領域から所定範囲内に、前記認識部が認識した標識情報が位置する場合に、該標識情報が前記車両に適用されるものであると判断する、
   ことを特徴とする画像認識装置。
3. 請求項１に記載の画像認識装置において、
   前記判断部は、前記検知部が検知した走行領域から所定範囲内に、前記認識部が認識した標識情報が位置しない場合に、該標識情報が前記車両に適用されないものであると判断し、該標識情報を外部に出力しない、または該標識情報を前記車両に適用されないものである旨とともに外部に出力する、
   ことを特徴とする画像認識装置。
4. 請求項１に記載の画像認識装置において、
   前記撮像部は左右に配置された二つのカメラから成る、
   ことを特徴とする画像認識装置。
5. 請求項１に記載の画像認識装置において、
   前記検知部は、前記路端検知部で検知した右側の路端と左側の路端との間を走行領域として検知する、
   ことを特徴とする画像認識装置。
6. 請求項１に記載の画像認識装置において、
   前記走行状況理解部は、前記車両が高速道路の本線を走行中であるという走行状況と前記車両が高速道路の支線を走行中であるという走行状況とを認識する、
   ことを特徴とする画像認識装置。
7. 請求項１に記載の画像認識装置において、
   前記走行状況理解部は、前記標識認識部によって認識した標識が高速道路用標識である場合には前記車両が高速道路を走行中であるという走行状況と認識し、前記標識認識部によって認識した標識が市内道路用標識である場合には前記車両が市内道路を走行中であるという走行状況と認識する、
   ことを特徴とする画像認識装置。

Images