JP7265441B2 - 画像認識装置および画像認識方法 - Google Patents

Description

本開示は、画像認識装置および画像認識方法に関する。

画像認識装置として、認識対象の誤認識を防止する技術が知られている。例えば、特許文献１には、撮像画像から抽出した水平エッジよりも上方向にある特徴点の、実空間における位置に応じて、車両以外の平面的な物体を車両と誤認識することを防止する技術が記載されている。

特開２０１６－０５３８６７号公報

車両後方に、道路標識に類似したデザインのステッカが貼られることがある。この場合、ステッカは道路標識に類似した画像特徴を備えるため、道路標識と誤認識されるおそれがある。また、画像内における道路標識やステッカの位置は一意に定まらないため、従来の技術では誤認識を防止できないおそれがある。そのため、道路標識の誤認識を抑制できる技術が望まれていた。

本開示は、上述の課題を解決するためになされたものであり、以下の形態として実現することが可能である。

本開示の一形態によれば、画像認識装置（１１０）が提供される。画像認識装置は、カメラ（１２２）で撮影した画像を取得する画像取得部（１１１）と、前記画像から道路標識の候補を検出する標識検出部（１１２）と、前記画像から移動体を認識する移動体認識部（１１３）と、前記候補が前記移動体の領域上にある度合い示す照合度を算出する算出部（１１４）と、前記照合度に応じて、前記候補が道路標識であるか否かを判定する判定部（１１５）と、を備える。

この形態の画像認識装置によれば、判定部は、道路標識の候補が移動体の領域上にある度合いを示す照合度に応じて、道路標識であるか否かを判定するため、道路標識の誤認識を抑制できる。

自動運転システムの構成を示す概要図である。 画像認識処理を表わすフローチャートである。 標識候補を含む画像の一例を示す図である。 標識候補を含む画像の他の例を示す図である。 標識候補を含む画像の他の例を示す図である。

Ａ．第１実施形態：
図１に示すように、車両１０は、自動運転制御システム１００を備える。本実施形態において、自動運転制御システム１００は、画像認識装置１１０と、カメラ１２２と、物体センサ１２４と、通知部１４０と、自動運転制御部２１０と、駆動力制御ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）２２０と、制動力制御ＥＣＵ２３０と、操舵制御ＥＣＵ２４０と、を備える。画像認識装置１１０と、自動運転制御部２１０と、駆動力制御ＥＣＵ２２０と、制動力制御ＥＣＵ２３０と、操舵制御ＥＣＵ２４０とは、車載ネットワーク２５０を介して接続される。なお、車両１０は、自動運転に限らず運転手によって手動で運転されてもよい。

カメラ１２２は、自車両の周囲を撮像して画像を取得する。物体センサ１２４は、自車両の周囲の状況を検出する。物体センサ１２４として、例えば、レーザーレーダー、ミリ波レーダー、超音波センサ等の反射波を利用した物体センサが挙げられる。

画像認識装置１１０は、画像取得部１１１と、標識検出部１１２と、移動体認識部１１３と、算出部１１４と、判定部１１５と、を備える。画像認識装置１１０は、中央処理装置（ＣＰＵ）や、ＲＡＭ、ＲＯＭにより構成されたマイクロコンピュータ等からなり、予めインストールされたプログラムをマイクロコンピュータが実行することによって、これらの各部の機能を実現する。ただし、これらの各部の機能の一部又は全部をハードウェア回路で実現してもよい。

画像取得部１１１は、カメラ１２２により撮影された車両１０の周辺の画像を取得する。

標識検出部１１２は、例えば、パターンマッチング法等の画像解析技術を用いて、画像取得部１１１が取得した画像から、道路標識の候補（以下、「標識候補」という）を検出する。本実施形態において、「道路標識」は、道路標識および路面標示を含む。「標識候補」は、道路標識と同一または類似の外観であるものであり、例えば、走行速度の意思表示としてトラックやバスに貼られている、速度制限を示す道路標識に類似したステッカや、歩行者が着ている、道路標識と同一のデザインの柄である服等が含まれる。標識検出部１１２は、標識候補の存在、位置、大きさ、距離等を認識する。また、標識検出部１１２は、標識候補が示す道路標識の指示内容を認識する。

移動体認識部１１３は、例えば、セマンティックセグメンテーション等の画像解析技術を用いて、画像取得部１１１が取得した画像から移動体を認識する。本実施形態において、「移動体」とは、移動し得る物体を意味しており、四輪車や二輪車を含む車両と、人とを含む。より具体的には、移動体認識部１１３は、移動体の存在、位置、大きさ、距離等を認識する。なお、移動体認識部１１３は、物体センサ１２４の出力信号や、車車間通信によってこれらの情報の一部または全部を認識してもよい。

算出部１１４は、標識検出部１１２の検出した標識候補が、移動体認識部１１３の認識した移動体の領域上にある度合い示す照合度を算出する。本実施形態において、算出部１１４は、画像における標識候補の領域が、移動体の領域上に重なっている度合いを０から１の範囲で表す照合度として算出する。照合度は、標識候補の領域が移動体の領域上に重なっている度合いが高いほど大きい。

判定部１１５は、算出部１１４の算出した照合度に応じて、標識候補が道路標識であるか否かを判定する。

通知部１４０は、車両１０の運転者に対して、判定部１１５が道路標識であると判定した道路標識に関して通知をする。通知部１４０は、例えば、カーナビゲーション等文字や絵を映し出す表示装置や、スピーカ等の音声装置を用いて、標識が示す情報を通知する。

自動運転制御部２１０は、中央処理装置（ＣＰＵ）や、ＲＡＭ、ＲＯＭにより構成されたマイクロコンピュータ等からなり、予めインストールされたプログラムをマイクロコンピュータが実行することによって、自動運転機能を実現する。自動運転制御部２１０は、例えば、画像認識装置１１０が認識した道路標識に応じて、駆動力制御ＥＣＵ２２０および制動力制御ＥＣＵ２３０、操舵制御ＥＣＵ２４０を制御する。

駆動力制御ＥＣＵ２２０は、エンジンなど車両の駆動力を発生するアクチュエータを制御する電子制御装置である。運転者が手動で運転を行う場合、駆動力制御ＥＣＵ２２０は、アクセルペダルの操作量に応じてエンジンや電気モータである動力源を制御する。一方、自動運転を行う場合、駆動力制御ＥＣＵ２２０は、自動運転制御部２１０で演算された要求駆動力に応じて動力源を制御する。

制動力制御ＥＣＵ２３０は、車両の制動力を発生するブレーキアクチュエータを制御する電子制御装置である。運転者が手動で運転を行う場合、制動力制御ＥＣＵ２３０は、ブレーキペダルの操作量に応じてブレーキアクチュエータを制御する。一方、自動運転を行う場合、制動力制御ＥＣＵ２３０は、自動運転制御部２１０で演算された要求制動力に応じてブレーキアクチュエータを制御する。

操舵制御ＥＣＵ２４０は、車両の操舵トルクを発生するモータを制御する電子制御装置である。運転者が手動で運転を行う場合、操舵制御ＥＣＵ２４０は、ステアリングハンドルの操作に応じてモータを制御して、ステアリング操作に対するアシストトルクを発生させる。これにより、運転者が少量の力でステアリングを操作でき、車両の操舵を実現する。一方、自動運転を行う場合、操舵制御ＥＣＵ２４０は、自動運転制御部２１０で演算された要求操舵角に応じてモータを制御することで操舵を行う。

図２に示す画像認識処理は、画像認識装置１１０が、標識検出部１１２の検出した標識候補が道路標識であるか否かを判定する処理である。この処理は車両１０の走行中、画像認識装置１１０により繰り返し実行される処理である。まず、画像取得部１１１は、ステップＳ１００で、カメラ１２２が撮影した車両１０の周辺画像を取得する。

次に、標識検出部１１２は、ステップＳ１１０において、ステップＳ１００で取得した画像から標識候補を検出する。続いて、移動体認識部１１３は、ステップＳ１２０において、ステップＳ１００で取得した画像から移動体を認識する。なお、ステップＳ１１０とステップＳ１２０とはこの順に限らず実行されてもよく、並列して実行されてもよい。

続いて、算出部１１４は、ステップＳ１３０において、ステップＳ１１０で検出した標識候補のある領域が、ステップＳ１２０で認識した移動体のある領域上に重なっている度合いを照合度として算出する。

続いて、判定部１１５は、ステップＳ１４０の処理において、ステップＳ１３０で算出した照合度が予め定めた閾値以上か否かを判定する。閾値は、同じ物体上の領域であると判定できる照合度であり、予めシミュレーションや実験を行うことにより定めることができる。照合度が閾値以上である場合、つまり、標識候補が移動体上にある場合、判定部１１５は、ステップＳ１５０の処理に進み、標識候補が道路標識でないと判定する。一方、照合度が閾値より小さい場合、つまり、標識候補が移動体上にない場合、判定部１１５は、ステップＳ１５５の処理に進み、標識候補が道路標識であると判定する。なお、ステップＳ１５５の後に、画像認識装置１１０は、通知部１４０を制御して道路標識に関する通知を行ってもよい。標識検出部１１２は、ステップＳ１５５の後に、道路標識の示す情報を認識してもよく、ステップＳ１１０の時点で道路標識の示す情報を認識してもよい。

図３および図４に示すように、画像認識装置１１０は、カメラ１２２が撮影した画像から検出した標識候補が標識であるか否かを判定する。閾値は、例えば０．６である。図３に示すように、移動体である他車両２０がある領域Ｄ１と、標識候補Ｓ１がある領域Ｄ２とが全て重なっている場合、照合度は１である。そのため、照合度は閾値以上であり、標識候補Ｓ１が道路標識でないと判定される。図４に示すように、移動体である他車両３０がある領域Ｄ３と、標識候補Ｓ２がある領域Ｄ４とが全く重なっていない場合、照合度は０である。そのため、照合度は閾値より小さく、標識候補Ｓ２が道路標識であると判定される。

以上で説明した本実施形態の画像認識装置１１０によれば、道路標識の候補が移動体の領域上にある度合いを示す照合度に応じて、道路標識の候補が道路標識であるか否かを判定するため、道路標識の誤認識を抑制できる。

Ｂ．第２実施形態：
第２実施形態は、算出部１１４が、予め定められた期間内に算出した過去の複数の照合度の履歴を用いて演算を行い、照合度を算出する点が、第１実施形態と異なる。第２実施形態の画像認識装置の構成は、第１実施形態の画像認識装置の構成と同一であるため、画像認識装置の構成の説明は省略する。

第２実施形態では、ステップＳ１３０（図２）において、算出部１１４が、予め定められた期間内に算出した過去の複数の照合度の履歴を用いて演算を行い、照合度を算出する。演算は、例えば、平均値や中央値等の代表値を求める演算である。また、分散を求めて、分散が大きい場合には、最小値を照合度としてもよい。

図５に示すように、他車両４０がある領域Ｄ５と、標識候補Ｓ３がある領域Ｄ６とが重なっている場合であっても、他車両４０が走行することで、領域Ｄ５が移動し、領域Ｄ６と重ならなくなる。算出部１１４が、予め定められた期間内に算出した過去の複数の照合度の履歴を用いて演算を行い、照合度を算出することで、より正確な照合度を算出できる。

以上で説明した本実施形態の画像認識装置１１０によれば、判定部１１５が、予め定められた期間無いに算出した過去の複数の照合度の履歴を用いて演算を行い算出した照合度に応じて、道路標識の候補が道路標識であるか否かを判定するため、より道路標識の誤認識を抑制できる。

Ｃ．その他の実施形態：
（Ｃ１）上述した実施形態において、算出部１１４は、標識候補のある領域が、移動体の領域上に重なっている度合いを照合度として算出している。この代わりに、算出部１１４は、標識候補のある領域が、移動体が存在している路面の領域に重なっている度合いに応じて照合度を算出してもよい。路面の領域は、カメラ１２２が撮影した画像から認識される。例えば、算出部１１４は、画像上における標識候補の領域が、路面の領域上に重なっている度合いを算出し、１からその算出した度合いを減算した値を照合度としてもよい。

（Ｃ２）上述した実施形態において、判定部１１５は、標識候補のある位置に応じて閾値を定めてもよい。例えば、標識候補が路側周辺に位置する場合、その標識候補は道路標識である可能性が高いため、閾値を高く設定する。

（Ｃ３）上述した実施形態において、移動体認識部１１３は、セマンティックセグメンテーションを用いて、画像取得部１１１が取得した画像から移動体を認識している。この代わりに、パターンマッチング等の画像解析技術を用いて、画像取得部１１１が取得した画像から移動体を認識してもよい。

本開示は、上述の実施形態に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態中の技術的特徴は、上述した課題を解決するために、あるいは上述の効果の一部又は全部を達成するために、適宜、差し替えや組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜削除することが可能である。

１０…車両、１００…自動運転制御システム、１１０…画像認識装置、１１１…画像取得部、１１２…標識検出部、１１３…移動体認識部、１１４…算出部、１１５…判定部、１２２…カメラ

Claims (6)

1. 画像認識装置であって、
   カメラ（１２２）で撮影した画像を取得する画像取得部（１１１）と、
   前記画像から道路標識の候補を検出する標識検出部（１１２）と、
   前記画像から移動体を認識する移動体認識部（１１３）と、
   前記候補が前記移動体の領域上にある度合いを示す照合度を算出する算出部（１１４）と、
   前記照合度に応じて、前記候補が道路標識であるか否かを判定する判定部（１１５）と、を備える、画像認識装置。
2. 請求項１に記載の画像認識装置であって、
   前記移動体認識部は、セマンティックセグメンテーションを用いて前記画像から前記移動体を認識する、画像認識装置。
3. 請求項１または請求項２に記載の画像認識装置であって、
   前記算出部は、前記画像における前記候補の領域が前記移動体の領域上に重なっている度合いを前記照合度として算出する、画像認識装置。
4. 請求項１から請求項３までのいずれか一項に記載の画像認識装置であって、
   前記算出部は、予め定められた期間内に算出した過去の複数の照合度の履歴を用いて演算を行い、前記照合度を算出する、画像認識装置。
5. 請求項４に記載の画像認識装置であって、
   前記演算は、前記複数の照合度の代表値を求める演算である、画像認識装置。
6. 画像認識装置により実行される画像認識方法であって、
   カメラで撮影した画像を取得する画像取得工程と、
   前記画像から道路標識の候補を検出する標識検出工程と、
   前記画像から移動体を認識する移動体認識工程と、
   前記候補が前記移動体の領域上にある度合いを示す照合度を算出する算出工程と、
   前記照合度に応じて、前記候補が道路標識であるか否かを判定する判定工程と、を備える、画像認識方法。

Images