JP7176478B2 - 画像認識装置 - Google Patents

Description

本発明は、時系列のフレーム画像から物標を認識する画像認識装置に関する。

従来から、例えば、車載カメラによって外界を撮影して得られた画像に基づいて、車両周辺に存在する物体を認識し、その認識情報に基づいて運転支援を行う装置が知られている。例えば、特許文献１では、車載カメラにより撮影された入力画像をニューラルネットワークに取得させ、入力画像中の危険領域と当該危険領域の特徴とを推定させる危険予測器が提案されている。

例えば、画像処理により、入力画像に映っている物体の位置検知、および、物体の識別（物体が何なのかの識別）を行う手法として、ＹＯＬＯ（You Only Look Once）やＳＳＤ（Single Shot Multibox Detector）が知られている。

特開２０１７－１６２４３８号公報

入力画像から、その画像に映っている物体を認識する場合には、認識された物体（以下、物標と呼ぶ）の位置検知精度および識別精度が低いと、画像認識結果を用いて実施される制御システムを適正に作動させることができなくなるおそれがある。従って、物標の認識精度の向上が望まれる。

本発明は、上記課題を解決するためになされたものであり、物標の認識精度を向上させることを目的とする。

上記目的を達成するために、本発明の画像認識装置の特徴は、
車両等の移動体から外界を撮影して得られた時系列のフレーム画像を画像処理することによって、前記フレーム画像に映っている物標を抽出し、前記抽出した物標に係る物標情報を出力する画像認識装置（１）において、
前記フレーム画像ごとに、前記物標の位置検知と識別とを行う物標認識手段（２１）と、
前記時系列のフレーム画像間における識別が共通する物標の位置変化が、前記移動体から外界を撮影した場合において現れる物標の位置変化の特徴である外界変化特徴を有している物標を、前記外界変化特徴を有していない物標に比べて優先的に抽出する優先抽出手段（２２）と
を備えたことにある。

本発明の画像認識装置は、車両等の移動体から外界を撮影して得られた時系列のフレーム画像を画像処理することによって、フレーム画像に映っている物標を抽出し、抽出した物標に係る物標情報を出力する。物標を抽出するとは、フレーム画像で認識された物標のうち、その物標情報を出力すべき対象とすることである。従って、抽出された物標は、画像認識装置で認識された物標とされ、その物標に係る物標情報が画像認識装置から出力される。

画像認識装置は、物標認識手段と優先抽出手段とを備えている。物標認識手段は、フレーム画像ごとに、物標の位置検知と識別（物標が何であるかの識別）とを行う。

物標認識手段が、各フレーム画像で物標を正しく認識している場合（位置検知と識別とが適正である場合）、フレーム画像間における識別が共通する物標の位置変化に着目すると、その位置変化は、移動体から外界を撮影した場合において現れる特徴を有する。一方、物標を正しく認識できていない場合、フレーム画像間における識別が共通する物標の位置変化は、移動体から外界を撮影した場合において現れる特徴を有さない。

そこで、優先抽出手段は、時系列のフレーム画像間における識別が共通する物標の位置変化が、移動体から外界を撮影した場合において現れる物標の位置変化の特徴である外界変化特徴を有している物標を、外界変化特徴を有していない物標に比べて優先的に抽出する。画像認識装置は、抽出された物標を自身が認識した物標として、その物標に係る物標情報を出力する。

従って、画像認識装置が認識する物標の認識精度を向上させることができる。

本発明の一側面の特徴は、
前記外界変化特徴は、前記物標の位置変化の特徴に加えて、前記物標の大きさの変化の特徴も含んでいることにある。

外界変化特徴は、物標の大きさの変化にも現れる。そこで、本発明の一側面においては、外界変化特徴は、物標の位置変化の特徴に加えて、物標の大きさの変化の特徴も含んでいる。従って、物標の認識精度を一層向上させることができる。

本発明の一側面の特徴は、
前記外界変化特徴は、動きベクトルの消失点の近傍位置で認識された物標については、フレーム画像間における位置の変化が所定量以下であるという特徴を含んでいることにある。

動きベクトルの消失点とは、複数の動きベクトルの直線が互いに交差する点である。従って、動きベクトルの消失点の近傍位置で認識された物標は、フレーム画像間における位置の変化は少ない。従って、こうした特徴を外界変化特徴に含めることにより、物標の認識精度を一層向上させることができる。

本発明の一側面の特徴は、
前記外界変化特徴は、前記識別が共通する物標は、同一直線上を移動するという特徴を含んでいることにある。
この場合、前記外界変化特徴は、任意のフレーム画像における物標と動きベクトルの消失点とを結ぶ直線上を、他のフレーム画像における前記識別が共通する物標が移動するという特徴を含んでいるとよい。

各フレーム画像で物標を正しく認識している場合（位置検知と識別とが適正である場合）、フレーム画像間における識別が共通する物標は、動きベクトルの消失点を通る直線上を移動する。従って、こうした特徴を外界変化特徴に含めることにより、物標の認識精度を一層向上させることができる。

本発明の一側面の特徴は、
前記外界変化特徴は、前記識別が共通する物標の移動間隔の変化が一定の規則に沿っているという特徴を含んでいることにある。
また、前記外界変化特徴は、前記識別が共通する物標の大きさの変化が一定の規則に沿っているという特徴を含んでいることにある。

各フレーム画像で物標を正しく認識している場合（位置検知と識別とが適正である場合）、フレーム画像間における識別が共通する物標は同一直線上を移動する。このとき、物標の移動間隔の変化は一定の規則性を有する。また、物標の大きさについても一定の規則性を有する。例えば、物標の移動間隔の変化率は一定であるという規則性、および、物標の大きさの変化率は一定であるという規則性が表れる。従って、こうした特徴を外界変化特徴に含めることにより、物標の認識精度を一層向上させることができる。

本発明の一側面の特徴は、
少なくとも前記優先抽出手段は、時系列の複数のフレーム画像の情報を使って物標を認識可能なニューラルネットワーク（２３）を備え、
前記ニューラルネットワークは、
前記外界変化特徴を有している物標が、前記外界変化特徴を有していない物標に比べて優先的に抽出されるようにディープラーニングによって学習されていることにある。

本発明の一側面においては、少なくとも優先抽出手段は、時系列の複数のフレーム画像の情報を使って物標を認識可能なニューラルネットワークを備えている。こうした複数のフレーム画像を時系列で処理するニューラルネットワークとしては、例えば、リカレントニューラルネットワークを用いることができる。

このニューラルネットワークでは、時系列の複数のフレーム画像を使って物標認識の学習を行うことができる。例えば、時系列の複数のフレーム画像を使って、外界変化特徴を有する物標の動きをディープラーニングによって学習させることができる。これにより、外界変化特徴を有している物標が、外界変化特徴を有していない物標に比べて優先的に抽出されるようにすることができる。尚、学習を行う場合に使用される時系列の複数のフレーム画像は、動画像である必要は無く、予め決められた順番で処理される複数のフレーム画像であればよい。

本発明の一側面の特徴は、
前記ディープラーニングによる学習が行われる場合、前記ニューラルネットワークの結合重みを更新するロス関数の出力する誤差が、前記外界変化特徴を有している物標については、前記外界変化特徴を有していない物標に比べて小さくなるように調整されることにある。

ニューラルネットワークにおける学習時においては、ニューラルネットワークが推定した推定値と、正解値とがロス関数に入力され、ロス関数は、両者の差が大きいほど大きくなる誤差を演算する。この誤差が大きいほど大きくなるニューラルネットワークの結合重みの更新量が演算される。これにより、ニューラルネットワークの推定値は、正解値に近づいていく。

本発明の一側面においては、ディープラーニングによる学習が行われる場合、ロス関数の出力する誤差が、外界変化特徴を有している物標については、外界変化特徴を有していない物標に比べて小さくなるように調整される。従って、外界変化特徴を有している物標については、外界変化特徴を有していない物標よりも抽出されやすくなるように学習させることができる。

本発明の一側面の特徴は、
前記移動体から外界を撮影した時系列のフレーム画像を入力し、前記入力したフレーム画像から所定の間引き間隔で取り出したフレーム画像を、前記画像処理を行う対象に設定するフレーム選択手段（１０）を備え、
前記フレーム選択手段は、
前記移動体の移動速度が低いほど、前記間引き間隔を大きくするように調整することにある。

本発明の一側面においては、フレーム選択手段が、移動体から外界を撮影した時系列のフレーム画像を入力し、その入力したフレーム画像から所定の間引き間隔で取り出したフレーム画像を、画像処理を行う対象に設定する。更に、フレーム選択手段は、移動体の移動速度が低いほど、間引き間隔を大きくするように調整する。従って、画像処理に係る演算負荷を低減しつつ、物標の検知遅れが発生しないようにすることができる。

上記説明においては、発明の理解を助けるために、実施形態に対応する発明の構成要件に対して、実施形態で用いた符号を括弧書きで添えているが、発明の各構成要件は、前記符号によって規定される実施形態に限定されるものではない。

本実施形態に係る画像認識装置の機能ブロック図である。 リカレントニューラルネットワークを学習させるシステムの概略構成図である。 動きベクトルを説明する説明図である。 動きベクトルの消失点を説明する説明図である。 動きベクトルの消失点を説明する説明図である。 時系列のフレーム画像、および、物標の位置変化を表す説明図である。 物標の位置関係を検出する処理を説明する図である。 リカレントニューラルネットワークの学習の流れを表す説明図である。 誤差演算部の構成図である。 物標の動きを表す説明図である。 認識性能評価装置の概略システム構成図である。 運転支援システムの概略構成図である。

以下、本発明の実施形態に係る画像認識装置について図面を参照しながら説明する。

図１は、本発明の実施形態に係る画像認識装置の機能ブロック図である。画像認識装置１は、マイクロコンピュータを主要部として備えている。画像認識装置１は、フレーム選択部１０と、画像処理部２０とを備えている。

フレーム選択部１０は、動画像５０、つまり、時系列の連続したフレーム画像を入力し、入力したフレーム画像から、所定の間隔で間引いたフレーム画像を選択し、選択したフレーム画像を画像処理部２０に供給する。例えば、間引き間隔をｎとすると、フレーム選択部１０は、時系列のフレーム画像をｎ枚おきに取り出し、その取り出したフレーム画像を画像処理部２０に供給する。従って、画像処理部２０には、等時間間隔で撮影された複数のフレーム画像が、撮影された順番で入力される。

画像処理部２０は、ニューラルネットワーク（人口知能モデル）を使った画像処理により、フレーム画像に映っている物体を認識し、その認識した物体（以下、物標と呼ぶ）の位置、および、物標が何であるかを表す情報を出力する。

画像処理部２０は、その機能に着目すると、物標認識機能部２１と優先抽出機能部２２とを備えている。この優先抽出機能部２２は、画像認識装置１の物標を認識する精度を向上させるために組み込まれた機能部である。

本実施形態の画像認識装置１は、車両外界の状況を監視しながら車両制御が行われるシステム（例えば、運転支援システムや自動運転システム）に利用される。従って、物標認識機能部２１で認識される物標は、例えば、自動車、自転車、歩行者、道路標識、信号機など、車両制御システムが認識すべき予め定められた物標である。

物標認識機能部２１は、ディープラーニングによって学習されたニューラルネットワークを使って、フレーム選択部１０から供給された各フレーム画像に映っている物標を認識し、認識した物標の位置を表す位置情報、および、物標が何であるかを表す識別ラベルを生成する。こうした物標の位置情報と識別ラベルとをあわせて物標情報と呼ぶ。

物標情報は、以下のような情報を含んでいる。例えば、物標情報は、フレーム画像を所定数のグリッドに仕切り、各グリッドが物体であるかどうかを示す情報、物体ならば物体を矩形で表した場合の４隅位置を示す情報、何の物体か（物体らしさ）を表す識別ラベルを含んでいる。識別ラベルは、物標の種類を特定する情報と、その種類の物体であろうと推定できる（物体らしさを表す）確率値を表す情報とを含んでいる。例えば、識別ラベルは、認識された物標の種類が、制限速度６０ｋｍ／ｈの道路標識であって、その確率値が、０.８（８０％）であるという情報である。

フレーム画像から、物標の位置検知、および、物標を識別する手法については、公知の手法（例えば、ＹＯＬＯ（You Only Look Once）、あるいは、ＳＳＤ（Single Shot Multibox Detector）など）を採用することができる。例えば、ＹＯＬＯは、フレーム画像全体を畳み込みニューラルネットワークに入力して、物標の位置検知および識別を行う手法である。

但し、こうした手法は、フレーム画像単独で物標を認識する手法であるが、その手法のみでは、物標の認識精度があまり良好であるとはいえない。特に、認識位置の検知については、所望の精度が得られにくい。また、道路標識など、物標の種類によっては、その識別が難しい場合もある。

走行している車両から外界を撮影した動画像においては、そこに映っている物体は、フレーム画像間において特徴的な動きをする。従って、フレーム画像間における物標の動きを把握し、その動きが上記の特徴的な動きであれば、その物標は正しく認識されていると推定することができる。優先抽出機能部２２は、物標認識機能部２１によって認識された物標のうち、そうした特徴的な動きをする物標を優先的に抽出することによって、画像認識装置１の認識精度を向上させる。

以下、こうした物標の動きの特徴を外界変化特徴と呼ぶ。

外界変化特徴は、以下のように設定されている。
１．消失点近傍の物標は、フレーム画像間における位置変化が少ない。
２．消失点と物標とを結ぶ同一直線上を物標が移動する。
３．物標の動きがなめらかである。
物標の位置が直線的に変化する。
フレーム画像間における物標の移動間隔の変化が一定である。
フレーム画像間における物標の大きさの変化が一定である。

ここで、「消失点」とは、動きベクトルの消失点を表す。例えば、図３に示すように、任意の注目画素（ｉ，ｊ）が別のフレーム画像において別の場所（ｋ，ｌ）に動いた時、その移動を表すベクトルが注目画素の動きベクトルである。走行している車両から外界を撮影して得られた動画像（時系列のフレーム画像）では、図４，５に示すように、動きベクトルの直線の交わる点Ｐが求められる。この点Ｐが動きベクトルの消失点である。尚、図５（ａ）は、車両が直進している場合の消失点Ｐを表し、図５（ｂ）は、車両が左カーブをしている場合の消失点Ｐを表す。

物標の位置情報は、物標の4隅の位置で表される。従って、物標の位置変化は、例えば、物標の中心位置の変化として考えればよい。また、物標の大きさは、物標の４隅の位置で囲まれる面積として考えればよい。

車載カメラで撮影した外界の動画像から外界に存在する物体を認識する場合には、各フレーム画像において認識された物標の動き（フレーム画像間における物標の位置の変化）が、外界変化特徴を有している場合には、各フレーム画像において認識されたその物標は、共通の物標（同じ物標）であると推定できる。従って、それぞれのフレーム画像で認識された物標は、正しく認識された物標であると推定できる。

例えば、フレーム画像間において、消失点近傍で動きの少ない物標は、共通の物標（同じ物標）であると推定できる（外界変化特徴１）。

また、任意のフレーム画像において認識された物標と消失点とを結ぶ直線上に、他のフレーム画像において認識された物標が位置する場合には、各フレーム画像で認識されたその物標は、共通の物標（同じ物標）であると推定できる（外界変化特徴２）。

また、認識された物標の位置がフレーム画像間においてなめらかに変化する場合にも、各フレーム画像で認識されたその物標は、共通の物標（同じ物標）であると推定できる（外界変化特徴３）。例えば、物標が直線上を移動するように変化し、かつ、物標の移動間隔の変化率、あるいは、物標の大きさの変化率が一定となる場合には、各フレーム画像で認識されたその物標は、共通の物標（同じ物標）であると推定できる（外界変化特徴３）。

尚、外界変化特徴３における、物標の移動間隔の変化、あるいは、物標の大きさの変化については、一定の規則性を有していればよく、例えば、物標の移動間隔の変化量、あるいは、物標の大きさの変化量が一定となる場合にも、各フレーム画像で認識されたその物標を、共通の物標（同じ物標）であると見做しても構わない。つまり、正しく認識された物標であると見做しても問題ない。

図６は、車載カメラで車両の前方を撮影して得られたフレーム画像を表す。これらのフレーム画像は、間引き間隔ｎで順番に読み込まれた画像である。ここで、フレーム画像に映っている道路標識（物標Ｂ１と呼ぶ）の位置に注目すると、フレーム番号１のフレーム画像で認識された物標Ｂ１と、フレーム番号（１＋ｎ）のフレーム画像で認識された物標Ｂ１と、フレーム番号（１＋２ｎ）のフレーム画像で認識された物標Ｂ１とは、ほぼ同一直線上に配置されている。つまり、これらの３つのフレーム画像を重ねて透視すると、各物標Ｂ１は、ほぼ同一直線上に配置されている。

また、物標Ｂ１の移動間隔の変化は、および、物標Ｂ１の大きさの変化は、一定の規則性を有する。つまり、物標Ｂ１の移動間隔、および、大きさは、動きベクトルの消失点から離れるほど大きくなる。また、任意のフレーム画像の物標Ｂ１の位置と動きベクトルの消失点とを結ぶ直線上に、他のフレーム画像の物標Ｂ１が位置する。従って、物標Ｂ１については、外界変化特徴２，３を満足する。

一方、前方を走行する先行車両（物標Ｂ２と呼ぶ）については、フレーム画像間において位置変化が少ない。これは、物標Ｂ２が消失点近傍に位置しているからである。従って、この物標Ｂ２については、外界変化特徴１を満足する。

従って、外界変化特徴１～３の一つでも当てはまる物標については、正しく認識された物標であると推定できる。

次に、フレーム画像間における物標の動き(位置関係）を把握する手法について説明する。例えば、優先抽出機能部２２は、フレーム選択部１０から供給されたフレーム画像について、その並び順（入力順）で所定枚数のフレーム画像を１セットとして取り扱う。ここでは、所定枚数を３枚とする。従って、１セットのフレーム画像（３枚のフレーム画像）において、共通の識別ラベルの付与されている物標のそれぞれの位置情報がわかれば、その物標のフレーム画像間における動き（位置関係）を把握することができる。

この場合、物標認識機能部２１によって、物標の位置検知および識別ラベルの付与が完了しているものとする。例えば、単独のフレーム画像における物標の位置検知および識別ラベルの付与は、ＹＯＬＯあるいはＳＳＤなどによって実施すればよい。

例えば、フレーム選択部１０におけるフレーム画像の間引き間隔をｎ（＞１）、所定数を３枚とした場合には、図７に示すように、入力された最初のフレーム画像であるフレーム１と、（１＋ｎ）番目のフレーム画像であるフレーム（１＋ｎ）と、（１＋２ｎ）番目のフレーム画像であるフレーム（１＋２ｎ）とで１つのフレームセットが設定される。このフレームセットを構成する３つのフレーム画像を、以下、対象フレームと呼ぶ。また、３つの対象フレームのうちの真ん中の（２番目の）フレームの番号を使って、フレームセットを特定する。従って、この例では、最初に、フレームセット（１＋ｎ）が設定される。尚、フレームセットを構成する対象フレームの枚数は、３枚に限るものでは無く、任意に設定できるものである。

優先抽出機能部２２は、フレームセット（１＋ｎ）について、各対象フレームで認識されている共通の識別ラベルの物標を紐付けし、紐付けされた物標の位置関係を取得する。優先抽出機能部２２は、各対象フレームで認識されている共通の識別ラベルの物標のすべてについて、その位置関係の取得が完了すると、次のフレームセット（１＋２ｎ）の３枚の対象フレームに対して同様の処理を行って、共通の識別ラベルの物標の位置関係を取得する。尚、共通の識別ラベルの物標とは、この物体であろうと推定される種類が共通の物標をいう。

優先抽出機能部２２は、フレームセットを次のフレームセットに変更した場合、直前のフレームセットを特定するＩＤと、そのフレームセットで抽出された物標の位置関係の情報を、次のフレームセットに引き継ぐ（記憶する）。

優先抽出機能部２２は、フレームセット（１＋２ｎ）について、各物標について、対象フレーム間における位置関係を取得すると、次のフレームセット（１＋３ｎ）の３枚の対象フレームに対して同様の処理を行う。このような処理が繰り返されることによって、ｎ枚おきのフレーム画像間において共通の識別ラベルの物標の位置関係、更には、その推移を把握することができる。

物標の位置検知および識別が正しければ、フレーム画像間における物標の動きに外界変化特徴が現れる。しかし、物標の位置検知あるいは識別が正しく行われないと、上記の外界変化特徴が現れにくくなる。例えば、フレーム画像間において、特定のフレーム画像における識別が誤っている場合には、外界変化特徴が現れない。また、フレーム画像間において、特定のフレーム画像における位置検知が誤っている場合には、外界変化特徴が現れない。また、フレーム画像間において、物標の紐付けが誤っている場合には、外界変化特徴が現れない。

優先抽出機能部２２は、各フレーム画像間における共通の識別ラベルの物標の位置関係が、外界変化特徴を有している物標については、外界変化特徴を有していない物標に比べて優先的に抽出して、その抽出された物標の物標情報を、画像認識装置１から出力させる。従って、正しく認識されていると推定できる物標の情報を出力することができる。

優先抽出機能部２２についての上記の説明は、優先抽出機能部２２の機能を分かりやすくするための説明であって、実際には、前後の時系列の情報を考慮して処理可能なニューラルネットワーク、例えば、リカレントニューラルネットワークを用いて、そのニューラルネットワークにおける学習のさせ方を工夫することによって、そうした機能が得られるようになっている。

ニューラルネットワークにおける学習は、ディープラーニング（深層学習）と呼ばれる。一般に、ディープラーニングにおいては、ニューラルネットワークの推定した出力値と、教師データの正解値とがロス関数に入力される。ニューラルネットワークの出力値と教師データの正解値との差が大きいほど、ロス関数の出力する誤差は大きな値となる。ディープラーニングでは、このロス関数の出力する誤差が最小となるように、誤差逆伝播法を用いて、ニューラルネットワークの入力層と中間層との結合重み、および、中間層と出力層との結合重みを更新する。こうした処理を繰り返すことによって、ニューラルネットワークの推定精度が向上する。

画像認識技術においては、学習用画像と、学習用画像と対となるアノテーションデータとを使って、ニューラルネットワークの学習が行われる。アノテーションデータは、学習用画像に映っている物体が何であって、その物体がどこの位置に映っているかを表す正解データ、つまり、識別ラベルと検知位置の正解データである。正解データにおける識別ラベルは、物体らしさを表す確率値は、１.０とされる。

この場合、位置用ロス関数と識別用ロス関数とが用意され、位置用ロス関数に、ニューラルネットワークで推定した物標の位置と、アノテーションデータの正解位置とが入力され、識別用ロス関数に、ニューラルネットワークで推定した物標の識別ラベルと、アノテーションデータの正解識別ラベルとが入力され、両方のロス関数の出力する誤差を足し合わせたトータル誤差を使ってニューラルネットワークの層間の結合重みが更新される。これにより、ニューラルネットワークが学習される。

本実施形態においては、基本的には、上記の学習方法でニューラルネットワークを学習させるが、外界変化特徴が現れる物標であるか否かに応じて、ロス関数の出力するトータル誤差を調整する機能が組み込まれている。そのようにするために、画像処理部２０は、前後の時系列の情報を考慮してフレーム画像に映っている物標を認識するリカレントニューラルネットワークを備えている。以下、リカレントニューラルネットワークをＲＮＮ（Recurrent Neural Network）と呼ぶ。

図２は、ＲＮＮ２３を学習させるシステム構成を表す。ＲＮＮ２３は、画像処理部２０に備わっているリカレントニューラルネットワークである。ＲＮＮ２３は、教師装置１００に接続される。教師装置１００は、学習用画像１１０とアノテーションデータ１２０とを記憶しており、学習用画像１１０とアノテーションデータ１２０とをＲＮＮ２３に供給して学習させる。

アノテーションデータ１２０には、上述した位置と識別ラベルとの正解データに加えて、調整値データが含まれている。調整値データは、ロス関数の出力した誤差を調整する調整値αを表すデータである。

学習用画像１１０は、複数のフレーム画像であって、ＲＮＮ２３に所定の順番に入力されたときに、各フレーム画像に映っている物標の位置が外界変化特徴をもって変化する画像と、各フレーム画像に映っている物標の位置が外界変化特徴をもって変化しない画像とを含んでいる。

調整値αは、物標ごとに付与される。調整値αは、学習用画像１１０を所定の順番で入力したときに、外界変化特徴をもって位置が変化する物標の場合には、１.０よりも小さな値（例えば、０.１）に設定され、外界変化特徴を持って位置変化しない物標の場合には、１.０に設定される。調整値αは、必ずしも２段階に設定される必要はなく、外界変化特徴が顕著に表れる物標ほど、小さな値となるように３段階以上に設定されてもよい。

図８は、ＲＮＮ２３における学習の流れを表している。図中、太実線の矢印が順伝播を表し、太点線の矢印が逆伝播を表している。データは、時刻Ｔ＝１から実線矢印に従って順伝播する。各時刻における各層の値は変化していくため、それらの値は記憶される。また、順伝播時には、各時刻における誤差が算出される。各時刻における誤差は、ＲＮＮ２３の出力値と、正解値との差である。全時刻における誤差は、各時刻における誤差を合算したものとされる。

図８の例では、例えば、時刻Ｔ＝１＋２ｎまでデータの順伝播が終わると学習が開始される。ＲＮＮ２３における学習は、時系列処理を行わない通常のニューラルネットワークのディープラーニングと同様に、誤差が最小となるように、誤差の勾配を求めて、結合重みを更新する。その際、時刻をさかのぼるように、時刻Ｔ＝１＋２ｎの出力層から開始される。結合重みの更新は、中間層と出力層との間、中間層と中間層との間、入力層と中間層との間で行われる。

本実施形態のＲＮＮ２３は、図９に示すように、層間の結合重みを更新するための誤差を算出する誤差演算部３０を備えている。誤差演算部３０は、ロス関数部３１と調整部３２とを備えている。ロス関数部３１は、各時刻におけるＲＮＮ２３の出力値とアノテーションデータ１２０の正解値とをロス関数に入力して、各時刻におけるＲＮＮ２３の出力値とアノテーションデータ１２０の正解値との差の合算値が大きいほど大きくなる誤差Ｅ０を算出する。この誤差Ｅ０を調整前誤差Ｅ０と呼ぶ。

例えば、ロス関数部３１は、位置用ロス関数と識別用ロス関数とを備えている。位置用ロス関数には、ＲＮＮ２３で推定した物標の位置と、アノテーションデータ１２０の正解位置とが入力される。ロス関数部３１は、両者の差が大きくなるほど大きくなる位置誤差を演算する。

また、識別用ロス関数には、ＲＮＮ２３で推定した物標の識別ラベル（その物体であると推定される確率値）と、アノテーションデータ１２０の正解識別ラベルとが入力される。ロス関数部３１は、両者の差が大きくなるほど大きくなる識別誤差を演算する。例えば、識別そのものが間違っている場合（例えば、物標が自動車であるにもかかわらず歩行者と推定されている場合）には、識別誤差は最大となり、識別が正しい場合には、確率値の差が大きいほど識別誤差は大きくなる。ロス関数部３１は、位置誤差と識別誤差とを足し合わせた誤差を出力する。この誤差が調整前誤差Ｅ０である。

ロス関数部３１は、演算した調整前誤差Ｅ０を出力する。この調整前誤差Ｅ０は、調整部３２に入力される。調整部３２は、アノテーションデータ１２０に含まれる調整値αを入力し、調整前誤差Ｅ０に調整値αを乗算した値である調整後誤差Ｅを演算する（Ｅ＝Ｅ０×α）。この調整後誤差Ｅがロス関数部３１で算出された誤差である。

調整値αは、上述したように、学習用画像に映っている物標が、外界変化特徴を有している物標の場合には、１.０よりも小さな値に設定され、外界変化特徴を有していない物標の場合には、１.０に設定される。

例えば、図１０（ａ）に示す軌道にそって物標Ｂが移動する学習用画像であれば、その物標Ｂは外界変化特徴を有するため、調整値αは、小さな値（例えば０.１）に設定される。一方、図１０（ｂ）に示す軌道にそって物標Ｂが移動する学習用画像であれば、その物標は外界変化特徴を有しないため、調整値αは、１.０に設定される。

ＲＮＮ２３では、調整後誤差Ｅを最小にするように、層間の結合重みが更新される。つまり、誤差逆伝播が行われる。

外界変化特徴を有している物標の場合には、外界変化特徴を有している物標に比べて、調整後誤差Ｅが小さな値になるように調整されるため、誤差逆伝播法による結合重みの更新量が小さくなる。この結果、外界変化特徴を有している物標を認識する能力が維持される。一方、外界変化特徴を有していない物標については、調整後誤差Ｅが小さな値となるように調整されないため、誤差逆伝播法による結合重みの更新量は小さくならない。従って、外界変化特徴を有していない物標については、認識されにくくなる方向に学習される。

従って、車両から外界を撮影した動画像に映っている物体を認識する画像認識装置１においては、非常に有効な学習が行われるため、その認識精度（位置の検知精度、物標の識別精度）を向上させることができる。また、フレーム画像間における物標の紐つけ精度も向上させることができる。

＜画像認識装置の利用１＞
こうした画像認識装置１は、例えば、車両制御システムの認識性能評価装置に利用することができる。例えば、図１１に示すように、認識性能評価装置２００は、リファレンス画像取得部２１０と、物標認識部２２０と、計測データ取得部２３０と、システム認識部２４０とを備えている。

車両制御システムの認識性能を評価する場合、車両に計測用カメラ２５０を設置し、車両を所定のコースにて走行させながら、計測用カメラ２５０で外界を撮影する。リファレンス画像取得部２１０は、計測用カメラ２５０で撮影された動画像をリファレンス画像として取得する。物標認識部２２０は、リファレンス画像を探索してリファレンス画像に映っている物標（例えば、他車両、道路標識など）を認識して抽出する。この物標認識部２２０には、上述した画像認識装置１が用いられる。物標認識部２２０は、リファレンス画像から認識された物標の情報である画像認識情報を生成して出力する。

計測用カメラ２５０で外界を撮影しているとき、それと同期して、各種の計測データがメモリ２６０に記憶される。この計測データは、車両の制御システムで使用される計測値の時系列データである。計測データ取得部２３０は、メモリ２６０に記憶された計測データを取得する。システム認識部２４０は、計測データを車両の制御システムのモデルに入力して、車両の制御システムがどのように運転状況や周囲状況を認識して制御を行うかを表すシステム認識・制御情報を生成して出力する。

この認識性能評価装置２００では、実施形態の画像認識装置１を使ってリファレンス画像に映っている物標（例えば、他車両、道路標識など）を認識する。従って、車両制御システムの認識性能評価を適正に行うことができる。

この結果、認識性能評価装置２００の出力する２種類の情報（画像認識情報と、システム認識・制御情報）を比べることによって、整合性のあわない部分を把握して車両の制御システムを改善することができる。

＜画像認識装置の利用２＞
画像認識装置１は、車両の運転支援システム（自動運転システムも含む）において、車両周辺に存在する物体の検知に利用することができる。例えば、図１２に示すように、画像認識装置１は、車両の外界（例えば、前方）を撮影する車載カメラ２に接続され、車載カメラ２で撮影された動画像をリアルタイムで取得する。画像認識装置１は、動画像に映っている物標を認識し、その物標に係る物標情報（位置、識別ラベル）を運転支援ＥＣＵ３に供給する。

運転支援ＥＣＵ３は、例えば、アダプティブクルーズコントロール（ＡＣＣと呼ぶ）、ロードサインアシスト（ＲＳＡと呼ぶ）、レーンチェンジアシスト（ＬＣＡと呼ぶ）といった運転支援制御を実施する電子制御装置である。

こうした運転支援制御は、画像認識装置１から供給される物標情報に基づいて実施される。ＡＣＣは、自車両を先行車両に追従させる運転支援制御である。従って、運転支援ＥＣＵ３は、画像認識装置１から供給される物標情報から、主に先行車両に係る物標情報を取り出してＡＣＣを実施する。

ＲＳＡは、自車両の前方に設置されている道路標識を認識し、その道路標識の表している情報をドライバーに提供する運転支援制御である。従って、運転支援ＥＣＵ３は、画像認識装置から供給される物標情報から、道路標識に係る物標情報を取り出してＲＳＡを実施する。

ＬＣＡは、自車両の周囲を監視しつつ、自車両を安全に車線変更させる運転支援制御である。従って、車載カメラ２は、車両の前方だけでなく、後方をも含めた車両周囲を撮影し、その動画像を画像認識装置１に出力する。運転支援ＥＣＵ３は、画像認識装置１から供給される物標情報から、車両の周囲に存在する障害物および白線に係る物標情報を取り出してＬＣＡを実施する。

上述したように、画像認識装置１は、物標の認識精度が向上されている。従って、運転支援制御を良好に実施することができる。

＜フレーム画像の間引き間隔ｎについて＞
フレーム選択部１０は、時系列の連続したフレーム画像を入力し、入力したフレーム画像の中から、所定の間引き間隔ｎで間引いたフレーム画像を選択する。この場合、フレーム選択部１０は、自車両の車速Ｖを表す情報を取得し、車速Ｖが高いほど間引き間隔ｎを小さくする（車速Ｖが低いほど間引き間隔ｎを大きくする）。従って、画像処理に係る演算負荷を低減しつつ、物標の検知遅れが発生しないようにすることができる。

以上、本実施形態に係る画像認識装置について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の目的を逸脱しない限りにおいて種々の変更が可能である。

例えば、本実施形態においては、走行車両から外界を撮影した動画像に映っている物標を認識する画像認識装置であるが、必ずしも車両に限るものでは無く、船舶、飛行機、ロボットなどの移動体から外界を撮影した動画像に映っている物標を認識する画像認識装置に適用することができる。

また、本実施形態においては、フレーム画像の間引き間隔ｎを車速Ｖに応じて調整するが、それに代えて、動きベクトルの長さに応じて調整するようにしてもよい。この場合、動きベクトルの長さが長いほど間引き間隔ｎを小さくする（動きベクトルの長さが短いほど間引き間隔ｎを大きくする）。動きベクトルの長さは、条件によって異なるため、予め設定された条件における動きベクトルの長さを用いればよい。

また、物標を識別する手法については、パターンマッチングなど他の機械学習によって実施することもできる。

１…画像認識装置、１０…フレーム選択部、２０…画像処理部、２１…物標認識機能部、２２…優先抽出機能部、２３…リカレントニューラルネットワーク（ＲＮＮ）、３０…誤差演算部、３１…ロス関数部、３２…調整部、５０…動画像、１００…教師装置、１１０…学習用画像、１２０…アノテーションデータ、２００…認識性能評価装置、２…車載カメラ、３…運転支援ＥＣＵ、α…調整値、Ｅ０…調整前誤差、Ｅ…調整後誤差、Ｂ，Ｂ１，Ｂ２…物標。

Claims (1)

1. 車両等の移動体から外界を撮影して得られた時系列のフレーム画像を画像処理することによって、前記フレーム画像に映っている物標を抽出し、前記抽出した物標に係る物標情報を出力する画像認識装置において、
   前記フレーム画像ごとに、前記物標の位置検知と識別とを行う物標認識手段と、
   前記時系列のフレーム画像間における識別が共通する物標の位置変化が、前記移動体から外界を撮影した場合において現れる物標の位置変化の特徴である外界変化特徴を有している物標を、前記外界変化特徴を有していない物標に比べて優先的に抽出する優先抽出手段と
   を備え、
   少なくとも前記優先抽出手段は、時系列の複数のフレーム画像の情報を使って物標を認識可能なニューラルネットワークを備え、
   前記ニューラルネットワークは、
   前記外界変化特徴を有している物標が、前記外界変化特徴を有していない物標に比べて優先的に抽出されるようにディープラーニングによって学習されている、
   画像認識装置において、
   前記ディープラーニングによる学習が行われる場合、前記ニューラルネットワークの結合重みを更新するロス関数の出力する誤差が、前記外界変化特徴を有している物標については、前記外界変化特徴を有していない物標に比べて小さくなるように調整される、
   画像認識装置。
   

Images