JP7323716B2 - 画像処理装置および画像処理方法 - Google Patents

Description

本開示は、画像処理装置および画像処理方法に関する。

従来から物体検出装置、物体検出方法およびプログラムに関する発明が知られている（下記特許文献１を参照）。特許文献１は、検出部と、非線形処理部と、を備える物体検出装置を開示している（同文献、要約、請求項１、第０００６段落）。検出部は、撮影画像から１つ以上の物体候補領域を検出する。非線形処理部は、少なくとも前記物体候補領域を含む前記撮影画像の一部または全部を、前記物体候補領域内の物体の姿勢と該物体までの距離とを同時に推定するニューラルネットワークに入力する。また、非線形処理部は、該ニューラルネットワークの出力を用いて、少なくとも前記物体までの距離の情報を含む物体情報を出力する。

特許文献１に記載された従来の物体検出装置は、車載カメラで撮影された撮影画像を元に撮影範囲内に存在する物体を検出し、少なくとも検出した物体までの距離の情報を含む物体情報を出力する。物体検出装置が検出する物体として、当該物体検出装置が搭載された自車両の周辺に存在する他車両、歩行者、自転車やバイクなどの二輪車、信号機、標識、電柱、看板などの路側設置物など、自車両の走行の妨げになり得る障害物が例示されている（同文献、第０００８段落）。

上記物体検出装置の検出機能による物体候補領域の検出は、車載カメラの撮影画像上で、検出の対象となる物体の大きさに相当する走査矩形を用いて物体の有無を判断することを基本とする（同文献、第００２１段落）。そして、走査矩形内の画像領域に対し、画像特徴量を算出し、予め学習した識別器を用いて、走査矩形内に他車両があるか否かを判別するか、他車両らしさを示す尤度を出力する（同文献、第００２２段落）。

特開２０１９‐００８４６０号公報

上記物体検出装置のように、走査矩形内に検出する物体があるか否かを判別する識別器には、たとえば、車両とそれ以外の物体を判別する２クラス識別器や、車両と歩行者とそれ以外の物体など、複数の物体を一度に判別する多クラス識別器がある。しかし、先進運転支援システム（Advanced Driver Assistance System：ＡＤＡＳ）や自動運転システム（Automated Driving System：ＡＤＳ）の発展にともなって、識別対象の種別はさらに増加する傾向にある。

撮像装置の画像から識別対象の物体を識別する画像処理において、識別対象の種別の増加に対応するには、たとえば、多数の識別器を併用したり、各々の識別器の階層を増加させたりして、識別精度を向上させる必要がある。しかし、識別器の数や、識別器の階層を増加させると、物体の識別処理の負荷が増加して処理時間が必要な時間内に収まらなくなるおそれがある。

本開示は、画像から複数の識別対象を識別する画像処理の処理負荷の低減と識別精度の向上が可能な画像処理装置および画像処理方法を提供する。

本開示の一態様は、撮像装置によって撮影された画像に対して多クラス識別処理を行って複数の種別の識別対象を識別する多クラス識別部と、前記多クラス識別処理により識別された前記識別対象を追跡対象とする画像追跡を行って前時刻の前記画像に基づく後時刻の前記画像における前記追跡対象の予測位置を算出する追跡処理部と、前記後時刻の前記画像の前記予測位置に対して前記追跡対象の前記種別に応じた２クラス識別処理を行って前記追跡対象の前記種別を識別する識別部と、を有することを特徴とする画像処理装置である。

本開示の上記一態様によれば、画像から複数の識別対象を識別する画像処理の処理負荷の低減と識別精度の向上が可能な画像処理装置および画像処理方法を提供することができる。

本開示に係る画像処理装置の一実施形態を示すブロック図。 本開示に係る画像処理方法の一実施形態を示すフロー図。 本開示に係る画像処理方法の一実施形態を示すフロー図。

以下、図面を参照して本開示の画像処理装置および画像処理方法の実施形態を説明する。

図１は、本開示に係る画像処理装置の一実施形態を示すブロック図である。本実施形態の画像処理装置ＩＰＡは、たとえば、撮像装置ＩＤによって撮影された画像から複数の種別の識別対象を識別する装置である。より具体的には、画像処理装置ＩＰＡは、たとえば、車両に搭載され、単眼カメラやステレオカメラなどの撮像装置ＩＤによって撮影された画像から、車両の周囲の複数の異なる物体を識別する装置である。なお、撮像装置ＩＤによって撮影される画像は特に限定されず、たとえば、カラー画像または濃淡画像などを適宜選択することができる。

図１に示す例において、撮像装置ＩＤは、車両に搭載されたステレオカメラである。画像処理装置ＩＰＡは、たとえば、ＣＰＵなどの処理装置を含む処理部１００と、ＲＯＭやＲＡＭなどの記憶装置を含む記憶部２００と、その記憶部２００に記憶されて処理部１００によって実行されるコンピュータ・プログラムと、を備えている。また、図示を省略するが、画像処理装置ＩＰＡは、たとえば、信号の入出力を行う入出力部を備えている。

画像処理装置ＩＰＡの処理部１００は、たとえば、信号処理部１１０と、認識処理部１５０とを有している。信号処理部１１０は、たとえば、画像取得部１１１と、視差算出部１１２とを含む。認識処理部１５０は、たとえば、第１認識処理部１２０と、第２認識処理部１３０と、出力処理部１４０とを含む。第１認識処理部１２０は、たとえば、画像領域選択部１２１と、多クラス識別部１２２とを含む。第２認識処理部１３０は、たとえば、追跡処理部１３１と、識別部１３２とを含む。識別部１３２は、たとえば、複数の２クラス識別部１３２ａ，１３２ｂを含む。

処理部１００の各部は、たとえば、記憶部２００に記憶されたコンピュータ・プログラムを処理部１００によって実行することによって実現される処理部１００の機能ブロックである。これら処理部１００の各部は、たとえば、それぞれ専用の処理装置によって実現されてもよく、複数の機能ブロックが一つの処理装置によって実現されてもよい。また、記憶部２００は、たとえば、一種または多種の複数の記憶装置によって構成してもよく、一つの記憶装置によって構成してもよい。

なお、図１に示す例において、画像処理装置ＩＰＡは記憶部２００を含んでいるが、画像処理装置ＩＰＡは外部の記憶部２００に接続されていてもよい。また、図１に示す例において、画像処理装置ＩＰＡは外部の撮像装置ＩＤに接続されているが、画像処理装置ＩＰＡは撮像装置ＩＤを含んでもよい。また、図１に示す例において、識別部１３２は、２つの２クラス識別部１３２ａ，１３２ｂを有しているが、３以上の２クラス識別部を有してもよい。

画像処理装置ＩＰＡが撮像装置ＩＤによって撮影された画像から識別する識別対象２０２は、たとえば、予め記憶部２００に記憶されている。識別対象２０２は、画像処理装置ＩＰＡが搭載された自車両の周囲の他車両、歩行者、移動体、障害物、道路、道路標示、道路標識、および信号などの複数の種別を含む。さらに、画像処理装置ＩＰＡの識別対象である他車両は、たとえば、自転車などの軽車両、原動機付き自転車、自動二輪車、軽自動車、普通自動車、大型自動車、バス、トラックなど、複数の種別を含んでもよい。さらに、他車両は、たとえば、先行車、後続車、対向車、横断車両、右折車両、左折車両など、自車両に対する位置、姿勢、進行方向、速度、加速度、および角速度などに基づく種別を含んでもよい。

次に、図２Ａおよび図２Ｂを参照して、図１に示す画像処理装置ＩＰＡの動作とともに、本開示に係る画像処理方法の一実施形態を説明する。図２Ａおよび図２Ｂは、図１に示す画像処理装置ＩＰＡを用いた本実施形態の画像処理方法ＩＰＭのフロー図である。

撮像装置ＩＤは、たとえば、所定の周期および所定の撮像時間で画像を撮影する。画像処理装置ＩＰＡは、撮像装置ＩＤによって所定の周期で撮影された各画像を、図２Ａに示す画像処理方法ＩＰＭによって処理する。画像処理装置ＩＰＡは、図２Ａに示す画像処理方法ＩＰＭを開始すると、まず画像取得処理Ｐ１を実行する。

画像取得処理Ｐ１において、画像取得部１１１は、たとえば、撮像装置ＩＤから画像を取得して、記憶部２００に画像情報２０１の一部として記憶させる。なお、画像情報２０１は、たとえば、撮像装置ＩＤがステレオカメラである場合、右カメラによって撮影した右画像と、左カメラによって撮影した左画像のそれぞれの画像情報を含む。

また、画像取得処理Ｐ１において、視差算出部１１２は、たとえば、右画像と左画像を入力として、右画像内の特定の領域に類似する左画像内の領域を探索して視差を求める処理を行う。視差算出部１１２は、この処理を右画像の全領域に対して行うことで視差画像を出力する。視差算出部１１２は、視差画像を画像情報２０１の一部として、記憶部２００に記憶させる。

次に、画像処理装置ＩＰＡは、たとえば、画像領域の選択処理Ｐ２を実行する。画像領域の選択処理Ｐ２において、画像処理装置ＩＰＡは、撮像装置ＩＤによって撮影された画像から複数の種別の識別対象のいずれかが含まれる可能性がある画像領域を選択する。より具体的には、第１認識処理部１２０は、たとえば、視差算出部１１２の出力である視差画像を、視差算出部１１２または記憶部２００に記憶された画像情報２０１から取得する。

画像領域の選択処理Ｐ２において、画像領域選択部１２１は、たとえば、視差画像を入力とし、視差画像中の互いに隣接しかつ互いに近似する視差をグルーピングして、グルーピングした視差を囲む矩形枠を生成する。また、画像領域選択部１２１は、生成した矩形枠の縦横の大きさが所定の大きさ以上の矩形枠を、複数の種別の識別対象のいずれかが含まれる可能性がある画像領域として選択する。

画像領域選択部１２１は、選択した画像領域の位置情報すなわち視差画像上の座標と、縦横の大きさである縦幅と横幅を、識別対象を含む可能性のある画像領域２０３として出力して記憶部２００に記憶させる。ここで、画像領域選択部１２１は、たとえば、視差画像から複数の画像領域を選択した場合、各々の画像領域に対して１からｎ（自然数）までの識別番号Ｎを付与し、記憶部２００に画像領域２０３として記憶させる。

なお、画像領域選択部１２１は、たとえば、矩形枠の縦横比などによって、矩形枠で囲まれた視差画像の画像領域に含まれる可能性がある識別対象の種別を推定し、特定の種別の識別対象を含む可能性がある画像領域のみを選択してもよい。なお、撮像装置ＩＤが単眼カメラである場合、画像領域選択部１２１は、単眼カメラの画像から複数の種別の識別対象のいずれかが含まれる可能性がある画像領域を選択してもよい。

この場合、画像領域選択部１２１は、たとえば、車両に搭載されたミリ波レーダによる物体の検知結果を、画像領域の選択に使用してもよい。また、画像領域選択部１２１は、たとえば、撮像装置ＩＤの画像の特定の領域を予め指定し、その領域に対して任意の大きさのウィンドウを用いたラスタスキャンを行うことで、複数の種別の識別対象のいずれかが含まれる可能性がある画像領域を選択してもよい。

次に、多クラス識別部１２２は、たとえば、多クラス識別処理の処理対象とする画像領域の識別番号Ｎを、Ｎ＝１に設定する処理Ｐ３を実行する。さらに、多クラス識別部１２２は、撮像装置ＩＤによって撮影された画像に対して多クラス識別処理を行って複数の種別の識別対象を識別する多クラス識別処理Ｐ４を行う。

より具体的には、多クラス識別処理Ｐ４において、多クラス識別部１２２は、たとえば、画像領域選択部１２１によって選択された画像領域から複数の種別の識別対象を識別する。多クラス識別部１２２は、たとえば、前述の選択処理Ｐ２で選択された識別番号Ｎが１からｎまでの各々の画像領域に対して、順次、多クラス識別処理Ｐ４を実行する。

多クラス識別処理Ｐ４は、たとえば、登録数判定処理Ｐ４ａと、多クラス識別処理Ｐ４ｂと、種別判定処理Ｐ４ｃと、種別候補登録処理Ｐ４ｄ，Ｐ４ｅと、インクリメント処理Ｐ４ｆとを有している。多クラス識別部１２２は、まず、登録数判定処理Ｐ４ａにおいて、後述する追跡処理Ｐ６ａにおける追跡対象の登録数が上限数未満であるか否かを判定する。

多クラス識別部１２２は、たとえば、登録数判定処理Ｐ４ａにおいて、登録数が上限数未満ではない（ＮＯ）、すなわち登録数が上限数に達していると判定すると、多クラス識別処理Ｐ４ｂ以降の処理を実行せず、次の処理Ｐ５へ進む。一方、多クラス識別部１２２は、たとえば、登録数判定処理Ｐ４ａにおいて、登録数が上限数未満である（ＹＥＳ）と判定すると、多クラス識別処理Ｐ４ｂを実行する。

多クラス識別部１２２は、たとえば、多クラス識別処理Ｐ４ｂにおいて、画像領域から識別対象２０２として記憶部２００に記憶された複数の種別の識別対象を識別する。多クラス識別部１２２は、たとえば、画像領域選択部１２１によって選択されて記憶部２００に記憶された画像領域２０３と、記憶部２００に記憶された多クラス識別学習データ２０４との類似性を評価する。

多クラス識別学習データ２０４は、たとえば、識別対象である自動車の画像と、自動二輪車の画像と、その他の物体の画像をそれぞれ多数入力して機械学習を行った学習データである。すなわち、多クラス識別部１２２は、複数の種別の識別対象を入力して機械学習を行った多クラス識別学習データ２０４を用いて多クラス識別処理を行う。

より具体的には、本実施形態において、多クラス識別部１２２は、たとえば、少なくとも第１の種別の識別対象としての自動車と、第２の種別の識別対象としての自動二輪車とが入力されて機械学習が行われた多クラス識別学習データ２０４を用いて、多クラス識別処理を行う。本実施形態では、多クラス識別処理Ｐ４ｂにおける識別対象の種別が、たとえば、自動車と自動二輪車の二種である場合を説明するが、識別対象の種別およびその数は、特に限定されない。

多クラス識別部１２２は、たとえば、多クラス識別処理Ｐ４ｂにおいて、画像領域２０３と多クラス識別学習データ２０４との類似性の評価値を算出する。具体的には、多クラス識別部１２２は、たとえば、第１の種別の識別対象（ｉ）を自動車とし、第２の種別の識別対象（ｉｉ）を自動二輪車とした多クラス識別学習データ２０４と、画像領域２０３との類似性の評価値を算出する。次に、多クラス識別部１２２は、この類似性の評価値に基づいて、画像領域２０３に存在する識別対象の種別の判定処理Ｐ４ｃを実行する。

この判定処理Ｐ４ｃにおいて、多クラス識別部１２２は、たとえば、上記類似性の評価値が所定のしきい値以上である場合に、画像領域２０３に存在する識別対象の種別を識別する。より具体的には、多クラス識別部１２２は、たとえば、画像領域２０３と、第１の種別の識別対象（ｉ）である自動車との類似性の評価値が所定のしきい値以上である場合、画像領域２０３から第１の種別の識別対象（ｉ）である自動車とその位置情報を識別する。さらに、多クラス識別部１２２は、当該画像領域２０３から識別した第１の種別の識別対象（ｉ）である自動車に登録番号を付与して、追跡対象および種別候補２０５として記憶部２００に登録する処理Ｐ４ｄを実行する。

また、上記判定処理Ｐ４ｃにおいて、多クラス識別部１２２は、たとえば、画像領域２０３と、第２の種別の識別対象（ｉｉ）である自動二輪車との類似性の評価値が所定のしきい値以上である場合、画像領域２０３から第２の種別の識別対象（ｉｉ）である自動二輪車とその位置情報を識別する。さらに、多クラス識別部１２２は、当該画像領域２０３から識別した第２の種別の識別対象（ｉｉ）である自動二輪車に登録番号を付与して、追跡対象および種別候補２０５として記憶部２００に登録する処理Ｐ４ｅを実行する。多クラス識別部１２２は、たとえば、処理Ｐ４ｄまたは処理Ｐ４ｅの終了後、インクリメント処理Ｐ４ｆを実行する。

また、上記判定処理Ｐ４ｃにおいて、多クラス識別部１２２は、たとえば、画像領域２０３と、第１および第２の種別の識別対象（ｉ），（ｉｉ）との類似性の評価値が所定のしきい値未満である場合に、当該画像領域２０３に識別対象が含まれないことを識別する。この場合、多クラス識別部１２２は、たとえば、インクリメント処理Ｐ４ｆを実行する。

インクリメント処理Ｐ４ｆにおいて、多クラス識別部１２２は、たとえば、次の多クラス識別処理Ｐ４の処理対象となる画像領域２０３の識別番号Ｎを、Ｎ＋１にインクリメントする。多クラス識別部１２２は、たとえば、インクリメントされた画像領域２０３の識別番号Ｎが、前述の選択処理Ｐ２で選択された画像領域２０３の数ｎを超えるまで、前述の処理Ｐ４ａから処理Ｐ４ｆまでを含む多クラス識別処理Ｐ４を繰り返し実行する。

前述の選択処理Ｐ２で選択されたすべての画像領域２０３に対する多クラス識別処理Ｐ４の終了後、追跡処理部１３１は、たとえば、後述する識別処理Ｐ６における処理対象となる追跡対象の登録番号Ｒを１に設定する処理Ｐ５を実行する。さらに、追跡処理部１３１は、記憶部２００に追跡対象および種別候補２０５として登録された追跡対象の予測位置を算出するとともに、その追跡対象の種別を確定する識別処理Ｐ６を実行する。

追跡処理部１３１は、たとえば、前述の種別候補登録処理Ｐ４ｄ，Ｐ４ｅで記憶部２００に追跡対象および種別候補２０５として登録された登録番号Ｒが１からｍ（自然数）までの各々の追跡対象に対して、順次、識別処理Ｐ６を実行する。識別処理Ｐ６は、たとえば、追跡処理Ｐ６ａと、種別候補判定処理Ｐ６ｂと、２クラス識別処理Ｐ６ｃ，Ｐ６ｈと、種別判定処理Ｐ６ｄ，Ｐ６ｉと、登録処理Ｐ６ｅ，Ｐ６ｊと、予測位置算出処理Ｐ６ｆ，Ｐ６ｋと、登録削除処理Ｐ６ｇと、インクリメント処理Ｐ６ｌとを有している。

追跡処理部１３１は、まず、追跡処理Ｐ６ａにおいて、多クラス識別処理Ｐ４により識別された識別対象を追跡対象とする画像追跡を行って、前時刻の画像に基づく後時刻の画像における追跡対象の予測位置を算出する。追跡処理部１３１は、たとえば、前回時刻における追跡対象の位置情報に基づいて今回時刻における追跡対象の予測位置を算出する。

追跡処理部１３１は、追跡処理Ｐ６ａにおいて、たとえば、前回時刻における追跡対象の画像をテンプレートとして今回時刻における追跡対象をテンプレートマッチングによって探索する手法や、追跡対象の領域内の各画素の移動量をオプティカルフローなどによって推定する手法を用いる。そして、追跡処理部１３１は、前回時刻における追跡対象の位置と過去の追跡対象の移動量から今回時刻の追跡対象の動き予測を行う。

また、追跡処理部１３１は、たとえば、種別候補判定処理Ｐ６ｂにおいて、記憶部２００に登録された追跡対象および種別候補２０５を参照し、多クラス識別処理Ｐ４で識別された追跡対象の種別が、第１の種別（ｉ）である自動車と、第２の種別（ｉｉ）である自動二輪車のどちらであるかを判定する。

種別候補判定処理Ｐ６ｂにおいて、追跡処理部１３１により追跡対象の種別が第１の種別（ｉ）の自動車であると判定されると、識別部１３２は、後時刻の画像の予測位置に対して、追跡対象の種別に応じた２クラス識別処理を行って追跡対象の種別を識別する。より具体的には、識別部１３２は、第１の種別（ｉ）の識別対象に対応する２クラス識別部１３２ａを用いた２クラス識別処理Ｐ６ｃを行う。

２クラス識別部１３２ａは、記憶部２００に記憶された２クラス識別学習データ２０６を用い、識別対象の予測位置とその周辺に対して２クラス識別処理を行って、追跡対象の種別を識別する。ここで、２クラス識別学習データ２０６は、画像処理装置ＩＰＡの複数の種別の識別対象のうちの一の種別である第１の種別の識別対象（ｉ）すなわち自動車と、それ以外の識別対象の画像を多数入力して機械学習を行った自動車用の２クラス識別学習データである。

２クラス識別処理Ｐ６ｃにおいて、２クラス識別部１３２ａは、たとえば、追跡対象の予測位置およびその周辺の画像領域と、２クラス識別学習データ２０６との類似性の評価値を算出する。次に、２クラス識別部１３２ａは、種別判定処理Ｐ６ｄを実行する。種別判定処理Ｐ６ｄにおいて、２クラス識別部１３２ａは、たとえば、上記類似性の評価値が所定のしきい値以上である場合に、追跡対象の種別が、第１の種別の識別対象（ｉ）すなわち自動車であることを判定し、登録処理Ｐ６ｅを実行する。

この登録処理Ｐ６ｅにおいて、２クラス識別部１３２ａは、たとえば、追跡対象の種別として、第１の種別の識別対象（ｉ）である自動車を記憶部２００の出力情報２０８に登録する。また、登録処理Ｐ６ｅにおいて、２クラス識別部１３２ａは、追跡対象の予測位置を、第１の種別の識別対象（ｉ）である自動車の位置として記憶部２００の出力情報２０８に登録する。次に、２クラス識別部１３２ａは、たとえば、予測位置算出処理Ｐ６ｆを実行する。

この予測位置算出処理Ｐ６ｆにおいて、２クラス識別部１３２ａは、たとえば、前回時刻における追跡対象の位置情報と、今回時刻における追跡対象の位置情報との差分を求め、その差分をフレーム撮像間隔で除算することで、追跡対象の移動速度を算出する。さらに、２クラス識別部１３２ａは、たとえば、今回時刻における追跡対象の位置情報と、追跡対象の移動速度に基づいて、次回時刻における追跡対象の予測位置を算出する。ここで算出された追跡対象の予測位置は、たとえば、次回時刻の追跡処理Ｐ６ａにおいて用いられる。

また、前述の種別判定処理Ｐ６ｄにおいて、たとえば、上記類似性の評価値が所定のしきい値未満である場合に、２クラス識別部１３２ａは、追跡対象が、第１の種別の識別対象（ｉ）である自動車以外のその他の種別の識別対象または背景であることを判定し、登録削除処理Ｐ６ｇを実行する。登録削除処理Ｐ６ｇにおいて、２クラス識別部１３２ａは、たとえば、記憶部２００に登録された追跡対象および種別候補２０５を削除する。

また、前述の種別候補判定処理Ｐ６ｂにおいて、追跡処理部１３１によって追跡対象の種別が、第２の種別（ｉｉ）の自動二輪車であると判定されると、識別部１３２は、後時刻の画像の予測位置に対して、追跡対象の種別に応じた２クラス識別処理を行って追跡対象の種別を識別する。より具体的には、識別部１３２は、第２の種別（ｉｉ）に対応する２クラス識別部１３２ｂを用いた２クラス識別処理Ｐ６ｈを行う。

２クラス識別部１３２ｂは、記憶部２００に記憶された２クラス識別学習データ２０７を用い、識別対象の予測位置とその周辺に対して２クラス識別処理を行って、追跡対象の種別を識別する。ここで、２クラス識別学習データ２０７は、画像処理装置ＩＰＡの複数の種別の識別対象のうちの一の種別である第２の種別の識別対象（ｉｉ）すなわち自動二輪車と、それ以外の識別対象の画像を多数入力して機械学習を行った自動二輪車用の２クラス識別学習データである。なお、２クラス識別学習データ２０６と、２クラス識別学習データ２０７は、異なる機械学習の手法により学習してもよい。

２クラス識別処理Ｐ６ｈにおいて、２クラス識別部１３２ｂは、たとえば、追跡対象の予測位置およびその周辺の画像領域と、２クラス識別学習データ２０７との類似性の評価値を算出する。次に、２クラス識別部１３２ｂは、種別判定処理Ｐ６ｉを実行する。種別判定処理Ｐ６ｉにおいて、２クラス識別部１３２ｂは、たとえば、上記類似性の評価値が所定のしきい値以上である場合に、追跡対象の種別が、第２の種別の識別対象（ｉｉ）すなわち自動二輪車であることを判定し、登録処理Ｐ６ｊを実行する。

この登録処理Ｐ６ｊにおいて、２クラス識別部１３２ｂは、たとえば、追跡対象の種別として、第２の種別（ｉｉ）の識別対象である自動二輪車を記憶部２００の出力情報２０８に登録する。また、登録処理Ｐ６ｊにおいて、２クラス識別部１３２ｂは、追跡対象の予測位置を、第２の種別の識別対象（ｉｉ）である自動二輪車の位置として記憶部２００の出力情報２０８に登録する。次に、２クラス識別部１３２ｂは、たとえば、予測位置算出処理Ｐ６ｋを実行する。

この予測位置算出処理Ｐ６ｋにおいて、２クラス識別部１３２ｂは、たとえば、前回時刻における追跡対象の位置情報と、今回時刻における追跡対象の位置情報との差分を求め、その差分をフレーム撮像間隔で除算することで、追跡対象の移動速度を算出する。さらに、２クラス識別部１３２ｂは、たとえば、今回時刻における追跡対象の位置情報と、追跡対象の移動速度に基づいて、次回時刻における追跡対象の予測位置を算出する。ここで算出された追跡対象の予測位置は、たとえば、次回時刻の追跡処理Ｐ６ａにおいて用いられる。

また、前述の種別判定処理Ｐ６ｉにおいて、たとえば、上記類似性の評価値が所定のしきい値未満である場合に、２クラス識別部１３２ｂは、追跡対象が、第２の種別の識別対象（ｉｉ）である自動二輪車以外のその他の種別の識別対象または背景であることを判定し、登録削除処理Ｐ６ｇを実行する。登録削除処理Ｐ６ｇにおいて、２クラス識別部１３２ｂは、たとえば、記憶部２００に登録された追跡対象および種別候補２０５を削除する。

前述の予測位置算出処理Ｐ６ｆ，Ｐ６ｋまたは登録削除処理Ｐ６ｇの終了後、追跡処理部１３１は、たとえば、インクリメント処理Ｐ６ｌを実行する。このインクリメント処理Ｐ６ｌにおいて、追跡処理部１３１は、たとえば、次回の識別処理Ｐ６の処理対象となる追跡対象および種別候補２０５の登録番号ＲをＲ＋１にインクリメントする。追跡処理部１３１は、たとえば、インクリメントされた追跡対象および種別候補２０５の登録番号Ｒが、多クラス識別処理Ｐ４で登録された追跡対象および種別候補２０５の数ｍを超えるまで、前述の追跡処理Ｐ６ａからインクリメント処理Ｐ６ｌまでを含む識別処理Ｐ６を繰り返し実行する。

識別処理Ｐ６の終了後、追跡対象の予測位置および種別は、図１に示すように、第２認識処理部１３０または記憶部２００から出力情報２０８として出力処理部１４０へ出力される。出力処理部１４０は、たとえば、ＡＤＳやＡＤＡＳなどを構成する車両制御装置へ出力情報２０８を出力することで、自動運転や高度運転支援における信号の生成処理において出力情報２０８が利用される。

以下、本実施形態の画像処理装置ＩＰＡとそれを用いた画像処理方法ＩＰＭの作用を説明する。

近年、車載カメラなどの撮像装置ＩＤやレーダなどの外界認識センサを用いたＡＤＡＳやＡＤＳが注目を集めている。撮像装置ＩＤの画像から識別対象の物体を識別する画像処理において、識別対象の種別の増加に対応するには、たとえば、多数の識別器を併用したり、各々の識別器の階層を増加させたりして、識別精度を向上させる必要がある。しかし、識別器の数や、識別器の階層を増加させると、物体の識別処理の負荷が増加して処理時間が必要な時間内に収まらなくなるおそれがある。

本実施形態の画像処理装置ＩＰＡは、前述のように、多クラス識別部１２２と、追跡処理部１３１と、識別部１３２とを有している。多クラス識別部１２２は、撮像装置ＩＤによって撮影された画像に対して多クラス識別処理Ｐ４を行って複数の種別の識別対象を識別する。追跡処理部１３１は、多クラス識別処理Ｐ４により識別された識別対象を追跡対象とする画像追跡を行って前時刻の画像に基づく後時刻の画像における追跡対象の予測位置を算出する。識別部１３２は、後時刻の画像の予測位置に対して追跡対象の種別に応じた２クラス識別処理Ｐ６ｃ，Ｐ６ｈを行って追跡対象の種別を識別する。

また、本実施形態の画像処理方法ＩＰＭは、撮像装置ＩＤによって撮影された画像に対して多クラス識別処理Ｐ４を行って複数の種別の識別対象を識別する。さらに、画像処理方法ＩＰＭは、多クラス識別処理Ｐ４により識別された識別対象を追跡対象とする画像追跡を行って前時刻の画像に基づく後時刻の画像における追跡対象の予測位置を算出する。
そして、画像処理方法ＩＰＭは、後時刻の画像の予測位置に対して追跡対象の種別に応じた２クラス識別処理Ｐ６ｃ，Ｐ６ｈを行って追跡対象の種別を識別する。

上記本実施形態の画像処理装置ＩＰＡおよび画像処理方法ＩＰＭによれば、画像から複数の識別対象を識別する画像処理の処理負荷の低減と識別精度の向上が可能になる。より具体的には、本実施形態の画像処理装置ＩＰＡおよび画像処理方法ＩＰＭによれば、多クラス識別器のみ、または、２クラス識別器のみを用いて画像から複数の識別対象を識別する場合と比較して、画像処理の処理負荷の低減が可能になる。

その理由は、多クラス識別部１２２による多クラス識別処理と、識別部１３２による２クラス識別処理を併用することで、多クラス識別処理のみを用いる場合と比較して、多クラス識別処理の階層を浅くして、処理負荷を低減することができるためである。このように、多クラス識別処理の階層を浅くすることで、多クラス識別処理の識別精度が低下しても、多クラス識別処理で識別した識別対象を追跡対象とし、その追跡対象に２クラス識別処理を行うことで、識別精度の向上が可能になる。

また、多クラス識別処理Ｐ４により識別された識別対象を追跡対象とし、後時刻の画像の追跡対象の予測位置に対して追跡対象の種別に応じた２クラス識別処理を行うことで、２クラス識別処理を極めて限定された画像領域に対してのみ、種別を限定して行うことができる。これにより、２クラス識別処理の処理量を低減して処理負荷を低減するとともに、多クラス識別処理の誤認識を判別して、複数の種別の識別対象の識別精度を向上させることが可能になる。

また、本実施形態の画像処理装置ＩＰＡにおいて、多クラス識別部１２２は、複数の種別の識別対象を入力して機械学習を行った多クラス識別学習データ２０４を用いて多クラス識別処理Ｐ４を行う。この構成により、画像から複数の種別の識別対象を識別する多クラス識別処理を、機械学習の結果に基づいて精度よく行うことができる。

また、本実施形態の画像処理装置ＩＰＡにおいて、多クラス識別部１２２は、少なくとも第１の種別の識別対象（ｉ）と第２の種別の識別対象（ｉｉ）とが入力されて機械学習が行われた多クラス識別学習データ２０４を用いて多クラス識別処理Ｐ４を行う。この構成により、画像に含まれる複数の種別の識別対象の中から、第１の種別の識別対象（ｉ）と第２の種別の識別対象（ｉｉ）とを精度よく判別することが可能になる。

また、本実施形態の画像処理装置ＩＰＡにおいて、第１の種別の識別対象（ｉ）は自動車であり、第２の種別の識別対象（ｉｉ）は自動二輪車である。この構成により、画像に含まれる複数の種別の識別対象の中から、第１の種別の識別対象（ｉ）である自動車と、第２の種別の識別対象（ｉｉ）である自動二輪車とを精度よく判別することが可能になる。

また、本実施形態の画像処理装置ＩＰＡにおいて、識別部１３２は、複数の２クラス識別部１３２ａ，１３２ｂを有している。また、複数の２クラス識別部１３２ａ，１３２ｂは、それぞれ、複数の種別のうちの一の種別の識別対象を入力して機械学習を行った２クラス識別学習データ２０６，２０７を用いて、２クラス識別処理を行う。この構成により、２クラス識別部１３２ａと２クラス識別部１３２ｂの各々によって、複数の種別のうちの一の種別の識別対象であるか否かを精度よく判定することが可能になる。

また、本実施形態の画像処理装置ＩＰＡにおいて、２クラス識別部１３２ａ，１３２ｂの数は、多クラス識別部１２２によって識別する種別の数と等しい。より具体的には、本実施形態の画像処理装置ＩＰＡにおいて、多クラス識別部１２２は、第１の種別の識別対象（ｉ）と第２の種別の識別対象（ｉｉ）の二つの種別を識別し、識別部１３２は、二つの２クラス識別部１３２ａ，１３２ｂを有している。この構成により、多クラス識別部１２２で識別されたすべての種別の識別対象に対して２クラス識別処理を行って、識別対象の種別の識別精度を向上させることができる。

また、本実施形態の画像処理装置ＩＰＡは、画像から複数の種別の識別対象のいずれかが含まれる可能性がある画像領域を選択する画像領域選択部１２１を有している。そして、多クラス識別部１２２は、画像領域選択部１２１によって選択された画像領域から複数の種別の識別対象を識別する。この構成により、多クラス識別部１２２による多クラス識別処理を限定された画像領域のみに対して行うことができ、多クラス識別処理の処理量を削減して、処理負荷を低減することができる。

以上説明したように、本実施形態によれば、画像から複数の識別対象を識別する画像処理の処理負荷の低減と識別精度の向上が可能な画像処理装置ＩＰＡおよび画像処理方法ＩＰＭを提供することができる。

以上、図面を用いて本開示に係る画像処理装置および画像処理方法の実施形態を詳述してきたが、具体的な構成はこの実施形態に限定されるものではなく、本開示の要旨を逸脱しない範囲における設計変更等があっても、それらは本開示に含まれるものである。

１２１ 画像領域選択部
１２２ 多クラス識別部
１３１ 追跡処理部
１３２ 識別部
１３２ａ ２クラス識別部
１３２ｂ ２クラス識別部
２０４ 多クラス識別学習データ
２０６ ２クラス識別学習データ
２０７ ２クラス識別学習データ
ＩＤ 撮像装置
ＩＰＡ 画像処理装置
ＩＰＭ 画像処理方法
Ｐ４ 多クラス識別処理
Ｐ６ｃ ２クラス識別処理
Ｐ６ｈ ２クラス識別処理

Claims (8)

1. 撮像装置によって撮影された画像に対して多クラス識別処理を行って複数の種別の識別対象を識別する多クラス識別部と、
   前記多クラス識別処理により識別された前記識別対象を追跡対象とする画像追跡を行って前時刻の前記画像に基づく後時刻の前記画像における前記追跡対象の予測位置を算出する追跡処理部と、
   前記後時刻の前記画像の前記予測位置に対して前記追跡対象の前記種別に応じた２クラス識別処理を行って前記追跡対象の前記種別を識別する識別部と、
   を有することを特徴とする画像処理装置。
2. 前記多クラス識別部は、複数の前記種別の前記識別対象を入力して機械学習を行った多クラス識別学習データを用いて前記多クラス識別処理を行うことを特徴とする請求項１に記載の画像処理装置。
3. 前記多クラス識別部は、少なくとも第１の種別の前記識別対象と第２の種別の前記識別対象とが入力されて機械学習が行われた前記多クラス識別学習データを用いて前記多クラス識別処理を行うことを特徴とする請求項２に記載の画像処理装置。
4. 前記第１の種別の前記識別対象は自動車であり、前記第２の種別の前記識別対象は自動二輪車であることを特徴とする請求項３に記載の画像処理装置。
5. 前記識別部は、複数の２クラス識別部を有し、
   複数の前記２クラス識別部は、それぞれ、複数の前記種別のうちの一の前記種別の前記識別対象を入力して機械学習を行った２クラス識別学習データを用いて、前記２クラス識別処理を行うことを特徴とする請求項１に記載の画像処理装置。
6. 前記２クラス識別部の数は、前記多クラス識別部によって識別する前記種別の数と等しいことを特徴とする請求項５に記載の画像処理装置。
7. 前記画像から複数の前記種別の前記識別対象のいずれかが含まれる可能性がある画像領域を選択する画像領域選択部を有し、
   前記多クラス識別部は、前記画像領域選択部によって選択された前記画像領域から複数の前記種別の前記識別対象を識別することを特徴とする請求項１に記載の画像処理装置。
8. 撮像装置によって撮影された画像に対して多クラス識別処理を行って複数の種別の識別対象を識別し、
   前記多クラス識別処理により識別された前記識別対象を追跡対象とする画像追跡を行って前時刻の前記画像に基づく後時刻の前記画像における前記追跡対象の予測位置を算出し、
   前記後時刻の前記画像の前記予測位置に対して前記追跡対象の前記種別に応じた２クラス識別処理を行って前記追跡対象の前記種別を識別することを特徴とする画像処理方法。

Images