JP6817384B2

JP6817384B2 - 自動運転車両の視覚感知方法、自動運転車両の視覚感知装置、制御機器及びコンピュータ読み取り可能な記憶媒体

Info

Publication number: JP6817384B2
Application number: JP2019134756A
Authority: JP
Inventors: 佳佳陳; 吉万; 添夏
Original assignee: Baidu Online Network Technology Beijing Co Ltd
Current assignee: Baidu Online Network Technology Beijing Co Ltd
Priority date: 2018-09-11
Filing date: 2019-07-22
Publication date: 2021-01-20
Anticipated expiration: 2039-07-22
Also published as: EP3579144A2; US20200005051A1; EP3579144A3; CN109376594A; JP2020042794A; US11120275B2

Description

本願は、自動運転の技術分野に関し、特に自動運転車両の視覚感知方法、自動運転車両の視覚感知装置、制御機器及びコンピュータ読み取り可能な記憶媒体に関する。

情報技術の発展に伴い、自動運転車両は、スマート化車両研究の主な研究の方向性となっている。自動運転車両の運転過程では、自動運転車両は、リアルタイム的に視覚感知処理を行って、その視覚感知の結果に基づいて自動運転車両の運転を制御する必要がある。

従来技術において、自動運転車両は、視覚感知画像を収集することができ、そして自動運転車両が、収集した視覚感知画像における異なるターゲット対象（例えば障害物、車線又は交通マーク等）を識別する。識別する場合、視覚感知画像をそれぞれ異なるターゲット対象に対応するディープラーニングモデルに入力して特徴の抽出及び識別を行う必要があり、それによって対応するターゲット対象が確定される。

従来技術においては、視覚感知画像をそれぞれ異なるターゲット対象に対応するディープラーニングモデルに入力して特徴の抽出及び識別を行う必要があるため、このように、異なるターゲット対象をそれぞれ識別する手段には大きなタイムラグが存在し、ターゲット対象に対する識別速度が遅くなり、それによって自動運転車両の感度を低下させ、交通事故を引き起こすおそれがある。

本発明は、従来技術において、ターゲット対象に対する識別速度が遅く、自動運転車両の感度を低下させ、交通事故を引き起こしやすいという技術的問題を解決するためになされたものであり、自動運転車両に基づく視覚感知方法、自動運転車両に基づく視覚感知装置、制御機器及びコンピュータ読み取り可能な記憶媒体を提供する。

第１の態様では、本発明は、自動運転車両が収集した第１視覚感知画像を取得することと、前記第１視覚感知画像を第１ニューラルネットワークモデルに入力し、少なくとも１つの認識すべきターゲット識別対象のマルチチャンネル特徴情報を識別し、それによって前記第１視覚感知画像における余剰特徴情報を取り除くことと、前記少なくとも１つの認識すべきターゲット識別対象のマルチチャンネル特徴情報をそれぞれ第２ニューラルネットワークモデルにおける少なくとも１つのサブニューラルネットワークモデルに入力し、少なくとも１つのターゲット識別対象を得ることと、を含み、前記ターゲット識別対象と前記サブニューラルネットワークモデルとは一対一に対応することを特徴とする自動運転車両の視覚感知方法を提供する。

一つの選択可能な実施形態において、前記自動運転車両の視覚感知方法は、前記第１ニューラルネットワークモデルを取得することを更に含む。

一つの選択可能な実施形態において、前記第１ニューラルネットワークモデルを取得することは、第２視覚感知画像及び少なくとも１つのトレーニングサンプル対象のマルチチャンネル特徴情報に基づき、第１プリセットニューラルネットワークモデルをトレーニングして前記第１ニューラルネットワークモデルを生成することを含み、前記第２視覚感知画像には、前記少なくとも１つのトレーニングサンプル対象が含まれている。

一つの選択可能な実施形態において、前記第２ニューラルネットワークモデルを取得することを更に含む。

一つの選択可能な実施形態において、前記第２ニューラルネットワークモデルを取得することは、少なくとも１つのトレーニングサンプル対象及び前記少なくとも１つのトレーニングサンプル対象のマルチチャンネル特徴情報に基づき、それぞれ第２プリセットニューラルネットワークモデルにおける少なくとも１つのサブプリセットニューラルネットワークモデルをトレーニングし、前記第２ニューラルネットワークモデルを生成することを含み、前記トレーニングサンプル対象と前記サブプリセットニューラルネットワークモデルはと一対一に対応する。

一つの選択可能な実施形態において、前記自動運転車両が収集した第１視覚感知画像を取得することは、前記自動運転車両に設置された画像収集装置が収集した前記第１視覚感知画像を取得することを含む。

一つの選択可能な実施形態において、前記ターゲット識別対象は、ターゲット物体及びターゲットエリアのうち、少なくとも１つを含む。

第２の態様では、本発明は、自動運転車両が収集した第１視覚感知画像を取得するために用いられる第１取得モジュールと、前記第１視覚感知画像を第１ニューラルネットワークモデルに入力し、少なくとも１つの認識すべきターゲット識別対象のマルチチャンネル特徴情報を識別し、前記第１視覚感知画像における余剰特徴情報を取り除くために用いられる識別モジュールと、前記少なくとも１つの認識すべきターゲット識別対象のマルチチャンネル特徴情報をそれぞれ第２ニューラルネットワークモデルにおける少なくとも１つのサブニューラルネットワークモデルに入力し、少なくとも１つのターゲット識別対象を得るために用いられる確定モジュールと、を含み、前記ターゲット識別対象と前記サブニューラルネットワークモデルとは一対一に対応することを特徴とする自動運転車両の視覚感知装置を提供する。

一つの選択可能な実施形態において、前記第１ニューラルネットワークモデルを取得するために用いられる第２取得モジュールを更に含む。

一つの選択可能な実施形態において、前記第２取得モジュールは、第２視覚感知画像及び少なくとも１つのトレーニングサンプル対象のマルチチャンネル特徴情報に基づき、第１プリセットニューラルネットワークモデルをトレーニングして前記第１ニューラルネットワークモデルを生成するために用いられ、前記第２視覚感知画像には、前記少なくとも１つのトレーニングサンプル対象が含まれている。

一つの選択可能な実施形態において、前記第２ニューラルネットワークモデルを取得するために用いられる第３取得モジュールを更に含む。

一つの選択可能な実施形態において、前記第３取得モジュールは、少なくとも１つのトレーニングサンプル対象及び前記少なくとも１つのトレーニングサンプル対象のマルチチャンネル特徴情報に基づき、それぞれ第２プリセットニューラルネットワークモデルにおける少なくとも１つのサブプリセットニューラルネットワークモデルをトレーニングして前記第２ニューラルネットワークモデルを生成するために用いられ、前記トレーニングサンプル対象と前記サブプリセットニューラルネットワークモデルとは一対一に対応する。

一つの選択可能な実施形態において、前記第１取得モジュールは、前記自動運転車両における画像収集装置が収集した前記第１視覚感知画像を取得するために用いられる。

第３の態様では、本発明は、メモリ及びプロセッサを含む制御機器であって、前記メモリは、コンピュータコマンドを記憶するために用いられ、前記プロセッサは、前記メモリに記憶された前記コンピュータコマンドを実行して第１の態様のいずれかの自動運転車両の視覚感知方法を実現するために用いられることを特徴とする制御機器を提供する。

第４の態様では、本発明は、コンピュータコマンドが記憶されたコンピュータ読み取り可能な記憶媒体であって、前記コンピュータコマンドは、第１の態様のいずれかの自動運転車両の視覚感知方法を実現するために用いられることを特徴とするコンピュータ読み取り可能な記憶媒体を提供する。

本実施例が提供する自動運転車両に基づく視覚感知方法、装置、機器及び媒体は、取得した自動運転車両が収集した第１視覚感知画像を第１ニューラルネットワークモデルに入力することにより、少なくとも１つの認識すべきターゲット識別対象のマルチチャンネル特徴情報を識別し、それによって前記第１視覚感知画像における余剰特徴情報を取り除く。更に、前記少なくとも１つの認識すべきターゲット識別対象のマルチチャンネル特徴情報をそれぞれ第２ニューラルネットワークモデルにおける少なくとも１つのサブニューラルネットワークモデルに入力し、少なくとも１つのターゲット識別対象を得て、ここで、前記ターゲット識別対象と前記サブニューラルネットワークモデルは一対一に対応する。本実施例において、第１ニューラルネットワークモデルによって前記第１視覚感知画像における余剰特徴情報を取り除き、少なくとも１つの認識すべきターゲット識別対象のマルチチャンネル特徴情報のみをそれぞれ第２ニューラルネットワークモデルにおける少なくとも１つのサブニューラルネットワークモデルに入力して識別を行い、各サブニューラルネットワークモデルがそれぞれ余剰特徴情報を取り除く時間を減少することができ、ターゲット識別対象の識別速度を加速させ、それによって自動運転車両の感度を高め、自動運転車両の走行安全性を保証することができる。

本願の実施例又は従来技術における技術的解決手段をより明確に説明するために、以下、本願の実施例又は従来技術に対する説明に使用すべき図面を簡単に説明する。明らかに、以下、説明される実施例は本願の一部の実施例に過ぎず、当業者であれば、本願における実施例に基づき、創造的な労働をせずに、これらの図面から他の図面を得ることができる。
本願の一実施例が提供する自動運転車両に基づく視覚感知方法のフローチャートである。本願の別の実施例が提供する自動運転車両に基づく視覚感知方法のフローチャートである。本願の別の実施例が提供する自動運転車両に基づく視覚感知方法のフローチャートである。本願の一実施例が提供する自動運転車両に基づく視覚感知装置の構造概略図である。本願の一実施例が提供する制御機器の構造概略図である。

まず、本願の実施例の適用シーン及び一部の用語について説明する。

本願の実施例が提供する自動運転車両に基づく視覚感知方法、自動運転車両に基づく視覚感知装置、制御機器及びコンピュータ読み取り可能な記憶媒体は、自動運転車両が視覚感知を行い、自動運転車両を制御するための適用シーンに適用されることができる。本願の実施例は、ターゲット識別対象の識別速度を加速させ、それによって自動運転車両の感度を高め、自動運転車両の走行安全性を保証することができる。

本願の実施例が提供する自動運転車両に基づく視覚感知方法の実行主体は、自動運転車両に基づく視覚感知装置又は制御機器（説明の利便さのために、本実施例において、実行主体を自動運転車両に基づく視覚感知装置とすることを例として説明する）であってもよい。例示的に、当該装置はソフトウェア及び／又はハードウェアによって実現されることができる。

本願の実施例の係るターゲット識別対象は、ターゲット物体及び／又はターゲットエリアを含んでもよいが、それらに限定されない。例示的に、ターゲット物体は、障害物、車線又は交通マークのうち少なくとも１つを含んでもよいが、それらに限定されない。例示的に、ターゲットエリアは、立木エリア、運転エリア又は柵エリアのうち少なくとも１つを含んでもよいが、それらに限定されない。

本願の実施例の係るトレーニングサンプル対象は、物体サンプル及び／又はエリアサンプルを含んでもよいが、それらに限定されない。例示的に、物体サンプルは、障害物、車線又は交通マークのうち少なくとも１つを含んでもよいが、それらに限定されない。例示的に、エリアサンプルは、立木エリア、運転エリア又は柵エリアのうち少なくとも１つを含んでもよいが、それらに限定されない。

本願の実施例の係る第１ニューラルネットワークモデルとは、第１プリセットニューラルネットワークモデルをトレーニングし、得られたニューラルネットワークモデルである。例示的に、第１ニューラルネットワークモデルは、第１視覚感知画像における少なくとも１つの認識すべきターゲット識別対象のマルチチャンネル特徴情報を抽出し、第１視覚感知画像における余剰特徴情報（識別する必要がない特徴情報）を取り除くために用いられる。例えば、余剰特徴情報は、識別する必要がない非ターゲット識別対象の特徴情報及び／又は識別する必要がないターゲット識別対象の特徴情報を含んでもよいが、それらに限定されない。

本願の実施例の係る第２ニューラルネットワークモデルとは、第２プリセットニューラルネットワークモデルにおける少なくとも１つのサブプリセットニューラルネットワークモデルをトレーニングし、得られたニューラルネットワークモデルである。ここで、各サブプリセットニューラルネットワークモデルは、一類別のトレーニングサンプル対象に対応する。例示的に、第２ニューラルネットワークモデルには、並列した少なくとも１つのサブニューラルネットワークモデルが含まれ、各サブニューラルネットワークモデルは、一類別のターゲット識別対象に対応する。

例示的に、第２ニューラルネットワークモデルにおけるいずれか１つのサブニューラルネットワークモデルは、対応するターゲット識別対象のマルチチャンネル特徴情報を識別し、それによってターゲット識別対象を得るために用いられる。

本実施例が提供する自動運転車両に基づく視覚感知方法、装置、機器及び媒体は、第１ニューラルネットワークモデルによって第１視覚感知画像における余剰特徴情報を取り除き、少なくとも１つの認識すべきターゲット識別対象のマルチチャンネル特徴情報のみをそれぞれ第２ニューラルネットワークモデルにおける少なくとも１つのサブニューラルネットワークモデルに入力して識別し、各サブニューラルネットワークモデルがそれぞれ余剰特徴情報を取り除く時間を減少することができ、それによって従来技術において、ターゲット対象に対する識別速度が遅く、自動運転車両の感度を低下させ、交通事故を引き起こしやすいという技術的問題を解決する。

以下、具体的な実施例によって、本願の技術的解決手段及び本願の技術的解決手段によりいかに上記技術的問題を解決することについて詳しく説明する。以下のいくつかの具体的な実施例は相互に組み合わせることができ、同じ又は類似する概念又は過程については説明を省略することがある。

図１は本願の一実施例が提供する自動運転車両に基づく視覚感知方法のフローチャートである。図１に示すとおり、本実施例が提供する自動運転車両に基づく視覚感知方法は、ステップＳ１０１からステップＳ１０３を含む。

ステップＳ１０１において、自動運転車両が収集した第１視覚感知画像を取得する。

本ステップにおいて、自動運転車両に基づく視覚感知装置は、自動運転車両が収集した第１視覚感知画像を取得する（自動運転車両周辺の環境を指示するための画像情報）。

選択的に、自動運転車両に基づく視覚感知装置は、自動運転車両における画像収集装置が収集した第１視覚感知画像を取得することができる。例示的に、画像収集装置は、カメラ又はレーザプローブのうち少なくとも１つを含んでもよいが、それらに限定されない。

当然なことながら、自動運転車両に基づく視覚感知装置は、更に他の実施形態によって、自動運転車両が収集した第１視覚感知画像を取得することができ、本願の実施例においてこれを限定しない。

ステップＳ１０２において、第１視覚感知画像を第１ニューラルネットワークモデルに入力し、少なくとも１つの認識すべきターゲット識別対象のマルチチャンネル特徴情報を識別し、第１視覚感知画像における余剰特徴情報を取り除く。

本ステップにおいて、自動運転車両に基づく視覚感知装置は、第１視覚感知画像を第１ニューラルネットワークモデルに入力し、第１ニューラルネットワークモデルによって第１視覚感知画像に対して特徴抽出を行い、それによって第１視覚感知画像における少なくとも１つの認識すべきターゲット識別対象のマルチチャンネル特徴情報を識別することで、第１視覚感知画像における余剰特徴情報（識別する必要がない特徴情報を指す）を取り除き、それによって第２ニューラルネットワークモデルが直接少なくとも１つのターゲット識別対象のマルチチャンネル特徴情報に対して素早く識別しやすい。

ステップＳ１０３において、少なくとも１つの認識すべきターゲット識別対象のマルチチャンネル特徴情報をそれぞれ第２ニューラルネットワークモデルにおける少なくとも１つのサブニューラルネットワークモデルに入力し、少なくとも１つのターゲット識別対象を得て、ここで、ターゲット識別対象とサブニューラルネットワークモデルは一対一に対応する。

本願の実施例において、第２ニューラルネットワークモデルには、並列した少なくとも１つのサブニューラルネットワークモデルが含まれてもよく、各サブニューラルネットワークモデルは一類別のターゲット識別対象に対応する。例示的に、第２ニューラルネットワークモデルにおけるいずれか１つのサブニューラルネットワークモデルは、対応するターゲット識別対象のマルチチャンネル特徴情報を識別し、ターゲット識別対象を得るために用いられる。

例えば、第２ニューラルネットワークモデルには、サブニューラルネットワークモデル１、サブニューラルネットワークモデル２及びサブニューラルネットワークモデル３が含まれ、ここで、サブニューラルネットワークモデル１は、ターゲット識別対象Ａのマルチチャンネル特徴情報を識別し、ターゲット識別対象Ａを得るために用いられ、サブニューラルネットワークモデル２は、ターゲット識別対象Ｂのマルチチャンネル特徴情報を識別し、ターゲット識別対象Ｂを得るために用いられ、サブニューラルネットワークモデル３は、ターゲット識別対象Ｃのマルチチャンネル特徴情報を識別し、ターゲット識別対象Ｃを得るために用いられると仮定する。

本ステップにおいて、自動運転車両に基づく視覚感知装置は、第１ニューラルネットワークモデルが第１視覚感知画像における余剰特徴情報を取り除くことによって得られた少なくとも１つの認識すべきターゲット識別対象のマルチチャンネル特徴情報をそれぞれ第２ニューラルネットワークモデルにおける対応するサブニューラルネットワークモデルに入力し、対応するサブニューラルネットワークモデルによって対応するターゲット識別対象のマルチチャンネル特徴情報を識別し、対応するターゲット識別対象を得て、それによって自動運転車両の制御が便利になる。

例えば、少なくとも１つの認識すべきターゲット識別対象は、ターゲット識別対象Ａ、ターゲット識別対象Ｂ及びターゲット識別対象Ｃを含み、第２ニューラルネットワークモデルは、サブニューラルネットワークモデル１、サブニューラルネットワークモデル２及びサブニューラルネットワークモデル３を含む。ここで、サブニューラルネットワークモデル１は、ターゲット識別対象Ａに対応し、サブニューラルネットワークモデル２は、ターゲット識別対象Ｂに対応し、及びサブニューラルネットワークモデル３は、ターゲット識別対象Ｃに対応すると仮定する。

本ステップにおいて、１）自動運転車両に基づく視覚感知装置は、ターゲット識別対象Ａのマルチチャンネル特徴情報を第２ニューラルネットワークモデルにおけるサブニューラルネットワークモデル１に入力し、サブニューラルネットワークモデル１によってターゲット識別対象Ａのマルチチャンネル特徴情報を識別し、ターゲット識別対象Ａを得ることができる。

２）自動運転車両に基づく視覚感知装置は、ターゲット識別対象Ｂのマルチチャンネル特徴情報を第２ニューラルネットワークモデルにおけるサブニューラルネットワークモデル２に入力し、サブニューラルネットワークモデル２によってターゲット識別対象Ｂのマルチチャンネル特徴情報を識別し、ターゲット識別対象Ｂを得ることができる。

３）自動運転車両に基づく視覚感知装置は、ターゲット識別対象Ｃのマルチチャンネル特徴情報を第２ニューラルネットワークモデルにおけるサブニューラルネットワークモデル３に入力し、サブニューラルネットワークモデル３によってターゲット識別対象Ｃのマルチチャンネル特徴情報を識別し、ターゲット識別対象Ｃを得ることができる。

なお、本実施例において、自動運転車両に基づく視覚感知装置が、ターゲット識別対象Ａのマルチチャンネル特徴情報を第２ニューラルネットワークモデルにおけるサブニューラルネットワークモデル１に入力して識別し、自動運転車両に基づく視覚感知装置が、ターゲット識別対象Ｂのマルチチャンネル特徴情報を第２ニューラルネットワークモデルにおけるサブニューラルネットワークモデル２に入力して識別し、及び自動運転車両に基づく視覚感知装置が、ターゲット識別対象Ｃのマルチチャンネル特徴情報を第２ニューラルネットワークモデルにおけるサブニューラルネットワークモデル３に入力して識別するステップを並列に実行し、又は順次実行してもよく、本実施例においてこれを限定しない。

本実施例が提供する自動運転車両に基づく視覚感知方法は、取得された自動運転車両が収集した第１視覚感知画像を第１ニューラルネットワークモデルに入力することにより、少なくとも１つの認識すべきターゲット識別対象のマルチチャンネル特徴情報を識別するし、これによって第１視覚感知画像における余剰特徴情報を取り除く。更に、少なくとも１つの認識すべきターゲット識別対象のマルチチャンネル特徴情報をそれぞれ第２ニューラルネットワークモデルにおける少なくとも１つのサブニューラルネットワークモデルに入力し、少なくとも１つのターゲット識別対象を得て、ここで、ターゲット識別対象とサブニューラルネットワークモデルは一対一に対応する。本願の実施例において、第１ニューラルネットワークモデルによって第１視覚感知画像における余剰特徴情報を取り除き、少なくとも１つの認識すべきターゲット識別対象のマルチチャンネル特徴情報のみをそれぞれ第２ニューラルネットワークモデルにおける少なくとも１つのサブニューラルネットワークモデルに入力して識別を行い、各サブニューラルネットワークモデルがそれぞれ余剰特徴情報を取り除く時間を減少することができ、ターゲット識別対象の識別速度を加速させ、それによって自動運転車両の感度を高め、自動運転車両の走行安全性を保証することができる。

図２は本願の別の実施例が提供する自動運転車両に基づく視覚感知方法のフローチャートである。上記実施例を基に、図２に示すとおり、本実施例においては、上記ステップＳ１０２の前に、更にステップＳ１００Ａを含む。

ステップＳ１００Ａにおいて、第１ニューラルネットワークモデルを取得する。

本ステップにおいて、自動運転車両に基づく視覚感知装置が、第１ニューラルネットワークモデルを取得する必要があり、それによって自動運転車両に基づく視覚感知装置が、後に第１ニューラルネットワークモデルを用いて第１視覚感知画像に対して特徴抽出を行うことにより、少なくとも１つの認識すべきターゲット識別対象のマルチチャンネル特徴情報を識別し、第１視覚感知画像における余剰特徴情報を取り除く。

本実施例の下記部分は上記ステップＳ１００Ａの具体的な実施形態について説明する。

例示的に、第２視覚感知画像及び少なくとも１つのトレーニングサンプル対象のマルチチャンネル特徴情報に基づき、第１プリセットニューラルネットワークモデルをトレーニングし、第１ニューラルネットワークモデルを生成し、ここで、第２視覚感知画像には、少なくとも１つのトレーニングサンプル対象が含まれている。

本実施例において、自動運転車両に基づく視覚感知装置は、第２視覚感知画像（少なくとも１つのトレーニングサンプル対象を含む）に基づき、第１プリセットニューラルネットワークモデルをトレーニングし、トレーニングによって得られたマルチチャンネル特徴情報と少なくとも１つのトレーニングサンプル対象のマルチチャンネル特徴情報が同じ又は類似する（例えば、同じ情報が占める割合が第１プリセット割合より大きい）まで行い、それによって第１ニューラルネットワークモデルを得る。

当然なことながら、本実施例において、他の実施形態によって第１ニューラルネットワークモデルを取得することもでき、本実施例においてこれを限定しない。

本実施例において、第１ニューラルネットワークモデルを取得することにより、第１ニューラルネットワークモデルに基づき、第１視覚感知画像における余剰特徴情報を取り除き、少なくとも１つの認識すべきターゲット識別対象のマルチチャンネル特徴情報のみをそれぞれ第２ニューラルネットワークモデルにおける少なくとも１つのサブニューラルネットワークモデルに入力して識別し、各サブニューラルネットワークモデルがそれぞれ余剰特徴情報を取り除く時間を減少でき、ターゲット識別対象の識別速度を加速し、それによって自動運転車両の感度を高め、自動運転車両の走行安全性を保証することができる。

図３は本願の別の実施例が提供する自動運転車両に基づく視覚感知方法のフローチャートである。上記実施例を基に、図３に示すとおり、本実施例においては、上記ステップＳ１０３の前に、更にステップＳ１００Ｂを含む。

ステップＳ１００Ｂにおいて、第２ニューラルネットワークモデルを取得する。

本実施例において、第２ニューラルネットワークモデルは、並列した少なくとも１つのサブニューラルネットワークモデルを含むことができ、各サブニューラルネットワークモデルは、一類別のターゲット識別対象に対応する。例示的に、第２ニューラルネットワークモデルにおけるいずれか１つのサブニューラルネットワークモデルは、対応するターゲット識別対象のマルチチャンネル特徴情報を識別し、ターゲット識別対象を得るために用いられる。

本ステップにおいて、自動運転車両に基づく視覚感知装置は、第２ニューラルネットワークモデルを取得する必要があり、それによって自動運転車両に基づく視覚感知装置が、後に少なくとも１つの認識すべきターゲット識別対象のマルチチャンネル特徴情報をそれぞれ第２ニューラルネットワークモデルにおける少なくとも１つのサブニューラルネットワークモデルに入力し、少なくとも１つのターゲット識別対象を得る。

本実施例の下記部分は上記ステップＳ１００Ｂの具体的な実施形態について説明する。

例示的に、少なくとも１つのトレーニングサンプル対象及び少なくとも１つのトレーニングサンプル対象のマルチチャンネル特徴情報に基づき、それぞれ第２プリセットニューラルネットワークモデルにおける少なくとも１つのサブプリセットニューラルネットワークモデルをトレーニングし、第２ニューラルネットワークモデルを生成し、ここで、トレーニングサンプル対象とサブプリセットニューラルネットワークモデルは一対一に対応する。

本実施例の係る第２プリセットニューラルネットワークモデルは、並列した少なくとも１つのサブプリセットニューラルネットワークモデルを含み、各サブプリセットニューラルネットワークモデルは、一類別のトレーニングサンプル対象に対応する。例示的に、第２プリセットニューラルネットワークモデルにおけるいずれか１つのサブプリセットニューラルネットワークモデルは、対応するトレーニングサンプル対象のマルチチャンネル特徴情報を識別するために用いられる。

本実施例において、自動運転車両に基づく視覚感知装置は、少なくとも１つのトレーニングサンプル対象のマルチチャンネル特徴情報に基づき、それぞれ第２プリセットニューラルネットワークモデルにおける対応するサブプリセットニューラルネットワークモデルをトレーニングし、トレーニングによって得られた対象がそれぞれ少なくとも１つのトレーニングサンプル対象と同じ又は類似する（例えば、同じ情報が占める割合が第２プリセット割合より大きい）まで行い、それによって第２ニューラルネットワークモデルを得る。

例えば、少なくとも１つのトレーニングサンプル対象は、トレーニングサンプル対象Ａ、トレーニングサンプル対象Ｂ及びトレーニングサンプル対象Ｃを含み、第２プリセットニューラルネットワークモデルは、サブプリセットニューラルネットワークモデル１、サブプリセットニューラルネットワークモデル２及びサブプリセットニューラルネットワークモデル３を含み、ここで、サブプリセットニューラルネットワークモデル１は、トレーニングサンプル対象Ａに対応し、サブプリセットニューラルネットワークモデル２は、トレーニングサンプル対象Ｂに対応し、及びサブプリセットニューラルネットワークモデル３は、トレーニングサンプル対象Ｃに対応すると仮定する。

本実施例において、１）自動運転車両に基づく視覚感知装置は、トレーニングサンプル対象Ａのマルチチャンネル特徴情報に基づき、第２プリセットニューラルネットワークモデルにおけるサブプリセットニューラルネットワークモデル１をトレーニングし、トレーニングによって得られた対象がトレーニングサンプル対象Ａと同じ又は類似する（例えば、同じ情報が占める割合が第２プリセット割合より大きい）まで行い、サブニューラルネットワークモデル１を得る。

２）自動運転車両に基づく視覚感知装置は、トレーニングサンプル対象Ｂのマルチチャンネル特徴情報に基づき、第２プリセットニューラルネットワークモデルにおけるサブプリセットニューラルネットワークモデル２をトレーニングし、トレーニングによって得られた対象がトレーニングサンプル対象Ｂと同じ又は類似する（例えば、同じ情報が占める割合が第２プリセット割合より大きい）まで行い、サブニューラルネットワークモデル２を得る。

３）自動運転車両に基づく視覚感知装置は、トレーニングサンプル対象Ｃのマルチチャンネル特徴情報に基づき、第２プリセットニューラルネットワークモデルにおけるサブプリセットニューラルネットワークモデル３をトレーニングし、トレーニングによって得られた対象がトレーニングサンプル対象Ｃと同じ又は類似する（例えば、同じ情報が占める割合が第２プリセット割合より大きい）まで行い、サブニューラルネットワークモデル３を得る。

上記トレーニングにより、第２ニューラルネットワークモデルを得る。例示的に、第２ニューラルネットワークモデルは、サブニューラルネットワークモデル１、サブニューラルネットワークモデル２及びサブニューラルネットワークモデル３を含む。

なお、本実施例において、自動運転車両に基づく視覚感知装置が、トレーニングサンプル対象Ａのマルチチャンネル特徴情報に基づき、第２プリセットニューラルネットワークモデルにおけるサブプリセットニューラルネットワークモデル１をトレーニングし、自動運転車両に基づく視覚感知装置が、トレーニングサンプル対象Ｂのマルチチャンネル特徴情報に基づき、第２プリセットニューラルネットワークモデルにおけるサブプリセットニューラルネットワークモデル２をトレーニングし、及び自動運転車両に基づく視覚感知装置が、トレーニングサンプル対象Ｃのマルチチャンネル特徴情報に基づき、第２プリセットニューラルネットワークモデルにおけるサブプリセットニューラルネットワークモデル３をトレーニングすることができるステップを並列に実行し、又は順次実行することができ、本実施例においてこれを限定しない。

当然なことながら、本実施例において、更に他の実施形態によって第２ニューラルネットワークモデルを取得することができ、本実施例においてこれを限定しない。

なお、図３においてステップＳ１００ＢをステップＳ１０２とステップＳ１０３との間に概略的に設定するが、ステップＳ１００ＢはステップＳ１０１及び／又はステップＳ１０２の後に実行するように限定しない。図３はステップＳ１００ＢをステップＳ１０３の前に設定することを概略的に表示するものにすぎず、ステップＳ１０１及びステップＳ１０２とステップＳ１００Ｂとの前後の実行順番を限定しない。

本実施例が提供する自動運転車両に基づく視覚感知方法は、第２ニューラルネットワークモデルを取得することにより、第２ニューラルネットワークモデルにおける少なくとも１つのサブニューラルネットワークモデルに基づき、それぞれ対応するターゲット識別対象のマルチチャンネル特徴情報を直接に識別し、余剰特徴情報をそれぞれ取り除く必要がなく、ターゲット識別対象の識別速度を加速し、それによって自動運転車両の感度を高め、自動運転車両の走行安全性を保証することができる。

図４は本願の一実施例が提供する自動運転車両に基づく視覚感知装置の構造概略図である。図４に示すとおり、本実施例が提供する自動運転車両に基づく視覚感知装置４０は、第１取得モジュール４０１、識別モジュール４０２及び確定モジュール４０３を含む。

ここで、第１取得モジュール４０１は、自動運転車両が収集した第１視覚感知画像を取得するために用いられる。

識別モジュール４０２は、第１視覚感知画像を第１ニューラルネットワークモデルに入力し、少なくとも１つの認識すべきターゲット識別対象のマルチチャンネル特徴情報を識別し、第１視覚感知画像における余剰特徴情報を取り除くために用いられる。

確定モジュール４０３は、少なくとも１つの認識すべきターゲット識別対象のマルチチャンネル特徴情報をそれぞれ第２ニューラルネットワークモデルにおける少なくとも１つのサブニューラルネットワークモデルに入力し、少なくとも１つのターゲット識別対象を得るために用いられ、ここで、ターゲット識別対象とサブニューラルネットワークモデルは一対一に対応する。

一つの選択可能な実施形態において、自動運転車両に基づく視覚感知装置は、更に第２取得モジュールを含む。

第２取得モジュールは、第１ニューラルネットワークモデルを取得するために用いられる。

一つの選択可能な実施形態において、第２取得モジュールは、具体的には、第２視覚感知画像及び少なくとも１つのトレーニングサンプル対象のマルチチャンネル特徴情報に基づき、第１プリセットニューラルネットワークモデルをトレーニングし、第１ニューラルネットワークモデルを生成するために用いられ、ここで、第２視覚感知画像には、少なくとも１つのトレーニングサンプル対象が含まれている。

一つの選択可能な実施形態において、自動運転車両に基づく視覚感知装置は、更に第３取得モジュールを含む。

第３取得モジュールは、第２ニューラルネットワークモデルを取得するために用いられる。

一つの選択可能な実施形態において、第３取得モジュールは、具体的には、少なくとも１つのトレーニングサンプル対象及び少なくとも１つのトレーニングサンプル対象のマルチチャンネル特徴情報に基づき、それぞれ第２プリセットニューラルネットワークモデルにおける少なくとも１つのサブプリセットニューラルネットワークモデルをトレーニングし、第２ニューラルネットワークモデルを生成するために用いられ、ここで、トレーニングサンプル対象とサブプリセットニューラルネットワークモデルは一対一に対応する。

一つの選択可能な実施形態において、第１取得モジュール４０１は、具体的には、自動運転車両における画像収集装置が収集した第１視覚感知画像を取得するために用いられる。

一つの選択可能な実施形態において、ターゲット識別対象は、ターゲット物体及びターゲットエリアのうち少なくとも１つを含む。

本実施例が提供する自動運転車両に基づく視覚感知装置は、本願の上記自動運転車両に基づく視覚感知方法実施例における技術的解決手段を実行するために用いられ、その技術的原理及び技術的効果が類似するため、ここでの説明を省略する。

図５は本願の一実施例が提供する制御機器の構造概略図である。例示的に、本実施例における制御機器は自動運転車両のコントローラ又は自動運転車両システムのコントローラ等であってもよい。図５に示すとおり、本実施例が提供する制御機器５０はメモリ５０１及びプロセッサ５０２を含んでもよい。

ここで、メモリ５０１はコンピュータコマンドを記憶するために用いられる。

プロセッサ５０２は、メモリ５０１に記憶されたコンピュータコマンドを実行して本願の上記自動運転車両に基づく視覚感知方法の実施例における技術的解決手段を実現するために用いられる。その技術的原理及び技術的効果は同様であるため、ここでの説明を省略する。

本実施例は更にコンピュータ読み取り可能な記憶媒体を提供し、コンピュータコマンドを含み、コンピュータコマンドは、読み取り可能な記憶媒体に記憶され、コンピュータコマンドは、本願の上記自動運転車両に基づく視覚感知方法の実施例における技術的解決手段を実現するために用いられる。その技術的原理及び技術的効果は同様であるため、ここでの説明を省略する。

本実施例は、更にコマンドを実行するチップを提供し、チップは、本願の上記自動運転車両に基づく視覚感知方法の実施例における技術的解決手段を実現するために用いられる。その技術的原理及び技術的効果は同様であるため、ここでの説明を省略する。

本実施例は、更にプログラム製品を提供し、プログラム製品は、コンピュータプログラムを含み、コンピュータプログラムは、記憶媒体に記憶され、少なくとも１つのプロセッサは、記憶媒体からコンピュータプログラムを読み取ることができ、少なくとも１つのプロセッサが、コンピュータプログラムを実行する場合に本願の上記自動運転車両に基づく視覚感知方法の実施例における技術的解決手段を実現するために用いられる。その技術的原理及び技術的効果は同様であるため、ここでの説明を省略する。

上記プロセッサ５０２は中央処理ユニット（英語：ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ、略称：ＣＰＵ）であってもよく、他の汎用プロセッサ、デジタル信号プロセッサ（英語：ＤｉｇｉｔａｌＳｉｇｎａｌＰｒｏｃｅｓｓｏｒ、略称：ＤＳＰ）、専用集積回路（英語：ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ、略称：ＡＳＩＣ）等であってもよい。汎用プロセッサはマイクロプロセッサ又は任意の従来のプロセッサなどであってもよい。本実施例の開示する方法のステップはハードウェアプロセッサで実行して完成し、又はプロセッサにおけるハードウェア及びソフトウェアモジュールの組み合わせで実行して完成することで直接に体現できる。

当業者であれば、本願の各実施例において、上記各過程の番号の大きさは実行順番の前後を意味することはなく、各過程の実行順番はその機能及びインナーロジックで確定されるべきで、本実施例の実施過程を限定するものではないと理解できる。

当業者であれば、上記各方法の実施例におけるステップの全て又は一部をプログラムに関連するハードウェアによって実行させることができ、前述したプログラムはコンピュータ読み取り可能な記憶媒体に記憶されてもよいことは理解できる。当該プログラムは実行される場合、上記各方法の実施例を含むステップを実行する。前述した記憶媒体は、ＲＯＭ、ＲＡＭ、磁気ディスク又は光ディスク等プログラムコードを記憶することができる様々な媒体を含む。

最後に説明すべきことは、以上の各実施例は本願の技術的解決手段を説明するものにすぎず、それを限定するものではない。前述した各実施例を参照しながら本願の実施例について詳細に説明したが、当業者であれば、依然として前述した各実施例に記載される技術的解決手段を修正することができ、又はそのうちの一部もしくはすべての技術的特徴について均等置換を行うことができる。これらの修正又は置換は、対応する技術的解決手段の本質が本願の各実施例の技術的解決手段の趣旨及び範囲から逸脱するようにさせるものではないと理解すべきである。

Claims

自動運転車両が収集した第１視覚感知画像を取得することと、
前記第１視覚感知画像を第１ニューラルネットワークモデルに入力し、少なくとも１つの認識すべきターゲット識別対象のマルチチャンネル特徴情報を識別し、それによって前記第１視覚感知画像における余剰特徴情報を取り除くことと、
前記少なくとも１つの認識すべきターゲット識別対象のそれぞれのマルチチャンネル特徴情報をそれぞれ第２ニューラルネットワークモデルにおける複数のサブニューラルネットワークモデルにおける対応するサブニューラルネットワークモデルに入力し、少なくとも１つのターゲット識別対象を得ることと、を含み、
前記複数のサブニューラルネットワークモデルは、それぞれ一類別のターゲット識別対象に対応することを特徴とする自動運転車両の視覚感知方法。
前記第１ニューラルネットワークモデルを取得することを更に含むことを特徴とする請求項１に記載の自動運転車両の視覚感知方法。
前記第１ニューラルネットワークモデルを取得することは、
第２視覚感知画像及び少なくとも１つのトレーニングサンプル対象のマルチチャンネル特徴情報に基づき、第１プリセットニューラルネットワークモデルをトレーニングして前記第１ニューラルネットワークモデルを生成することを含み、
前記第２視覚感知画像には、前記少なくとも１つのトレーニングサンプル対象が含まれていることを特徴とする請求項２に記載の自動運転車両の視覚感知方法。
前記第２ニューラルネットワークモデルを取得することを更に含むことを特徴とする請求項１−３のいずれか１項に記載の自動運転車両の視覚感知方法。
前記第２ニューラルネットワークモデルを取得することは、
少なくとも１つのトレーニングサンプル対象及び前記少なくとも１つのトレーニングサンプル対象のマルチチャンネル特徴情報に基づき、それぞれ第２プリセットニューラルネットワークモデルにおける複数のサブプリセットニューラルネットワークモデルをトレーニングし、前記第２ニューラルネットワークモデルを生成することを含み、
前記複数のサブプリセットニューラルネットワークモデルは、それぞれ一類別のトレーニングサンプル対象に対応することを特徴とする請求項４に記載の自動運転車両の視覚感知方法。
前記自動運転車両が収集した第１視覚感知画像を取得することは、
前記自動運転車両に設置された画像収集装置が収集した前記第１視覚感知画像を取得することを含むことを特徴とする請求項１−３のいずれか１項に記載の自動運転車両の視覚感知方法。
前記ターゲット識別対象は、ターゲット物体及びターゲットエリアのうち、少なくとも１つを含むことを特徴とする請求項１−３のいずれか１項に記載の自動運転車両の視覚感知方法。
自動運転車両が収集した第１視覚感知画像を取得するために用いられる第１取得モジュールと、
前記第１視覚感知画像を第１ニューラルネットワークモデルに入力し、少なくとも１つの認識すべきターゲット識別対象のマルチチャンネル特徴情報を識別し、前記第１視覚感知画像における余剰特徴情報を取り除くために用いられる識別モジュールと、
前記少なくとも１つの認識すべきターゲット識別対象のそれぞれのマルチチャンネル特徴情報をそれぞれ第２ニューラルネットワークモデルにおける複数のサブニューラルネットワークモデルにおける対応するサブニューラルネットワークモデルに入力し、少なくとも１つのターゲット識別対象を得るために用いられる確定モジュールと、を含み、
前記複数のサブニューラルネットワークモデルは、それぞれ一類別のターゲット識別対象に対応することを特徴とする自動運転車両の視覚感知装置。
前記第１ニューラルネットワークモデルを取得するために用いられる第２取得モジュールを更に含むことを特徴とする請求項８に記載の自動運転車両の視覚感知装置。
前記第２取得モジュールは、
第２視覚感知画像及び少なくとも１つのトレーニングサンプル対象のマルチチャンネル特徴情報に基づき、第１プリセットニューラルネットワークモデルをトレーニングして前記第１ニューラルネットワークモデルを生成するために用いられ、
前記第２視覚感知画像には、前記少なくとも１つのトレーニングサンプル対象が含まれていることを特徴とする請求項９に記載の自動運転車両の視覚感知装置。
前記第２ニューラルネットワークモデルを取得するために用いられる第３取得モジュールを更に含むことを特徴とする請求項８−１０のいずれか１項に記載の自動運転車両の視覚感知装置。
前記第３取得モジュールは、
少なくとも１つのトレーニングサンプル対象及び前記少なくとも１つのトレーニングサンプル対象のマルチチャンネル特徴情報に基づき、それぞれ第２プリセットニューラルネットワークモデルにおける複数のサブプリセットニューラルネットワークモデルをトレーニングして前記第２ニューラルネットワークモデルを生成するために用いられ、
前記複数のサブプリセットニューラルネットワークモデルは、それぞれ一類別のトレーニングサンプル対象に対応することを特徴とする請求項１１に記載の自動運転車両の視覚感知装置。
前記第１取得モジュールは、
前記自動運転車両における画像収集装置が収集した前記第１視覚感知画像を取得するために用いられることを特徴とする請求項８−１０のいずれか１項に記載の自動運転車両に基づく視覚感知装置。
前記ターゲット識別対象は、ターゲット物体及びターゲットエリアのうち、少なくとも１つを含むことを特徴とする請求項８−１０のいずれか１項に記載の自動運転車両の視覚感知装置。
メモリ及びプロセッサを含む制御機器であって、
前記メモリは、コンピュータコマンドを記憶するために用いられ、
前記プロセッサは、前記メモリに記憶された前記コンピュータコマンドを実行して請求項１−７のいずれか１項に記載の自動運転車両の視覚感知方法を実現するために用いられることを特徴とする制御機器。
コンピュータコマンドが記憶されたコンピュータ読み取り可能な記憶媒体であって、前記コンピュータコマンドは、請求項１−７のいずれか１項に記載の自動運転車両の視覚感知方法を実現するために用いられることを特徴とするコンピュータ読み取り可能な記憶媒体。