JP7245275B2 - 軌道計画モデルの訓練方法と装置、電子機器、コンピュータ記憶媒体及びコンピュータプログラム - Google Patents

軌道計画モデルの訓練方法と装置、電子機器、コンピュータ記憶媒体及びコンピュータプログラム Download PDF

Info

Publication number
JP7245275B2
JP7245275B2 JP2021051797A JP2021051797A JP7245275B2 JP 7245275 B2 JP7245275 B2 JP 7245275B2 JP 2021051797 A JP2021051797 A JP 2021051797A JP 2021051797 A JP2021051797 A JP 2021051797A JP 7245275 B2 JP7245275 B2 JP 7245275B2
Authority
JP
Japan
Prior art keywords
trajectory
image
transportation tool
region
trajectory points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021051797A
Other languages
English (en)
Other versions
JP2022003508A (ja
Inventor
チャン、トン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Publication of JP2022003508A publication Critical patent/JP2022003508A/ja
Application granted granted Critical
Publication of JP7245275B2 publication Critical patent/JP7245275B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/24—Arrangements for determining position or orientation
    • G05D1/247—Arrangements for determining position or orientation using signals provided by artificial sources external to the vehicle, e.g. navigation beacons
    • G05D1/249—Arrangements for determining position or orientation using signals provided by artificial sources external to the vehicle, e.g. navigation beacons from positioning sensors located off-board the vehicle, e.g. from cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3407—Route searching; Route guidance specially adapted for specific applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/20—Static objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B60W2554/4029—Pedestrians
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/60—Traffic rules, e.g. speed limits or right of way
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Databases & Information Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Electromagnetism (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Description

本開示の実施例は自律運転分野に関し、より具体的に、軌道計画モデルの訓練方法と装置、電子機器、コンピュータ記憶媒体及びコンピュータプログラムに関する。
コンピュータとインターネットの発展に伴い、低速の自律運転シーンでは、巡航経路を計画するためにますます多くの神経ネットワーク構造が提案されており、通常、画像を入力して神経ネットワークを訓練することによって、正確で信頼性が高い巡航経路を取得する。しかしながら、入力画像には、路線計画に関連する道路情報だけでなく、路線計画に関連しない遠方の建物、車両、歩行者などの干渉情報も含まれている。神経ネットワークの計算量が限られ、データ量とネットワーク容量が限られる場合、これらの干渉情報は神経ネットワークの計算コストを増加させ、大量のリソースを消耗することになる。このため、経路計画の正確さを向上させるために、低コストで、高速且つ効率的な経路計画訓練方法を見つける必要がある。
本開示の実施例によれば、軌道計画モデルを訓練し、交通工具の軌道を確定する手段を提供する。
本開示の第１態様において、軌道計画モデルの訓練方法を提供する。該方法は、交通工具の少なくとも１つのセンサーを使用して、交通工具が位置する物理的環境の、交通工具の周辺の複数のオブジェクトを含む画像を取得するステップと、画像に基づいて、軌道計画モデルによって、交通工具の画像内の複数の初期軌道ポイントを示す特徴マップを取得するステップと、画像を認識して、画像内の複数のオブジェクトのうちの道路オブジェクトに関連付けられている第１領域及び複数のオブジェクトのうちの非道路オブジェクトに関連付けられている第２領域を確定するステップと、第１領域と第２領域に対する複数の初期軌道ポイントの位置関係に基づいて、計画軌道ポイントを確定するステップと、計画軌道ポイントと交通工具の実際の軌道ポイントに基づいて、軌道計画モデルを訓練するステップと、を含む。
本開示の第２態様において、交通工具の軌道を確定する方法を提供する。該方法は、交通工具の少なくとも１つのセンサーを使用して、交通工具が位置する物理的環境の画像を取得するステップと、画像に基づいて、第１態様の方法に従って訓練された軌道計画モデルによって交通工具の軌道を確定するステップと、を含む。
本開示の第３態様において、軌道計画モデルの訓練装置を提供する。該装置は、交通工具の少なくとも１つのセンサーを使用して、交通工具が位置する物理的環境の、交通工具の周辺の複数のオブジェクトを含む画像を取得するように配置される画像取得モジュールと、画像に基づいて、軌道計画モデルによって、画像内の交通工具の複数の初期軌道ポイントを示す特徴マップを取得するように配置される特徴マップ確定モジュールと、画像を認識し、画像内の複数のオブジェクトのうちの道路オブジェクトに関連付けられている第１領域及び複数のオブジェクトのうちの非道路オブジェクトに関連付けられている第２領域を確定するように配置される画像認識モジュールと、第１領域と第２領域に対する複数の初期軌道ポイントの位置関係に基づいて、計画軌道ポイントを確定するように配置される計画軌道確定モジュールと、計画軌道ポイントと交通工具の実際の軌道ポイントに基づいて、軌道計画モデルを訓練するように配置される軌道計画訓練モジュールと、を備える。
本開示の第４態様において、交通工具の軌道を確定する装置を提供する。該装置は、交通工具の少なくとも１つのセンサーを使用して、交通工具が位置する物理的環境の画像を取得するように配置される画像確定モジュールと、画像に基づいて、第３態様の装置に従って訓練された軌道計画モデルによって交通工具の軌道を確定するように配置される軌道確定モジュールと、を備える。
本開示の第５態様において、電子機器を提供し、１つまたは複数のプロセッサと、１つまたは複数のプログラムを記憶するための記憶装置と、を備え、１つまたは複数のプログラムは１つまたは複数のプロセッサによって実行される際、１つまたは複数のプロセッサに本開示の第１態様による方法を実現させる。
本開示の第６態様において、電子機器を提供し、１つまたは複数のプロセッサと、１つまたは複数のプログラムを記憶するための記憶装置と、を備え、１つまたは複数のプログラムは１つまたは複数のプロセッサによって実行される際、１つまたは複数のプロセッサに本開示の第２態様による方法を実現させる。
本開示の第７態様において、コンピュータプログラムが記憶されたコンピュータ可読記憶媒体を提供し、該プログラムはプロセッサによって実行される際に本開示の第１態様による方法を実現する。
本開示の第８態様において、コンピュータプログラムが記憶されたコンピュータ可読記憶媒体を提供し、該プログラムはプロセッサによって実行される際に本開示の第２態様による方法を実現する。
本開示の第９態様において、コンピュータプログラムを提供し、該コンピュータプログラムがプロセッサによって実行される際、本開示の第１と第２態様による方法を実現させる。
理解すべきものとして、この部分で説明する内容は、本開示の実施例の肝心なまたは重要な特徴を特定することを意図するものではなく、本開示の範囲を限定することを意図するものでもない。本開示の他の特徴は以下の説明を通じて容易に理解される。
図面を参照して以下の詳しい説明を組み合わせ、本開示の各実施例の上記及び他の特徴、利点及び態様をより明らかにする。図面では、同じまたは類似の図面符号は同じまたは類似の要素を示す。
本開示の複数の実施例を実現できる例示的な環境を示す模式図である。 本開示のいくつかの実施例による軌道計画モデルの訓練プロセスを示すフローチャートである。 本開示のいくつかの実施例による計画軌道ポイントを確定する模式図である。 本開示のいくつかの実施例による交通工具の軌道を確定するプロセスを示すフローチャートである。 本開示のいくつかの実施例による軌道計画モデルの訓練装置を示す概略ブロック図である。 本開示のいくつかの実施例による交通工具の軌道を確定する装置を示す概略ブロック図である。 本開示の複数の実施例を実施できる計算機器のブロック図である。
以下、図面を参照して、本開示の好ましい実施例を説明する。図面に本開示の好ましい実施例を示したが、理解すべきものとして、ここで説明された実施例によって制限されず、様々な形式で本開示を実現できる。逆に、これらの実施例は、本開示をより明確且つ完備にさせ、本開示の範囲を完全に当業者に伝えることができるために提供される。
本明細書で使用される「含む」という用語およびその変形は、制限のない包含、すなわち「含むがこれに限定されない」を意味する。特に明記しない限り、「または」という用語は「および／または」を意味する。「に基づく」という用語は、「少なくとも部分的に基づく」を意味する。「一つの例示的な実施例」及び「一つの実施例」という用語は、「少なくとも１つの例示的な実施例」を意味する。「他の実施例」という用語は、「少なくとも１つの他の実施例」を示す。「第１」、「第２」などという用語は、異なるまたは同じオブジェクトを指すことができる。以下には、他の明示的および暗黙的な定義も含まれる場合がある。
本開示の実施例の説明では、「モデル」という用語は、訓練データから対応する入力と出力との間の関連を学習することができ、それにより、訓練が完了した後に訓練して得られたパラメータセットに基づいて所定の入力を処理して対応する出力を生成する。「モデル」は、「神経ネットワーク」、「学習モデル」、「学習ネットワーク」または「ネットワーク」と呼ばれる場合がある。これらの用語は、本明細書で切り替えるように使用することができる。
以上に言及されたように、入力画像には、路線計画に関連する道路情報だけでなく、路線計画に関連しない遠方の建物、車両、歩行者などの干渉情報も含まれている。神経ネットワークの計算量が限られ、データ量とネットワーク容量が限られる場合、これらの干渉情報は神経ネットワークの計算コストを増加させ、大量のリソースを消耗することになる。このため、経路計画の正確さを向上させるために、低コストで、高速且つ効率的な経路計画訓練方法を見つける必要がある。
本開示の実施例によれば、軌道計画モデルの訓練手段を提出する。該手段では、まず、交通工具の周囲の物理的環境の画像を取得し、画像には、例えば道路に関連するオブジェクト（例えば車線）と非道路に関連するオブジェクト（その他の交通工具、歩行者、周囲の風景）が含まれる。次に、上記画像を訓練対象軌道計画モデルに入力して高レベルの特徴マップを取得し、高レベルの特徴マップに初期軌道ポイントが含まれ、同じ画像を認識して、道路に関連する領域と非道路に関連する領域を確定する。次に、上記高レベルの特徴マップにおける初期軌道ポイントと道路領域及び非道路領域との関係を比較して、どの初期軌道ポイントに焦点を合わせる必要があるかを確定し、それにより、最初に計画された軌道ポイントを取得する。最終的に、最初に計画された軌道ポイントと実際の軌道を比較し、継続的な反復を通じて軌道計画モデルを訓練する。
初期軌道ポイントと道路領域及び非道路領域との関係を確立することによって、焦点を合わせる必要のある軌道ポイントをさらに確定することができ、このため、データ処理の量を減少でき、それにより、軌道計画ネットワークの学習の難しさを効果的に低下させ、ネットワーク収束性を高め、これにより軌道計画結果の安定性を向上させる。
以下、図面を参照して本開示の基本的な原理と若干の例の実現を説明する。
図１は、本開示の複数の実施例を実現できる例示的な環境１００を示す模式図である。理解すべきものとして、図１に示されるような環境１００は例示的なものだけであり、本開示に記載の実現する機能と範囲に対する如何なる制限を構成するものではない。図１に示されるように、環境１００は、道路を走行する交通工具１０４を含む。図１の例では、交通工具１０４は人および／または物を運び、エンジンなどの動力システムを通じて移動することができる任意のタイプの車両であり得、自動車、トラック、バス、電気車両、オートバイ、ＲＶ、列車を含むが、これらに制限されない。いくつかの実施例において、環境１００の中での１つまたは複数の交通工具１０４は一定の自律運転能力を有する車両であり得、このような車両は無人運転車両とも呼ばれる。いくつかの実施例において、交通工具１０４はまた、自律運転能力を有さない車両であり得る。
交通工具１０４は、計算機器１０２に通信可能に結合されることができる。独立した実体として示されるが、計算機器１０２は交通工具１０４に埋め込まれることができる。計算機器１０２は交通工具１０４の外部の実体として、無線ネットワークを介して交通工具１０４に通信できる。計算機器１０２は、計算能力を有する任意の機器であり得る。非限定的な例として、計算機器１０２は、任意のタイプの固定計算機器、モバイル計算機器またはポータブル計算機器であり得、デスクトップコンピュータ、ラップトップコンピュータ、ノートブックコンピュータ、ネットブックコンピュータ、タブレットコンピュータ、マルチメディアコンピュータ、携帯電話などを含むが、これらに制限されなく、計算機器１０２のすべての構成要素または一部の構成要素はクラウド端に分布されてもよい。計算機器１０２は、プロセッサ、メモリ及び一般的に汎用コンピュータに存在している他の構成要素を少なくとも含み、計算、記憶、通信、制御などの機能を実現するようにする。
交通工具１０４は少なくとも１つのセンサー１０５をさらに備え、交通工具１０４が位置する物理的環境の画像１１０を取得するように配置される。例えば、図１の例では、センサー１０５は画像センサーであり得、コンピュータ視覚技術によって交通工具１０４が位置する環境の画像１１０を取得する。図１の例示的な環境１００では、画像１１０はビデオ１０１のフレームである。図示されないが、ビデオ１０１は他のフレームを含んでもよく、他のフレームに対して本開示による画像処理を実行することができることを理解すべきである。画像１１０はまた、カメラによって撮影された静止画像であり得る。一例として、例えばＬ３レベルの自律運転のシーンでは、画像１１０は１つの前方広角カメラ及び４つのフィッシュアイカメラによって収集されるものであり得る。画像１１０は、任意の適切な手段によって取得されるものであってもよい。
該例示的な環境１００では、計算機器１０２により画像１１０を処理する。計算機器１０２は画像認識技術（例えば、訓練された２Ｄ認識モデル）を使用して画像１１０における１つまたは複数のオブジェクトを確定することができる。計算機器１０２は軌道計画モデル１０３を使用して交通工具１０４の運転経路の軌道を確定することもできる。軌道計画モデル１０３は、経路軌道計画を実行できる任意のタイプのモデルを含む。具体的な経路計画タスクによって、軌道計画モデル１０３の構成及び訓練方法は異なる。軌道計画モデル１０３のいくつかの例は、サポートベクトルマシン（ＳＶＭ）モデル、ベイズモデル、ランダムフォレストモデル、畳み込み神経ネットワーク（ＣＮＮ）、リカレント神経ネットワーク（ＲＮＮ）などの様々な深層学習／神経ネットワークモデルを含むが、これらに制限されない。軌道計画モデル１０３は、独立した実体として示されるが、計算機器１０２に実現されることもできる。
以下、図２～図５を組み合わせて詳しい訓練軌道計画モデルと交通工具の軌道を確定するプロセスを説明する。図２は、本開示の実施例による軌道計画モデルの訓練方法２００を示すフローチャートである。方法２００は図１における計算機器１０２により実施されることができる。説明の簡便のため、図１を参照して方法２００を説明する。
ブロック２１０で、計算機器１０２は交通工具１０４の少なくとも１つのセンサー１０５を使用して交通工具１０４が位置する物理的環境の画像１１０を取得する。いくつかの実施例において、交通工具１０４はある位置まで運転する場合に、交通工具１０４の内部または外部に取り付けられるカメラを使用して交通工具１０４の前方にある画像１１０を取得することができる。
図１に示されるように、画像１１０は交通工具１０４の前方の交差点の道路状況を反映でき、画像１１０にオブジェクト１１１～１１６が含まれ、オブジェクト１１１は道路上の車両として示され、オブジェクト１１２は道路を横断する歩行者として示され、オブジェクト１１３は道路側の木として示され、オブジェクト１１４は交通標識として示され、オブジェクト１１５は遠方の建物として示され、及びオブジェクト１１６は道路上のマーキングライン及び道路として示される。理解すべきものとして、図１に示されるような画像１１０に含まれるオブジェクトの数とタイプは例示的なものだけであり、制限することを意味しない。画像１１０は任意の数とタイプのオブジェクトを含み得る。
一代替実施例において、計算機器１０２は、交通工具１０４が位置する物理的環境に関連付けられている、交通工具１０４の外部の１つまたは複数の機器に通信可能であり、画像１１０を取得する。例えば、計算機器１０２は、交通工具１０４が位置する位置周囲の沿道カメラに通信可能であり、画像１１０を取得する。理解すべきものとして、本分野の既知のネットワーク技術（例えば、セルラーネットワーク（例えば第５世代（５Ｇ）ネットワーク、長期進化（ＬＴＥ）ネットワーク、第３世代（３Ｇ）ネットワーク、コード分割マルチアクセス（ＣＤＭＡ）ネットワークなど）、パブリックランドモバイルネットワーク（ＰＬＭＮ）、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、電話ネットワーク（例えばパブリックスイッチドテレフォンネットワーク（ＰＳＴＮ））、プライベートネットワーク、自己組織化ネットワーク、イントラネット、インターネット、ファイバーベースのネットワークなど、および／またはこれらまたは他のタイプのネットワークの組み合わせ）を使用して、計算機器１０２、交通工具１０４と沿道カメラとの接続を確立することができ、ここで詳しく説明しない。
ブロック２２０で、計算機器１０２は画像１１０に基づいて、軌道計画モデル１０３によって特徴マップを取得する。一例では、軌道計画モデル１０３は一定量のデータセットを介して訓練された畳み込み神経ネットワークであり、交通工具１０４の初期軌道ポイントを出力することができる。例えば、交通工具１０４の前方広角カメラ画像と人間の運転者の運転の軌道を記録することができ、次に、この軌道を各枚の収集された画像に投影し、続いて、画像を畳み込み神経ネットワークに入力し、畳み込み神経ネットワークの学習のために提供される。これは一例だけであり、初期パラメータが設定された、最初に訓練されない軌道計画モデル１０３を使用して特徴マップを取得することもできる。
一実施例において、計算機器１０２は画像１１０を軌道計画モデル１０３に入力し、該画像は畳み込み（ｃｏｎｖｏｌｕｔｉｏｎ）計算、完全接続（ＦＣ）計算、プーリング（ｐｏｏｌｉｎｇ）計算を通じて特徴マップを取得する。該特徴マップは出力結果に最も近い高レベルの特徴マップであり得る。図１に示されるように、特徴マップに複数の初期軌道ポイント１１７が含まれ、該複数の軌道ポイント１１７は交通工具１０４の運転経路を構成する。
ブロック２３０で、計算機器１０２は画像を認識し、画像１１０内の複数のオブジェクトのうちの道路オブジェクトに関連付けられている第１領域及び複数のオブジェクトのうちの非道路オブジェクトに関連付けられている第２領域を確定する。例えば、計算機器１０２は、画像１１０を認識することによって、そのうちの車両１１１、歩行者１１２、木１１３、標識１１４、建築１１５及び道路上のマーキングライン及び道路１１６を確定する。オブジェクト１１１～１１５は非道路オブジェクトであり、オブジェクト１１６は道路オブジェクトである。オブジェクトに関連付けられている領域はオブジェクトの輪郭内の領域であってもよいし、或いはオブジェクトの不規則な輪郭の外側の接線によって形成される多角形の領域であってもよい。道路オブジェクトに関連付けられている第１領域は、運転可能領域と呼ばれ、非道路オブジェクトに関連付けられている第２領域は、非運転領域と呼ばれ得る。
いくつかの実施例において、計算機器１０２は訓練された深度推定ネットワークに基づいて、深度マップを取得し、深度マップは、距離マップとも呼ばれ、センサー１０５から画像１１０の各点までの距離をピクセル値として使用する画像を指し、つまり、深度マップ内の各ピクセル値は画像１１０内のある点とセンサー１０５または交通工具１０４との間の距離を示す。次に、計算機器１０２は上記距離に基づいて第１領域と第２領域、即ち運転可能領域と非運転領域を確定する。深度推定ネットワークはマルチビューポイントに基づく深度推定、シングルビューポイントに基づく深度推定、両眼画像に基づく深度推定または両眼画像に基づく深度推定であり得るが、ここで制限されない。一例では、深度マップに対して画像マスク処理を実行でき、運転可能領域を取得するようにし、マスクは二次元マトリックス配列であり、第１領域に対応する数値１と第２領域に対応する数値０を有し、マスクと画像１１０をかけ、運転可能領域を取得する。
一代替実施例において、計算機器１０２は検出および分類機器に基づいて画像１１０内のオブジェクトを検出し、直接分類することができる。マルチクラシファイアやツークラシファイアなどの検出および分類機器は、検出されたオブジェクトを任意の適切な種別に分類でき、例えば人間、車両、植物、標識、道路などに分類できる。計算機器は、次に上記分類によって運転可能領域と非運転領域を直接確定することができる。
注意すべきものとして、従来或いは将来開発される技術を使用して運転可能領域と非運転領域を確定することができ、本開示はこれに制限しない。
ブロック２４０で、計算機器１０２は第１領域と第２領域に対する複数の初期軌道ポイント１１７の位置関係に基づいて、計画軌道ポイントを確定する。計算機器１０２は、まず、複数の初期軌道ポイント１１７が第１領域と第２領域に対する位置関係を確定し、次に、該位置関係に基づいて計画軌道ポイントを確定する。これは、以下で図３を参照して詳細に説明する。
一実施例において、計算機器１０２は第１領域と第２領域に対する複数の初期軌道ポイント１１７の位置関係を確定する前に、第１領域と第２領域を含む識別マップに対して縮小処理を行うことができ、例えば、計算機器１０２は識別マップの第１所定のフォーマット（例えばａ×ｂ）と前記特徴マップの第２所定のフォーマット（例えばｃ×ｄ）を確定することができ、次に、計算機器は例えばａとｃとの比率ｍ及びｂとｄとの比率ｎを計算することによって縮小比率を確定する。最終的に、計算機器１０２は縮小比率ｍとｎを使用して第１所定のフォーマットの識別マップを第２所定のフォーマットの識別マップに縮小する。
識別マップと高レベルの特徴マップを比較する前に識別マップを縮小処理することによって、データ処理の量を更に減少し、且つ比較しやすくして、軌道計画モデルの訓練の難しさを低下させる。
ブロック２５０で、計算機器１０２は計画軌道ポイントと交通工具１０４の実際の軌道ポイントに基づいて、軌道計画モデルを訓練する。例えば、計算機器１０２は交通工具１０４におけるセンサーから複数回の実際の運転軌道を取得することができ、且つ三次元ポイントクラウド画像を使用して交通工具１０４の実際の軌道ポイントを再構築する。次に、計算機器１０２は２４０で取得された計画軌道ポイントと実際の軌道ポイントを比較して、その間の誤差を取得することができる。次に、計算機器１０２は該誤差を逆方向（即ち軌道計画モデル１０３の出力層から入力層への方向）に沿って伝播する。逆方向の伝播プロセスにおいて、勾配降下アルゴリズムに依存して、軌道計画モデル１０３における各レイヤーのパラメータの値を調整することができる。複数回の訓練に従って、軌道計画モデル１０３の計画軌道ポイントと実際の軌道ポイントとの間の誤差が小さくなり、モデルが収束するまで、訓練プロセスが完了する。
一実施例において、計算機器１０２は式（１）によって計画軌道ポイントと実際の軌道ポイントとの間のクロスエントロピー損失Ｌを計算することができ、
Figure 0007245275000001
 ｉは１つのサンプルを示し、Ｎはサンプル数を示し、ｙｇｔは実際の軌道ポイントを示し、ｙｐは計画軌道ポイントを示す。次に、計算機器は式（２）によって逆方向に伝播でき、それにより、軌道計画モデル１０３の１つの訓練を完成し、
Figure 0007245275000002
 γはハイパーパラメータ学習率を示し、ｆは軌道計画モデル１０３のネットワーク構造を示し、θは学習対象パラメータを示し、ｙｇｔは実際の軌道ポイントを示し、Ｌはクロスエントロピー損失計算を示す。
理解すべきものとして、ブロック２５０における訓練方法は一例である。実際の適用には、必要に応じて、任意の他のネットワーク構成と訓練方法を有してもよく、本開示の実施例はこの態様で制限しない。
本開示は、計画軌道ポイントと深度マップ（運転可能領域）との間の関係を使用し、深度推定の結果で軌道計画タスクの訓練を導き、学習の難しさを低減させ、訓練データの量とネットワーク容量を制限するという前提で、ネットワーク収束性と一般化能力を改善し、低速学習シーンでの無人車両の軌道計画の安定性と成功率を向上させる。
図３は、本開示の実施例による計画軌道ポイントを確定する方法３００を示すフローチャートである。図３に示されるように、３１０で、計算機器１０２は位置関係に基づいて、前記複数の初期軌道ポイント１１７における初期軌道ポイントの対応する重みを確定する。計算機器１０２は、まず第１領域と第２領域に対する複数の初期軌道ポイント１１７の位置関係を確定する。例えば、位置関係は複数の初期軌道ポイント１１７が第１領域または第２領域に属することを示すことができる。例えば、図１に示されるように、計算機器１０２は、複数の初期軌道ポイント１１７におけるいくつかの軌道ポイント（中空の点で示される）が道路オブジェクト１１６に落ちると、第１領域に属すると判断できる。計算機器１０２は、複数の初期軌道ポイント１１７におけるいくつかの軌道ポイント（実線の点で示される）が非道路オブジェクト１１１～１１５に落ちると、第２領域に属すると判断できる。
一実施例において、計算機器１０２は、上記の縮小処理された識別マップに対応する第１マトリックスを確定し、高レベルの特徴マップに対応する第２マトリックスを確定することができ、識別マップと高レベルの特徴マップは同じサイズを有するため、第１マトリックスと第２マトリックスの行と列の数が同じである。計算機器は、次に、第１マトリックスと第２マトリックスを比較し、第２マトリックスにおける要素に対応する第１マトリックスの要素が１であると、該点が第１領域（運転可能領域に属する）に属することを示し、０であると、第２領域（運転可能領域に属しない）に属することを示す。
計算機器１０２は、第１領域（運転可能領域に属する）に属する第１グループの初期軌道ポイントを第１重みを有するように設定し、且つ第２領域（運転可能領域に属しない）に属する第２グループの初期軌道ポイントを第２重みを有するように設定し、第１重みは第２重みより大きい。
一実施例において、第１重みは１で且つ第２重みは０．４である。理解すべきものとして、該具体的な重みの取る値は例だけであり、異なる神経ネットワーク構成と異なる学習シーンに応じて異なる重みを設定することができ、本開示は具体的な重みに制限されることを意味しない。
ブロック３２０で、計算機器１０２は重みと特徴マップに基づいて、前記計画軌道ポイントを確定する。例えば、計算機器は特徴マップに対応するマトリックスと重みマトリックスをドット乗算し、転置された畳み込みとｓｉｇｍｏｉｄ活性化層を通過して計画軌道ポイントを確定し、計画軌道ポイントは図１における複数の初期軌道ポイント１１７と類似し、交通工具１０４の運転経路を構成する。
本開示の実施例は、異なる重みを設定することによって道路情報と非道路情報の干渉情報を区別し、それにより、限られた訓練データとネットワーク容量でどの情報が経路計画に関連し、どの情報が無関係であるかを学習し、最終的に、合理的な経路計画を行う。
図４は本開示のいくつかの実施例による交通工具の軌道を確定するプロセスを示すフローチャートである。４１０で、計算機器１０２は交通工具１０４の少なくとも１つのセンサー１０５を使用して前記交通工具が位置する物理的環境の画像１１０を取得し、次に、画像１１０に基づいて、軌道計画モデル１０３によって交通工具１０４の軌道を確定し、軌道計画モデルは図２～図３に記載の方法２００と３００に従って訓練される。
例えば、軌道計画モデル１０３は、入力層、畳み込み層、プーリング層、活性化層、完全接続層及び出力層を含む畳み込み神経ネットワークであり得る。具体的な処理タスクの要求と構成によって、軌道計画モデル１０３における畳み込み層、プーリング層、活性化層及び完全接続層の数、接続関係などは変化できる。軌道計画モデル１０３により処理された交通工具１０４の前方広角カメラ画像を入力として処理し、入力されたデータは中部の複数の層によって処理され、最終的に交通工具１０４の計画軌道を取得する。
図５は本開示のいくつかの実施例による軌道計画モデルの訓練装置を示す概略ブロック図である。装置５００は図１の計算機器１０２に含まれ或いは計算機器１０２として実現されることができる。
図５に示されるように、装置５００は、交通工具の少なくとも１つのセンサーを使用して、交通工具が位置する物理的環境の、交通工具の周辺の複数のオブジェクトを含む画像を取得するように配置される画像取得モジュール５１０を備える。装置５００は、画像に基づいて、軌道計画モデルによって、交通工具の画像内の複数の初期軌道ポイントを示す特徴マップを取得するように配置される特徴マップ確定モジュール５２０と、画像を認識して、画像内の複数のオブジェクトのうちの道路オブジェクトに関連付けられている第１領域及び複数のオブジェクトのうちの非道路オブジェクトに関連付けられている第２領域を確定するように配置される画像認識モジュール５３０と、第１領域と第２領域に対する複数の初期軌道ポイントの位置関係に基づいて、計画軌道ポイントを確定するように配置される計画軌道確定モジュール５４０と、計画軌道ポイントと交通工具の実際の軌道ポイントに基づいて、軌道計画モデルを訓練するように配置される軌道計画訓練モジュール５５０と、をさらに備える。
いくつかの実施例において、画像認識モジュール５３０は、訓練された深度推定ネットワークに基づいて、複数のオブジェクトと交通工具との距離を示す深度マップを取得するように配置される深度推定モジュールと、距離に基づいて第１領域と第２領域を確定するように配置される領域確定モジュールと、を含んでもよい。
いくつかの実施例において、計画軌道確定モジュール５４０は、位置関係に基づいて、複数の初期軌道ポイントにおける初期軌道ポイントの対応する重みを確定するように配置される重み確定モジュールと、重みと特徴マップに基づいて、計画軌道ポイントを確定するように配置される軌道確定モジュールと、を含んでもよい。
いくつかの実施例において、重み確定モジュールは、複数の初期軌道ポイントにおける第１グループの初期軌道ポイントが第１領域にあるのに応答して、第１グループの初期軌道ポイントが第１重みを有することを確定するように配置される第１重み確定モジュールと、複数の初期軌道ポイントにおける第２グループの初期軌道ポイントが第２領域にあるのに応答して、第２グループの初期軌道ポイントが第１重みより小さい第２重みを有するように配置される第２重み確定モジュールと、を含んでもよい。
いくつかの実施例において、第１重みは１であり、第２重みは０．４であってもよい。
いくつかの実施例において、装置５００は、第１領域と第２領域を含む識別マップに対して縮小処理を行うように配置される縮小処理モジュールを備えてもよく、縮小処理モジュールは、第１所定のフォーマットの識別マップと第２所定のフォーマットの特徴マップに基づいて縮小比率を確定するように配置される比率確定モジュールと、縮小比率に基づいて第１所定のフォーマットの識別マップを第２所定のフォーマットの識別マップに縮小するように配置される縮小実行モジュールと、を含む。
いくつかの実施例において、非道路オブジェクトは、歩行者、交通工具、建築、植物または道路標識を含む。
図６は本開示のいくつかの実施例による交通工具の軌道を確定する装置を示す概略ブロック図である。装置６００は図１の計算機器１０２に含まれ或いは計算機器１０２として実現されてもよい。
図６に示されるように、装置６００は、交通工具の少なくとも１つのセンサーを使用して、交通工具が位置する物理的環境の画像を取得するように配置される画像確定モジュール６１０と、画像に基づいて、図５の装置５００によって訓練される軌道計画モデルによって交通工具の軌道を確定するように配置される軌道確定モジュール６２０と、を備える。
図７は本開示の内容の実施例を実施できる例示的な機器７００を示す概略ブロック図である。例えば、図１に示されるような例示的な環境１００での計算機器１０２は機器７００により実施されることができる。図に示されるように、機器７００は中央処理ユニット（ＣＰＵ）７０１を含み、読み取り専用メモリ（ＲＯＭ）７０２に記憶されるコンピュータプログラム命令或いは記憶ユニット７０８からランダムアクセスメモリ（ＲＡＭ）７０３にロードされるコンピュータプログラム命令に従って、様々な適切な動作と処理を実行する。ＲＡＭ７０３には、電子機器７００の操作に必要な様々なプログラムとデータが記憶されることもできる。ＣＰＵ７０１、ＲＯＭ７０２及びＲＡＭ７０３はバス７０４によって互いに接続される。入力／出力（Ｉ／Ｏ）インターフェース７０５もバス７０４に接続される。
電子機器７００における複数の部材、例えば、キーボード、マウスなどの入力ユニット７０６、様々なタイプのモニター、スピーカーなどの出力ユニット７０７、ディスク、ＣＤなどの記憶ユニット７０８、ネットワークカード、モデム、無線通信トランシーバーなどの通信ユニット７０９はＩ／Ｏインターフェース７０５に接続される。通信ユニット７０９は、電子機器７００がインターネットなどのコンピュータネットワークおよび／または様々な電気通信ネットワークを介して他の機器と情報／データを交換することを可能にする。
以上で説明される各プロセスと処理、例えば方法２００、３００、４００は、処理ユニット７０１により実行することができる。例えば、いくつかの実施例において、方法２００、３００、４００はコンピュータソフトウェアプログラムとして実現されることができ、機械可読媒体、例えば記憶ユニット７０８に有形的に含まれる。いくつかの実施例において、コンピュータプログラムの一部或いは全部はＲＯＭ７０２および／または通信ユニット７０９を介して電子機器７００にロードおよび／またはインストールされる。コンピュータプログラムはＲＡＭ７０３にロードされてＣＰＵ７０１により実行される場合、上記で説明された方法２００、３００、４００の１つまたは複数の動作が実行されることができる。
本開示は、方法、装置、システムおよび／またはコンピュータプログラム製品であってもよい。コンピュータプログラム製品は、本開示の各態様を実行するためのコンピュータ可読プログラム命令が記憶されるコンピュータ可読記憶媒体を含み得る。
コンピュータ可読記憶媒体は、命令実行機器により使用される命令を保持と記憶することができる有形機器であってもよい。コンピュータ可読記憶媒体は、例えば電気記憶機器、磁気記憶機器、光記憶機器、電磁気記憶機器、半導体記憶機器或いは上記の任意の適切な組み合わせであってもよいが、これらに制限されない。コンピュータ可読記憶媒体のより具体的な例（網羅的ではないリスト）は、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能なプログラム可能な読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、ポータブルコンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリスティック、フロッピーディスク、機械的エンコード機器、例えばその上に命令が記憶されるパンチカードまたは溝内の突起構造、及び上記の任意の適切な組み合わせを含む。ここで使用されるコンピュータ可読記憶媒体は、電波または他の自由に伝播される電磁波、導波路または他の伝達媒体を通って伝播される電磁波（例えば、光ファイバーケーブルを介した光パルス）、またはワイヤを通して伝達される電気信号などの一時的信号自体としては解釈されない。
ここで説明されるコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体から各計算／処理機器にダウンロードされ、或いはネットワーク、例えばインターネット、ローカルエリアネットワーク、ワイドエリアネットワークおよび／またはワイヤレスネットワークを介して外部コンピュータまたは外部記憶機器にダウンロードされることができる。ネットワークは、銅製伝送ケーブル、光ファイバー伝送、ワイヤレス伝送、ルーター、ファイアウォール、スイッチ、ゲートウェイコンピュータ、および／またはエッジサーバーを含み得る。各計算／処理機器におけるネットワークアダプターカード或いはネットワークインターフェースはネットワークからコンピュータ可読プログラム命令を受信し、且つ該コンピュータ可読プログラム命令を転送し、各計算／処理機器におけるコンピュータ可読記憶媒体に記憶される。
本開示の操作を実行するためのコンピュータプログラム命令は、アセンブリ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械命令、機械関連命令、マイクロコード、ファームウェア命令、状態設定データ、または１つ以上のプログラミング言語の任意の組み合わせで記述されたソースコード、または オブジェクトコードであってよく、前記プログラミング言語は、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向のプログラミング言語と、Ｃ言語または同様のプログラミング言語などの従来の手続き型プログラミング言語を含む。コンピュータ可読プログラム命令は、完全にユーザコンピュータで、部分的にユーザコンピュータで、スタンドアロンのソフトウェアパッケージとして、部分的にユーザコンピュータで部分的にリモートコンピュータで、或いは完全にリモートコンピュータまたはサーバーで実行できる。リモートコンピュータに関する場合、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）またはワイドエリアネットワーク（ＷＡＮ）などの任意の種類のネットワークを介してユーザコンピュータに接続でき、或いは、外部コンピュータ（例えばインターネットサービスプロバイダーを使用してインターネットを介して接続する）に接続できる。いくつかの実施例において、コンピュータ可読プログラム命令のステータス情報を使用して、プログラマブルロジック回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）またはプログラマブルロジック配列（ＰＬＡ）などの電子回路をパーソナライズし、該電子回路はコンピュータ可読プログラム命令を実行することができ、それにより、本開示の各態様を実現する。
ここで、本開示の実施例による方法、装置（システム）及びコンピュータプログラム製品のフローチャートおよび／またはブロック図を参照して本開示の各態様を説明した。理解すべきものとして、フローチャートおよび／またはブロック図の各ブロック及びフローチャートおよび／またはブロック図の各ブロックの組み合わせは、コンピュータ可読プログラム命令により実現されることができる。
これらのコンピュータ可読プログラム命令は、汎用コンピュータ、専用コンピュータまたは他のプログラマブルデータ処理装置の処理ユニットに提供されることができ、それにより、これらの命令がコンピュータまたは他のプログラマブルデータ処理装置の処理ユニットによって実行される時、フローチャートおよび／またはブロック図の１つまたは複数のブロックに規定している機能／動作を実現する装置を生成するようにする機器を製造する。これらのコンピュータ可読プログラム命令はコンピュータ可読記憶媒体に記憶されてもよく、これらの命令によってコンピュータ、プログラマブルデータ処理装置および／または他の機器が特定の方法で作動させ、それにより、命令を記憶したコンピュータ可読媒体は、フローチャートおよび／またはブロック図の１つまたは複数のブロックに規定している機能／動作の各態様を実現する命令を含む製造品を含む。
また、コンピュータ可読プログラム命令をコンピュータ、他のプログラマブルデータ処理装置、または他の機器にロードすることができ、コンピュータ、他のプログラマブルデータ処理装置または他の機器で一連の操作ステップを実行させ、コンピュータによって実現されるプロセスを生成し、それにより、コンピュータ、他のプログラマブルデータ処理装置、または他の機器で実行される命令にフローチャートおよび／またはブロック図の１つまたは複数のブロックに規定している機能／動作を実現させる。
図面のフローチャートとブロック図は、本開示の複数の実施例によるシステム、方法及びコンピュータプログラム製品の実現可能なシステムアーキテクチャ、機能及び操作を示す。この点で、フローチャートまたはブロック図の各ブロックは１つのモジュール、プログラムセグメントまたは命令の一部を示し、前記モジュール、プログラムセグメントまたは命令の一部は規定しているロジック機能を実現するための１つまたは複数の実行可能な命令を含む。代替としていくかの実現において、ブロックで付記される機能は図面に付記される順序と異なる順序で発生する場合がある。例えば、２つの連続するブロックは、実際には基本的に並行して実行することができ、関連する機能に応じて、逆の順序で実行することもできる。さらに注意すべきものとして、ブロック図および／またはフローチャートの各ブロック、及びブロック図および／またはフローチャートのブロックの組み合わせは、規定している機能または動作を実行するハードウェアに基づく専用のシステムを使用して実現することも、ハードウェアとコンピュータ命令との組み合わせを使用して実現することもできる。
本開示の各実施形態を以上に説明したが、上記の説明は例示的なものであり、網羅的ではなく、開示された各実施形態に限定されない。説明された各実施形態の範囲と精神から逸脱することなく、多くの修正と変更は、当業者にとって明らかである。本明細書で使用される用語の選択は、各実施形態の原理、実際の適用または市場における技術的改善を最もよく説明すること、或いは当業者が本明細に開示される各実施形態を理解させるようにすることを意図する。

Claims (19)

  1. 軌道計画モデルの訓練方法であって、
    交通工具の少なくとも１つのセンサーを使用して前記交通工具が位置する物理的環境の、前記交通工具の周辺の複数のオブジェクトを含む画像を取得するステップと、
    前記画像に基づいて、前記軌道計画モデルによって、前記交通工具の前記画像における複数の初期軌道ポイントを示す特徴マップを取得するステップと、
    前記画像を認識して、前記画像内の前記複数のオブジェクトのうちの道路オブジェクトに関連付けられている第１領域と、前記複数のオブジェクトのうちの非道路オブジェクトに関連付けられている第２領域を確定するステップと、
    前記第１領域と前記第２領域に対する前記複数の初期軌道ポイントの位置関係に基づいて、計画軌道ポイントを確定するステップと、
    前記計画軌道ポイントと前記交通工具の実際の軌道ポイントに基づいて、前記軌道計画モデルを訓練するステップと、を含み、
    前記第１領域と前記第２領域を含む識別マップに対して縮小処理を行うことをさらに含み、前記縮小処理は、
    第１所定のフォーマットの前記識別マップと第２所定のフォーマットの前記特徴マップに基づいて縮小比率を確定すること、及び
    前記縮小比率に基づいて第１所定のフォーマットの前記識別マップを第２所定のフォーマットの前記識別マップに縮小することを含む、
    軌道計画モデルの訓練方法。
  2. 前記第１領域と前記第２領域を確定するステップは、
    訓練された深度推定ネットワークに基づいて、前記複数のオブジェクトと前記交通工具との距離を示す深度マップを取得するステップと、
    前記距離に基づいて前記第１領域と前記第２領域を確定するステップと、を含む請求項１に記載の方法。
  3. 計画軌道ポイントを確定するステップは、
    前記位置関係に基づいて、前記複数の初期軌道ポイントのうちの初期軌道ポイントの対応する重みを確定するステップと、
    前記重みと特徴マップに基づいて、前記計画軌道ポイントを確定するステップと、を含む請求項１に記載の方法。
  4. 重みを確定するステップは、
    前記複数の初期軌道ポイントのうちの第１グループの初期軌道ポイントが前記第１領域にあるのに応答して、前記第１グループの初期軌道ポイントが第１重みを有すると確定するステップと、
    前記複数の初期軌道ポイントのうちの第２グループの初期軌道ポイントが前記第２領域にあるのに応答して、前記第２グループの初期軌道ポイントが第２重みを有すると確定するステップと、を含み、
    前記第１重みは前記第２重みより大きい、請求項３に記載の方法。
  5. 前記第１重みは１であり、前記第２重みは０．４である、請求項４に記載の方法。
  6. 非道路オブジェクトは、歩行者、交通工具、建築、植物または道路標識を含む、請求項１に記載の方法。
  7. 交通工具の軌道を確定する方法であって、
    前記交通工具の少なくとも１つのセンサーを使用して前記交通工具が位置する物理的環境の画像を取得するステップと、
    前記画像に基づいて、請求項１～６のいずれか一項に記載の方法に従って訓練される軌道計画モデルによって前記交通工具の軌道を確定するステップと、を含む方法。
  8. 軌道計画モデルの訓練装置であって、
    交通工具の少なくとも１つのセンサーを使用して前記交通工具が位置する物理的環境の、前記交通工具の周辺の複数のオブジェクトを含む画像を取得するように配置される画像取得モジュールと、
    前記画像に基づいて、前記軌道計画モデルによって、前記交通工具の前記画像における複数の初期軌道ポイントを示す特徴マップを取得するように配置される特徴マップ確定モジュールと、
    前記画像を認識して、前記画像内の前記複数のオブジェクトのうちの道路オブジェクトに関連付けられている第１領域と前記複数のオブジェクトのうちの非道路オブジェクトに関連付けられている第２領域を確定するように配置される画像認識モジュールと、
    前記第１領域と前記第２領域に対する前記複数の初期軌道ポイントの位置関係に基づいて、計画軌道ポイントを確定するように配置される計画軌道確定モジュールと、
    前記計画軌道ポイントと前記交通工具の実際の軌道ポイントに基づいて、前記軌道計画モデルを訓練するように配置される軌道計画訓練モジュールと、を備え、
    前記第１領域と前記第２領域を含む識別マップに対して縮小処理を行うように配置される縮小処理モジュールをさらに備え、前記縮小処理モジュールは、
    第１所定のフォーマットの前記識別マップと第２所定のフォーマットの前記特徴マップに基づいて縮小比率を確定するように配置される比率確定モジュールと、
    前記縮小比率に基づいて第１所定のフォーマットの前記識別マップを第２所定のフォーマットの前記識別マップに縮小するように配置される縮小実行モジュールと、を備える
    軌道計画モデルの訓練装置。
  9. 前記画像認識モジュールは、
    訓練された深度推定ネットワークに基づいて、前記複数のオブジェクトと前記交通工具との距離を示す深度マップを取得するように配置される深度推定モジュールと、
    前記距離に基づいて前記第１領域と前記第２領域を確定するように配置される領域確定モジュールと、を備える請求項８に記載の装置。
  10. 前記計画軌道確定モジュールは、
    前記位置関係に基づいて、前記複数の初期軌道ポイントのうちの初期軌道ポイントの対応する重みを確定するように配置される重み確定モジュールと、
    前記重みと特徴マップに基づいて、前記計画軌道ポイントを確定するように配置される軌道確定モジュールと、を備える請求項８に記載の装置。
  11. 前記重み確定モジュールは、
    前記複数の初期軌道ポイントのうちの第１グループの初期軌道ポイントが前記第１領域にあるのに応答して、前記第１グループの初期軌道ポイントが第１重みを有すると確定するように配置される第１重み確定モジュールと、
    前記複数の初期軌道ポイントのうちの第２グループの初期軌道ポイントが前記第２領域にあるのに応答して、前記第２グループの初期軌道ポイントが第２重みを有すると確定するように配置される第２重み確定モジュールと、を備え、
    前記第１重みは前記第２重みより大きい、請求項１０に記載の装置。
  12. 前記第１重みは１であり、前記第２重みは０．４である、請求項１１に記載の装置。
  13. 非道路オブジェクトは、歩行者、交通工具、建築、植物または道路標識を含む、請求項８に記載の装置。
  14. 交通工具の軌道を確定する装置であって、
    前記交通工具の少なくとも１つのセンサーを使用して前記交通工具が位置する物理的環境の画像を取得するように配置される画像確定モジュールと、
    前記画像に基づいて、請求項８～１３のいずれか一項に記載の装置によって訓練される軌道計画モデルによって前記交通工具の軌道を確定するように配置される軌道確定モジュールと、を備える、交通工具の軌道を確定する装置。
  15. 電子機器であって、前記機器は、
    １つまたは複数のプロセッサと、
    １つまたは複数のプログラムを記憶するための記憶装置と、を備え、当前記１つまたは複数のプログラムは前記１つまたは複数のプロセッサによって実行される際、前記１つまたは複数のプロセッサに請求項１～６のいずれか一項に記載の方法を実現させる、電子機器。
  16. 電子機器であって、前記機器は、
    １つまたは複数のプロセッサと、
    １つまたは複数のプログラムを記憶するための記憶装置と、を備え、前記１つまたは複数のプログラムは前記１つまたは複数のプロセッサによって実行される際、前記１つまたは複数のプロセッサに請求項７に記載の方法を実現させる、電子機器。
  17. コンピュータプログラムが記憶されたコンピュータ可読記憶媒体であって、前記プログラムはプロセッサによって実行される際に請求項１～６のいずれか一項に記載の方法を実現する、コンピュータ可読記憶媒体。
  18. コンピュータプログラムが記憶されたコンピュータ可読記憶媒体であって、前記プログラムはプロセッサによって実行される際に請求項７に記載の方法を実現する、コンピュータ可読記憶媒体。
  19. コンピュータプログラムであって、前記コンピュータプログラムがプロセッサによって実行される際、請求項１～７のいずれか一項に記載の方法を実現させる、コンピュータプログラム。
JP2021051797A 2020-06-30 2021-03-25 軌道計画モデルの訓練方法と装置、電子機器、コンピュータ記憶媒体及びコンピュータプログラム Active JP7245275B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010623703.5A CN111860227B (zh) 2020-06-30 2020-06-30 训练轨迹规划模型的方法、装置和计算机存储介质
CN202010623703.5 2020-06-30

Publications (2)

Publication Number Publication Date
JP2022003508A JP2022003508A (ja) 2022-01-11
JP7245275B2 true JP7245275B2 (ja) 2023-03-23

Family

ID=72988920

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021051797A Active JP7245275B2 (ja) 2020-06-30 2021-03-25 軌道計画モデルの訓練方法と装置、電子機器、コンピュータ記憶媒体及びコンピュータプログラム

Country Status (5)

Country Link
US (1) US11940803B2 (ja)
EP (1) EP3822852B1 (ja)
JP (1) JP7245275B2 (ja)
KR (1) KR102539942B1 (ja)
CN (1) CN111860227B (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112556701A (zh) * 2020-12-23 2021-03-26 北京嘀嘀无限科技发展有限公司 用于定位交通工具的方法、装置、设备和存储介质
CN112785072B (zh) * 2021-01-29 2024-04-12 北京百度网讯科技有限公司 路线规划和模型训练方法、装置、设备及存储介质
CN113031600B (zh) * 2021-03-02 2023-09-05 京东鲲鹏(江苏)科技有限公司 一种轨迹生成方法、装置、存储介质及电子设备
DE102021112119A1 (de) * 2021-05-10 2022-11-10 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren und Vorrichtung zur Trajektorienplanung für ein Fahrzeug
CN113506604B (zh) * 2021-08-19 2022-07-12 遨博（北京）智能科技有限公司 一种按摩轨迹调整方法
CN114047764B (zh) * 2021-11-16 2023-11-07 北京百度网讯科技有限公司 路径规划模型的训练方法和路径规划方法、装置
GB2619923A (en) * 2022-06-20 2023-12-27 Oxa Autonomy Ltd A computer-implemented method of determining a trajectory of an autonomous vehicle
CN115018182B (zh) * 2022-06-28 2024-02-09 广东电网有限责任公司 一种通信电路的规划管理方法、装置、存储介质以及系统
CN116777947B (zh) * 2023-06-21 2024-02-13 上海汉朔信息科技有限公司 一种用户轨迹识别预测方法、装置及电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017159882A (ja) 2016-03-10 2017-09-14 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 認識結果提示装置、認識結果提示方法、認識対象提示装置及び認識対象提示方法
JP2019008796A (ja) 2017-06-23 2019-01-17 ウーバー テクノロジーズ，インコーポレイテッド 自律可能車両用衝突回避システム
US20190034794A1 (en) 2017-07-27 2019-01-31 Waymo Llc Neural Networks for Vehicle Trajectory Planning
WO2019178253A1 (en) 2018-03-13 2019-09-19 Magic Leap, Inc. Image-enhanced depth sensing using machine learning
WO2019188389A1 (ja) 2018-03-29 2019-10-03 ソニー株式会社 信号処理装置、および信号処理方法、プログラム、並びに移動体
JP2019530926A (ja) 2016-09-15 2019-10-24 グーグル エルエルシー イメージ深度予測ニューラルネットワーク
JP2020507137A (ja) 2017-12-11 2020-03-05 ベイジン ディディ インフィニティ テクノロジー アンド ディベロップメント カンパニー リミティッド 車両周辺の物体を識別して測位するためのシステムおよび方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3437022A4 (en) * 2017-06-22 2019-02-06 Baidu.com Times Technology (Beijing) Co., Ltd. TRAFFIC FORECASTS BASED ON CARDS FOR AUTONOMOUS DRIVING
US10883844B2 (en) * 2017-07-27 2021-01-05 Waymo Llc Neural networks for vehicle trajectory planning
US10816992B2 (en) 2018-04-17 2020-10-27 Baidu Usa Llc Method for transforming 2D bounding boxes of objects into 3D positions for autonomous driving vehicles (ADVs)
WO2019231456A1 (en) 2018-05-31 2019-12-05 Nissan North America, Inc. Probabilistic object tracking and prediction framework
US11740630B2 (en) * 2018-06-12 2023-08-29 Skydio, Inc. Fitness and sports applications for an autonomous unmanned aerial vehicle
WO2019241022A1 (en) 2018-06-13 2019-12-19 Nvidia Corporation Path detection for autonomous machines using deep neural networks
US11966838B2 (en) 2018-06-19 2024-04-23 Nvidia Corporation Behavior-guided path planning in autonomous machine applications
EP3844672A1 (en) * 2018-09-26 2021-07-07 Five AI Limited Structure annotation
US11077878B2 (en) * 2018-11-02 2021-08-03 Zoox, Inc. Dynamic lane biasing
CN109606384B (zh) * 2018-12-29 2021-04-20 百度在线网络技术（北京）有限公司 车辆控制方法、装置、设备和存储介质
CN110083160B (zh) * 2019-05-16 2022-04-19 哈尔滨工业大学（深圳） 一种基于深度学习的机器人轨迹规划方法
KR20200133863A (ko) * 2019-05-20 2020-12-01 삼성전자주식회사 첨단 운전자 지원 장치, 이의 캘리브레이션 방법 및 이의 객체를 검출하는 방법
US11227187B1 (en) * 2019-05-23 2022-01-18 Augustus Intelligence Inc. Generating artificial intelligence solutions using raw data and simulated data
US11625839B2 (en) * 2020-05-18 2023-04-11 Toyota Research Institute, Inc. Bird's eye view based velocity estimation via self-supervised learning
US11402840B2 (en) * 2020-06-30 2022-08-02 Woven Planet North America, Inc. Independent trajectory validation system for vehicles

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017159882A (ja) 2016-03-10 2017-09-14 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 認識結果提示装置、認識結果提示方法、認識対象提示装置及び認識対象提示方法
JP2019530926A (ja) 2016-09-15 2019-10-24 グーグル エルエルシー イメージ深度予測ニューラルネットワーク
JP2019008796A (ja) 2017-06-23 2019-01-17 ウーバー テクノロジーズ，インコーポレイテッド 自律可能車両用衝突回避システム
US20190034794A1 (en) 2017-07-27 2019-01-31 Waymo Llc Neural Networks for Vehicle Trajectory Planning
JP2020507137A (ja) 2017-12-11 2020-03-05 ベイジン ディディ インフィニティ テクノロジー アンド ディベロップメント カンパニー リミティッド 車両周辺の物体を識別して測位するためのシステムおよび方法
WO2019178253A1 (en) 2018-03-13 2019-09-19 Magic Leap, Inc. Image-enhanced depth sensing using machine learning
WO2019188389A1 (ja) 2018-03-29 2019-10-03 ソニー株式会社 信号処理装置、および信号処理方法、プログラム、並びに移動体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Wenyuan Zeng et al.，End-To-End Interpretable Neural Motion Planner，2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)，IEEE，2019年06月15日，https://ieeexplore.ieee.org/document/8954347

Also Published As

Publication number Publication date
EP3822852A2 (en) 2021-05-19
US20210216077A1 (en) 2021-07-15
EP3822852B1 (en) 2023-10-11
CN111860227B (zh) 2024-03-08
KR20210043516A (ko) 2021-04-21
US11940803B2 (en) 2024-03-26
EP3822852A3 (en) 2021-11-03
CN111860227A (zh) 2020-10-30
KR102539942B1 (ko) 2023-06-02
JP2022003508A (ja) 2022-01-11

Similar Documents

Publication Publication Date Title
JP7245275B2 (ja) 軌道計画モデルの訓練方法と装置、電子機器、コンピュータ記憶媒体及びコンピュータプログラム
US11276230B2 (en) Inferring locations of 3D objects in a spatial environment
US10817752B2 (en) Virtually boosted training
US11618438B2 (en) Three-dimensional object localization for obstacle avoidance using one-shot convolutional neural network
JP7430277B2 (ja) 障害物検出方法及び装置、コンピュータデバイス、並びにコンピュータプログラム
US20220011122A1 (en) Trajectory prediction method and device
WO2021249071A1 (zh) 一种车道线的检测方法及相关设备
CN113348422B (zh) 用于生成预测占据栅格地图的方法和系统
US11544507B2 (en) Method and apparatus to train image recognition model, and image recognition method and apparatus
CN112819864B (zh) 一种行驶状态检测方法、装置及存储介质
CN111091023A (zh) 一种车辆检测方法、装置及电子设备
CN114882457A (zh) 一种模型的训练方法、车道线的检测方法及设备
CN113012191B (zh) 一种基于点云多视角投影图的激光里程计算法
Aditya et al. Collision Detection: An Improved Deep Learning Approach Using SENet and ResNext
CN111079634A (zh) 车辆行驶中检测障碍物的方法、装置、系统及车辆
US20230196749A1 (en) Training Neural Networks for Object Detection
CN112654998B (zh) 一种车道线检测方法和装置
CN114913329A (zh) 一种图像处理方法、语义分割网络的训练方法及装置
US20220237402A1 (en) Static occupancy tracking
EP4231044A1 (en) Object detection and state estimation from deep learned per-point radar representations
Zhang et al. PilotAttnNet: Multi-modal Attention Network for End-to-End Steering Control
WO2022159331A1 (en) Static occupancy tracking

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211008

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221028

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230207

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230301

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230310

R150 Certificate of patent or registration of utility model

Ref document number: 7245275

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150