JP7220169B2 - 情報処理方法、装置、記憶媒体、及びプログラム - Google Patents

情報処理方法、装置、記憶媒体、及びプログラム Download PDF

Info

Publication number
JP7220169B2
JP7220169B2 JP2020026865A JP2020026865A JP7220169B2 JP 7220169 B2 JP7220169 B2 JP 7220169B2 JP 2020026865 A JP2020026865 A JP 2020026865A JP 2020026865 A JP2020026865 A JP 2020026865A JP 7220169 B2 JP7220169 B2 JP 7220169B2
Authority
JP
Japan
Prior art keywords
vehicle
information
lane
lane change
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020026865A
Other languages
English (en)
Other versions
JP2020132153A (ja
Inventor
ガオ フェイ
Original Assignee
アポロ インテリジェント ドライビング テクノロジー(ペキン)カンパニー リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アポロ インテリジェント ドライビング テクノロジー(ペキン)カンパニー リミテッド filed Critical アポロ インテリジェント ドライビング テクノロジー(ペキン)カンパニー リミテッド
Publication of JP2020132153A publication Critical patent/JP2020132153A/ja
Application granted granted Critical
Publication of JP7220169B2 publication Critical patent/JP7220169B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/167Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09Taking automatic action to avoid collision, e.g. braking and steering
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18Propelling the vehicle
    • B60W30/18009Propelling the vehicle related to particular drive situations
    • B60W30/18163Lane change; Overtaking manoeuvres
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06Road conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09Driving style or behaviour
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/12Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to parameters of the vehicle itself, e.g. tyre models
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/04Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/30Driving style
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00Input parameters relating to infrastructure
    • B60W2552/50Barriers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/10Historical data
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60YINDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00Purposes or special features of road vehicle drive control systems
    • B60Y2300/18Propelling the vehicle
    • B60Y2300/18008Propelling the vehicle related to particular drive situations
    • B60Y2300/18166Overtaking, changing lanes
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Mathematical Physics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Business, Economics & Management (AREA)
  • Electromagnetism (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Development Economics (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、情報処理技術分野に関し、特に情報処理方法、装置、記憶媒体、及びプログラムに関する。
情報処理の1つの適用場面において、車両の自動運転中、自動運転の移動計画を実現するため、車両移動の軌跡に対して評価を行う必要がある。車両の車線変更は移動軌跡における重要な一環である。関連技術において、運転者の経験に基づいて、如何に車線を選択して車両の車線変更を行うかに対して意思決定を行う。運転者の経験のみによって得られた意思決定は簡易であるため、障害物のような車両周囲の環境に対する判断は不正確であり、よって、車線変更の正確率は低下しやすく、特に様々な複雑状況において、実際運転中の車線変更結果の実施可能性及び安全性を保証することは困難である。
従来技術における1つ又は複数の技術課題を解決するため、本発明は情報処理方法、装置及び記憶媒体を提供する。
本発明の第1態様は情報処理方法を提供する。当該情報処理方法は、
運転行為に基づいて得られる少なくとも2つの第1情報を収集することと、
前記少なくとも2つの第1情報に基づいて、少なくとも2つの第1特徴情報を得ることと、
前記少なくとも2つの第1特徴情報に対して識別を行い、各第1特徴情報に対応するラベル情報を得ることと、
前記少なくとも2つの第1特徴情報と前記各第1特徴情報に対応するラベル情報とに基づいて、サンプル集合を得ることと、
前記サンプル集合に基づいて、車両の走行経路と、車両自身の位置と、車両の周囲環境及び/又は障害物との関係を表す関係モデルを構築することと、
前記関係モデルに基づいて車線を選択することと、を含む。
1つの実施形態において、前記サンプル集合に基づいて関係モデルを構築することは、
前記車両の現在走行車線と前記現在走行車線に隣接する車線とに基づいて、処理対象区域を取得することと、
配置されたグリッドに基づいて、前記処理対象区域を少なくとも2つの通行可能区域に分割することと、をさらに含む。
1つの実施形態において、前記通行可能区域は、車両の走行経路を横軸とする座標系において、横軸方向にて、前記車両を中心とし、設定された距離パラメータに基づき、中心を原点として前方へ前記距離パラメータに対応する距離の値を足し、及び/又は、設定された距離パラメータに基づき、中心を原点として後方へ前記距離パラメータに対応する距離の値を足すことで、分割される。
1つの実施形態において、前記通行可能区域は、車両の走行経路を横軸とする座標系において、縦軸方向にて、少なくとも車両の現在走行車線の左側と右側の2つの車線に対応することで、さらに分割される。
1つの実施形態において、前記方法は、
前記車両の現在走行車線における走行状況に対してフレーム毎に画像を収集し、収集された画像に基づいて、前記車両の走行経路と、前記車両自身の位置と、前記車両の周囲環境及び/又は障害物との相対関係を得ることと、
前記相対関係を、前記関係モデルを構築するための前記通行可能区域の属性情報として使用することと、をさらに含む。
1つの実施形態において、前記方法は、
前記少なくとも2つの通行可能区域のうちの障害物を有する部分を切り分けて、少なくとも2つの第2特徴情報を取得し、前記少なくとも2つの第2特徴情報を、前記関係モデルの構築に用いられること、をさらに含む。
1つの実施形態において、前記関係モデルに基づいて車線を選択することは、
車線変更機能に応じて、対応する車線変更機能を実現するための少なくとも2つのサブニューラルネットワークに分けられるニューラルネットワークを、前記関係モデルに基づいて得ることと、
前記少なくとも2つの第2特徴情報と前記各第1特徴情報に対応するラベル情報とを、少なくとも2つのサブニューラルネットワークにて演算して、前記少なくとも2つの車線変更確率を取得することと、
前記少なくとも2つの車線変更確率に基づいて、目標車両の車線変更確率を取得することと、
前記目標車両の車線変更確率に基づいて、車線の選択を行うことと、を含む。
本発明の第2態様は、情報処理装置を提供している。当該情報処理装置は、
運転行為に基づいて得られる少なくとも2つの第1情報を収集する収集ユニットと、
前記少なくとも2つの第1情報に基づいて、少なくとも2つの第1特徴情報を得る第1処理ユニットと、
前記少なくとも2つの第1特徴情報に対して識別を行い、各第1特徴情報に対応するラベル情報を得る第2処理ユニットと、
前記少なくとも2つの第1特徴情報と前記各第1特徴情報に対応するラベル情報とに基づいて、サンプル集合を得る第3処理ユニットと、
前記サンプル集合に基づいて、車両の走行経路と、車両自身の位置と、車両の周囲環境及び/又は障害物との関係を表す関係モデルを構築するモデル構築ユニットと、
前記関係モデルに基づいて車線を選択する車線選択ユニットと、を含む。
1つの実施形態において、前記モデル構築ユニットは、
前記車両の現在走行車線と前記現在走行車線に隣接する車線とに基づいて、処理対象区域を取得し、
配置されたグリッドに基づいて、前記処理対象区域を少なくとも2つの通行可能区域に分割することに用いられる。
1つの実施形態において、前記通行可能区域は、車両の走行経路を横軸とする座標系において、横軸方向にて、前記車両を中心とし、設定された距離パラメータに基づき、中心を原点として前方へ前記距離パラメータに対応する距離の値を足し、及び/又は、設定された距離パラメータに基づき、中心を原点として後方へ前記距離パラメータに対応する距離の値を足すことで、分割される。
1つの実施形態において、前記通行可能区域は、車両の走行経路を横軸とする座標系において、縦軸方向にて、少なくとも車両の現在走行車線の左側と右側の2つの車線に対応することで、さらに分割される。
1つの実施形態において、前記装置は、
前記車両の現在走行車線における走行状況に対してフレーム毎に画像を収集し、収集された画像に基づいて、前記車両の走行経路と、前記車両自身の位置と、前記車両の周囲環境及び/又は障害物との相対関係を得るための収集ユニットと、
前記相対関係を、前記関係モデルを構築するための前記通行可能区域の属性情報として使用するための属性確定ユニットと、をさらに含む。
1つの実施形態において、前記装置は、
前記少なくとも2つの通行可能区域のうちの障害物を有する部分を切り分けて、少なくとも2つの第2特徴情報を取得し、前記少なくとも2つの第2特徴情報を、前記関係モデルの構築に用いられる切分ユニット、をさらに含む。
1つの実施形態において、前記車線選択ユニットは、
車線変更機能に応じて、対応する車線変更機能を実現するための少なくとも2つのサブニューラルネットワークに分けられるニューラルネットワークを、前記関係モデルに基づいて得、
前記少なくとも2つの第2特徴情報と前記各第1特徴情報に対応するラベル情報とを、前記少なくとも2つのサブニューラルネットワークにて演算して、少なくとも2つの車線変更確率を取得し、
前記少なくとも2つの車線変更確率に基づいて、目標車両の車線変更確率を取得し、
前記目標車両の車線変更確率に基づいて、車線の選択を行うことにさらに用いられる。
本発明の第3態様は、情報処理装置を提供している。前記装置の機能は、ハードウェアによって実現されてもよく、ハードウェアをもって対応するソフトウェアを実行することによって実現されてもよい。前記ハードウェア又はソフトウェアは、上記機能に対応する1つ又は複数のモジュールを含む。
1つの可能な実施形態において、前記装置には、プロセッサとメモリとが含まれ、前記メモリは、前記装置が上記の情報処理方法を実行することをサポートするプログラムを記憶することに用いられ、前記プロセッサは、前記メモリに記憶されるプログラムを実行するように構成される。前記装置は、他のデバイス又は通信ネットワークと通信するための通信インターフェースをさらに含むことができる。
本発明の第4態様は、情報処理装置に使用される、上記の情報処理方法を実施するためのプログラムを含むコンピュータプログラム命令を記憶するためのコンピュータ可読記憶媒体を提供している。
上記の技術案のうちの少なくとも1つの技術案は、下記のメリットと有益的な効果を有する。
本発明の実施形態では、運転行為に基づいて得られる少なくとも2つの第1情報を収集し、前記少なくとも2つの第1情報に基づいて、少なくとも2つの第1特徴情報を得、前記少なくとも2つの第1特徴情報に対して識別を行い、各第1特徴情報に対応するラベル情報を得、前記少なくとも2つの第1特徴情報と各第1特徴情報に対応するラベル情報とに基づいて、サンプル集合を得る。これにより、運転行為のみならず、特徴情報とラベル情報とを使用してサンプル集合を確立するため、サンプル集合内の情報は実際の運行場面とより合うようになる。前記サンプル集合に基づいてモデルを構築し、車両の走行経路と、車両自身の位置と、周囲環境及び/又は障害物との関係を表すための関係モデルを得ることにより、障害物の位置関係のような車両の周囲環境を精確に判断した後に、前記関係モデルに基づいて行われた車線の選択はより精確になり、さらに車線変更の正確率を向上させ、実際の運転中の車線変更結果の実施可能性と安全性を保証することができる。
上記の略述は、単に説明のために過ぎず、いかなる限定をも目的としない。上記に記載されている例示的な態様、実施形態、及び特徴以外に、図面及び下記の詳細説明を参照することによって、本発明のさらなる態様、実施形態、及び特徴の理解を促す。
本発明の実施形態による情報処理方法のフローチャートである。 本発明の実施形態による車両走行経路の通行可能区域を示す模式図である。 本発明の実施形態による分割される通行可能区域のパラメータ設定を示す模式図である。 本発明の実施形態によるサンプル集合に基づくモデルの構築を示すフローチャートである。 本発明の実施形態による関係モデルに基づく車線の選択を示すフローチャートである。 本発明の実施形態による情報処理装置のブロック図である。 本発明の実施形態による情報処理装置のブロック図である。
図面において特に規定されない限り、複数の図面において同様の図面符号は、同様又は類似的な部材又はエレメントを示す。これらの図面は必ずしも実際の比例に従って製図されたものではない。これらの図面は本発明に基づいて開示された幾つかの実施形態を描いたものに過ぎず、本発明の範囲に対する制限としてはならないことを理解すべきである。
下記において、幾つかの例示的実施形態を簡単に説明する。当業者が把握出来るよう、本発明の主旨又は範囲を逸脱しない限り、様々な方式により説明された実施形態に変更可能である。従って、図面と説明は制限を加えるものでなく、本質的には例示的なものである。
関連技術では、自動運転の移動計画中に、計画された軌跡に対して評価を行う必要がある。具体的に、車両の車線変更の計画においては、如何に車線を選択するかに対する評価は非常に重要であり、さらに当該車線の選択の評価に基づいて、様々の複雑な場面を処理し、実際の運転中に実行される結果の実施可能性と安全性を保証する。具体的に、自動運転の移動計画では、運転者の経験に基づいて、ルールと幾つかの特定した閾値とによってモデルを構築して車両車線変更の選択を行っている。従来技術では、環境情報に対して簡略化して処理することしかできず、採用されるルールと閾値は柔軟性が欠けて、機械的であり、そのため、車線変更タイミングの選択が、通常最善のタイミングにならず、色々な不良ケース(bad case)が現れることになり(サンプル内の実際の運転場面に合わない一部のサンプルがbad caseと称される)、車線変更計画の柔軟性が欠けており、ルール案による車線変更計画に対する予期可能性が悪い。
下記のような本発明の実施形態では、運転行為に基づいて得られる第1特徴情報(例えば、加速度、速度等)、及び各第1特徴情報に対応するラベル情報(例えば、左への車線変更、右への車線変更又は直進走行等)によって、関係モデルを構築するためのサンプル集合を得ることができ、モデルの構築により得られた関係モデルが、走行経路と、主車両と、障害物との関係に対して精確な記述を実現するため、当該関係モデルに基づいて行われる車線変更の選択は、車線変更の正確性を向上させることができる。
図1は、本発明の実施形態による情報処理方法のフローチャートを示す。図1に示すように、当該情報処理方法は、下記のステップ101、102、103、104、105、106を含む。
ステップ101において、運転行為に基づいて得られる少なくとも2つの第1情報を収集する。
ステップ102において、前記少なくとも2つの第1情報に基づいて、少なくとも2つの第1特徴情報を得る。
ステップ103において、前記少なくとも2つの第1特徴情報に対して識別を行い、各第1特徴情報に対応するラベル情報を得る。
ステップ104において、前記少なくとも2つの第1特徴情報と前記各第1特徴情報に対応するラベル情報とに基づいて、サンプル集合を得る。
ステップ105において、前記サンプル集合に基づいて、車両の走行経路と、車両自身の位置と、車両の周囲環境及び/又は障害物との関係を表す関係モデルを構築する。
ステップ106において、前記関係モデルに基づいて車線を選択する。
1つの実施形態において、各々フレームを単位として、車両の任意の車線における走行によって得られた情報を収集し、具体的に、当該情報は専門のドライバの運転行為である。運転中の運転行為に対して特徴の抽出を行い、即ち、当該情報を履歴データとして、履歴データに基づいて特徴情報、例えば、加速度、速度、制限速度等を得る。加速度、速度、制限速度等は、第1特徴情報を構成する。加速度、速度、制限速度等のような第1特徴情報に対して識別してからラベルを付けることにより、左への車線変更、右への車線変更又は直進走行のようなラベル情報を得る。第1特徴情報とラベル情報は、車線を変更するか否かを評価するための関係モデルに入力するサンプル集合として使用される。前記サンプル集合に基づくモデルの構築には、当該サンプル集合を利用して深層学習を行い、車両の走行経路、前記車両の位置と、周囲環境及び/又は障害物との関係を表す関係モデルを得ることができる。当該関係モデルが走行経路と、主車両と、障害物との関係に対して精確に記述することができるため、当該関係モデルに基づく車線の選択は、車両の車線変更の正確性を向上させることができる。特に色々複雑な場面において、実際の運転中の車線変更結果の実施可能性と安全性を保証することができる。
1つの実施形態において、図2は、車両走行経路における1つの通行可能区域を示す模式図である。深層学習のモデル構築に対し関係モデルを使用する方法は、経路のナビゲーションと障害物に対して、グリッドに基づく通行可能区域とするモデルを高次元的に構築し、さらに車両の走行経路と、前記車両の位置と周囲環境及び/又は障害物との相対位置関係を当該通行可能区域によって示すことができる。ここで、高次元は、グリッドの数と特徴の数の組み合わせが多いため、疎性を有し、技術的に学習しにくい。本発明の実施形態では、関係モデルと共有サブニューラルネットワーク技術(関係モデルにより形成されたニューラルネットワーク内の各サブニューラルネットワークであり、サブニューラルネットワークが、車線渋滞、後方からの衝突、同時車線変更等のような様々の関係を表す)を採用することにより、深層学習の難度を大きく下げることができる。
サンプル集合に基づいてモデル構築を行い、車両走行径路と、車両自身位置と、周囲環境及び/又は障害物との関係を表すための関係モデルを得る過程において、車両の現在走行車線と当該現在走行車線に隣接する車線とに基づいて、処理対象区域11を得ることができ、配置されたグリッドに基づいて、前記処理対象区域を少なくとも2つの通行可能区域に分割する。図2に示すように、処理対象区域11は、4つの通行可能区域に分割され、それぞれ通行可能区域110、通行可能区域111、通行可能区域112、通行可能区域113である。現在車両は現在車線を走行する主車両であり、当該運転場面には、主車両に対して相対的に前に位置する前車、及び主車両に対して相対的に後ろに位置する後車がさらに含まれる。主車両が走行する現在車線には、例示的な障害物121と障害物122とがある。そのため、車両の安全運転のため、主車両は、隣接車線(左車線又は右車線)に車線変更する必要がある。具体的に採用される車線変更の選択と、車線変更軌跡21を採用するかそれとも車線変更軌跡22を採用するかという車線変更軌跡については、当該関係モデルによって車線変更の選択を行う必要がある。
1つの実施形態において、通行可能区域は、車両の走行経路を横軸とする座標系において以下のように分割されることができる。(1)横軸方向にて、前記車両を中心とし、設定された距離パラメータに基づき、中心を原点として前方へ前記距離パラメータに対応する距離の値を足し、及び/又は、設定された距離パラメータに基づき、中心を原点として後方へ前記距離パラメータに対応する距離の値を足すことで、分割される。(2)当該横軸に垂直する縦軸方向にて、少なくとも車両の現在走行車線の左側と右側の2つの車線に対応するように分割される。図3は、分割された1つの通行可能区域のパラメータ設定を示す模式図であり、距離パラメータが80メートルである場合、前記車両と中心にして、前方へ、又は後方へのそれぞれ80メートルであり、この区域は左右の2段の車線に対応することになる。本発明の実施形態は、具体的なパラメータの設定を制限しない。
1つの実施形態において、図4は、サンプル集合に基づくモデルの構築を示すフローチャートであり、図4に示すように、下記のステップを含む。
ステップ201において、前記車両の現在走行車線における走行状況に対してフレーム毎に画像を収集し、収集された画像に基づいて、前記車両の走行経路と、前記車両自身の位置と、前記車両の周囲環境及び/又は障害物との相対関係を得る。
ステップ202において、前記相対関係を、前記関係モデルを構築するための前記通行可能区域の属性情報として使用する。
ステップ203において、前記少なくとも2つの通行可能区域のうちの障害物を有する部分を切り分けて、少なくとも2つの第2特徴情報を取得し、前記少なくとも2つの第2特徴情報を、前記関係モデルの構築に用いられる。
1つの実施形態において、通行可能区域は複数のグリッドを有することができ、実際の障害物が存在するか否かに拘らずグリッドを有し、異なるグリッドは特徴を表す値が異なるだけである。通行可能区域内に障害物を有するグリッドを切り分けて、サンプル集合(前に識別して得られたラベル、例えば、車線変更せずに直進走行、それとも左へ車線変更、又は右へ車線変更)と組み合わせて、関係モデルからなるニューラルネットワークにおける対応する各サブニューラルネットワークにて処理する。
なお、障害物情報は、静止と移動の障害物を含み、例えば、主車両の前方、且つ主車両と同一車線上に位置する前車も、障害物である。
1つの実施形態において、図5は、関係モデルに基づく車線の選択を示すフローチャートであり、図5に示すように、下記のステップを含む。
ステップ301において、車線変更機能に応じて、対応する車線変更機能を実現するための少なくとも2つのサブニューラルネットワークに分けられるニューラルネットワークを、前記関係モデルに基づいて得る。
ステップ302において、前記少なくとも2つの第2特徴情報と前記各第1特徴情報に対応するラベル情報とを、少なくとも2つのサブニューラルネットワークにて演算し、少なくとも2つの車線変更確率を取得する。
ステップ303において、前記少なくとも2つの車線変更確率に基づいて、目標車両の車線変更確率を取得する。
ステップ304において、前記目標車両の車線変更確率に基づいて、車線の選択を行う。
本発明の実施形態では、対応するサブニューラルネットワークの演算処理に基づいて、車線確率を得、車線確率を、車線の選択を行うか否かの出力結果を評価するのに用いる。ここで、サブニューラルネットワークの演算処理については、各種のニューラルネットワーク層、例えば、GRU、Dense等のネットワークの重みを使用して組み合わせて計算することができる。特徴ベクトルは、グローバルのものであり、サブニューラルネットワークによりそれに対し変形又はスライスを行う。例えば、特徴に重みを掛けた後に累加してから非線形関数を用いて計算する。これは、ニューラルネットワークの範疇に属している。さらに、機能区域、共有サブニューラルネットワーク、空間シーケンスで表れる車線変更意図、渋滞、衝突、車線変更の衝突等のサブ関係に基づいて、最終的に車線確率を評価結果として出力し、それによって車線の選択を行う。具体的に、機能区域は、特点の関係に従って、通行可能区域に対して当該関係の注目する区域を切り出す。サブニューラルネットワークは、ニューラルネットワーク内のサブニューラルネットワークである。共有サブニューラルネットワークとは、小さいネットワークであり、異なるデータに用いられるが、それらの重みが同じである。例えば、渋滞関係は、現在車線であるかそれとも他の車線であるかに拘らず、同様な障害物の分布であれば、渋滞の性質が同じであり、同様な関数の組み合わせ関係と重みを使用することができる。空間シーケンスとは、最も遠いから最も近い(前方又は後方)グリッドのシーケンスであり、これをシーケンスニューラルネットワークGRUによって処理される。
図6は、本発明の実施形態における情報処理装置の構成模式図であり、図6に示すように、前記装置は、運転行為に基づいて得られる少なくとも2つの第1情報を収集するための収集ユニット31と、前記少なくとも2つの第1情報に基づいて、少なくとも2つの第1特徴情報を得るための第1処理ユニット32と、前記少なくとも2つの第1特徴情報に対して識別を行い、各第1特徴情報に対応するラベル情報を得るための第2処理ユニット33と、前記少なくとも2つの第1特徴情報と前記各第1特徴情報に対応するラベル情報とに基づいて、サンプル集合を得るための第3処理ユニット34と、前記サンプル集合に基づいて、車両の走行経路と、車両自身の位置と、車両の周囲環境及び/又は障害物との関係を表す関係モデルを構築するためのモデル構築ユニット35と、前記関係モデルに基づいて車線を選択するための車線選択ユニット36と、を含む。
1つの実施形態において、前記モデル構築ユニットは、前記車両の現在走行車線と前記現在走行車線に隣接する車線に基づいて、処理対象区域を取得し、配置されたグリッドに基づいて、前記処理対象区域を少なくとも2つの通行可能区域に分割することに用いられることにさらに用いられる。
1つの実施形態において、前記通行可能区域は、車両の走行経路を横軸とする座標系において、横軸方向にて、前記車両を中心とし、設定された距離パラメータに基づき、中心を原点として前方へ前記距離パラメータに対応する距離の値を足し、及び/又は、設定された距離パラメータに基づき、中心を原点として後方へ前記距離パラメータに対応する距離の値を足すことで、分割される。前記通行可能区域は、車両の走行経路を横軸とする座標系において、縦軸方向にて少なくとも車両の現在走行車線の左側と右側の2つの車線に対応することで、さらに分割される。
1つの実施形態において、前記装置は、前記車両の現在走行車線における走行状況に対してフレーム毎に画像を収集し、収集された画像に基づいて、前記車両の走行経路、前記車両自身の位置と、前記車両の周囲環境及び/又は障害物との相対関係を得るための収集ユニットと、前記相対関係を、前記関係モデルを構築するための前記通行可能区域の属性情報として使用するための属性確定ユニットと、をさらに含む。
1つの実施形態において、前記装置は、前記少なくとも2つの通行可能区域のうちの障害物を有する部分を切り分けて、少なくとも2つの第2特徴情報を取得し、前記少なくとも2つの第2特徴情報を、前記関係モデルの構築に用いられる切分ユニット、をさらに含む。
1つの実施形態において、前記車線選択ユニットは、車線変更機能に応じて、対応する車線変更機能を実現するための少なくとも2つのサブニューラルネットワークに分けられるニューラルネットワークを、前記関係モデルに基づいて得、前記少なくとも2つの第2特徴情報と前記各第1特徴情報に対応するラベル情報とを、少なくとも2つのサブニューラルネットワークにて演算し、少なくとも2つの車線変更確率を取得し、前記少なくとも2つの車線変更確率に基づいて、目標車両の車線変更確率を取得し、前記目標車両の車線変更確率に基づいて、車線の選択を行うことにさらに用いられる。
本発明の実施形態における各装置内の各モジュールの機能は、上記の方法の対応する説明を参照することができ、ここでは省略する。
図7は、本発明の実施形態による情報処理装置のブロック図である。当該情報処理装置は、自動運転機能を有する車両に適用することが可能であり、図7に示すように、当該装置には、メモリ910とプロセッサ920が含まれ、メモリ910には、プロセッサ920で実行することができるコンピュータプログラムが記憶される。前記プロセッサ920は、前記コンピュータプログラムを実行する場合、上記の実施形態における情報処理方法を実現する。前記メモリ910とプロセッサ920との数は、1つであっても複数であってもよい。
当該装置は、他のデバイスと通信することに用いられ、データの交換伝送を行う通信インターフェース930をさらに含む。
メモリ910は、高速度RAMメモリを含んでもよく、少なくとも1つの磁気メモリのような不揮発性メモリ(non-volatile memory)をさらに含んでもよい。
メモリ910、プロセッサ920、及び通信インターフェース930が個別に実現される場合、メモリ910、プロセッサ920、及び通信インターフェース930は、バスによって相互接続して相互通信を行うことができる。前記バスは、インダストリスタンダードアーキテクチャ(ISA、Industry Standard Architecture)バス、外部デバイス相互接続(PCI、Peripheral Component Interconnect)バス、又は拡張インダストリスタンダードアーキテクチャ(EISA、Extended Industry Standard Architecture)バス等であってもよい。前記バスは、アドレスバス、データバス、制御バス等として分けられることが可能である。表示の便宜上、図7に1本の太線のみで表示するが、バスが1つ又は1種類のみであることを意味しない。
任意選択で、具体的な実現において、メモリ910、プロセッサ920及び通信インターフェース930が1つのチップに集成した場合、メモリ910、プロセッサ920、及び通信インターフェース930は、内部インターフェースによって相互通信を行うことができる。
本発明の実施形態は、コンピュータプログラムが記憶されているコンピュータ可読記憶媒体を提供し、当該プログラムがプロセッサに実行される場合、上記の実施例のいずれか1つに記載の方法を実現する。
本明細書において、「1つの実施形態」、「幾つかの実施形態」、「例」、「具体例」或いは「一部の例」などの用語は、当該実施形態或いは例で説明された具体的特徴、構成、材料或いは特点を結合して、本発明の少なくとも1つの実施形態或いは実施例に含まれることを意味する。また、説明された具体的特徴、構成、材料或いは特点は、いずれか1つ或いは複数の実施形態または例において適切に結合することが可能である。また、矛盾しない限り、当業者は、本明細書の異なる実施形態または例、および、異なる実施形態または例における特徴を結合したり、組み合わせたりすることができる。
また、用語「第1」、「第2」は相対的な重要性を示している又は暗示しているわけではなく、単に説明のためのものであり、示される技術的特徴の数を暗示するわけでもない。そのため、「第1」、「第2」で限定される特徴は、少なくとも1つの当該特徴を明示又は暗示的に含むことが可能である。本出願の記載の中において、「複数」の意味とは、明確的に限定される場合以外は、2つ又は2つ以上を意味する。
フローチャート又はその他の方式で説明された、いかなるプロセス又は方法に対する説明は、特定の論理的機能又はプロセスのステップを実現するための命令のコードを実行可能な1つ又はそれ以上のモジュール、断片若しくはセグメントとして理解することが可能であり、さらに、本発明の好ましい実施形態の範囲はその他の実現を含み、示された、又は、記載の順番に従うことなく、係る機能に基づいてほぼ同時にまたは逆の順序に従って機能を実行することを含み、これは当業者が理解すべきことである。
フローチャートに示された、又はその他の方式で説明された論理及び/又はステップは、例えば、論理機能を実現させるための実行可能な命令のシーケンスリストとして見なされることが可能であり、命令実行システム、装置、又はデバイス(プロセッサのシステム、又は命令実行システム、装置、デバイスから命令を取得して実行することが可能なその他のシステムを含むコンピュータによるシステム)が使用できるように提供し、又はこれらの命令を組み合わせて使用する命令実行システム、装置、又はデバイスに使用されるために、いかなるコンピュータ読取可能媒体にも具体的に実現されることが可能である。本明細書において、「コンピュータ読取可能媒体」は、命令実行システム、装置、デバイス、又はこれらの命令を組み合わせて実行するシステム、装置又はデバイスが使用できるように提供するため、プログラムを格納、記憶、通信、伝搬又は伝送する装置であってもよい。コンピュータ読み取り可能媒体のより具体的例(非網羅的なリスト)として、1つ又は複数の布配線を含む電気接続部(電子装置)、ポータブルコンピュータディスク(磁気装置)、ランダム・アクセス・メモリ(RAM)、リード・オンリー・メモリ(ROM)、消去可能な書き込み可能リード・オンリー・メモリ(EPROM又はフラッシュメモリ)、光ファイバー装置、及びポータブル読み取り専用メモリ(CDROM)を少なくとも含む。また、コンピュータ読み取り可能媒体は、そのうえで前記プログラムを印字できる紙又はその他の適切な媒体であってもよく、例えば紙又はその他の媒体に対して光学的スキャンを行い、そして編集、解釈又は必要に応じてその他の適切の方式で処理して電子的方式で前記プログラムを得、その後コンピュータメモリに記憶することができるためである。
なお、本発明の各部分は、ハードウェア、ソフトウェア、ファームウェア又はこれらの組み合わせによって実現されることができる。上記実施形態において、複数のステップ又は方法は、メモリに記憶された、適当な命令実行システムによって実行されるソフトウェア又はファームウェアによって実施されることができる。例えば、ハードウェアによって実現するとした場合、別の実施形態と同様に、データ信号に対して論理機能を実現する論理ゲート回路を有する離散論理回路、適切な混合論理ゲート回路を有する特定用途向け集積回路、プログラマブルゲートアレイ(GPA)、フィールドプログラマブルゲートアレイ(FPGA)などといった本技術分野において公知である技術のうちのいずれか1つ又はそれらの組み合わせによって実現される。
当業者は、上記の実施形態における方法に含まれるステップの全部又は一部を実現するのは、プログラムによって対応するハードウェアを指示することによって可能であることを理解することができる。前記プログラムは、コンピュータ読取可能な媒体に記憶されてもよく、当該プログラムが実行されるとき、方法の実施形態に係るステップのうちの1つ又はそれらの組み合わせを含むことができる。
また、本発明の各実施形態における各機能ユニットは、1つの処理モジュールに統合されてよく、別個の物理的な個体であってもよく、2つ又は3つ以上のユニットが1つのモジュールに統合されてもよい。上記の統合モジュールは、ハードウェアで実現されてもよく、ソフトウェア機能モジュールで実現されてもよい。上記の統合モジュールが、ソフトウェア機能モジュールで実現され、しかも独立した製品として販売又は使用される場合、コンピュータ読取可能な記憶媒体に記憶されてもよい。前記記憶媒体は読取専用メモリ、磁気ディスク又は光ディスク等であってもよい。
上記の記載は、単なる本発明の具体的な実施形態に過ぎず、本発明の保護範囲はそれに限定されることなく、当業者が本発明に開示されている範囲内において、容易に想到し得る変形又は置換は、全て本発明の範囲内に含まれるべきである。そのため、本発明の範囲は、記載されている特許請求の範囲に準じるべきである。

Claims (15)

  1. 運転行為に基づいて得られる少なくとも2つの第1情報を収集することと、
    前記少なくとも2つの第1情報に基づいて、少なくとも3つの第1特徴情報を得て、前記第1特徴情報は加速度、速度、制限速度を含むことと、
    前記少なくとも3つの第1特徴情報に対して識別してからラベルを付けて、各第1特徴情報に対応するラベル情報を得て、前記ラベル情報は左への車線変更、右への車線変更又は直進走行を表示するラベル情報であることと、
    前記少なくとも3つの第1特徴情報と前記各第1特徴情報に対応するラベル情報は、車線を変更するか否かを評価するための関係モデルに入力するサンプル集合として使用されることと、
    前記サンプル集合に基づいて、車両の走行経路と、車両自身の位置と、車両の周囲環境及び/又は障害物との関係を表す関係モデルを構築することと、
    前記関係モデルに基づいて車線を選択することと、を含み、
    前記サンプル集合に基づいて関係モデルを構築することは、
    前記車両の現在走行車線と前記現在走行車線に隣接する車線とに基づいて、処理対象区域を取得することと、
    配置されたグリッドに基づいて、前記処理対象区域を少なくとも2つの通行可能区域に分割することと、をさらに含む
    ことを特徴とする情報処理装置により実行される情報処理方法。
  2. 前記通行可能区域は、車両の走行経路を横軸とする座標系において、横軸方向にて、前記車両を中心とし、設定された距離パラメータに基づき、中心を原点として前方へ前記距離パラメータに対応する距離の値を足し、及び/又は、設定された距離パラメータに基づき、中心を原点として後方へ前記距離パラメータに対応する距離の値を足すことで、分割される、
    ことを特徴とする請求項1に記載の情報処理方法。
  3. 前記通行可能区域は、車両の走行経路を横軸とする座標系において、縦軸方向にて、少なくとも車両の現在走行車線の左側と右側との2つの車線に対応することで、さらに分割される、
    ことを特徴とする請求項2に記載の情報処理方法。
  4. 前記車両の現在走行車線における走行状況に対してフレーム毎に画像を収集し、収集された画像に基づいて、前記車両の走行経路と、前記車両自身の位置と、前記車両の周囲環境及び/又は障害物との相対関係を得ることと、
    前記相対関係を、前記関係モデルを構築するための前記通行可能区域の属性情報として使用することと、をさらに含む、
    ことを特徴とする請求項1~3のいずれか1項に記載の情報処理方法。
  5. 前記少なくとも2つの通行可能区域のうちの障害物を有する部分を切り分けて、少なくとも2つの第2特徴情報を取得し、前記少なくとも2つの第2特徴情報を、前記関係モデルの構築に用いること、をさらに含む、
    ことを特徴とする請求項4に記載の情報処理方法。
  6. 前記関係モデルに基づいて車線を選択することは、
    車線変更機能に応じて、対応する車線変更機能を実現するための少なくとも2つのサブニューラルネットワークに分けられるニューラルネットワークを、前記関係モデルに基づいて得ることと、
    前記少なくとも2つの第2特徴情報と前記各第1特徴情報に対応するラベル情報とを、前記少なくとも2つのサブニューラルネットワークにて演算して、少なくとも2つの車線変更確率を取得することと、
    前記少なくとも2つの車線変更確率に基づいて、目標車両の車線変更確率を取得することと、
    前記目標車両の車線変更確率に基づいて、車線の選択を行うことと、を含む、
    ことを特徴とする請求項5に記載の情報処理方法。
  7. 運転行為に基づいて得られる少なくとも2つの第1情報を収集する収集ユニットと、
    前記少なくとも2つの第1情報に基づいて、少なくとも3つの第1特徴情報を得て、前記第1特徴情報は加速度、速度、制限速度を含む第1処理ユニットと、
    前記少なくとも3つの第1特徴情報に対して識別してからラベルを付けて、各第1特徴情報に対応するラベル情報を得て、前記ラベル情報は左への車線変更、右への車線変更又は直進走行を表示するラベル情報である第2処理ユニットと、
    前記少なくとも3つの第1特徴情報と前記各第1特徴情報に対応するラベル情報は、車線を変更するか否かを評価するための関係モデルに入力するサンプル集合として使用される第3処理ユニットと、
    前記サンプル集合に基づいて、車両の走行経路と、車両自身の位置と、車両の周囲環境及び/又は障害物との関係を表す関係モデルを構築するモデル構築ユニットと、
    前記関係モデルに基づいて車線を選択する車線選択ユニットと、を含み、
    前記サンプル集合に基づいて関係モデルを構築することは、
    前記車両の現在走行車線と前記現在走行車線に隣接する車線とに基づいて、処理対象区域を取得することと、
    配置されたグリッドに基づいて、前記処理対象区域を少なくとも2つの通行可能区域に分割することと、をさらに含む
    ことを特徴とする情報処理装置。
  8. 前記通行可能区域は、車両の走行経路を横軸とする座標系において、横軸方向にて、前記車両を中心とし、設定された距離パラメータに基づき、中心を原点として前方へ前記距離パラメータに対応する距離の値を足し、及び/又は、設定された距離パラメータに基づき、中心を原点として後方へ前記距離パラメータに対応する距離の値を足すことで、分割される、
    ことを特徴とする請求項7に記載の情報処理装置。
  9. 前記通行可能区域は、車両の走行経路を横軸とする座標系において、縦軸方向にて、少なくとも車両の現在走行車線の左側と右側の2つの車線に対応することで、さらに分割される、
    ことを特徴とする請求項8に記載の情報処理装置。
  10. 前記車両の現在走行車線における走行状況に対してフレーム毎に画像を収集し、収集された画像に基づいて、前記車両の走行経路と、前記車両自身の位置と、前記車両の周囲環境及び/又は障害物との相対関係を得る収集ユニットと、
    前記相対関係を、前記関係モデルを構築するための前記通行可能区域の属性情報として使用する属性確定ユニットと、をさらに含む、
    ことを特徴とする請求項7~9のいずれか1項に記載の情報処理装置。
  11. 前記少なくとも2つの通行可能区域のうちの障害物を有する部分を切り分けて、少なくとも2つの第2特徴情報を取得し、前記少なくとも2つの第2特徴情報を、前記関係モデルの構築に用いる切分ユニット、をさらに含む、
    ことを特徴とする請求項10に記載の情報処理装置。
  12. 前記車線選択ユニットは、
    車線変更機能に応じて、対応する車線変更機能を実現するための少なくとも2つのサブニューラルネットワークに分けられるニューラルネットワークを、前記関係モデルに基づいて得、
    前記少なくとも2つの第2特徴情報と前記各第1特徴情報に対応するラベル情報とを、前記少なくとも2つのサブニューラルネットワークにて演算して、少なくとも2つの車線変更確率を取得し、
    前記少なくとも2つの車線変更確率に基づいて、目標車両の車線変更確率を取得し、
    前記目標車両の車線変更確率に基づいて、車線の選択を行う、
    ことを特徴とする請求項11に記載の情報処理装置。
  13. 1つ又は複数のプロセッサと、
    1つ又は複数のプログラムを記憶するメモリと、
    前記1つ又は複数のプロセッサは、前記1つ又は複数のプログラムを実行する場合、請求項1~6のいずれか1項に記載の情報処理方法を実現させる、
    ことを特徴とする情報処理装置。
  14. コンピュータプログラムが記憶されているコンピュータ可読記憶媒体であって、
    当該プログラムがプロセッサに実行される場合、請求項1~6のいずれか1項に記載の情報処理方法を実現する、
    ことを特徴とするコンピュータ可読記憶媒体。
  15. コンピュータにおいて、プロセッサにより実行される場合、請求項1~6のいずれか1項に記載の情報処理方法を実現することを特徴とするプログラム。
JP2020026865A 2019-02-21 2020-02-20 情報処理方法、装置、記憶媒体、及びプログラム Active JP7220169B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910130652.X 2019-02-21
CN201910130652.XA CN109703569B (zh) 2019-02-21 2019-02-21 一种信息处理方法、装置及存储介质

Publications (2)

Publication Number Publication Date
JP2020132153A JP2020132153A (ja) 2020-08-31
JP7220169B2 true JP7220169B2 (ja) 2023-02-09

Family

ID=66263717

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020026865A Active JP7220169B2 (ja) 2019-02-21 2020-02-20 情報処理方法、装置、記憶媒体、及びプログラム

Country Status (5)

Country Link
US (1) US20200269841A1 (ja)
EP (1) EP3699890A3 (ja)
JP (1) JP7220169B2 (ja)
KR (1) KR102424067B1 (ja)
CN (2) CN109703569B (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11663913B2 (en) * 2019-07-01 2023-05-30 Baidu Usa Llc Neural network with lane aggregation for lane selection prediction of moving objects during autonomous driving
CN110435658A (zh) * 2019-07-19 2019-11-12 中国第一汽车股份有限公司 一种车辆控制方法、装置、车辆和存储介质
CN111497847B (zh) * 2020-04-23 2021-11-16 江苏黑麦数据科技有限公司 车辆的控制方法和装置
CN111775940B (zh) * 2020-07-08 2021-09-07 中国第一汽车股份有限公司 一种自动换道方法、装置、设备及存储介质
JP7429172B2 (ja) * 2020-09-03 2024-02-07 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
CN114283576B (zh) * 2020-09-28 2023-03-31 华为技术有限公司 一种车辆意图预测方法及相关装置
CN113792249A (zh) * 2020-11-25 2021-12-14 北京京东乾石科技有限公司 行驶数据处理方法、装置、存储介质与电子设备
CN114771539B (zh) * 2022-06-16 2023-02-28 小米汽车科技有限公司 车辆变道决策方法、装置、存储介质及车辆

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001052297A (ja) 1999-08-06 2001-02-23 Fujitsu Ltd 安全走行支援装置、その方法及び記録媒体
JP2016081525A (ja) 2014-10-10 2016-05-16 アプリケーション・ソリューションズ・(エレクトロニクス・アンド・ヴィジョン)・リミテッド 車両用画像認識システム、及び対応法
WO2017213064A1 (ja) 2016-06-09 2017-12-14 日本電気株式会社 車両制御システム、車両制御方法およびプログラム記録媒体
JP2018072988A (ja) 2016-10-26 2018-05-10 パナソニックIpマネジメント株式会社 情報処理システム、情報処理方法、およびプログラム
JP2018120292A (ja) 2017-01-23 2018-08-02 パナソニックIpマネジメント株式会社 イベント予測システム、イベント予測方法、プログラム、及び移動体
JP2018197977A (ja) 2017-05-24 2018-12-13 トヨタ自動車株式会社 車両システム

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2853077B2 (ja) * 1993-09-17 1999-02-03 本田技研工業株式会社 自動走行車両
KR20150066303A (ko) * 2013-12-06 2015-06-16 한국전자통신연구원 운전자의 주행 패턴을 반영하는 자율 주행 장치 및 그 방법
EP4030378A1 (en) * 2015-05-10 2022-07-20 Mobileye Vision Technologies Ltd. Road profile along a predicted path
JP6558239B2 (ja) * 2015-12-22 2019-08-14 アイシン・エィ・ダブリュ株式会社 自動運転支援システム、自動運転支援方法及びコンピュータプログラム
CN105678412A (zh) * 2015-12-31 2016-06-15 百度在线网络技术(北京)有限公司 面向多人乘车的路线规划方法和装置
CN105608441B (zh) * 2016-01-13 2020-04-10 浙江宇视科技有限公司 一种车型识别方法及系统
US10474964B2 (en) * 2016-01-26 2019-11-12 Ford Global Technologies, Llc Training algorithm for collision avoidance
KR101795250B1 (ko) * 2016-05-03 2017-11-07 현대자동차주식회사 자율주행차량의 주행경로 계획장치 및 방법
CN106114507B (zh) * 2016-06-21 2018-04-03 百度在线网络技术(北京)有限公司 用于智能车辆的局部轨迹规划方法和装置
CN106228110B (zh) * 2016-07-07 2019-09-20 浙江零跑科技有限公司 一种基于车载双目相机的障碍物及可行驶区域检测方法
KR20190062390A (ko) * 2016-10-11 2019-06-05 모빌아이 비젼 테크놀로지스 엘티디. 검출된 배리어에 기반한 차량의 항법
CN106740457A (zh) * 2016-12-07 2017-05-31 镇江市高等专科学校 基于bp神经网络模型的车辆换道决策方法
CN106681318A (zh) * 2016-12-09 2017-05-17 重庆长安汽车股份有限公司 自动驾驶中车道线检测短暂丢失的车辆安全控制系统及方法
CN108205922A (zh) * 2016-12-19 2018-06-26 乐视汽车(北京)有限公司 一种自动驾驶决策方法及系统
CN108305477B (zh) * 2017-04-20 2019-08-13 腾讯科技(深圳)有限公司 一种车道选择方法及终端
CN108983763B (zh) * 2017-06-05 2021-09-21 上海汽车集团股份有限公司 一种路径规划的方法、装置及车载终端
WO2019000391A1 (zh) * 2017-06-30 2019-01-03 华为技术有限公司 车辆的控制方法、装置及设备
CN107830869B (zh) * 2017-11-16 2020-12-11 百度在线网络技术(北京)有限公司 用于车辆的信息输出方法和装置
US10169678B1 (en) * 2017-12-21 2019-01-01 Luminar Technologies, Inc. Object identification and labeling tool for training autonomous vehicle controllers
CN108227710B (zh) * 2017-12-29 2022-10-04 商汤集团有限公司 自动驾驶控制方法和装置、电子设备、程序和介质
CN108256446B (zh) * 2017-12-29 2020-12-11 百度在线网络技术(北京)有限公司 用于确定道路中的车道线的方法、装置和设备
CN108876805B (zh) * 2018-06-20 2021-07-27 长安大学 一种端对端无监督场景可通行区域认知与理解方法
CN113486796B (zh) * 2018-09-07 2023-09-05 百度在线网络技术(北京)有限公司 无人车位置检测方法、装置、设备、存储介质及车辆
CN109360436B (zh) * 2018-11-02 2021-01-08 Oppo广东移动通信有限公司 一种视频生成方法、终端及存储介质
KR102138979B1 (ko) * 2018-11-29 2020-07-29 한국과학기술원 차선 기반의 확률론적 주변 차량 거동 예측 및 이를 이용한 종방향 제어 방법
US20210389133A1 (en) * 2020-06-12 2021-12-16 Lyft, Inc. Systems and methods for deriving path-prior data using collected trajectories

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001052297A (ja) 1999-08-06 2001-02-23 Fujitsu Ltd 安全走行支援装置、その方法及び記録媒体
JP2016081525A (ja) 2014-10-10 2016-05-16 アプリケーション・ソリューションズ・(エレクトロニクス・アンド・ヴィジョン)・リミテッド 車両用画像認識システム、及び対応法
WO2017213064A1 (ja) 2016-06-09 2017-12-14 日本電気株式会社 車両制御システム、車両制御方法およびプログラム記録媒体
JP2018072988A (ja) 2016-10-26 2018-05-10 パナソニックIpマネジメント株式会社 情報処理システム、情報処理方法、およびプログラム
JP2018120292A (ja) 2017-01-23 2018-08-02 パナソニックIpマネジメント株式会社 イベント予測システム、イベント予測方法、プログラム、及び移動体
JP2018197977A (ja) 2017-05-24 2018-12-13 トヨタ自動車株式会社 車両システム

Also Published As

Publication number Publication date
CN113392809B (zh) 2023-08-15
CN113392809A (zh) 2021-09-14
CN109703569B (zh) 2021-07-27
US20200269841A1 (en) 2020-08-27
EP3699890A3 (en) 2020-11-25
JP2020132153A (ja) 2020-08-31
EP3699890A2 (en) 2020-08-26
KR20200102378A (ko) 2020-08-31
CN109703569A (zh) 2019-05-03
KR102424067B1 (ko) 2022-07-22

Similar Documents

Publication Publication Date Title
JP7220169B2 (ja) 情報処理方法、装置、記憶媒体、及びプログラム
US20200265710A1 (en) Travelling track prediction method and device for vehicle
Altché et al. An LSTM network for highway trajectory prediction
CN110562258B (zh) 一种车辆自动换道决策的方法、车载设备和存储介质
JP7367183B2 (ja) 占有予測ニューラルネットワーク
CN110796007B (zh) 场景识别的方法与计算设备
JP6800575B2 (ja) 自己の乗り物のドライバを支援する方法およびシステム
CN111583715B (zh) 一种车辆轨迹预测方法、车辆碰撞预警方法、装置及存储介质
EP4120215A1 (en) Method for identifying abnormal driving behavior
CN110389583A (zh) 生成自动驾驶车辆的轨迹的方法
CN112203916A (zh) 用于确定目标车辆变道相关信息的方法和设备、用于确定车辆舒适性度量用以预测目标车辆的驾驶机动操纵的方法和设备以及计算机程序
JP6850324B2 (ja) マルチモデルに基づく障害物分布シミュレーション方法、装置、端末及びプログラム
CN113228040A (zh) 多级对象行进方向估计
JP2021527833A (ja) 超音波アレイによる障害物検出結果の処理方法、コンピュータデバイス、記憶媒体、プログラム及びシステム
KR20220083962A (ko) 시나리오 기반 거동 명세 및 검증
US11529951B2 (en) Safety system, automated driving system, and methods thereof
CN116529784A (zh) 用于增加激光雷达数据的方法和系统
JP2023523350A (ja) 乗り物に基づくデータ処理方法、データ処理装置、コンピュータ機器、及びコンピュータプログラム
CN114475656B (zh) 行驶轨迹预测方法、装置、电子设备以及存储介质
CN116324904A (zh) 用于注释传感器数据的方法和系统
CN113885496A (zh) 智能驾驶仿真传感器模型及智能驾驶仿真方法
US12012102B2 (en) Method for determining a lane change indication of a vehicle
CN112085178B (zh) 一种车辆行为数据的标注方法及装置
US20230024799A1 (en) Method, system and computer program product for the automated locating of a vehicle
US20230025579A1 (en) High-definition mapping

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210511

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210806

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20211029

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20211206

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220125

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20220125

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220422

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220906

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221125

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230104

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230130

R150 Certificate of patent or registration of utility model

Ref document number: 7220169

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150