JP7050100B2 - 交差点障害物の運動軌跡の予測方法、装置、端末、記憶媒体、及びプログラム - Google Patents

交差点障害物の運動軌跡の予測方法、装置、端末、記憶媒体、及びプログラム Download PDF

Info

Publication number
JP7050100B2
JP7050100B2 JP2020028699A JP2020028699A JP7050100B2 JP 7050100 B2 JP7050100 B2 JP 7050100B2 JP 2020028699 A JP2020028699 A JP 2020028699A JP 2020028699 A JP2020028699 A JP 2020028699A JP 7050100 B2 JP7050100 B2 JP 7050100B2
Authority
JP
Japan
Prior art keywords
information
obstacle
intersection
vehicle
road
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020028699A
Other languages
English (en)
Other versions
JP2020140708A (ja
Inventor
クン チャン
イーフェン パン
シューグァン ヤン
チョンタオ チェン
フェイイー ジャン
Original Assignee
アポロ インテリジェント ドライビング テクノロジー(ペキン)カンパニー リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アポロ インテリジェント ドライビング テクノロジー(ペキン)カンパニー リミテッド filed Critical アポロ インテリジェント ドライビング テクノロジー(ペキン)カンパニー リミテッド
Publication of JP2020140708A publication Critical patent/JP2020140708A/ja
Application granted granted Critical
Publication of JP7050100B2 publication Critical patent/JP7050100B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • B60W60/0015Planning or execution of driving tasks specially adapted for safety
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/91Radar or analogous systems specially adapted for specific applications for traffic control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18Propelling the vehicle
    • B60W30/18009Propelling the vehicle related to particular drive situations
    • B60W30/18159Traversing an intersection
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0097Predicting future conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • B60W60/0025Planning or execution of driving tasks specially adapted for specific operations
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • B60W60/0027Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867Combination of radar systems with cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/003Transmission of data between radar, sonar or lidar systems and remote stations
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125Traffic data processing
    • G08G1/0133Traffic data processing for classifying traffic situation
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G08G1/0141Measuring and analyzing of parameters relative to traffic conditions for specific applications for traffic information dissemination
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967Systems involving transmission of highway information, e.g. weather, speed limits
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/167Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00Input parameters relating to infrastructure
    • B60W2552/50Barriers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404Characteristics
    • B60W2554/4048Field of view, e.g. obstructed view or direction of gaze
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/60Traffic rules, e.g. speed limits or right of way
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096733Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place
    • G08G1/09675Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place where a selection from the received information takes place in the vehicle
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096766Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
    • G08G1/096783Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is a roadside individual element

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Atmospheric Sciences (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、自動運転技術分野に関し、特に、交差点障害物の運動軌跡の予測方法、装置、端末、記憶媒体、及びプログラムに関する。
従来技術において、自動運転車両は、周囲環境の感知に基づいて走行軌跡の計画を完成させる必要があるため、自動運転車両の周囲の障害物を十分に感知することが非常に重要である。しかしながら、自動運転車両は、その感知範囲が限られているため、例えば、道路の交差点などのような周囲の隠れた物体や遮蔽物の多い環境を通過するとき、感知できないブラインドゾーンが生じる。自動運転車両は、ブラインドゾーンに存在する障害物を感知できない場合、ブラインドゾーンの障害物に応じて車両自体の走行軌跡を計画することができない。従って、自動運転車両が道路の交差点を通過する際、交差点のブラインドゾーンに突然現れる障害物を速やかに回避することができず、車両走行の安全性を低下させる。
背景技術に開示された上記の情報は、本発明の背景理解を高めるためのものであり、そのため、当業者に把握された従来技術になっていない情報を含む可能性がある。
本発明は、従来技術における1つ又は複数の技術課題を解決するための交差点障害物の運動軌跡の予測方法及び装置を提供する。
本発明の第1態様は、交差点障害物の運動軌跡の予測方法を提供する。当該交差点障害物の運動軌跡の予測方法は、
車両の感知範囲にある可視障害物の情報を取得し、前記車両の通過しようとする道路の交差点の環境情報であって、前記交差点にある障害物の情報及び道路情報を含む環境情報を取得することと、
前記交差点にある障害物の情報と前記可視障害物の情報を融合して、前記道路の交差点における前記車両のブラインドゾーン内の障害物の情報を選別することと、
前記道路情報に基づいて、前記ブラインドゾーン内の障害物の情報に対応する障害物の運動軌跡を予測することとを含む。
1つの実施形態において、前記車両の通過しようとする道路の交差点の環境情報を取得することは、
前記車両は前記道路の交差点から予め設定された距離まで走行した際、前記道路の交差点の収集デバイスが収集した前記環境情報を受信することとを含む。
1つの実施形態において、前記交差点にある障害物の情報と前記可視障害物の情報を融合して、前記道路の交差点における前記車両のブラインドゾーン内の障害物の情報を選別することは、
前記交差点にある障害物の情報と前記可視障害物の情報とをマッチングすることと、
前記交差点にある障害物の情報と前記可視障害物の情報の両者が同じ情報を含むか否かを判断することと、
同じ情報を含むと判断した場合、前記同じ情報を削除した前記交差点にある障害物の情報を、前記ブラインドゾーン内の障害物の情報とすることとを含む。
1つの実施形態において、前記交差点にある障害物の情報と前記可視障害物の情報の両者が同じ情報を含むか否かを判断することは、
前記交差点にある障害物の情報に基づいて、前記道路の交差点にある各第1の障害物の履歴フレームデータを取得することと、
前記可視障害物の情報に基づいて、前記車両の感知範囲にある各第2の障害物の履歴フレームデータを取得することと、
予め設定されたモデルにより、前記各第1の障害物の履歴フレームデータと前記各第2の障害物の履歴フレームデータとの特徴マッチングを行うことと、
マッチングの結果が予め設定された閾値よりも大きい場合、前記第1の障害物に対応する情報と前記第2の障害物に対応する情報が同じであると判断することとを含む。
1つの実施形態において、
前記交差点にある障害物の情報が前記車両の情報を含むか否かを判断することと、
前記車両の情報を含むと判断した場合、前記交差点にある障害物の情報から前記車両の情報を削除することとをさらに含む。
1つの実施形態において、前記道路情報に基づいて、前記ブラインドゾーン内の障害物の情報に対応する障害物の運動軌跡を予測することは、
前記ブラインドゾーン内の障害物の情報に基づいて、前記各障害物の履歴フレームデータを取得することと、
前記道路情報における交差点の環境情報及び信号灯の状態情報に基づいて、前記各障害物の履歴フレームデータと結合して、前記道路の交差点にある前記各障害物の運動軌跡を予測することとを含む。
本発明の第2態様は、交差点障害物の運動軌跡の予測装置を提供する。当該交差点障害物の運動軌跡の予測装置は、
車両の感知範囲にある可視障害物の情報を取得し、前記車両の通過しようとする道路の交差点の環境情報であって、前記交差点にある障害物の情報及び道路情報を含む環境情報を取得するように構成される取得モジュールと、
前記交差点にある障害物の情報と前記可視障害物の情報を融合して、前記道路の交差点における前記車両のブラインドゾーン内の障害物の情報を選別するように構成される融合モジュールと、
前記道路情報に基づいて、前記ブラインドゾーン内の障害物の情報に対応する障害物の運動軌跡を予測するように構成される軌跡予測モジュールと、を含む。
1つの実施形態において、取得モジュールは、
前記車両は前記道路の交差点から予め設定された距離まで走行した際、前記道路の交差点の収集デバイスが収集した前記環境情報を受信するように構成される受信サブモジュールと、を含む。
1つの実施形態において、融合モジュールは、
前記交差点にある障害物の情報と前記可視障害物の情報とをマッチングするように構成されるマッチングサブモジュールと、
前記交差点にある障害物の情報と前記可視障害物の情報の両者が同じ情報を含むことを判断し、同じ情報を含むと判断した場合、前記同じ情報を削除した前記交差点にある障害物の情報を、前記ブラインドゾーン内の障害物の情報とするように構成される判断サブモジュールと、を含む。
1つの実施形態において、判断サブモジュールは、
前記交差点にある障害物の情報に基づいて、前記道路の交差点にある各第1の障害物の履歴フレームデータを取得するように構成される第1取得ユニットと、
前記可視障害物の情報に基づいて、前記車両の感知範囲にある各第2の障害物の履歴フレームデータを取得するように構成される第2取得ユニットと、
予め設定されたモデルにより、前記各第1の障害物の履歴フレームデータと前記各第2の障害物の履歴フレームデータとの特徴マッチングを行うように構成される特徴マッチングユニットと、
マッチングの結果が予め設定された閾値よりも大きい場合、前記第1の障害物に対応する情報と前記第2の障害物に対応する情報が同じであると判断するように構成される確定ユニットと、を含む。
1つの実施形態において、
前記交差点にある障害物の情報が前記車両の情報を含むか否かを判断し、前記車両の情報を含むと判断した場合、前記交差点にある障害物の情報から前記車両の情報を削除するように構成される情報削除モジュールをさらに含む。
1つの実施形態において、軌跡予測モジュールは、
前記ブラインドゾーン内の障害物の情報に基づいて、前記各障害物の履歴フレームデータを取得するように構成される取得サブモジュールと、
前記道路情報における交差点の環境情報及び信号灯の状態情報に基づいて、前記各障害物の履歴フレームデータと結合して、前記道路の交差点にある前記各障害物の運動軌跡を予測するように構成される予測サブモジュールと、を含む。
本発明の第3態様は、交差点障害物の運動軌跡の予測端末を提供する。
当該予測端末の機能は、ハードウェアにより実現されてもよいし、対応するソフトウェアをハードウェアで実行することにより実現されてもよい。ハードウェア又はソフトウェアは、上述の機能に対応する1つ又は複数のモジュールを含む。
1つの可能な実施形態において、道路の交差点障害物の運転軌跡の予測終端は、道路の交差点障害物の運転軌跡予測をサポートする終端が、上記の第1態様における障害物の運転軌跡の予測方法を実行するためのプログラムを記憶するメモリと、メモリに記憶されたプログラムを実行するように構成されたプロセッサとを備える。道路の交差点障害物の運転軌跡の予測端末は、他の装置又は通信ネットワークと通信する通信インターフェースを更に含んでもよい。
本発明の第4態様は、道路の交差点障害物の運転軌跡の予測端末が使用するコンピュータソフトウェア命令を記憶するためのコンピュータ可読記憶媒体であり、上記の第1態様における道路の交差点障害物の運転軌跡の予測方法を実行するための、道路の交差点障害物の運転軌跡の予測端末に係るプログラムを含む、コンピュータ可読記憶媒体を提供する。
本発明によれば、車両のブラインドゾーンによる問題に対して、道路の交差点に到達する前に道路の交差点の環境情報を取得することにより、道路の交差点障害物に対する車両の予測能力を向上させるという利点または効果が得られる。
上記の略述は、単に説明のために過ぎず、いかなる限定をも目的としない。上記に記載されている例示的な様態、実施形態、及び特徴以外に、図面及び下記の詳細説明を参照することによって、本発明のさらなる様態、実施形態、及び特徴の理解を促す。
本発明の実施形態に係る交差点障害物の運動軌跡の予測方法のフローチャートである。 本発明の実施形態に係る交差点障害物の運動軌跡の予測方法のステップS200の具体的なフローチャートである。 本発明の実施形態に係る交差点障害物の運動軌跡の予測方法のステップS220の具体的なフローチャートである。 本発明の他の実施形態に係る交差点障害物の運動軌跡の予測方法のフローチャートである。 本発明の実施形態に係る交差点障害物の運動軌跡の予測方法のステップS300の具体的なフローチャートである。 本発明の実施形態に係る交差点障害物の運動軌跡の予測方法の応用シーンの模式図である。 本発明の実施形態に係る交差点障害物の運動軌跡の予測装置の構成図である。 本発明の他の実施形態に係る交差点障害物の運動軌跡の予測装置の構成図である。 本発明の実施形態に係る交差点障害物の運動軌跡の予測端末の構成図である。
図面において特に規定されない限り、複数の図面において同様の図面符号は、同様又は類似的な部材又はエレメントを示す。これらの図面は必ずしも実際の比例に従って製図されたものではない。これらの図面は本発明に基づいて開示された幾つかの実施形態を描いたものに過ぎず、本発明の範囲に対する制限としてはならないことを理解すべきである。
下記において、幾つかの例示的実施形態を簡単に説明する。当業者が把握出来るよう、本発明の主旨又は範囲を逸脱しない限り、様々な方式により説明された実施形態に変更可能である。従って、図面と説明は制限を加えるものでなく、本質的には例示的なものである。
本発明の実施形態は、交差点障害物の運動軌跡の予測方法を提供し、図1に示すよう、下記ステップS100~S300を含む。
S100において、車両の感知範囲にある可視障害物の情報を取得し、前記車両の通過しようとする道路の交差点の環境情報であって、前記交差点にある障害物の情報及び道路情報を含む環境情報を取得する。
なお、可視障害物の情報は、車両の検出範囲内に存在する全ての障害車両、歩行者及びバリケード等の物体を含むことができる。交差点にある障害物の情報は、道路の交差点付近に現れる全ての障害車両、歩行者及びバリケード等の物体を含んでよい。障害車両は、有人運転車両、自動運転車両、自転車、オートバイ、電気自動車などの任意タイプの車両を含み得る。道路情報は、道路の交差点の種別、道路の交差点の交通ルール、道路の交差点の曲率、道路の交差点の接続関係、及び道路の交差点の信号灯などの情報を含んでもよい。異なる車両の可視障害物の情報は、異なるものであってもよい。各車両の可視障害物の情報と道路の交差点障害物の情報は、重複する情報を有し得る。
車両が道路の交差点に到達する前に、例えば、車両が道路の交差点の可視障害物の情報をまだ全方位に感知することができない場合、道路の交差点の環境情報を先に取得することができる。車両が通過しようとする道路の交差点の環境情報を事前に取得することで、車両が道路の交差点を通過する際に道路の交差点にある障害物をタイムリーに回避し、車両の運転安全性を向上させることができる。
車両の感知範囲は、車両上のレーダ、センサ、カメラ等の収集デバイスの感知範囲を含み、当該主車両周囲の収集可能な環境情報を含んでもよい。
S200において、交差点にある障害物の情報と可視障害物の情報を結合して、道路の交差点における車両のブラインドゾーン内の障害物の情報を選別する。
なお、道路の交差点に現れる全ての物体は、道路の交差点障害物であってもよい。道路の交差点障害物の情報には、道路の交差点に存在する各障害物に関する情報が含まれる。例えば、道路の交差点障害物の情報には、各障害物の位置、サイズ、物理的履歴状態等の情報が含まれる。物理的履歴状態情報は、履歴の各フレームにおける障害物の速度、加速度、ヨー角、車線との距離などの情報を含んでもよい。
車両の感知範囲内に存在する全ての物体は、可視障害物であり得る。可視障害物の情報は、車両の感知範囲にある各障害物に関する情報を含むことができる。例えば、可視障害物の情報には、各障害物の位置、サイズ、物理的履歴状態等の情報が含まれる。物理的履歴状態情報は、履歴の各フレームにおける障害物の速度、加速度、ヨー角、車線との距離、車両との距離などの情報を含んでもよい。
ブラインドゾーン内の障害物の情報は、車両が道路の交差点に到達する前に、車両の感知範囲内に感知できない、道路の交差点に存在する障害物の情報を含む。すなわち、ブラインドゾーン障害物の情報は、道路の交差点障害物の情報のサブセットであってもよい。
S300において、道路情報に基づいて、ブラインドゾーン内の障害物の情報に対応する障害物の運動軌跡を予測する。取得した各障害物に関する情報と道路情報に応じ、各障害物の道路の交差点における将来の運動軌跡を算出することができる。予測された各ブラインドゾーン内の障害物の情報に対応する障害物の運動軌跡の上で、車両は、これらの障害物の運転軌跡に基づいて、自身の運動軌跡を更に計画することができる。これにより、車両は、適切な運動軌跡により道路の交差点の全ての障害物を回避するように通過することができる。
なお、各障害物に対し、少なくとも1つの走行軌跡が予測される。具体的に、各障害物について、予測の必要がある走行軌跡の数は、予測需要、安全運転レベル、又は決定計画アルゴリズム等に応じて、カスタマイズ選択することができる。
1つの実施形態において、車両の通過しようとする道路の交差点の環境情報を取得することは、
車両は前記道路の交差点から予め設定された距離まで走行した際、道路の交差点の収集デバイスが収集した環境情報を受信することとを含む。
なお、予め設定された距離は、車両の予測需要、安全運転レベル、または、決定計画アルゴリズムなどに応じて、カスタマイズ選択することができ、かつ、収集デバイスの情報送信範囲よりも短い。収集デバイスは、レーダー、センサー、及びカメラなど、道路の交差点の全方位の環境情報を取得することができる任意の収集デバイスを採用し得る。例えば、収集デバイスは、V2X ( vehicle to X )デバイスを採用し得る。Xは、車、人、道路、バックグラウンドなどの任意のものを表す。V2Xデバイスは、視覚のブラインドゾーンがなく、かつ遮蔽物を跨ぐ情報取得能力を有するとともに、他の車両や施設とスマート情報の交換共有を行うことができる。
1つの適用例において、予め設定された距離は100メートルである。収集デバイスはV2Xデバイスであり、道路の交差点の信号灯に設置され、全方位で道路の交差点のすべての環境情報を取得することができる。車両は、道路の交差点までの距離が100メートルである位置に到着した場合、V2Xデバイスによりリアルタイムで送信される道路の交差点の環境情報の受信が開始される。ここで、V2Xデバイスは、道路の交差点の環境情報を間断なく収集し、外部に環境情報を間断なく送信する。車両は、予め設定された距離まで到着する前に、V2Xデバイスから外部に送信される環境情報を受信しない。車両は、予め設定された距離に到着したときにV2Xデバイスが外部に送信する環境情報の受信が開始する。
1つの実施形態において、図2に示すように、交差点にある障害物の情報と可視障害物の情報を融合して、道路の交差点における車両のブラインドゾーン内の障害物の情報を選別することは、下記ステップS210~S230を含む。
S210において、交差点にある障害物の情報と可視障害物の情報とをマッチングする。
S220において、交差点にある障害物の情報と可視障害物の情報の両者が同じ情報を含むか否かを判断する。
なお、道路の交差点にある障害物の情報には、道路の交差点で収集した各障害物に関する情報が含まれている。可視障害物の情報には、車両の感知範囲内にある各障害物に関する情報が含まれる。道路の交差点の収集デバイスの性能によっては、道路の交差点の収集デバイスの収集範囲が広い場合、車両の感知範囲と重なる場合がある。車両の感知範囲内に存在する障害物は、車両のセンサ等によって感知可能な障害物であり、車両が自身の策定計画を行う際に周辺の障害物の走行軌跡を参照する。従って、車両の計算コストを低減し、車両の反復計算を低減するためには、道路の交差点障害物の情報に可視障害物の情報と同じ情報が含まれているか否かを判断する必要がある。
S230において、同じ情報を含むと判断した場合、同じ情報を削除した交差点にある障害物の情報を、ブラインドゾーン内の障害物の情報とする。
1つの実施形態において、ステップS210を実行する前に、予備スクリーニングして、道路の交差点障害物の情報から、同一障害物ではないと直接決定した情報を迅速に除くことができ、具体的に、
交差点にある障害物の情報のうち、高精度地図における各障害物の位置を取得すること及び可視障害物の情報のうち、高精度地図における各障害物の位置を取得することである。
交差点障害物の情報のうちある障害物と可視障害物の情報のうちある障害物とが同じ領域にあるが、位置が大きく異なる場合、障害物に対応する情報は異なる情報であるとされる。道路の交差点障害物の情報のうちある障害物と可視障害物の情報のうちある障害物とが同一領域にあり、かつ位置距離が近い場合、障害物に対応する情報は同一情報でありうるとする。さらに、上記ステップS210及びS220を実行する。
なお、高精度地図は、高精度で精細に定義された地図であり、その精度は、デシメートルまでにのぼる。高精度地図は、現実の3次元世界を構築するため、絶対位置の形状情報や位相関係の他に、ポイントクラウド、文言、特徴などの属性も含む。道路レベルの案内情報、車線レベルの案内情報だけでなく、正確な車両位置情報や豊富な道路要素データ情報を提供することができる。
1つの実施形態において、図3に示すように、交差点にある障害物の情報と可視障害物の情報の両者が同じ情報を含むか否かを判断することは、下記ステップS221~S223を含む。
S221において、交差点にある障害物の情報に基づいて、道路の交差点にある各第1の障害物の履歴フレームデータを取得する。履歴フレームデータは、各第1障害物の速度、加速度、位置、サイズ、ヨー角、車線との距離などの第1障害物を示す情報を含み得る
S222において、可視障害物の情報に基づいて、車両の感知範囲にある各第2の障害物の履歴フレームデータを取得する。履歴フレームデータは、第2障害物の速度、加速度、位置、サイズ、ヨー角、車線との距離、車両間の距離などの第2障害物を示す情報を含み得る。
S223において、予め設定されたモデルにより、各第1の障害物の履歴フレームデータと各第2の障害物の履歴フレームデータとの特徴マッチングを行う。予め設定されたモデルは、第1の障害物の履歴フレームデータと第2の障害物の履歴フレームデータとの特徴マッチングが可能であれば、従来の任意モデルを採用することができる。
例えば、予め設定されたモデルとして、logistic(ロジック)回帰モデルを採用し得る。logistic回帰モデルは、広義の線形回帰分析モデルである。logistic回帰モデルのlogistic回帰分析により、第1障害物の履歴フレームデータと第2障害物の履歴フレームデータとのマッチング値を得ることができる。
S224において、マッチングの結果が予め設定された閾値よりも大きい場合、第1の障害物に対応する情報と第2の障害物に対応する情報が同じであると判断する。
1つの実施形態において、図4に示すように、ステップS100の後、さらに下記ステップS400~S500を含む。
S400において、交差点にある障害物の情報が車両の情報を含むか否かを判断する。
S500において、車両の情報を含むと判断した場合、交差点にある障害物の情報から車両の情報を削除する。
道路の交差点の収集デバイスは、環境情報を収集する際、道路の交差点で無差別に収集を行う。したがって、自車両が道路の交差点の収集デバイスの収集範囲に入った場合も、収集対象として無差別に収集を行う。車両は、周囲の障害物を検出する際、車両自体を障害物とすることはない。そのため、車両が道路の交差点障害物の情報のうち車両自身に対応する情報も障害物として算出することを回避するため、道路の交差点障害物の情報に含まれる車両の情報を先に削除してからステップS200を実行することが好ましい。
1つの実施形態において、図5示すように、道路情報に基づいて、ブラインドゾーン内の障害物の情報に対応する障害物の運動軌跡を予測することは、下記ステップS310及びS320を含む。
S310において、ブラインドゾーン内の障害物の情報に基づいて、各障害物の履歴フレームデータを取得する。履歴フレームデータは、各障害物の速度、加速度、位置、サイズ、ヨー角、車線との距離、などの障害物を示す情報を含み得る
S320において、道路情報における交差点の環境情報及び信号灯の状態情報に基づいて、各障害物の履歴フレームデータと結合して、道路の交差点にある各障害物の運動軌跡を予測する。
道路の交差点の環境情報により、道路の交差点の種類、交通ルール等の情報を知ることができる。例えば、道路の交差点が十字型の道路の交差点である場合、ある1つの通路における障害物の運動軌跡は、他の3つの通路それぞれへの運動軌跡であってもよい。その道路の交差点の交通ルール、例えば、道路の交差点の交通ルールは左折禁止であることが分かっていれば、障害物の運動軌跡の運動方向は2つの通路方向となることができる。さらに、これに加えて、道路の交差点の信号灯(例えば信号機)の状態情報を取得することにより、障害物の走行軌跡をより正確に予測することができる。例えば、自車両が道路の交差点の1つの通路を通過する際、この通路に垂直な他の通路の信号灯が赤信号である場合、そのときにブラインドゾーンの障害物情報のうち他方の通路に存在する各障害物は通過できないので、自車両の走行軌跡に影響を与えず、さらに、ブラインドゾーンの障害物情報のうち各障害物の走行軌跡を予測する際、それら障害物の履歴フレームデータを二次的な予測データとしてもよいし、予測データとしなくてもよい。
一応用例では、図6に示すように、この道路の交差点は十字型の交差点、通路a、b、c、dを有する。主車両Aの通過しようとする交差点口は道路の交差点口aである。十字型の交差点の中心には、それぞれが4つの交差点口a、b、c、dに向かう信号灯Bが1つ設けられている。信号灯Bの頂部にはV2XデバイスDが設置されており、V2XデバイスDは、当該信号灯Bの各信号灯の状態を取得することができる。
主車両Aが、道路の交差点口aまでの距離が100mである位置を走行した場合、V2XデバイスDから送信された交差点の環境情報を受信する。環境情報の交差点障害物の情報には、8つの車両の情報が含まれる。具体的には、交差点口aに存在する主車両A、障害車両E、障害車両Fおよび障害車両G、交差点口bに存在する障害車両H、交差点口cに存在する障害車両Iおよび障害車両J、交差点口dに存在する障害車両Kである。また、主車両Aの感知範囲にある可視障害物情報には、障害車両E、障害車両F、及び障害車両Gの情報が含まれている。
受信した交差点障害物情報に基づいて、主車両Aは、交差点障害物の情報に車両自体の情報が含まれると判定するので、交差点障害物の情報から車両Aの情報を削除する。そして、交差点障害物の情報と可視障害物の情報とを融合する。各障害車両の履歴フレームデータに基づいて、予め設定されたモデルにより、障害車両E、障害車両F、および障害車両Gの情報が、交差点にある障害物の情報と可視障害物の情報の同じ情報であると確定され、交差点障害物の情報から、障害車両E、障害車両F、および障害車両Gの情報が削除される。主車両Aのブラインドゾーンにおける障害物の情報として、障害車両H、障害車両I、障害車両J、及び障害車両Kの情報のみを含む交差点障害物の情報を設定する。
道路情報から分かるよう、この十字型の交差点は左折が禁止されているため、障害物Hの走行可能な交差点口は交差点口aと交差点口dである。障害車両Iおよび障害車両Jの走行可能な交差点口は、交差点口bおよび交差点口aである。障害車両Kの走行可能な交差点口は、交差点口bと交差点口cである。さらに、交差点の信号灯Bの各交差点口への信号灯の状態情報から、主車両Aが交差点口aを通過して交差点口cに進行する過程で、交差点口bと交差点口dに対する信号灯が赤信号であることが分かる。このため、主車両Aが交差点口aを通過する際、交差点口bにおける障害車両Hが交差点口aに向かって右折走行またはそのまま停車する可能性があると予測される。交差点口dにおける障害車両Kが交差点口cに右折走行又はそのまま停車する可能性があると予測される。交差点口cにおける障害車両I及び障害車両Jが交差点口aに向かって直進又は右折する可能性があると予測される。
そして、障害車両H、障害車両I、障害車両J及び障害車両Kの履歴のフレーム走行データに基づいて、障害車両H、障害車両I、障害車両J及び障害車両Kの具体的な運動軌跡を予測する。予測された障害車両H、障害車両I、障害車両J、および障害車両Kの運動軌跡に基づいて、主車両Aが自身の走行軌跡の決定計画を行う。
本発明の実施形態は、交差点障害物の運動軌跡の予測装置を提供し、図7に示すように、取得モジュール10、結合モジュール20及び軌跡予測モジュール30を含む。
取得モジュール10は、車両の感知範囲にある可視障害物の情報を取得し、車両の通過しようとする道路の交差点の環境情報であって、交差点にある障害物の情報及び道路情報を含む環境情報を取得するように構成される。
結合モジュール20は、交差点にある障害物の情報と可視障害物の情報を融合して、道路の交差点における車両のブラインドゾーン内の障害物の情報を選別するように構成される。
軌跡予測モジュール30は、道路情報に基づいて、ブラインドゾーン内の障害物の情報に対応する障害物の運動軌跡を予測するよう構成される。
1つの実施形態において、取得モジュールは、
車両は道路の交差点から予め設定された距離まで走行した際、前記道路の交差点の収集デバイスが収集した前記環境情報を受信するように構成される受信サブモジュールを含む。
1つの実施形態において、融合モジュールは、
交差点にある障害物の情報と可視障害物の情報とをマッチングするように構成されるマッチングサブモジュールと、
交差点にある障害物の情報と可視障害物の情報の両者が同じ情報を含むことを判断し、同じ情報を含むと判断した場合、同じ情報を削除した交差点にある障害物の情報を、ブラインドゾーン内の障害物の情報とするように構成される判断サブモジュールと、を含む。
1つの実施形態において、判断サブモジュールは、
交差点にある障害物の情報に基づいて、道路の交差点にある各第1の障害物の履歴フレームデータを取得するように構成される第1取得ユニットと、
可視障害物の情報に基づいて、車両の感知範囲にある各第2の障害物の履歴フレームデータを取得するように構成される第2取得ユニットと、
予め設定されたモデルにより、各第1の障害物の履歴フレームデータと各第2の障害物の履歴フレームデータとの特徴マッチングを行うように構成される特徴マッチングユニットと、
マッチングの結果が予め設定された閾値よりも大きい場合、第1の障害物に対応する情報と第2の障害物に対応する情報が同じであると判断するように構成される判断ユニットとを含む。
1つの実施形態において、図8に示すように、交差点障害物の運動軌跡の予測装置は、
交差点にある障害物の情報が車両の情報を含むか否かを判断し、車両の情報を含むと判断した場合、交差点にある障害物の情報から車両の情報を削除するように構成される情報削除モジュール40をさらに含む。
1つの実施形態において、軌跡予測モジュールは、
ブラインドゾーン内の障害物の情報に基づいて、各障害物の履歴フレームデータを取得するように構成される取得サブモジュールと、
道路情報における交差点の環境情報及び信号灯の状態情報に基づいて、各障害物の履歴フレームデータと結合して、道路の交差点にある各障害物の運動軌跡を予測するように構成される予測サブモジュールと、を含む。
本発明の実施形態は、交差点障害物の運動軌跡の予測端末を提供し、図9に示すように、
メモリ910及びプロセッサ920を含み、メモリ910は、プロセッサ920上で実行可能なコンピュータプログラムを格納する。プロセッサ920がコンピュータプログラムを実行することにより、上記実施形態に係る交差点障害物の運動軌跡の予測方法が実現される。メモリ910およびプロセッサ920の数は、1つでも複数でもよい
通信インターフェース930は、メモリ910及びプロセッサ920が外部と通信するためのものである。
メモリ910は、高速度RAMメモリを含んでもよく、少なくとも1つのディスクメモリなどの不揮発性メモリ( non-volatile memory )をさらに含んでもよい。
メモリ910、プロセッサ920、及び通信インターフェース930が互いに独立して実現される場合、メモリ910、プロセッサ920、及び通信インターフェース930は、バスによって相互接続して相互通信を行うことができる。前記バスは、インダストリスタンダードアーキテクチャ(ISA、Industry Standard Architecture)バス、外部デバイス相互接続(PCI、Peripheral ComponentInterconnect)バス、又は拡張インダストリスタンダードアーキテクチャ(EISA、Extended Industry Standard Component)バス等であってもよい。前記バスは、アドレスバス、データバス、制御バス等として分けられることが可能である。表示の便宜上、図9に1本の太線のみで表示するが、バスが1つ又は1種類のみであることを意味しない。
任意選択で、実現において、メモリ910、プロセッサ920、および通信インターフェース930が、1つのチップ上に集積される場合、メモリ910、プロセッサ920、および通信インターフェース930は、内部インターフェースを通じて相互間の通信を行うことができる。
本発明の実施形態は、プロセッサによって実行される場合、上記の実施形態のいずれかに記載の交差点障害物の運動軌跡の予測方法を実現するコンピュータプログラムを記憶したコンピュータ可読記憶媒体を提供する。
本明細書において、「1つの実施形態」、「幾つかの実施形態」、「例」、「具体例」或いは「一部の例」などの用語とは、当該実施形態或いは例で説明された具体的特徴、構成、材料或いは特点を結合して、本発明の少なくとも1つの実施形態或いは実施例に含まれることを意味する。また、説明された具体的特徴、構成、材料或いは特点は、いずれか1つ或いは複数の実施形態または例において適切に結合することが可能である。また、矛盾しない限り、当業者は、本明細書の異なる実施形態または例、および、異なる実施形態または例における特徴を結合したり、組み合わせたりすることができる。
また、用語「第1」、「第2」とは比較的重要性を示している又は暗示しているわけではなく、単に説明のためのものであり、示される技術的特徴の数を暗示するわけでもない。そのため、「第1」、「第2」で限定される特徴は、少なくとも1つの当該特徴を明示又は暗示的に含むことが可能である。本出願の記載の中において、「複数」の意味とは、明確的に限定される以外に、2つ又は2つ以上を意味する。
フローチャート又はその他の方式で説明された、いかなるプロセス又は方法に対する説明は、特定な論理的機能又はプロセスのステップを実現するための命令のコードを実行可能な1つ又はそれ以上のモジュール、断片若しくはセグメントとして理解することが可能であり、さらに、本発明の好ましい実施形態の範囲はその他の実現を含み、示された、又は、記載の順番に従うことなく、係る機能に基づいてほぼ同時にまたは逆の順序に従って機能を実行することを含み、これは当業者が理解すべきことである。
フローチャートに示された、又はその他の方式で説明された論理及び/又はステップは、例えば、論理機能を実現させるための実行可能な命令のシーケンスリストとして見なされることが可能であり、命令実行システム、装置、又はデバイス(プロセッサのシステム、又は命令実行システム、装置、デバイスから命令を取得して実行することが可能なその他のシステムを含むコンピュータによるシステム)が使用できるように提供し、又はこれらの命令を組み合わせて使用する命令実行システム、装置、又はデバイスに使用されるために、いかなるコンピュータ読取可能媒体にも具体的に実現されることが可能である。本明細書において、「コンピュータ読取可能媒体」は、命令実行システム、装置、デバイス、又はこれらの命令を組み合わせて実行するシステム、装置又はデバイスが使用できるように提供するため、プログラムを格納、記憶、通信、伝搬又は伝送する装置であってもよい。コンピュータ読み取り可能媒体のより具体的例(非網羅的なリスト)として、1つ又は複数の布配線を含む電気接続部(電子装置)、ポータブルコンピュータディスク(磁気装置)、ランダム・アクセス・メモリ(RAM)、リード・オンリー・メモリ(ROM)、消去書き込み可能リード・オンリー・メモリ(EPROM又はフラッシュメモリ)、光ファイバー装置、及びポータブル読み取り専用メモリ(CDROM)を少なくとも含む。また、コンピュータ読み取り可能媒体は、そのうえで前記プログラムを印字できる紙又はその他の適切な媒体であってもよく、例えば紙又はその他の媒体に対して光学的スキャンを行い、そして編集、解釈又は必要に応じてその他の適切の方式で処理して電子的方式で前記プログラムを得、その後コンピュータメモリに記憶することができるためである。
当業者であれば、上述の実施形態を実現する方法によって運ばれるすべてのステップまたはステップの一部は、実行される場合、方法の実施形態のステップの1つまたはその組み合わせを含むコンピュータ可読記憶媒体に記憶され得るプログラムによって命令的に関連するハードウェアによって実現され得ることを理解するであろう。
また、本発明の各実施形態における各機能部は、1つの処理ブロックに統合されてもよいし、各部が個別に物理的に存在してもよいし、2つ以上の部が1つのブロックに統合されてもよい。上記統合されたモジュールは、ハードウェアとして実現されてもよいし、ソフトウェア機能モジュールとして実現されてもよい。また、前記統合モジュールは、ソフトウェア機能モジュールの形態で具現され、独立製品として販売または使用される場合、コンピュータ読み取り可能な記録媒体に格納されてもよい。記憶媒体は、読出し専用メモリ、磁気ディスク、光ディスク等であってもよい。
当業者は、上記の実施形態における方法に含まれるステップの全部又は一部を実現するのは、プログラムによって対応するハードウェアを指示することによって可能であることを理解することができる。前記プログラムは、コンピュータ読取可能な媒体に記憶されてもよく、当該プログラムが実行されるとき、方法の実施形態に係るステップのうちの1つ又はそれらの組み合わせを含むことができる。

Claims (11)

  1. 交差点障害物の運動軌跡の予測装置により以下の各ステップが実行される、交差点障害物の運動軌跡の予測方法であって、
    車両の感知範囲にある可視障害物の情報を取得し、前記車両の通過しようとする道路の交差点の環境情報であって、前記交差点にある障害物の情報及び道路情報を含む環境情報を取得するステップと、
    前記交差点にある障害物の情報と前記可視障害物の情報とをマッチングするステップと、
    前記交差点にある障害物の情報に基づいて、前記道路の交差点にある各第1の障害物の履歴フレームデータを取得するステップと、
    前記可視障害物の情報に基づいて、前記車両の感知範囲にある各第2の障害物の履歴フレームデータを取得するステップと、
    予め設定されたモデルにより、前記各第1の障害物の履歴フレームデータと前記各第2の障害物の履歴フレームデータとの特徴マッチングを行うステップと、
    マッチングの結果が予め設定された閾値よりも大きい場合、前記第1の障害物に対応する情報と前記第2の障害物に対応する情報が同じであると判断し、前記同じ情報を削除した前記交差点にある障害物の情報を、ブラインドゾーン内の障害物の情報とするステップと、
    前記道路情報に基づいて、前記ブラインドゾーン内の障害物の情報に対応する障害物の運動軌跡を予測するステップとを含む、
    ことを特徴とする交差点障害物の運動軌跡の予測方法。
  2. 前記車両の通過しようとする道路の交差点の環境情報を取得するステップは、
    前記車両は前記道路の交差点から予め設定された距離まで走行した際、前記道路の交差点の収集デバイスが収集した前記環境情報を受信するステップを含む、
    ことを特徴とする請求項1に記載の交差点障害物の運動軌跡の予測方法。
  3. 前記交差点にある障害物の情報が前記車両の情報を含むか否かを判断するステップと、
    前記車両の情報を含むと判断した場合、前記交差点にある障害物の情報から前記車両の情報を削除するステップとをさらに含む、
    ことを特徴とする請求項1に記載の交差点障害物の運動軌跡の予測方法。
  4. 前記道路情報に基づいて、前記ブラインドゾーン内の障害物の情報に対応する障害物の運動軌跡を予測するステップは、
    前記ブラインドゾーン内の障害物の情報に基づいて、前記各障害物の履歴フレームデータを取得するステップと、
    前記道路情報における交差点の環境情報及び信号灯の状態情報に基づいて、前記各障害物の履歴フレームデータと結合して、前記道路の交差点にある前記各障害物の運動軌跡を予測するステップとを含む、
    ことを特徴とする請求項1に記載の交差点障害物の運動軌跡の予測方法。
  5. 車両の感知範囲にある可視障害物の情報を取得し、前記車両の通過しようとする道路の交差点の環境情報であって、前記交差点にある障害物の情報及び道路情報を含む環境情報を取得する取得モジュールと、
    前記交差点にある障害物の情報と前記可視障害物の情報を融合して、前記道路の交差点における前記車両のブラインドゾーン内の障害物の情報を選別する融合モジュールと、
    前記道路情報に基づいて、前記ブラインドゾーン内の障害物の情報に対応する障害物の運動軌跡を予測する軌跡予測モジュールとを含み、
    前記融合モジュールは、
    前記交差点にある障害物の情報と前記可視障害物の情報とをマッチングするマッチングサブモジュールと、
    前記交差点にある障害物の情報と前記可視障害物の情報の両者が同じ情報を含むことを判断し、同じ情報を含むと判断した場合、前記同じ情報を削除した前記交差点にある障害物の情報を、前記ブラインドゾーン内の障害物の情報とする判断サブモジュールとを含み、
    前記判断サブモジュールは、
    前記交差点にある障害物の情報に基づいて、前記道路の交差点にある各第1の障害物の履歴フレームデータを取得する第1の取得ユニットと、
    前記可視障害物の情報に基づいて、前記車両の感知範囲にある各第2の障害物の履歴フレームデータを取得する第2の取得ユニットと、
    予め設定されたモデルにより、前記各第1の障害物の履歴フレームデータと前記各第2の障害物の履歴フレームデータとの特徴マッチングを行う特徴マッチングユニットと、
    マッチングの結果が予め設定された閾値よりも大きい場合、前記第1の障害物に対応する情報と前記第2の障害物に対応する情報が同じであると判断する判断ユニットとを含む、
    ことを特徴とする交差点障害物の運動軌跡の予測装置。
  6. 前記取得モジュールは、
    前記車両は前記道路の交差点から予め設定された距離まで走行した際、前記道路の交差点の収集デバイスが収集した前記環境情報を受信する受信サブモジュールを含む、
    ことを特徴とする請求項5に記載の交差点障害物の運動軌跡の予測装置。
  7. 前記交差点にある障害物の情報が前記車両の情報を含むか否かを判断し、前記車両の情報を含むと判断した場合、前記交差点にある障害物の情報から前記車両の情報を削除する情報削除モジュールをさらに含む、
    ことを特徴とする請求項5に記載の交差点障害物の運動軌跡の予測装置。
  8. 前記軌跡予測モジュールは、
    前記ブラインドゾーン内の障害物の情報に基づいて、前記各障害物の履歴フレームデータを取得する取得サブモジュールと、
    前記道路情報における交差点の環境情報及び信号灯の状態情報に基づいて、前記各障害物の履歴フレームデータと結合して、前記道路の交差点にある前記各障害物の運動軌跡を予測する予測サブモジュールとを含む、
    ことを特徴とする請求項5に記載の交差点障害物の運動軌跡の予測装置。
  9. 1つ又は複数のプロセッサと、
    請求項1~4のいずれか1項に記載の交差点障害物の運動軌跡の予測方法を実現するための1つ又は複数のプログラムを記憶する記憶装置と、を含み、
    前記1つ又は複数のプロセッサは、前記1つ又は複数のプログラムを実行する場合、請求項1~4のいずれか1項に記載の交差点障害物の運動軌跡の予測方法を実現させる、
    ことを特徴とする交差点障害物の運動軌跡の予測端末。
  10. 請求項1~4のいずれか1項に記載の交差点障害物の運動軌跡の予測方法を実行するためのプログラムが記憶されたコンピューター可読記憶媒体であって、
    当該プログラムがプロセッサにより実行される場合、請求項1~4のいずれか1項に記載の交差点障害物の運動軌跡の予測方法を実行させる、
    ことを特徴とするコンピューター可読記憶媒体。
  11. 請求項1~4のいずれか1項に記載の交差点障害物の運動軌跡の予測方法を実現するためのプログラムであって、コンピュータにおいて、プロセッサにより実行される場合、請求項1~4のいずれか1項に記載の交差点障害物の運動軌跡の予測方法を実現することを特徴とするプログラム。
JP2020028699A 2019-02-26 2020-02-21 交差点障害物の運動軌跡の予測方法、装置、端末、記憶媒体、及びプログラム Active JP7050100B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910142037.0A CN109801508B (zh) 2019-02-26 2019-02-26 路口处障碍物的运动轨迹预测方法及装置
CN201910142037.0 2019-02-26

Publications (2)

Publication Number Publication Date
JP2020140708A JP2020140708A (ja) 2020-09-03
JP7050100B2 true JP7050100B2 (ja) 2022-04-07

Family

ID=66561401

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020028699A Active JP7050100B2 (ja) 2019-02-26 2020-02-21 交差点障害物の運動軌跡の予測方法、装置、端末、記憶媒体、及びプログラム

Country Status (5)

Country Link
US (1) US20200269874A1 (ja)
EP (1) EP3703033A1 (ja)
JP (1) JP7050100B2 (ja)
KR (1) KR102347036B1 (ja)
CN (1) CN109801508B (ja)

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020058740A1 (ja) * 2018-09-17 2020-03-26 日産自動車株式会社 車両挙動予測方法及び車両挙動予測装置
CN110316186A (zh) * 2019-07-01 2019-10-11 百度在线网络技术(北京)有限公司 车辆防碰撞预判方法、装置、设备及可读存储介质
CN112185170B (zh) * 2019-07-05 2023-02-28 浙江宇视科技有限公司 交通安全提示方法及道路监控设备
US20210027629A1 (en) * 2019-07-25 2021-01-28 Baidu Usa Llc Blind area processing for autonomous driving vehicles
CN113284366B (zh) * 2019-08-12 2022-05-27 腾讯科技(深圳)有限公司 车辆盲区预警方法、预警装置、mec平台和存储介质
CN110427034B (zh) * 2019-08-13 2022-09-02 浙江吉利汽车研究院有限公司 一种基于车路协同的目标追踪系统及方法
CN112154351A (zh) * 2019-11-05 2020-12-29 深圳市大疆创新科技有限公司 地形检测方法、可移动平台、控制设备、系统及存储介质
CN112784628B (zh) * 2019-11-06 2024-03-19 北京地平线机器人技术研发有限公司 轨迹预测方法、用于轨迹预测的神经网络训练方法及装置
EP4075407A4 (en) * 2019-12-30 2022-12-28 Huawei Technologies Co., Ltd. TRAJECTORY PREDICTION METHOD AND ASSOCIATED DEVICE
CN113064415A (zh) * 2019-12-31 2021-07-02 华为技术有限公司 轨迹规划的方法、装置、控制器和智能车
CN111380555A (zh) * 2020-02-28 2020-07-07 北京京东乾石科技有限公司 车辆行为预测方法及装置、电子设备、存储介质
US12017681B2 (en) * 2020-03-13 2024-06-25 Baidu Usa Llc Obstacle prediction system for autonomous driving vehicles
CN111422204B (zh) * 2020-03-24 2022-03-04 北京京东乾石科技有限公司 自动驾驶车辆通行判定方法及相关设备
CN111681430B (zh) * 2020-04-30 2022-03-29 安徽科力信息产业有限责任公司 实时预测未来机动车到达信号灯路口停止线台数的方法
CN111806433B (zh) * 2020-06-09 2022-07-12 宁波吉利汽车研究开发有限公司 一种自动驾驶车辆避障方法、装置及设备
CN113808409B (zh) * 2020-06-17 2023-02-10 华为技术有限公司 一种道路安全监控的方法、系统和计算机设备
CN111942407B (zh) * 2020-07-31 2022-09-23 商汤集团有限公司 轨迹预测方法、装置、设备及存储介质
CN112158197B (zh) * 2020-08-21 2021-08-27 恒大新能源汽车投资控股集团有限公司 一种车辆盲区障碍物规避方法、装置及系统
CN112141100B (zh) * 2020-09-10 2021-09-21 恒大新能源汽车投资控股集团有限公司 车辆控制方法、装置及车辆
WO2022077153A1 (zh) * 2020-10-12 2022-04-21 华为技术有限公司 一种辅助驾驶方法、装置和汽车
CN112277952B (zh) * 2020-11-05 2021-07-23 吉林大学 一种结构化道路下关键障碍物筛选方法
CN112418092B (zh) * 2020-11-23 2022-09-23 中国第一汽车股份有限公司 一种障碍物感知的融合方法、装置、设备及储存介质
CN114647236A (zh) * 2020-12-02 2022-06-21 河南小狮智能科技有限公司 一种基于高精度地图和激光雷达的障碍物轨迹预测方案
CN112802356B (zh) * 2020-12-30 2022-01-04 深圳市微网力合信息技术有限公司 一种基于物联网的车辆自动驾驶方法及终端
CN113071520B (zh) * 2021-04-16 2024-01-16 阿波罗智联(北京)科技有限公司 车辆行驶控制方法及装置
CN115246416B (zh) * 2021-05-13 2023-09-26 上海仙途智能科技有限公司 轨迹预测方法、装置、设备及计算机可读存储介质
CN113283647B (zh) * 2021-05-19 2023-04-07 广州文远知行科技有限公司 一种障碍物轨迹预测的方法、装置及自动驾驶车辆
CN113281760A (zh) * 2021-05-21 2021-08-20 阿波罗智能技术(北京)有限公司 障碍物检测方法、装置、电子设备、车辆和存储介质
CN113793520B (zh) * 2021-09-15 2023-09-01 苏州挚途科技有限公司 车辆轨迹预测方法、装置及电子设备
CN114049779B (zh) * 2021-11-01 2022-09-20 嘉兴学院 一种交通信号全感应实时控制方法
CN113968235B (zh) * 2021-11-30 2023-03-28 广州文远知行科技有限公司 一种障碍物的区域层级确定方法、装置、设备和介质
CN114170797B (zh) * 2021-12-02 2023-01-24 北京百度网讯科技有限公司 交通限制路口的识别方法、装置、设备、介质及产品
CN114475651B (zh) * 2021-12-11 2024-05-14 中国电信股份有限公司 基于车路协同的盲区障碍物紧急避让方法和装置
CN114332818B (zh) * 2021-12-28 2024-04-09 阿波罗智联(北京)科技有限公司 障碍物的检测方法、装置和电子设备
CN114488065A (zh) * 2022-01-27 2022-05-13 中国第一汽车股份有限公司 一种航迹数据处理方法、装置、车辆和介质
CN114701516A (zh) * 2022-03-29 2022-07-05 广州文远知行科技有限公司 转弯行驶数据的采集方法、装置、设备及存储介质
CN115240411B (zh) * 2022-06-29 2023-05-09 合肥工业大学 一种城市道路交叉口右转冲突警示线测画方法
CN115113205B (zh) * 2022-07-07 2023-10-20 南京慧尔视智能科技有限公司 一种道路的全息画像方法、装置、电子设备和存储介质
CN115376344A (zh) * 2022-07-20 2022-11-22 安徽电信规划设计有限责任公司 一种基于无线5g技术的智能驾驶控制方法及系统
CN115900638B (zh) * 2023-01-19 2023-05-23 禾多科技(北京)有限公司 障碍物航向角信息生成方法、装置、电子设备和可读介质
CN115892076B (zh) * 2023-02-23 2023-05-23 福思(杭州)智能科技有限公司 车道障碍物筛选方法、装置和域控制器
CN116176607B (zh) * 2023-04-27 2023-08-29 南京芯驰半导体科技有限公司 驾驶方法、驾驶设备、电子设备及存储介质
CN117227714A (zh) * 2023-11-15 2023-12-15 成都西谌科技有限公司 一种自动驾驶车辆转弯避让控制方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015069648A (ja) 2013-09-27 2015-04-13 株式会社リコー 目標検出方法及び目標検出システム
US20150148985A1 (en) 2013-11-28 2015-05-28 Hyundai Mobis Co., Ltd. Vehicle driving assistance device and automatic activating method of vehicle driving assistance function by the same
JP2017173948A (ja) 2016-03-22 2017-09-28 三菱電機株式会社 移動体認識システム
JP2018025863A (ja) 2016-08-08 2018-02-15 株式会社東芝 通信装置および通信方法
JP2018084860A (ja) 2016-11-21 2018-05-31 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 交差点情報配信装置及び交差点情報配信方法
JP2018195289A (ja) 2017-05-18 2018-12-06 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 車両システム、車両情報処理方法、プログラム、交通システム、インフラシステムおよびインフラ情報処理方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4604683B2 (ja) * 2004-11-25 2011-01-05 日産自動車株式会社 危険状況警報装置
JP5053776B2 (ja) * 2007-09-14 2012-10-17 株式会社デンソー 車両用視界支援システム、車載装置、及び、情報配信装置
US9451886B2 (en) * 2009-04-22 2016-09-27 Rodrigo E. Teixeira Probabilistic parameter estimation using fused data apparatus and method of use thereof
JP5348111B2 (ja) * 2010-11-12 2013-11-20 株式会社デンソー 通信システム、および車載通信装置
US9315192B1 (en) * 2013-09-30 2016-04-19 Google Inc. Methods and systems for pedestrian avoidance using LIDAR
JP6028766B2 (ja) * 2014-05-20 2016-11-16 株式会社デンソー 運転支援表示装置
US9534910B2 (en) * 2014-12-09 2017-01-03 Toyota Motor Engineering & Manufacturing North America, Inc. Autonomous vehicle detection of and response to yield scenarios
KR20160075135A (ko) * 2014-12-19 2016-06-29 현대모비스 주식회사 자동차 물체인식 시스템 및 그 동작방법
US9604641B2 (en) * 2015-06-16 2017-03-28 Honda Motor Co., Ltd. System and method for providing vehicle collision avoidance at an intersection
WO2017047176A1 (ja) * 2015-09-18 2017-03-23 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
CN105882651B (zh) * 2015-11-09 2018-12-14 恒大法拉第未来智能汽车(广东)有限公司 自动泊车系统
US10486707B2 (en) * 2016-01-06 2019-11-26 GM Global Technology Operations LLC Prediction of driver intent at intersection
US20170305335A1 (en) * 2016-04-22 2017-10-26 Delphi Technologies, Inc. Indent-Indication System For An Automated Vehicle
DE102016209330B4 (de) * 2016-05-30 2023-02-23 Volkswagen Aktiengesellschaft Verfahren zum Durchführen eines kooperativen Fahrmanövers
JP2020508252A (ja) * 2017-02-10 2020-03-19 ニッサン ノース アメリカ,インク 自律走行車の動作管理
US10497265B2 (en) * 2017-05-18 2019-12-03 Panasonic Intellectual Property Corporation Of America Vehicle system, method of processing vehicle information, recording medium storing a program, traffic system, infrastructure system, and method of processing infrastructure information
WO2018232681A1 (en) * 2017-06-22 2018-12-27 Baidu.Com Times Technology (Beijing) Co., Ltd. TRAFFIC PREDICTION BASED ON CARD IMAGES FOR AUTONOMOUS DRIVING
CN107346611B (zh) * 2017-07-20 2021-03-23 北京纵目安驰智能科技有限公司 一种自主驾驶的车辆的避障方法以及避障系统
US11481713B2 (en) * 2017-11-20 2022-10-25 Speedgauge, Inc. Driver history via vehicle data acquisition and analysis
US11061399B2 (en) * 2018-01-03 2021-07-13 Samsung Electronics Co., Ltd. System and method for providing information indicative of autonomous availability
US11107347B2 (en) * 2018-04-27 2021-08-31 Cubic Corporation Adaptively controlling traffic movements for driver safety
CN108848462B (zh) * 2018-06-19 2020-11-13 连云港杰瑞电子有限公司 适用于信号控制交叉口的实时车辆轨迹预测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015069648A (ja) 2013-09-27 2015-04-13 株式会社リコー 目標検出方法及び目標検出システム
US20150148985A1 (en) 2013-11-28 2015-05-28 Hyundai Mobis Co., Ltd. Vehicle driving assistance device and automatic activating method of vehicle driving assistance function by the same
JP2017173948A (ja) 2016-03-22 2017-09-28 三菱電機株式会社 移動体認識システム
JP2018025863A (ja) 2016-08-08 2018-02-15 株式会社東芝 通信装置および通信方法
JP2018084860A (ja) 2016-11-21 2018-05-31 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 交差点情報配信装置及び交差点情報配信方法
JP2018195289A (ja) 2017-05-18 2018-12-06 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 車両システム、車両情報処理方法、プログラム、交通システム、インフラシステムおよびインフラ情報処理方法

Also Published As

Publication number Publication date
JP2020140708A (ja) 2020-09-03
CN109801508B (zh) 2021-06-04
KR20200104807A (ko) 2020-09-04
CN109801508A (zh) 2019-05-24
EP3703033A1 (en) 2020-09-02
US20200269874A1 (en) 2020-08-27
KR102347036B1 (ko) 2022-01-04

Similar Documents

Publication Publication Date Title
JP7050100B2 (ja) 交差点障害物の運動軌跡の予測方法、装置、端末、記憶媒体、及びプログラム
JP2020132151A (ja) 車両走行軌跡の予測方法、装置、端末、記憶媒体、及びプログラム
US20220076036A1 (en) Redundant Camera Detection Paths
US20210064056A1 (en) Selective road information harvesting based on data quality
US9921585B2 (en) Detailed map format for autonomous driving
CN110796007B (zh) 场景识别的方法与计算设备
EP3288004B1 (en) Scene ascertainment device
RU2754705C1 (ru) Способ помощи при вождении и устройство помощи при вождении
US20180288320A1 (en) Camera Fields of View for Object Detection
RU2742213C1 (ru) Способ управления информацией о полосах движения, способ управления движением и устройство управления информацией о полосах движения
US20090248284A1 (en) Travel support system and travel support method
KR20200130279A (ko) 항법 정보를 익명화 하는 시스템 및 방법
WO2021053393A1 (en) Systems and methods for monitoring traffic lane congestion
US20170185089A1 (en) Detection of overhanging objects
CN111874006A (zh) 路线规划处理方法和装置
JP2022532695A (ja) 画像分析に基づく車両ナビゲーションのためのシステム及び方法
CN113283647B (zh) 一种障碍物轨迹预测的方法、装置及自动驾驶车辆
CN111781933A (zh) 一种基于边缘计算和空间智能的高速自动驾驶车辆实现系统及方法
JPWO2020058735A1 (ja) 走行支援方法及び走行支援装置
WO2022021982A1 (zh) 可行驶区域判定的方法、智能驾驶系统和智能汽车
GB2510698A (en) Driver assistance system
CN113895456A (zh) 自动驾驶车辆的交叉路口行驶方法、装置、车辆及介质
JP2023508769A (ja) ナビゲーションのためのマップタイル要求を最適化するためのシステム及び方法
WO2023179030A1 (zh) 一种道路边界检测方法、装置、电子设备、存储介质和计算机程序产品
CN117111052A (zh) 目标车辆跟踪方法、系统、目标车辆跟踪设备及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210224

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210521

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210831

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20211029

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20211105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211126

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20220114

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220315

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220328

R150 Certificate of patent or registration of utility model

Ref document number: 7050100

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R154 Certificate of patent or utility model (reissue)

Free format text: JAPANESE INTERMEDIATE CODE: R154