JP7220169B2 - 情報処理方法、装置、記憶媒体、及びプログラム - Google Patents
情報処理方法、装置、記憶媒体、及びプログラム Download PDFInfo
- Publication number
- JP7220169B2 JP7220169B2 JP2020026865A JP2020026865A JP7220169B2 JP 7220169 B2 JP7220169 B2 JP 7220169B2 JP 2020026865 A JP2020026865 A JP 2020026865A JP 2020026865 A JP2020026865 A JP 2020026865A JP 7220169 B2 JP7220169 B2 JP 7220169B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- information
- lane
- lane change
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 38
- 238000003672 processing method Methods 0.000 title claims description 20
- 230000008859 change Effects 0.000 claims description 70
- 238000013528 artificial neural network Methods 0.000 claims description 35
- 230000006870 function Effects 0.000 claims description 21
- 238000012545 processing Methods 0.000 claims description 21
- 230000015654 memory Effects 0.000 claims description 19
- 230000006399 behavior Effects 0.000 claims description 10
- 230000001133 acceleration Effects 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 238000002372 labelling Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 2
- 238000000034 method Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 238000011156 evaluation Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
- B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/18—Propelling the vehicle
- B60W30/18009—Propelling the vehicle related to particular drive situations
- B60W30/18163—Lane change; Overtaking manoeuvres
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
- B60W40/06—Road conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W40/09—Driving style or behaviour
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/12—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to parameters of the vehicle itself, e.g. tyre models
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/30—Driving style
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2552/00—Input parameters relating to infrastructure
- B60W2552/50—Barriers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2556/00—Input parameters relating to data
- B60W2556/10—Historical data
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
- B60Y2300/00—Purposes or special features of road vehicle drive control systems
- B60Y2300/18—Propelling the vehicle
- B60Y2300/18008—Propelling the vehicle related to particular drive situations
- B60Y2300/18166—Overtaking, changing lanes
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Theoretical Computer Science (AREA)
- Mechanical Engineering (AREA)
- Transportation (AREA)
- Mathematical Physics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Aviation & Aerospace Engineering (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Business, Economics & Management (AREA)
- Electromagnetism (AREA)
- Human Resources & Organizations (AREA)
- Economics (AREA)
- Strategic Management (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Entrepreneurship & Innovation (AREA)
- Game Theory and Decision Science (AREA)
- Development Economics (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Traffic Control Systems (AREA)
Description
運転行為に基づいて得られる少なくとも2つの第1情報を収集することと、
前記少なくとも2つの第1情報に基づいて、少なくとも2つの第1特徴情報を得ることと、
前記少なくとも2つの第1特徴情報に対して識別を行い、各第1特徴情報に対応するラベル情報を得ることと、
前記少なくとも2つの第1特徴情報と前記各第1特徴情報に対応するラベル情報とに基づいて、サンプル集合を得ることと、
前記サンプル集合に基づいて、車両の走行経路と、車両自身の位置と、車両の周囲環境及び/又は障害物との関係を表す関係モデルを構築することと、
前記関係モデルに基づいて車線を選択することと、を含む。
前記車両の現在走行車線と前記現在走行車線に隣接する車線とに基づいて、処理対象区域を取得することと、
配置されたグリッドに基づいて、前記処理対象区域を少なくとも2つの通行可能区域に分割することと、をさらに含む。
前記車両の現在走行車線における走行状況に対してフレーム毎に画像を収集し、収集された画像に基づいて、前記車両の走行経路と、前記車両自身の位置と、前記車両の周囲環境及び/又は障害物との相対関係を得ることと、
前記相対関係を、前記関係モデルを構築するための前記通行可能区域の属性情報として使用することと、をさらに含む。
前記少なくとも2つの通行可能区域のうちの障害物を有する部分を切り分けて、少なくとも2つの第2特徴情報を取得し、前記少なくとも2つの第2特徴情報を、前記関係モデルの構築に用いられること、をさらに含む。
車線変更機能に応じて、対応する車線変更機能を実現するための少なくとも2つのサブニューラルネットワークに分けられるニューラルネットワークを、前記関係モデルに基づいて得ることと、
前記少なくとも2つの第2特徴情報と前記各第1特徴情報に対応するラベル情報とを、少なくとも2つのサブニューラルネットワークにて演算して、前記少なくとも2つの車線変更確率を取得することと、
前記少なくとも2つの車線変更確率に基づいて、目標車両の車線変更確率を取得することと、
前記目標車両の車線変更確率に基づいて、車線の選択を行うことと、を含む。
運転行為に基づいて得られる少なくとも2つの第1情報を収集する収集ユニットと、
前記少なくとも2つの第1情報に基づいて、少なくとも2つの第1特徴情報を得る第1処理ユニットと、
前記少なくとも2つの第1特徴情報に対して識別を行い、各第1特徴情報に対応するラベル情報を得る第2処理ユニットと、
前記少なくとも2つの第1特徴情報と前記各第1特徴情報に対応するラベル情報とに基づいて、サンプル集合を得る第3処理ユニットと、
前記サンプル集合に基づいて、車両の走行経路と、車両自身の位置と、車両の周囲環境及び/又は障害物との関係を表す関係モデルを構築するモデル構築ユニットと、
前記関係モデルに基づいて車線を選択する車線選択ユニットと、を含む。
前記車両の現在走行車線と前記現在走行車線に隣接する車線とに基づいて、処理対象区域を取得し、
配置されたグリッドに基づいて、前記処理対象区域を少なくとも2つの通行可能区域に分割することに用いられる。
前記車両の現在走行車線における走行状況に対してフレーム毎に画像を収集し、収集された画像に基づいて、前記車両の走行経路と、前記車両自身の位置と、前記車両の周囲環境及び/又は障害物との相対関係を得るための収集ユニットと、
前記相対関係を、前記関係モデルを構築するための前記通行可能区域の属性情報として使用するための属性確定ユニットと、をさらに含む。
前記少なくとも2つの通行可能区域のうちの障害物を有する部分を切り分けて、少なくとも2つの第2特徴情報を取得し、前記少なくとも2つの第2特徴情報を、前記関係モデルの構築に用いられる切分ユニット、をさらに含む。
車線変更機能に応じて、対応する車線変更機能を実現するための少なくとも2つのサブニューラルネットワークに分けられるニューラルネットワークを、前記関係モデルに基づいて得、
前記少なくとも2つの第2特徴情報と前記各第1特徴情報に対応するラベル情報とを、前記少なくとも2つのサブニューラルネットワークにて演算して、少なくとも2つの車線変更確率を取得し、
前記少なくとも2つの車線変更確率に基づいて、目標車両の車線変更確率を取得し、
前記目標車両の車線変更確率に基づいて、車線の選択を行うことにさらに用いられる。
本発明の実施形態では、運転行為に基づいて得られる少なくとも2つの第1情報を収集し、前記少なくとも2つの第1情報に基づいて、少なくとも2つの第1特徴情報を得、前記少なくとも2つの第1特徴情報に対して識別を行い、各第1特徴情報に対応するラベル情報を得、前記少なくとも2つの第1特徴情報と各第1特徴情報に対応するラベル情報とに基づいて、サンプル集合を得る。これにより、運転行為のみならず、特徴情報とラベル情報とを使用してサンプル集合を確立するため、サンプル集合内の情報は実際の運行場面とより合うようになる。前記サンプル集合に基づいてモデルを構築し、車両の走行経路と、車両自身の位置と、周囲環境及び/又は障害物との関係を表すための関係モデルを得ることにより、障害物の位置関係のような車両の周囲環境を精確に判断した後に、前記関係モデルに基づいて行われた車線の選択はより精確になり、さらに車線変更の正確率を向上させ、実際の運転中の車線変更結果の実施可能性と安全性を保証することができる。
ステップ101において、運転行為に基づいて得られる少なくとも2つの第1情報を収集する。
ステップ102において、前記少なくとも2つの第1情報に基づいて、少なくとも2つの第1特徴情報を得る。
ステップ103において、前記少なくとも2つの第1特徴情報に対して識別を行い、各第1特徴情報に対応するラベル情報を得る。
ステップ104において、前記少なくとも2つの第1特徴情報と前記各第1特徴情報に対応するラベル情報とに基づいて、サンプル集合を得る。
ステップ105において、前記サンプル集合に基づいて、車両の走行経路と、車両自身の位置と、車両の周囲環境及び/又は障害物との関係を表す関係モデルを構築する。
ステップ106において、前記関係モデルに基づいて車線を選択する。
ステップ201において、前記車両の現在走行車線における走行状況に対してフレーム毎に画像を収集し、収集された画像に基づいて、前記車両の走行経路と、前記車両自身の位置と、前記車両の周囲環境及び/又は障害物との相対関係を得る。
ステップ202において、前記相対関係を、前記関係モデルを構築するための前記通行可能区域の属性情報として使用する。
ステップ203において、前記少なくとも2つの通行可能区域のうちの障害物を有する部分を切り分けて、少なくとも2つの第2特徴情報を取得し、前記少なくとも2つの第2特徴情報を、前記関係モデルの構築に用いられる。
なお、障害物情報は、静止と移動の障害物を含み、例えば、主車両の前方、且つ主車両と同一車線上に位置する前車も、障害物である。
ステップ301において、車線変更機能に応じて、対応する車線変更機能を実現するための少なくとも2つのサブニューラルネットワークに分けられるニューラルネットワークを、前記関係モデルに基づいて得る。
ステップ302において、前記少なくとも2つの第2特徴情報と前記各第1特徴情報に対応するラベル情報とを、少なくとも2つのサブニューラルネットワークにて演算し、少なくとも2つの車線変更確率を取得する。
ステップ303において、前記少なくとも2つの車線変更確率に基づいて、目標車両の車線変更確率を取得する。
ステップ304において、前記目標車両の車線変更確率に基づいて、車線の選択を行う。
1つの実施形態において、前記通行可能区域は、車両の走行経路を横軸とする座標系において、横軸方向にて、前記車両を中心とし、設定された距離パラメータに基づき、中心を原点として前方へ前記距離パラメータに対応する距離の値を足し、及び/又は、設定された距離パラメータに基づき、中心を原点として後方へ前記距離パラメータに対応する距離の値を足すことで、分割される。前記通行可能区域は、車両の走行経路を横軸とする座標系において、縦軸方向にて少なくとも車両の現在走行車線の左側と右側の2つの車線に対応することで、さらに分割される。
1つの実施形態において、前記装置は、前記少なくとも2つの通行可能区域のうちの障害物を有する部分を切り分けて、少なくとも2つの第2特徴情報を取得し、前記少なくとも2つの第2特徴情報を、前記関係モデルの構築に用いられる切分ユニット、をさらに含む。
本発明の実施形態における各装置内の各モジュールの機能は、上記の方法の対応する説明を参照することができ、ここでは省略する。
メモリ910は、高速度RAMメモリを含んでもよく、少なくとも1つの磁気メモリのような不揮発性メモリ(non-volatile memory)をさらに含んでもよい。
また、用語「第1」、「第2」は相対的な重要性を示している又は暗示しているわけではなく、単に説明のためのものであり、示される技術的特徴の数を暗示するわけでもない。そのため、「第1」、「第2」で限定される特徴は、少なくとも1つの当該特徴を明示又は暗示的に含むことが可能である。本出願の記載の中において、「複数」の意味とは、明確的に限定される場合以外は、2つ又は2つ以上を意味する。
フローチャートに示された、又はその他の方式で説明された論理及び/又はステップは、例えば、論理機能を実現させるための実行可能な命令のシーケンスリストとして見なされることが可能であり、命令実行システム、装置、又はデバイス(プロセッサのシステム、又は命令実行システム、装置、デバイスから命令を取得して実行することが可能なその他のシステムを含むコンピュータによるシステム)が使用できるように提供し、又はこれらの命令を組み合わせて使用する命令実行システム、装置、又はデバイスに使用されるために、いかなるコンピュータ読取可能媒体にも具体的に実現されることが可能である。本明細書において、「コンピュータ読取可能媒体」は、命令実行システム、装置、デバイス、又はこれらの命令を組み合わせて実行するシステム、装置又はデバイスが使用できるように提供するため、プログラムを格納、記憶、通信、伝搬又は伝送する装置であってもよい。コンピュータ読み取り可能媒体のより具体的例(非網羅的なリスト)として、1つ又は複数の布配線を含む電気接続部(電子装置)、ポータブルコンピュータディスク(磁気装置)、ランダム・アクセス・メモリ(RAM)、リード・オンリー・メモリ(ROM)、消去可能な書き込み可能リード・オンリー・メモリ(EPROM又はフラッシュメモリ)、光ファイバー装置、及びポータブル読み取り専用メモリ(CDROM)を少なくとも含む。また、コンピュータ読み取り可能媒体は、そのうえで前記プログラムを印字できる紙又はその他の適切な媒体であってもよく、例えば紙又はその他の媒体に対して光学的スキャンを行い、そして編集、解釈又は必要に応じてその他の適切の方式で処理して電子的方式で前記プログラムを得、その後コンピュータメモリに記憶することができるためである。
当業者は、上記の実施形態における方法に含まれるステップの全部又は一部を実現するのは、プログラムによって対応するハードウェアを指示することによって可能であることを理解することができる。前記プログラムは、コンピュータ読取可能な媒体に記憶されてもよく、当該プログラムが実行されるとき、方法の実施形態に係るステップのうちの1つ又はそれらの組み合わせを含むことができる。
Claims (15)
- 運転行為に基づいて得られる少なくとも2つの第1情報を収集することと、
前記少なくとも2つの第1情報に基づいて、少なくとも3つの第1特徴情報を得て、前記第1特徴情報は加速度、速度、制限速度を含むことと、
前記少なくとも3つの第1特徴情報に対して識別してからラベルを付けて、各第1特徴情報に対応するラベル情報を得て、前記ラベル情報は左への車線変更、右への車線変更又は直進走行を表示するラベル情報であることと、
前記少なくとも3つの第1特徴情報と前記各第1特徴情報に対応するラベル情報は、車線を変更するか否かを評価するための関係モデルに入力するサンプル集合として使用されることと、
前記サンプル集合に基づいて、車両の走行経路と、車両自身の位置と、車両の周囲環境及び/又は障害物との関係を表す関係モデルを構築することと、
前記関係モデルに基づいて車線を選択することと、を含み、
前記サンプル集合に基づいて関係モデルを構築することは、
前記車両の現在走行車線と前記現在走行車線に隣接する車線とに基づいて、処理対象区域を取得することと、
配置されたグリッドに基づいて、前記処理対象区域を少なくとも2つの通行可能区域に分割することと、をさらに含む
ことを特徴とする情報処理装置により実行される情報処理方法。 - 前記通行可能区域は、車両の走行経路を横軸とする座標系において、横軸方向にて、前記車両を中心とし、設定された距離パラメータに基づき、中心を原点として前方へ前記距離パラメータに対応する距離の値を足し、及び/又は、設定された距離パラメータに基づき、中心を原点として後方へ前記距離パラメータに対応する距離の値を足すことで、分割される、
ことを特徴とする請求項1に記載の情報処理方法。 - 前記通行可能区域は、車両の走行経路を横軸とする座標系において、縦軸方向にて、少なくとも車両の現在走行車線の左側と右側との2つの車線に対応することで、さらに分割される、
ことを特徴とする請求項2に記載の情報処理方法。 - 前記車両の現在走行車線における走行状況に対してフレーム毎に画像を収集し、収集された画像に基づいて、前記車両の走行経路と、前記車両自身の位置と、前記車両の周囲環境及び/又は障害物との相対関係を得ることと、
前記相対関係を、前記関係モデルを構築するための前記通行可能区域の属性情報として使用することと、をさらに含む、
ことを特徴とする請求項1~3のいずれか1項に記載の情報処理方法。 - 前記少なくとも2つの通行可能区域のうちの障害物を有する部分を切り分けて、少なくとも2つの第2特徴情報を取得し、前記少なくとも2つの第2特徴情報を、前記関係モデルの構築に用いること、をさらに含む、
ことを特徴とする請求項4に記載の情報処理方法。 - 前記関係モデルに基づいて車線を選択することは、
車線変更機能に応じて、対応する車線変更機能を実現するための少なくとも2つのサブニューラルネットワークに分けられるニューラルネットワークを、前記関係モデルに基づいて得ることと、
前記少なくとも2つの第2特徴情報と前記各第1特徴情報に対応するラベル情報とを、前記少なくとも2つのサブニューラルネットワークにて演算して、少なくとも2つの車線変更確率を取得することと、
前記少なくとも2つの車線変更確率に基づいて、目標車両の車線変更確率を取得することと、
前記目標車両の車線変更確率に基づいて、車線の選択を行うことと、を含む、
ことを特徴とする請求項5に記載の情報処理方法。 - 運転行為に基づいて得られる少なくとも2つの第1情報を収集する収集ユニットと、
前記少なくとも2つの第1情報に基づいて、少なくとも3つの第1特徴情報を得て、前記第1特徴情報は加速度、速度、制限速度を含む第1処理ユニットと、
前記少なくとも3つの第1特徴情報に対して識別してからラベルを付けて、各第1特徴情報に対応するラベル情報を得て、前記ラベル情報は左への車線変更、右への車線変更又は直進走行を表示するラベル情報である第2処理ユニットと、
前記少なくとも3つの第1特徴情報と前記各第1特徴情報に対応するラベル情報は、車線を変更するか否かを評価するための関係モデルに入力するサンプル集合として使用される第3処理ユニットと、
前記サンプル集合に基づいて、車両の走行経路と、車両自身の位置と、車両の周囲環境及び/又は障害物との関係を表す関係モデルを構築するモデル構築ユニットと、
前記関係モデルに基づいて車線を選択する車線選択ユニットと、を含み、
前記サンプル集合に基づいて関係モデルを構築することは、
前記車両の現在走行車線と前記現在走行車線に隣接する車線とに基づいて、処理対象区域を取得することと、
配置されたグリッドに基づいて、前記処理対象区域を少なくとも2つの通行可能区域に分割することと、をさらに含む
ことを特徴とする情報処理装置。 - 前記通行可能区域は、車両の走行経路を横軸とする座標系において、横軸方向にて、前記車両を中心とし、設定された距離パラメータに基づき、中心を原点として前方へ前記距離パラメータに対応する距離の値を足し、及び/又は、設定された距離パラメータに基づき、中心を原点として後方へ前記距離パラメータに対応する距離の値を足すことで、分割される、
ことを特徴とする請求項7に記載の情報処理装置。 - 前記通行可能区域は、車両の走行経路を横軸とする座標系において、縦軸方向にて、少なくとも車両の現在走行車線の左側と右側の2つの車線に対応することで、さらに分割される、
ことを特徴とする請求項8に記載の情報処理装置。 - 前記車両の現在走行車線における走行状況に対してフレーム毎に画像を収集し、収集された画像に基づいて、前記車両の走行経路と、前記車両自身の位置と、前記車両の周囲環境及び/又は障害物との相対関係を得る収集ユニットと、
前記相対関係を、前記関係モデルを構築するための前記通行可能区域の属性情報として使用する属性確定ユニットと、をさらに含む、
ことを特徴とする請求項7~9のいずれか1項に記載の情報処理装置。 - 前記少なくとも2つの通行可能区域のうちの障害物を有する部分を切り分けて、少なくとも2つの第2特徴情報を取得し、前記少なくとも2つの第2特徴情報を、前記関係モデルの構築に用いる切分ユニット、をさらに含む、
ことを特徴とする請求項10に記載の情報処理装置。 - 前記車線選択ユニットは、
車線変更機能に応じて、対応する車線変更機能を実現するための少なくとも2つのサブニューラルネットワークに分けられるニューラルネットワークを、前記関係モデルに基づいて得、
前記少なくとも2つの第2特徴情報と前記各第1特徴情報に対応するラベル情報とを、前記少なくとも2つのサブニューラルネットワークにて演算して、少なくとも2つの車線変更確率を取得し、
前記少なくとも2つの車線変更確率に基づいて、目標車両の車線変更確率を取得し、
前記目標車両の車線変更確率に基づいて、車線の選択を行う、
ことを特徴とする請求項11に記載の情報処理装置。 - 1つ又は複数のプロセッサと、
1つ又は複数のプログラムを記憶するメモリと、
前記1つ又は複数のプロセッサは、前記1つ又は複数のプログラムを実行する場合、請求項1~6のいずれか1項に記載の情報処理方法を実現させる、
ことを特徴とする情報処理装置。 - コンピュータプログラムが記憶されているコンピュータ可読記憶媒体であって、
当該プログラムがプロセッサに実行される場合、請求項1~6のいずれか1項に記載の情報処理方法を実現する、
ことを特徴とするコンピュータ可読記憶媒体。 - コンピュータにおいて、プロセッサにより実行される場合、請求項1~6のいずれか1項に記載の情報処理方法を実現することを特徴とするプログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910130652.X | 2019-02-21 | ||
CN201910130652.XA CN109703569B (zh) | 2019-02-21 | 2019-02-21 | 一种信息处理方法、装置及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020132153A JP2020132153A (ja) | 2020-08-31 |
JP7220169B2 true JP7220169B2 (ja) | 2023-02-09 |
Family
ID=66263717
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020026865A Active JP7220169B2 (ja) | 2019-02-21 | 2020-02-20 | 情報処理方法、装置、記憶媒体、及びプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US20200269841A1 (ja) |
EP (1) | EP3699890A3 (ja) |
JP (1) | JP7220169B2 (ja) |
KR (1) | KR102424067B1 (ja) |
CN (2) | CN109703569B (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11663913B2 (en) * | 2019-07-01 | 2023-05-30 | Baidu Usa Llc | Neural network with lane aggregation for lane selection prediction of moving objects during autonomous driving |
CN110435658A (zh) * | 2019-07-19 | 2019-11-12 | 中国第一汽车股份有限公司 | 一种车辆控制方法、装置、车辆和存储介质 |
CN111497847B (zh) * | 2020-04-23 | 2021-11-16 | 江苏黑麦数据科技有限公司 | 车辆的控制方法和装置 |
CN111775940B (zh) * | 2020-07-08 | 2021-09-07 | 中国第一汽车股份有限公司 | 一种自动换道方法、装置、设备及存储介质 |
JP7429172B2 (ja) * | 2020-09-03 | 2024-02-07 | 本田技研工業株式会社 | 車両制御装置、車両制御方法、およびプログラム |
CN114283576B (zh) * | 2020-09-28 | 2023-03-31 | 华为技术有限公司 | 一种车辆意图预测方法及相关装置 |
CN113792249A (zh) * | 2020-11-25 | 2021-12-14 | 北京京东乾石科技有限公司 | 行驶数据处理方法、装置、存储介质与电子设备 |
CN114771539B (zh) * | 2022-06-16 | 2023-02-28 | 小米汽车科技有限公司 | 车辆变道决策方法、装置、存储介质及车辆 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001052297A (ja) | 1999-08-06 | 2001-02-23 | Fujitsu Ltd | 安全走行支援装置、その方法及び記録媒体 |
JP2016081525A (ja) | 2014-10-10 | 2016-05-16 | アプリケーション・ソリューションズ・(エレクトロニクス・アンド・ヴィジョン)・リミテッド | 車両用画像認識システム、及び対応法 |
WO2017213064A1 (ja) | 2016-06-09 | 2017-12-14 | 日本電気株式会社 | 車両制御システム、車両制御方法およびプログラム記録媒体 |
JP2018072988A (ja) | 2016-10-26 | 2018-05-10 | パナソニックIpマネジメント株式会社 | 情報処理システム、情報処理方法、およびプログラム |
JP2018120292A (ja) | 2017-01-23 | 2018-08-02 | パナソニックIpマネジメント株式会社 | イベント予測システム、イベント予測方法、プログラム、及び移動体 |
JP2018197977A (ja) | 2017-05-24 | 2018-12-13 | トヨタ自動車株式会社 | 車両システム |
Family Cites Families (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2853077B2 (ja) * | 1993-09-17 | 1999-02-03 | 本田技研工業株式会社 | 自動走行車両 |
KR20150066303A (ko) * | 2013-12-06 | 2015-06-16 | 한국전자통신연구원 | 운전자의 주행 패턴을 반영하는 자율 주행 장치 및 그 방법 |
EP4030378A1 (en) * | 2015-05-10 | 2022-07-20 | Mobileye Vision Technologies Ltd. | Road profile along a predicted path |
JP6558239B2 (ja) * | 2015-12-22 | 2019-08-14 | アイシン・エィ・ダブリュ株式会社 | 自動運転支援システム、自動運転支援方法及びコンピュータプログラム |
CN105678412A (zh) * | 2015-12-31 | 2016-06-15 | 百度在线网络技术(北京)有限公司 | 面向多人乘车的路线规划方法和装置 |
CN105608441B (zh) * | 2016-01-13 | 2020-04-10 | 浙江宇视科技有限公司 | 一种车型识别方法及系统 |
US10474964B2 (en) * | 2016-01-26 | 2019-11-12 | Ford Global Technologies, Llc | Training algorithm for collision avoidance |
KR101795250B1 (ko) * | 2016-05-03 | 2017-11-07 | 현대자동차주식회사 | 자율주행차량의 주행경로 계획장치 및 방법 |
CN106114507B (zh) * | 2016-06-21 | 2018-04-03 | 百度在线网络技术(北京)有限公司 | 用于智能车辆的局部轨迹规划方法和装置 |
CN106228110B (zh) * | 2016-07-07 | 2019-09-20 | 浙江零跑科技有限公司 | 一种基于车载双目相机的障碍物及可行驶区域检测方法 |
KR20190062390A (ko) * | 2016-10-11 | 2019-06-05 | 모빌아이 비젼 테크놀로지스 엘티디. | 검출된 배리어에 기반한 차량의 항법 |
CN106740457A (zh) * | 2016-12-07 | 2017-05-31 | 镇江市高等专科学校 | 基于bp神经网络模型的车辆换道决策方法 |
CN106681318A (zh) * | 2016-12-09 | 2017-05-17 | 重庆长安汽车股份有限公司 | 自动驾驶中车道线检测短暂丢失的车辆安全控制系统及方法 |
CN108205922A (zh) * | 2016-12-19 | 2018-06-26 | 乐视汽车(北京)有限公司 | 一种自动驾驶决策方法及系统 |
CN108305477B (zh) * | 2017-04-20 | 2019-08-13 | 腾讯科技(深圳)有限公司 | 一种车道选择方法及终端 |
CN108983763B (zh) * | 2017-06-05 | 2021-09-21 | 上海汽车集团股份有限公司 | 一种路径规划的方法、装置及车载终端 |
WO2019000391A1 (zh) * | 2017-06-30 | 2019-01-03 | 华为技术有限公司 | 车辆的控制方法、装置及设备 |
CN107830869B (zh) * | 2017-11-16 | 2020-12-11 | 百度在线网络技术(北京)有限公司 | 用于车辆的信息输出方法和装置 |
US10169678B1 (en) * | 2017-12-21 | 2019-01-01 | Luminar Technologies, Inc. | Object identification and labeling tool for training autonomous vehicle controllers |
CN108227710B (zh) * | 2017-12-29 | 2022-10-04 | 商汤集团有限公司 | 自动驾驶控制方法和装置、电子设备、程序和介质 |
CN108256446B (zh) * | 2017-12-29 | 2020-12-11 | 百度在线网络技术(北京)有限公司 | 用于确定道路中的车道线的方法、装置和设备 |
CN108876805B (zh) * | 2018-06-20 | 2021-07-27 | 长安大学 | 一种端对端无监督场景可通行区域认知与理解方法 |
CN113486796B (zh) * | 2018-09-07 | 2023-09-05 | 百度在线网络技术(北京)有限公司 | 无人车位置检测方法、装置、设备、存储介质及车辆 |
CN109360436B (zh) * | 2018-11-02 | 2021-01-08 | Oppo广东移动通信有限公司 | 一种视频生成方法、终端及存储介质 |
KR102138979B1 (ko) * | 2018-11-29 | 2020-07-29 | 한국과학기술원 | 차선 기반의 확률론적 주변 차량 거동 예측 및 이를 이용한 종방향 제어 방법 |
US20210389133A1 (en) * | 2020-06-12 | 2021-12-16 | Lyft, Inc. | Systems and methods for deriving path-prior data using collected trajectories |
-
2019
- 2019-02-21 CN CN201910130652.XA patent/CN109703569B/zh active Active
- 2019-02-21 CN CN202110771879.XA patent/CN113392809B/zh active Active
-
2020
- 2020-02-20 EP EP20158396.0A patent/EP3699890A3/en not_active Withdrawn
- 2020-02-20 US US16/796,042 patent/US20200269841A1/en not_active Abandoned
- 2020-02-20 KR KR1020200021243A patent/KR102424067B1/ko active IP Right Grant
- 2020-02-20 JP JP2020026865A patent/JP7220169B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001052297A (ja) | 1999-08-06 | 2001-02-23 | Fujitsu Ltd | 安全走行支援装置、その方法及び記録媒体 |
JP2016081525A (ja) | 2014-10-10 | 2016-05-16 | アプリケーション・ソリューションズ・(エレクトロニクス・アンド・ヴィジョン)・リミテッド | 車両用画像認識システム、及び対応法 |
WO2017213064A1 (ja) | 2016-06-09 | 2017-12-14 | 日本電気株式会社 | 車両制御システム、車両制御方法およびプログラム記録媒体 |
JP2018072988A (ja) | 2016-10-26 | 2018-05-10 | パナソニックIpマネジメント株式会社 | 情報処理システム、情報処理方法、およびプログラム |
JP2018120292A (ja) | 2017-01-23 | 2018-08-02 | パナソニックIpマネジメント株式会社 | イベント予測システム、イベント予測方法、プログラム、及び移動体 |
JP2018197977A (ja) | 2017-05-24 | 2018-12-13 | トヨタ自動車株式会社 | 車両システム |
Also Published As
Publication number | Publication date |
---|---|
CN113392809B (zh) | 2023-08-15 |
CN113392809A (zh) | 2021-09-14 |
CN109703569B (zh) | 2021-07-27 |
US20200269841A1 (en) | 2020-08-27 |
EP3699890A3 (en) | 2020-11-25 |
JP2020132153A (ja) | 2020-08-31 |
EP3699890A2 (en) | 2020-08-26 |
KR20200102378A (ko) | 2020-08-31 |
CN109703569A (zh) | 2019-05-03 |
KR102424067B1 (ko) | 2022-07-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7220169B2 (ja) | 情報処理方法、装置、記憶媒体、及びプログラム | |
US20200265710A1 (en) | Travelling track prediction method and device for vehicle | |
Altché et al. | An LSTM network for highway trajectory prediction | |
CN110562258B (zh) | 一种车辆自动换道决策的方法、车载设备和存储介质 | |
JP7367183B2 (ja) | 占有予測ニューラルネットワーク | |
CN110796007B (zh) | 场景识别的方法与计算设备 | |
JP6800575B2 (ja) | 自己の乗り物のドライバを支援する方法およびシステム | |
CN111583715B (zh) | 一种车辆轨迹预测方法、车辆碰撞预警方法、装置及存储介质 | |
EP4120215A1 (en) | Method for identifying abnormal driving behavior | |
CN110389583A (zh) | 生成自动驾驶车辆的轨迹的方法 | |
CN112203916A (zh) | 用于确定目标车辆变道相关信息的方法和设备、用于确定车辆舒适性度量用以预测目标车辆的驾驶机动操纵的方法和设备以及计算机程序 | |
JP6850324B2 (ja) | マルチモデルに基づく障害物分布シミュレーション方法、装置、端末及びプログラム | |
CN113228040A (zh) | 多级对象行进方向估计 | |
JP2021527833A (ja) | 超音波アレイによる障害物検出結果の処理方法、コンピュータデバイス、記憶媒体、プログラム及びシステム | |
KR20220083962A (ko) | 시나리오 기반 거동 명세 및 검증 | |
US11529951B2 (en) | Safety system, automated driving system, and methods thereof | |
CN116529784A (zh) | 用于增加激光雷达数据的方法和系统 | |
JP2023523350A (ja) | 乗り物に基づくデータ処理方法、データ処理装置、コンピュータ機器、及びコンピュータプログラム | |
CN114475656B (zh) | 行驶轨迹预测方法、装置、电子设备以及存储介质 | |
CN116324904A (zh) | 用于注释传感器数据的方法和系统 | |
CN113885496A (zh) | 智能驾驶仿真传感器模型及智能驾驶仿真方法 | |
US12012102B2 (en) | Method for determining a lane change indication of a vehicle | |
CN112085178B (zh) | 一种车辆行为数据的标注方法及装置 | |
US20230024799A1 (en) | Method, system and computer program product for the automated locating of a vehicle | |
US20230025579A1 (en) | High-definition mapping |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200220 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210511 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210806 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20211029 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20211206 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220125 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20220125 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220422 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220906 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221125 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230104 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230130 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7220169 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |