JPWO2020066305A1 - Electronic control device - Google Patents
Electronic control device Download PDFInfo
- Publication number
- JPWO2020066305A1 JPWO2020066305A1 JP2020548092A JP2020548092A JPWO2020066305A1 JP WO2020066305 A1 JPWO2020066305 A1 JP WO2020066305A1 JP 2020548092 A JP2020548092 A JP 2020548092A JP 2020548092 A JP2020548092 A JP 2020548092A JP WO2020066305 A1 JPWO2020066305 A1 JP WO2020066305A1
- Authority
- JP
- Japan
- Prior art keywords
- data
- priority
- control device
- electronic control
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013523 data management Methods 0.000 claims abstract description 43
- 238000012545 processing Methods 0.000 claims description 103
- 238000000034 method Methods 0.000 claims description 35
- 230000003068 static effect Effects 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 2
- 230000008569 process Effects 0.000 description 20
- 238000004364 calculation method Methods 0.000 description 9
- 239000008186 active pharmaceutical agent Substances 0.000 description 5
- 238000013480 data collection Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000008707 rearrangement Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000013439 planning Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
Abstract
物体情報ごとに付加されたデータの優先度に基づき、アプリケーション実行部に送信するデータの選択を行うデータ選択部及びデータ選択部を有する電子制御装置を提供することを目的とする。外界状況及び自車両状況に応じてセンシングしたデータに優先度を付与する優先度付与部と、データに付与する優先度を動的に変更して決定する優先度決定部と、優先度を付与したデータを格納するデータ管理部と、アプリケーション実行部と、優先度に応じデータ管理部から前記アプリケーション実行部へ渡すデータを選択するデータ選択部と、を有する電子制御装置。An object of the present invention is to provide an electronic control device having a data selection unit and a data selection unit that select data to be transmitted to an application execution unit based on the priority of data added for each object information. A priority assigning unit that assigns priority to the data sensed according to the external world situation and the own vehicle situation, a priority determination unit that dynamically changes and determines the priority assigned to the data, and a priority are assigned. An electronic control device having a data management unit for storing data, an application execution unit, and a data selection unit for selecting data to be passed from the data management unit to the application execution unit according to priority.
Description
本発明は例えば自動車の電子制御装置に係り、特にアプリケーションのデータ処理負荷を低減することができる電子制御装置に関する。 The present invention relates to, for example, an electronic control device for an automobile, and particularly relates to an electronic control device capable of reducing a data processing load of an application.
自動車においては現在、システムが人間を介さず全ての運転操作を担う完全自動運転に向けた研究開発が進んでいる。このような自動運転の実現のため、車両には10以上のセンサが取り付けられ、自車の周囲の情報をセンシングする。センシングされた歩行者や車両などの物体情報は、電子制御装置(ECU : Electronic Control Unit)に取り込まれ、認知、判断、制御といった処理が実施され、最終的に制御指令値が各アクチュエータに送信され、車両の制御が実施される。 In automobiles, research and development is currently underway for fully automated driving in which the system handles all driving operations without human intervention. In order to realize such automatic driving, more than 10 sensors are attached to the vehicle to sense information around the vehicle. The sensed object information such as pedestrians and vehicles is taken into an electronic control unit (ECU: Electronic Control Unit), processing such as recognition, judgment, and control is performed, and finally a control command value is transmitted to each actuator. , Vehicle control is carried out.
一方、自動運転の適応範囲が市街地に拡大されつつあるが、市街地では高速道路や郊外に比べ、多くの物体が存在する。そのため、電子制御装置内で扱う物体情報(歩行者、車両等)の数も増加する。 On the other hand, the applicable range of autonomous driving is being expanded to urban areas, but there are more objects in urban areas than in highways and suburbs. Therefore, the number of object information (pedestrians, vehicles, etc.) handled in the electronic control device also increases.
しかし、自動運転の大部分の処理を担う電子制御装置の性能によっては、センシングされた全ての情報を決められた処理周期内に処理しきれない可能性がある。例えば、繁華街の交差点を右折しようとした際、交差点の信号待ちをしている大量の歩行者が存在する環境では、カメラやレーダなどの車載されているセンサでセンシングされたすべての歩行者が処理対象となってしまう。通常、このような状況下では歩行者が静止している、又は自車の走行に影響を与えないことが大半だが、一部の、たとえば、信号無視をする歩行者や車道を歩行する歩行者、自転車は監視し、自車の走行に影響を与える場合、適切な制御を実施しなければならない。しかし、電子制御装置の性能が不十分な場合、真に処理しなければならない、信号無視をする歩行者や車両情報、がその他の物体情報に埋もれてしまい、所定の処理周期内に演算が実施されず、適切な車両の制御が実施されない可能性がある。 However, depending on the performance of the electronic control device that handles most of the processing of autonomous driving, it is possible that all the sensed information cannot be processed within the specified processing cycle. For example, when trying to turn right at an intersection in a downtown area, in an environment where there are a large number of pedestrians waiting for a traffic light at the intersection, all pedestrians sensed by on-board sensors such as cameras and radar It will be processed. Normally, under these circumstances, pedestrians are usually stationary or do not affect the running of their own vehicle, but some, for example, pedestrians ignoring traffic lights or pedestrians walking on the road. , Bicycles must be monitored and appropriate control must be implemented if they affect the running of the vehicle. However, if the performance of the electronic control device is insufficient, pedestrian and vehicle information that ignores signals, which must be truly processed, is buried in other object information, and calculations are performed within a predetermined processing cycle. It may not be possible and proper vehicle control may not be implemented.
したがって、当該分野では大量の物体が存在する状況で、電子制御装置の処理が高負荷となる環境において、電子制御装置の処理負荷を低減することが課題となっている。 Therefore, in the present field, it is an issue to reduce the processing load of the electronic control device in an environment where the processing of the electronic control device has a high load in a situation where a large amount of objects exist.
この点に関して、特許文献1では、高速道路のように複数の車両が存在する環境下での制御において、データにあらかじめ優先度を付与し、優先度に応じて複数の物体情報を統合する処理と統合処理を行わない簡易処理を選択する方法を提案している。
Regarding this point, in
自動運転では、車両に取り付けられたセンサ(カメラ、レーダ等)でセンシングされた物体(歩行者、車両等)の認識結果を電子制御装置に取り込み、アプリケーションで認知、判断、制御の演算を実施し、その演算結果に基づきアクチュエータに制御指令値を出力する。 In autonomous driving, the recognition results of objects (pedestrians, vehicles, etc.) sensed by sensors (cameras, radar, etc.) attached to the vehicle are taken into an electronic control device, and recognition, judgment, and control calculations are performed by the application. , The control command value is output to the actuator based on the calculation result.
一方、自動運転の適用範囲が市街地や繁華街に拡大されたとき、車両がセンシングしなければならない物体数は10〜100以上に及ぶ。そのため、大量に物体が存在する環境では、処理対象となる物体が多く、演算量が増加する。それに伴い、認知、判断、制御のアプリケーションは、どの物体が緊急性を要し、衝突回避や緊急時の操舵に影響を与える物体かを大量のデータから見つけ出さなければならない。 On the other hand, when the scope of application of autonomous driving is expanded to urban areas and downtown areas, the number of objects that the vehicle must sense will reach 10 to 100 or more. Therefore, in an environment where a large number of objects exist, there are many objects to be processed and the amount of calculation increases. As a result, cognitive, judgment, and control applications must find out from large amounts of data which objects are urgent and affect collision avoidance and emergency steering.
しかし、物体が大量にある場合、演算に時間を要し、アプリケーションの処理周期内で認知から制御までの一連の演算を完了出来ず、適切な制御指令値を出力出来ない可能性がある。そのため、電子制御装置内の演算量を削減することが課題となっている。 However, when there are a large number of objects, it takes time to perform the calculation, and it may not be possible to complete a series of calculations from recognition to control within the processing cycle of the application, and it may not be possible to output an appropriate control command value. Therefore, it is an issue to reduce the amount of calculation in the electronic control device.
以上のことから本発明においては、「外界状況及び自車両状況に応じてセンシングしたデータに優先度を付与する優先度付与部と、データに付与する優先度を動的に変更して決定する優先度決定部と、優先度を付与したデータを格納するデータ管理部と、アプリケーション実行部と、優先度に応じデータ管理部から前記アプリケーション実行部へ渡すデータを選択するデータ選択部と、を有する電子制御装置。」としたものである。 From the above, in the present invention, "a priority giving unit that gives priority to the data sensed according to the external world situation and the own vehicle situation, and a priority that dynamically changes and determines the priority given to the data. An electronic device having a degree determination unit, a data management unit for storing data to which priority is given, an application execution unit, and a data selection unit for selecting data to be passed from the data management unit to the application execution unit according to the priority. Control device. "
本発明によれば、自動運転の適用範囲が市街地や繁華街に拡大され、車両がセンシングしなければならない物体数が10〜100以上に及ぶ場合でも、アプリケーションはデータの優先度に応じてデータを処理可能なため、アプリケーションの処理負荷を低減でき、安全性の向上を図ることができる。 According to the present invention, the scope of application of autonomous driving is expanded to urban areas and downtown areas, and even when the number of objects that the vehicle must sense is 10 to 100 or more, the application outputs data according to the priority of the data. Since it can be processed, the processing load of the application can be reduced and the safety can be improved.
以下、本発明の実施例に係る電子制御装置について、図を用いて詳細に説明する。なお、特許文献1に記載の手法が、優先度に応じて電子制御装置内で実行するアプリケーションを変更(物体情報を統合する処理と統合処理を行わない簡易処理を選択)するものであるのに対し、本発明はこれを端的に表現するならばアプリケーションは変更することなく、物体ごとに優先度を付与し、アプリケーションに渡すデータを変更したものということができる。以下の実施例においてはこれを実現するための電子制御装置の構成、機能が詳細に説明される。
Hereinafter, the electronic control device according to the embodiment of the present invention will be described in detail with reference to the drawings. Although the method described in
図1は、本発明の実施例に係る車載電子制御装置とその周辺機器の接続状態を示している。 FIG. 1 shows a connection state between an in-vehicle electronic control device and its peripheral device according to an embodiment of the present invention.
車載電子制御装置10は、外界認識センサ108、地図情報109、および内界認識センサ110からセンシング情報DS(DS1、DS2、DS3)を取得し、また優先度定義部105から優先度定義情報DPを得ている。そして、これらの情報に基づき車両を制御する制御量の算出を行い、外部制御装置111に制御データDOを送信する。
The in-vehicle
図1の車載電子制御装置10は、アプリケーション実行部101、データ選択部102、データ管理部103、優先度決定部104、優先度付与部106、データ収集部107を主要な機能要素として構成されており、ここでの内部処理の前提としてユーザにより予め設定された優先度定義情報DPを優先度定義部105から入手して使用する。
The in-vehicle
車載電子制御装置10は、その起動後に、外部の優先度定義部105にアクセスして、事前にユーザによって設定された優先度定義情報DPを入手し、優先度付与部106および、データ選択部102に反映する形態を採る。
After its activation, the in-vehicle
図2は事前設定された優先度定義情報DPの例を示す図であり、優先度定義部105は、図2に示す項目をユーザにより事前に定義している。図2の例では、優先度定義情報DPは優先度の分解能を定義しており、例えば優先度を緊急、高、中、小の4段階に分けて定義している。なお図2の例では優先度を離散的に把握しているが数値として把握するものであってもよい。また優先度定義情報DPは優先度に基づいて処理をするときの閾値を定義している。また優先度定義情報DPは、制御用計算機である車載電子制御装置10における処理周期に関して、周期に基づいてデータの返却処理をする際に、何回に1回データをアプリケーション実行部101に返すことにするかについての、周期処理時の閾値ごとのカウンタ回数を定義している。また優先度定義情報DPは、データが閾値数以上ある場合のソート処理について定義している。なお図2は、優先度定義情報DPの一例を示したものであり、この内容に限定されない。またこれ以外のものが採用されているものであってもよいことは言うまでもない。
FIG. 2 is a diagram showing an example of preset priority definition information DP, and the
優先度定義部105は、外界認識センサ108、地図情報109、内界認識センサ110でセンシングされた物体として、例えば歩行者、車両、自転車、およびバイク、および進路上や側道上を移動する物体、あるいは静的物体である標識、信号機、障害物、街路樹、および進路上や側道上に静止している物体の情報毎に付与される優先度について、その分解能、優先度の付与条件および、優先度に応じたデータの処理手段について定義したものである。
The
ここで、外界認識センサ108は、外界状況を把握するものであり、外界状況は、自車に搭載された外界認識センサ108でセンシングされた物体として、移動物体(自車両周囲の車両、歩行者、障害物などを含むことができる)、または、静的物体(信号機、標識、障害物などを含むことができる)、の少なくとも一つを含むものである。 Here, the outside world recognition sensor 108 grasps the outside world situation, and the outside world situation is a moving object (vehicles around the own vehicle, pedestrians) as an object sensed by the outside world recognition sensor 108 mounted on the own vehicle. , Obstacles, etc.), or static objects (can include traffic lights, signs, obstacles, etc.).
図3は、優先度決定部104における優先度設定事例を示している。この例では優先度は、優先度定義部105で設定された優先度定義情報DPにおける優先度の分解能の定義に従って、優先度が緊急、高、中、小の4段階に分けられており、例えば歩行者が道路上に存在するなどのイベントが検知され、これが緊急にランクされた場合にはアプリケーション実行部101へのデータ返却方法としてイベント発生の都度データを返却するものとされ、アプリケーション実行部101内の処理としてはイベント発生時刻の時の制御周期内(あるいは当該周期での処理が不可能な場合には次周期)における割込み的な緊急処理が実行されることになる。優先度が高、中の場合には処理周期として例えば2周期、4周期が設定されており、この単位でアプリケーション実行部101へのデータ返却が行われる。あるいは、このランクの対象数が多い場合にはソートのうえ、割愛される対象とされる。なお優先度ごとにいかなる返却方法を採用するのがよいのかは、適宜設定可能であり、図3の例に限定されないことは言うまでもない。
FIG. 3 shows a priority setting example in the
図1に戻り、車載電子制御装置10には、外界認識センサ108、地図情報109、および内界認識センサ110からセンシング情報DS(DS1、DS2、DS3)がデータ収集部107を介して入力されている。なおこれらのセンシング情報DSは、センサの直接の計測値以外に自己時系列情報、あるいは複数のデータ、情報を組み合わせた加工情報であってもよい。また将来における予測値を用いたものであってもよい。
Returning to FIG. 1, the sensing information DS (DS1, DS2, DS3) is input to the vehicle-mounted
これらのセンシング情報DSは例えば、外界認識センサ108又は、内界認識センサ110でセンシングされた自車の加減速度値、自車の車両方向情報、自車の軌道計画情報、リスクマップ情報、インフラとの連携情報、他車両から送信されるVehicle to Vehicle (V2V)情報、自車のワイパーの状態、自車のヘッドライトの状態、自車のヘッドライトの照射範囲および、自車の死角となる部分の情報などである。
These sensing information DSs include, for example, the acceleration / deceleration value of the own vehicle sensed by the outside world recognition sensor 108 or the inside
図1の優先度付与部106においては、データ収集部107を介して入力したセンシング情報DSに対して種々の観点での優先度を設定する。例えば観点の1つは、自車周囲の領域に応じた優先度である。センサが把握した領域をさらに小領域に分割し、各小領域に予め優先度を設定したものである。例えば進路上に相当する小領域であれば優先度を高く設定し、側道上に相当する小領域であれば優先度を低く設定するなどである。
In the
また、領域に応じた優先度に加え、他の観点の一例は物体ごとの優先度設定である。外界認識センサ108でセンシングされた前記の各物体の情報の軌道予測情報、リスクマップ情報、物体の移動速度、移動方向、相対速度、相対距離、物体の大きさ又は、Time To Collision(TTC)の少なくとも一つ又は、これらを組み合わせて演算できる値に基づき、物体毎に優先度の設定を行う。 Further, in addition to the priority according to the area, another example of the viewpoint is the priority setting for each object. Orbit prediction information, risk map information, moving speed of the object, moving direction, relative speed, relative distance, size of the object, or Time To Collision (TTC) of the information of each object sensed by the outside world recognition sensor 108. The priority is set for each object based on at least one value or a value that can be calculated by combining these.
また、優先度付与部106で付与する優先度は、領域に基づき設定された優先度、物体毎に設定された優先度のうち少なくとも一つに基づき付与される。領域に応じた優先度、物体毎に付与された優先度の両方を用い、最終的な優先度を算出する場合は、(1)式に基づき優先度を算出する。
[数1]
優先度[N]t=
(α(領域優先度[N]t)*(1−α)物体優先度[N]t−MINt−1)/
(MAXt−1−MINt−1) (1)
なお(1)式において、αは1から0の間でユーザが設定する係数、領域優先度[N]tは物体Nの時刻tの領域ベースの優先度、物体優先度[N]tは物体Nの時刻tの物体ベースの優先度、MINt−1は時刻t−1における全物体の優先度の最小値、MAXt−1は時刻t−1における全物体の優先度の最大値を表している。Further, the priority given by the
[Number 1]
Priority [N] t =
(Α (Region priority [N] t) * (1-α) Object priority [N] t-MIN t-1 ) /
(MAX t-1- MIN t-1 ) (1)
In the equation (1), α is a coefficient set by the user between 1 and 0, the area priority [N] t is the area-based priority of the time t of the object N, and the object priority [N] t is the object. N, the object-based priority at time t, MIN t-1 represents the minimum priority of all objects at time t-1, and MAX t-1 represents the maximum priority of all objects at time t-1. ing.
優先度は、高い値ほど自車の走行に影響を与える可能性があり、高、中、低のように離散的に用いても、連続値で設定してもよい。 The higher the priority value, the more likely it is to affect the running of the own vehicle, and the priority may be used discretely such as high, medium, or low, or may be set as a continuous value.
本発明の実施例によれば優先度は、外界状況、又は、自車両の内界状況、軌道予測結果、トラッキング状況、リスクマップ、対象物体の移動速度、対象物体種別、自車両の走行状況、センシングされた物体との相対距離、の少なくとも一つに基づいて設定される。また優先度は、自車両の走行に影響を与える物体、又は、自車両の走行に影響を与えると予想される物体、自車両の予測軌道上に存在する物体、自車両の死角、自車両の死角となると予測される領域に存在する物体、の少なくとも一つに対して高く設定される。 According to the embodiment of the present invention, the priority is the outside world condition, the inside world condition of the own vehicle, the track prediction result, the tracking condition, the risk map, the moving speed of the target object, the target object type, the traveling condition of the own vehicle, and the like. It is set based on at least one of the relative distances to the sensed object. The priority is the object that affects the running of the own vehicle, the object that is expected to affect the running of the own vehicle, the object that exists in the predicted trajectory of the own vehicle, the blind spot of the own vehicle, and the own vehicle. It is set high for at least one of the objects in the area that is expected to be a blind spot.
図4は、データベースであるデータ管理部103内に形成されたデータベース構成例を示している。データベースは例えば、項番31、データID32、優先度33、オブジェクト種別(物体種別)34、データ35で構成されており、センシングデータDSであるデータ35には、優先度33として緊急、高、中、低が付与され、さらにはオブジェクト種別(物体種別)34が付与されている。なおデータ35は時刻データを含むのがよく、これらのデータは、データ取得地点を車両が通過した後は適宜削除され、常に車両前方の新しいセンシングデータと置き換わりながら使用されることになる。
FIG. 4 shows an example of a database configuration formed in the
次に、車載電子制御装置10内に情報を取り込み、データ管理部103に格納するまでの処理フローについて図5を用いて説明する。ここでは外界認識センサ108、地図情報109および、内界認識センサ110から取得したセンシング情報DS(DS1、DS2、DS3)をデータ管理部103に格納するまでの処理フローについて説明する。なお、データ管理部103はデータベースと称することもできる。
Next, the processing flow from taking the information into the in-vehicle
図5の処理フローでは、処理ステップS200でスタートし、処理ステップS201において、外界認識センサ108、地図情報109および、内界認識センサ110のデータを、データ収集部107を介して車載電子制御装置10内に取り込む、データ収集処理を行う。
In the processing flow of FIG. 5, the process starts in the processing step S200, and in the processing step S201, the data of the external world recognition sensor 108, the
処理ステップS202は、優先度決定部104、優先度付与部106の機能に相当するものであり、車載電子制御装置10内に取り込まれたデータに対して、優先度付与部106において優先度定義部105から入手した優先度定義情報DPに従い算出された優先度が付与される。
The processing step S202 corresponds to the functions of the
処理ステップS203では、付与された優先度が優先度定義部105で定義された図3のイベントに係る処理データであることを確認し、イベントの処理データである場合には優先度が最も高い「緊急」であることから、処理ステップS205に移り、直接データ選択部102に該当データを送信する。なおその後に、データ管理部103へデータの送信を行うものであってもよい。図4のデータベースでは緊急情報も保持する例を示している。
In the processing step S203, it is confirmed that the assigned priority is the processing data related to the event of FIG. 3 defined by the
なお図1において、優先度が最も高い「緊急」であるイベントに係る処理データであるとき、該当データを送信されたデータ選択部102は、アプリケーション実行部101に対して割込み処理を実行し、直ちに緊急データの処理対応をすべく作用する。
In FIG. 1, when the processing data is related to the "urgent" event having the highest priority, the
一方、処理ステップS203において、イベントの処理データでないと判断された場合には、優先度が高、中、小のいずれかであることから、処理ステップS204に移り、処理ステップS204においてデータは、データ管理部103に送られ、管理用のIDが付与され管理される。
On the other hand, if it is determined in the processing step S203 that the data is not the processing data of the event, the priority is high, medium, or low, so the process proceeds to the processing step S204, and the data is the data in the processing step S204. It is sent to the
なお図1のアプリケーション実行部101は、イベントの処理用データによる割込み処理が発生していない通常状態においては、適宜データ管理部103にアクセスし、ここに蓄積された優先度が高、中、小のデータを用いた処理を実行している。
Note that the
次に、アプリケーション実行部101からデータ管理部103のデータを取得する通常状態における処理フローについて説明する。アプリケーション実行部101では、認知、判断、制御処理の演算を実施する。各演算には、データ管理部103に格納されているデータを用いる。
Next, the processing flow in the normal state of acquiring the data of the
図1のアプリケーション実行部101の通常処理では、アプリケーション実行部101は最初にデータ管理部103へのデータ取得要求S1を発行する。データ処理要求S1は、まずデータ選択部102に与えられ、データ選択部102では、アプリケーション実行部101の要求に応じ、データ管理部103のデータを検索し、優先度定義部105で定めた優先度定義に基づきアプリケーション実行部101に渡すデータの取捨選択を行う。
In the normal processing of the
たとえば、繁華街を走行中の自車において、優先度高、中、低の離散的な3段階の優先度でデータを管理しているデータ管理部103に対し、アプリケーション実行部101から歩行者データのデータ取得要求S1があった場合、データ選択部102はデータ管理部103に管理されている歩行者のデータを検索する。
For example, pedestrian data from the
データ選択部102とデータ管理部103における処理フローを図6に示し説明する。
The processing flow in the
図6の処理ステップS300は、アプリケーション実行部101からの歩行者のデータ取得要求S1によりスタートし、処理ステップS301においてデータ管理部103に管理されている歩行者のデータを検索する。
The processing step S300 of FIG. 6 is started by the pedestrian data acquisition request S1 from the
検索の結果、処理ステップS302の判定において、該当する歩行者のデータが一定数以上検索されているか否か、を判断する。一定数以上ヒットした場合、処理ステップS303においてアプリケーション実行部101に渡すデータを選択する処理を実行する。処理ステップS303において選択された個数のデータ、あるいは処理ステップS302の判定において一定数に達しないとされた個数の全データは処理ステップS304の処理により、アプリケーション実行部101に渡される。
As a result of the search, in the determination of the processing step S302, it is determined whether or not a certain number or more of the corresponding pedestrian data has been searched. When a certain number or more are hit, the process of selecting the data to be passed to the
図6の処理ステップS303においてアプリケーション実行部101に渡すデータを選択する処理の具体的な処理内容を図7に示している。ここでは、選択の基準として自車の走行に影響を与えると予想される優先度高が付与されているデータのみをアプリケーション実行部101に渡すものとする。アプリケーション実行部101は自車の走行に影響を与え得る優先度高が付与されたデータのみ、認知、判断、制御の演算に利用することで処理負荷の低減を実現する。
FIG. 7 shows the specific processing content of the process of selecting the data to be passed to the
図7の選択フローでは、処理ステップS401と処理ステップS407に挟まれた部分の処理を繰り返し実行する。処理ステップS402では、個々のデータを確認して、優先度が高のデータとそうでないものを区別し、高のデータを処理ステップS406で高として記録する。処理ステップS403では、高でないデータについて中か、低かを判別し、それぞれ処理ステップS405、処理ステップS404において優先度中、優先度低とする事前設定処理を実行する。なお、図7の選択フローでは、最終的に優先度が高のデータのみを選択データとするが、どこまでをどのように選択するかの考え方については適宜の考え方を採用可能である。 In the selection flow of FIG. 7, the processing of the portion sandwiched between the processing step S401 and the processing step S407 is repeatedly executed. In the processing step S402, the individual data are confirmed, the data having a high priority is distinguished from the data having a low priority, and the data having a high priority is recorded as high in the processing step S406. In the processing step S403, it is determined whether the non-high data is medium or low, and in the processing step S405 and the processing step S404, the preset processing of setting the priority to medium and low is executed, respectively. In the selection flow of FIG. 7, only the data having a high priority is finally used as the selection data, but an appropriate way of thinking can be adopted as the way of thinking about how and how much to select.
次に、アプリケーション実行部101からの指令により、データ選択部102においてデータの並びかえ処理を実施する処理フローについて図8を用いて説明する。図8においてアプリケーション実行部101からデータ選択部102にデータの並び替え処理要求がある場合、処理ステップS502ではデータ検索処理を実行し、処理ステップS503において、検索したデータが並び替えの対象データであるか否かを判定し、並び替えの対象データである場合には処理ステップS504において該当データの並び替え処理を実施後に処理ステップS505においてアプリケーション実行部101へのデータ返却を実施し、並び替えの対象データでない場合にはそのまま処理ステップS505においてアプリケーション実行部101へのデータ返却を実施する。
Next, a processing flow for performing data rearrangement processing in the
たとえば、優先度定義部106からの優先度定義情報として、距離が近いことが定義されており、アプリケーション実行部101からの指令に当該データの要求があった場合、たとえば自車からの距離が近い順に並び替える処理を実施する。
For example, when the priority definition information from the
実施例2においては、図1の優先度付与部106で優先度が付与され、データ管理部103で管理されているデータについて、優先度が高いデータが複数存在する場合、優先度定義部105で定義された優先度定義情報DPに従い、データ選択部102からアプリケーション実行部101に渡すデータの周期を変更することについて説明する。
In the second embodiment, when the priority is given by the
たとえば、外界認識センサ108でセンシングしたデータの中に自車の走行予定軌道を横切る優先度高の歩行者と横断歩道で静止している大量の歩行者のデータが混在している状況下で、アプリケーション実行部101から歩行者情報の取得要求があった場合、データ選択部102がデータ管理部103で管理されている該当する歩行者データの優先度を確認し、優先度高のデータのみをアプリケーション実行部101に毎周期送ることになる。
For example, in a situation where the data sensed by the outside world recognition sensor 108 contains data of high-priority pedestrians crossing the planned travel track of the own vehicle and a large number of pedestrians stationary at the crossing. When the
図9は、アプリケーション実行部101からデータ管理部103のデータを取得する際に、データの送信周期を操作する一連の処理を示している。
FIG. 9 shows a series of processes for manipulating the data transmission cycle when the data of the
図9に示すデータ選択部102の処理フローによれば、はじめに、処理ステップS601においてデータ管理部103内の図4に示すデータベースのデータ検索を行い、該当するデータ35の優先度33を確認する。なお図9の処理フローは、処理ステップS601から処理ステップS608の間の処理をデータ更新しながら繰り返し処理するので、以降の説明では特定のデータについてのみ説明する。優先度を確認されたデータについて、処理ステップS603の判定処理を行い、当該物体34の優先度33が高の場合(YES)、処理ステップS607では図3に示した優先度とデータ返却方法の関係に従い、アプリケーション実行部101へのデータ返却処理207を実施する。
According to the processing flow of the
一方、優先度中のデータや優先度低の自車両に影響を与えないと考えらえるデータは、処理ステップS604の判定処理後、優先度定義部105で設定された、図3に示した優先度とデータ返却方法の関係で定まる周期の回数に基づき、処理の実施可否を判断する。
On the other hand, the data in the priority and the data considered not to affect the own vehicle having a low priority are the priority shown in FIG. 3 set by the
処理ステップS604でカウンタの値が閾値以上の場合には、処理ステップS606においてカウンタをリセットして、アプリケーション実行部101へデータの返却処理を実施するが、既定の周期数に達していない場合は処理ステップS605においてカウンタのカウントアップのみを実施し、アプリケーション実行部101へデータの送信は行わない。本例では、5周期に1回の割合でアプリケーション実行部101にデータを渡し、アプリケーション実行部101の処理負荷を低減する。
If the value of the counter is equal to or greater than the threshold value in the processing step S604, the counter is reset in the processing step S606 and the data is returned to the
次に、自車の走行に影響する緊急性を要するデータの処理について図10を用いて説明する。図10は、上段に初期化時の設定処理の流れを示し、下段に初期設定内容に従い緊急度の高いデータの処理の流れを示している。 Next, the processing of urgent data that affects the running of the own vehicle will be described with reference to FIG. In FIG. 10, the upper part shows the flow of setting processing at the time of initialization, and the lower part shows the flow of processing of highly urgent data according to the initial setting contents.
はじめに、初期化時におけるコールバック関数の登録処理シーケンスについて図10上段に示して説明する。ここでは、アプリケーション実行部101からデータ選択部102にコールバックの設定を行う。さらに、データ選択部102は優先度設定部106に対しコールバックの設定を行う。なお、コールバックの設定が完了したことについて、点線で示すように優先度設定部106、データ選択部102、アプリケーション実行部101への逆ルートでの設定完了報告が行われる。
First, the registration processing sequence of the callback function at the time of initialization will be described in the upper part of FIG. Here, the
コールバック関数の登録処理が行われた後の緊急度の高いデータの処理の流れについて、図10の下段で説明する。 The flow of data processing with high urgency after the callback function registration processing is performed will be described in the lower part of FIG. 10.
優先度付与部106にて自車の走行に影響を与える可能性がある緊急性の高い物体や衝突する可能性のある物体情報を取得した時、優先度付与部106にて特に高い優先度が付与される。
When the
優先度定義部105で事前に定義された図3の条件に基づき、該当データがイベント対応のデータである場合は、優先度付与部106からデータ管理部103にデータを格納せず、事前に設定されたデータ選択部102のコールバック関数を呼ぶ。
Based on the condition of FIG. 3 defined in advance in the
さらに、優先度付与部106からのコールバック関数をコールされたデータ選択部102は、アプリケーション実行部101から設定されたコールバック関数を呼ぶ。かくして、イベントの通知を受け取ったアプリケーション実行部101は、他のデータに先行して受信した優先度の高いデータの処理を行うことができる。
Further, the
以上説明した本発明の実施例は、そのいずれもが、要するに「外界状況及び自車両状況に応じてセンシングしたデータに優先度を付与する優先度付与部と、前記データに付与する優先度を動的に変更して決定する優先度決定部と、前記優先度を付与した前記データを格納するデータ管理部と、アプリケーション実行部と、前記優先度に応じ前記データ管理部から前記アプリケーション実行部へ渡すデータを選択するデータ選択部と、を有する電子制御装置」として構成されたものである。 In each of the embodiments of the present invention described above, in short, "a priority assigning unit that assigns a priority to the data sensed according to the external world situation and the own vehicle situation, and a priority assigning to the data are operated. A priority determination unit that is specifically changed and determined, a data management unit that stores the data to which the priority is given, an application execution unit, and the data management unit passes the data to the application execution unit according to the priority. It is configured as an "electronic control device having a data selection unit for selecting data".
このうち、データ管理部からアプリケーション実行部へ渡すデータを選択するデータ選択部においては、種々の観点でのデータ選択を含む処理を実施する。これらのデータ選択を含む処理の観点は、データ管理部内に優先度が異なるデータが存在するとき、事前に設定した優先度定義と優先度に応じて選択することであり、あるいは優先度が高い順、低い順又はユーザが指定した順に並び替えて渡すことであり、あるいは優先度が高いデータと優先度が低いデータが混在するときに、データの優先度に従い、前記データ管理部から前記アプリケーション実行部に渡すデータの処理周期を変えることであり、あるいは優先度が高いデータを、状況に応じてデータの返却方法を操作することである。なお、データの返却方法を操作する条件である状況とは、イベントドリブンで優先的にアプリケーション実行部に渡す、優先度順にソートしてアプリに渡す、優先度が高いデータのみアプリに渡す等のことである。 Of these, the data selection unit that selects the data to be passed from the data management unit to the application execution unit performs processing including data selection from various viewpoints. The viewpoint of processing including these data selections is that when data having different priorities exists in the data management unit, the data is selected according to the preset priority definition and priority, or in descending order of priority. , In low order or in the order specified by the user, or when high priority data and low priority data are mixed, the data management unit to the application execution unit according to the data priority. It is to change the processing cycle of the data to be passed to, or to operate the data return method according to the situation for the data with high priority. In addition, the situation that is the condition to operate the data return method is that it is event-driven and preferentially passed to the application execution part, sorted in order of priority and passed to the application, only the data with high priority is passed to the application, etc. Is.
10:車載電子制御装置
101:アプリケーション実行部
102:データ選択部
103:データ管理部
104:優先度決定部
105:優先度定義部
106:優先度付与部
107:データ収集部
108:外界認識センサ
109:地図情報
110:内界認識センサ
111:外部制御装置10: In-vehicle electronic control device 101: Application execution unit 102: Data selection unit 103: Data management unit 104: Priority determination unit 105: Priority definition unit 106: Priority assignment unit 107: Data collection unit 108: External world recognition sensor 109 : Map information 110: Internal recognition sensor 111: External control device
Claims (15)
前記データ選択部は、前記データ管理部内に優先度が異なる前記データが存在するとき、事前に設定した優先度定義と前記優先度に応じて前記アプリケーション実行部に渡す前記データを選択し、前記アプリケーション実行部に渡すこと、を特徴とする電子制御装置。The electronic control device according to claim 1.
When the data having different priorities exists in the data management unit, the data selection unit selects the data to be passed to the application execution unit according to the preset priority definition and the priority, and the application. An electronic control device characterized by passing it to an execution unit.
前記データ選択部は、前記データ管理部で管理されている前記データを、優先度が高い順、低い順又はユーザが指定した順に並び替え、前記アプリケーション実行部に渡すこと、を特徴とする電子制御装置。The electronic control device according to claim 1.
The data selection unit sorts the data managed by the data management unit in the order of high priority, low priority, or the order specified by the user, and passes the data to the application execution unit. apparatus.
前記データ選択部は、優先度が高いデータと優先度が低いデータが混在するときに、データの優先度に従い、前記データ管理部から前記アプリケーション実行部に渡すデータの処理周期を変えること、を特徴とする電子制御装置。The electronic control device according to claim 1.
The data selection unit is characterized in that when high-priority data and low-priority data are mixed, the processing cycle of data passed from the data management unit to the application execution unit is changed according to the data priority. Electronic control device.
前記データ選択部は、優先度が高いデータを、状況に応じてデータの返却方法を操作すること、を特徴とする電子制御装置。The electronic control device according to claim 1.
The data selection unit is an electronic control device characterized in that a method of returning data having a high priority is operated according to a situation.
前記外界状況は、自車に搭載された外界認識センサでセンシングされた、移動物体(自車両周囲の車両、歩行者、障害物などを含むことができる)、または、静的物体(信号機、標識、障害物などを含むことができる)、の少なくとも一つを含むこと、を特徴とする電子制御装置。The electronic control device according to claim 1.
The external world situation is a moving object (which may include vehicles, pedestrians, obstacles, etc. around the vehicle) or a static object (traffic light, sign) sensed by an external world recognition sensor mounted on the vehicle. , Obstacles, etc.), including at least one electronic control device.
前記優先度は、前記外界状況、又は、自車両の内界状況、軌道予測結果、トラッキング状況、リスクマップ、対象物体の移動速度、対象物体種別、自車両の走行状況、センシングされた物体との相対距離、の少なくとも一つに基づいて設定されることを特徴とする電子制御装置。The electronic control device according to claim 1.
The priority is the external world situation, the internal world situation of the own vehicle, the track prediction result, the tracking situation, the risk map, the moving speed of the target object, the target object type, the running situation of the own vehicle, and the sensed object. An electronic control device characterized in that it is set based on at least one of relative distances.
前記優先度は自車両の走行に影響を与える物体、又は、自車両の走行に影響を与えると予想される物体、自車両の予測軌道上に存在する物体、自車両の死角、自車両の死角となると予測される領域に存在する物体、の少なくとも一つに対して高く設定されること、を特徴とする電子制御装置。The electronic control device according to claim 1.
The priority is an object that affects the running of the own vehicle, an object that is expected to affect the running of the own vehicle, an object that exists on the predicted orbit of the own vehicle, a blind spot of the own vehicle, and a blind spot of the own vehicle. An electronic control device characterized in that it is set high for at least one of the objects existing in the region where it is predicted to be.
前記優先度付与部は、前記優先度決定部で決定された前記優先度をデータに付与し、前記データ管理部に登録すること、を特徴とする電子制御装置。The electronic control device according to claim 1.
The electronic control device is characterized in that the priority giving unit assigns the priority determined by the priority determining unit to data and registers the priority in the data management unit.
前記優先度決定部は、前記外界状況や自車両状況、又は、前記アプリケーション実行部で処理された軌道予測結果、トラッキング状況の少なくとも一つに応じて付与する優先度を決定する、ことを特徴とする電子制御装置。The electronic control device according to claim 1.
The priority determination unit determines the priority to be given according to at least one of the external world situation, the own vehicle situation, the track prediction result processed by the application execution unit, and the tracking situation. Electronic control device.
前記アプリケーション実行部は、通常はデータの種別を前記データ選択部に指定して前記データ選択部が選択してきたデータを用いた処理を実行し、
前記データ選択部は、指定された前記データの種別に従い前記データ管理部に記憶するデータを選択して前記アプリケーション実行部におくるとともに、前記優先度決定部が優先度の高いデータを判定した時には前記データ管理部に記憶するデータに優先して、前記優先度決定部が判定した優先度が高いデータを前記アプリケーション実行部におくることを特徴する電子制御装置。The electronic control device according to claim 1.
Normally, the application execution unit specifies the type of data in the data selection unit and executes processing using the data selected by the data selection unit.
The data selection unit selects data to be stored in the data management unit according to the designated data type and comes to the application execution unit, and when the priority determination unit determines high-priority data, the data selection unit is described. An electronic control device characterized in that data having a high priority determined by the priority determination unit is placed in the application execution unit in preference to data stored in the data management unit.
優先度を付与される前記データは、センシングされたデータ、当該データの時系列情報、加工情報、並びに複数のセンシングされたデータによる加工情報を含むことを特徴する電子制御装置。The electronic control device according to claim 1.
The electronic control device to which the priority is given includes the sensed data, the time series information of the data, the processing information, and the processing information by a plurality of sensed data.
電子制御装置は、その起動時に外部から優先度を定義するための優先度定義情報を入手して、前記優先度決定部、前記データ選択部に反映することを特徴する電子制御装置。The electronic control device according to claim 1.
The electronic control device is an electronic control device characterized in that, at the time of its activation, priority definition information for defining a priority is obtained from the outside and reflected in the priority determination unit and the data selection unit.
優先度を付与される前記データについて、優先度が最も高い前記データは直接前記データ選択部を介して前記アプリケーション実行部に与えられ、相対的に優先度が低い前記データは前記データ管理部に保持されることを特徴する電子制御装置。The electronic control device according to claim 1.
Regarding the data to which the priority is given, the data having the highest priority is directly given to the application execution unit via the data selection unit, and the data having a relatively low priority is held in the data management unit. An electronic control device characterized by being
優先度を定義するための前記優先度定義情報は、センシングされたデータとして、移動物体である歩行者、車両、自転車、バイク、および進路上や側道上を移動する物体、あるいは静的物体である標識、信号機、障害物、街路樹、および進路上や側道上に静止している物体の少なくとも1つの物体の情報に優先度を付与するに際し、優先度の分解能、優先度の付与条件および、優先度に応じたデータの処理手段の少なくとも1つについて定義したものであることを特徴する電子制御装置。The electronic control device according to claim 13.
The priority definition information for defining the priority is a moving object such as a pedestrian, a vehicle, a bicycle, a motorcycle, an object moving on a course or a side road, or a static object as sensed data. When prioritizing the information of at least one object such as a sign, a traffic light, an obstacle, a street tree, and an object stationary on a path or a side road, the resolution of the priority, the condition for assigning the priority, and the priority are given. An electronic control device that defines at least one of data processing means according to the degree.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018178563 | 2018-09-25 | ||
JP2018178563 | 2018-09-25 | ||
PCT/JP2019/030827 WO2020066305A1 (en) | 2018-09-25 | 2019-08-06 | Electronic control device |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020066305A1 true JPWO2020066305A1 (en) | 2021-06-03 |
JP7301865B2 JP7301865B2 (en) | 2023-07-03 |
Family
ID=69950508
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020548092A Active JP7301865B2 (en) | 2018-09-25 | 2019-08-06 | electronic controller |
Country Status (3)
Country | Link |
---|---|
JP (1) | JP7301865B2 (en) |
CN (1) | CN112424851B (en) |
WO (1) | WO2020066305A1 (en) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009237898A (en) * | 2008-03-27 | 2009-10-15 | Daihatsu Motor Co Ltd | Image recognition device |
JP2012008761A (en) * | 2010-06-24 | 2012-01-12 | Honda Motor Co Ltd | Inter-vehicle communication device |
JP2012118726A (en) * | 2010-11-30 | 2012-06-21 | Sanyo Electric Co Ltd | Wireless device |
JP2014235510A (en) * | 2013-05-31 | 2014-12-15 | 株式会社デンソー | Traveling path information generation device |
JP2018054470A (en) * | 2016-09-29 | 2018-04-05 | マツダ株式会社 | Target detection system for vehicle |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102439644B (en) * | 2009-06-04 | 2014-09-03 | 丰田自动车株式会社 | Vehicle surrounding monitor device and method for monitoring surroundings used for vehicle |
JP2011027457A (en) * | 2009-07-22 | 2011-02-10 | Fujitsu Ten Ltd | Object detecting device, information processing method and information processing system |
JP5594436B2 (en) * | 2011-09-22 | 2014-09-24 | 日産自動車株式会社 | Vehicle control device |
US20150153184A1 (en) * | 2013-12-04 | 2015-06-04 | GM Global Technology Operations LLC | System and method for dynamically focusing vehicle sensors |
CN105216792A (en) * | 2014-06-12 | 2016-01-06 | 株式会社日立制作所 | Obstacle target in surrounding environment is carried out to the method and apparatus of recognition and tracking |
JP6551384B2 (en) * | 2016-12-26 | 2019-07-31 | トヨタ自動車株式会社 | Vehicle alert device |
-
2019
- 2019-08-06 JP JP2020548092A patent/JP7301865B2/en active Active
- 2019-08-06 WO PCT/JP2019/030827 patent/WO2020066305A1/en active Application Filing
- 2019-08-06 CN CN201980047016.9A patent/CN112424851B/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009237898A (en) * | 2008-03-27 | 2009-10-15 | Daihatsu Motor Co Ltd | Image recognition device |
JP2012008761A (en) * | 2010-06-24 | 2012-01-12 | Honda Motor Co Ltd | Inter-vehicle communication device |
JP2012118726A (en) * | 2010-11-30 | 2012-06-21 | Sanyo Electric Co Ltd | Wireless device |
JP2014235510A (en) * | 2013-05-31 | 2014-12-15 | 株式会社デンソー | Traveling path information generation device |
JP2018054470A (en) * | 2016-09-29 | 2018-04-05 | マツダ株式会社 | Target detection system for vehicle |
Also Published As
Publication number | Publication date |
---|---|
CN112424851B (en) | 2023-07-07 |
JP7301865B2 (en) | 2023-07-03 |
CN112424851A (en) | 2021-02-26 |
WO2020066305A1 (en) | 2020-04-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20230135798A1 (en) | Vehicle control device and vehicle control method | |
US11645916B2 (en) | Moving body behavior prediction device and moving body behavior prediction method | |
JP6916953B2 (en) | Vehicle control devices, vehicle control methods, and programs | |
CN110001643B (en) | Vehicle control device, vehicle control method, storage medium, and information acquisition device | |
JP5880580B2 (en) | Vehicle behavior prediction device, vehicle behavior prediction method, and driving support device | |
JP6738957B2 (en) | Vehicle control system, vehicle control method, and vehicle control program | |
CN110573978A (en) | Dynamic sensor selection for self-driving vehicles | |
JP7440324B2 (en) | Vehicle control device, vehicle control method, and program | |
JPWO2018096644A1 (en) | VEHICLE DISPLAY CONTROL DEVICE, VEHICLE DISPLAY CONTROL METHOD, AND VEHICLE DISPLAY CONTROL PROGRAM | |
US11398150B2 (en) | Navigation analysis for a multi-lane roadway | |
US10803307B2 (en) | Vehicle control apparatus, vehicle, vehicle control method, and storage medium | |
CN113515115A (en) | Controller for autonomous vehicle, and network component | |
WO2021127468A1 (en) | Systems and methods for presenting curated autonomy-system information of a vehicle | |
CN113165670A (en) | Intelligent driving method, device, storage medium and computer program | |
US20200283024A1 (en) | Vehicle, information processing apparatus, control methods thereof, and system | |
JP7313298B2 (en) | VEHICLE CONTROL DEVICE, VEHICLE CONTROL METHOD, AND PROGRAM | |
JP2019064538A (en) | Vehicle control device, vehicle control method, and program | |
CN111731295A (en) | Travel control device, travel control method, and storage medium storing program | |
KR20240047408A (en) | Detected object path prediction for vision-based systems | |
CN116588080A (en) | Method and system for cruising in parking lot | |
JP7180364B2 (en) | VEHICLE CONTROL DEVICE, VEHICLE, AND VEHICLE CONTROL METHOD | |
JP2021006448A (en) | Vehicle-platoon implementation under autonomous driving system designed for single vehicle traveling | |
KR102562381B1 (en) | System and Method for Contextualizing Objects in Vehicle Horizon | |
US20230339509A1 (en) | Pull-over site selection | |
JP6867257B2 (en) | Vehicle control devices, vehicles, vehicle control methods and programs |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201116 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211124 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20220117 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220318 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220809 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221004 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230124 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230301 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230620 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230621 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7301865 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |