JP7355050B2 - 車両制御装置、車両制御方法およびプログラム - Google Patents
車両制御装置、車両制御方法およびプログラム Download PDFInfo
- Publication number
- JP7355050B2 JP7355050B2 JP2021034590A JP2021034590A JP7355050B2 JP 7355050 B2 JP7355050 B2 JP 7355050B2 JP 2021034590 A JP2021034590 A JP 2021034590A JP 2021034590 A JP2021034590 A JP 2021034590A JP 7355050 B2 JP7355050 B2 JP 7355050B2
- Authority
- JP
- Japan
- Prior art keywords
- driving vehicle
- vehicle
- stop
- automatic driving
- person
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 70
- 238000013500 data storage Methods 0.000 claims description 70
- 230000008921 facial expression Effects 0.000 claims description 4
- 238000012545 processing Methods 0.000 description 78
- 230000007613 environmental effect Effects 0.000 description 17
- 238000012986 modification Methods 0.000 description 11
- 230000004048 modification Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 238000001514 detection method Methods 0.000 description 8
- 238000013527 convolutional neural network Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 230000000877 morphologic effect Effects 0.000 description 4
- 238000006424 Flood reaction Methods 0.000 description 3
- 230000002457 bidirectional effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
- B60W60/0025—Planning or execution of driving tasks specially adapted for specific operations
- B60W60/00253—Taxi operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/06—Automatic manoeuvring for parking
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W10/00—Conjoint control of vehicle sub-units of different type or different function
- B60W10/18—Conjoint control of vehicle sub-units of different type or different function including control of braking systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W10/00—Conjoint control of vehicle sub-units of different type or different function
- B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
- B60W60/0015—Planning or execution of driving tasks specially adapted for safety
- B60W60/0017—Planning or execution of driving tasks specially adapted for safety of other traffic participants
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2520/00—Input parameters relating to overall vehicle dynamics
- B60W2520/04—Vehicle stop
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/041—Potential occupants
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/049—Number of occupants
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/21—Voice
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/215—Selection or confirmation of options
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/223—Posture, e.g. hand, foot, or seat position, turned or inclined
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/40—Dynamic objects, e.g. animals, windblown objects
- B60W2554/402—Type
- B60W2554/4029—Pedestrians
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/40—Dynamic objects, e.g. animals, windblown objects
- B60W2554/404—Characteristics
- B60W2554/4046—Behavior, e.g. aggressive or erratic
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
- B60W2555/20—Ambient conditions, e.g. wind or rain
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2556/00—Input parameters relating to data
- B60W2556/10—Historical data
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Mechanical Engineering (AREA)
- Transportation (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Automation & Control Theory (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Artificial Intelligence (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Biodiversity & Conservation Biology (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Traffic Control Systems (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
Description
自動運転車両の停止を要求するときの人の基準ジェスチャ画像に関するデータを事前に記憶している基準データ記憶部と
自動運転車両の自律走行中に、自動運転車両の周りに人がいることを認識する認識部と、
認識部により自動運転車両の周りに人がいることが認識されたときに、自動運転車両の周りにいる人のジェスチャ画像に関するデータを記憶する走行中データ記憶部と、
基準データ記憶部に記憶された基準ジェスチャ画像に関するデータと走行中データ記憶部に記憶されたジェスチャ画像に関するデータとの照合作業を行うことにより、自動運転車両の周りにいる人のジェスチャが、自動運転車両の停止を要求しているジェスチャであるか否かを判別する判別部と
自動運転車両の走行地域に関係する災害が発生しているか否かを判定する災害発生判定部とを具備しており、
判別部により、自動運転車両の周りにいる人のジェスチャが、自動運転車両の停止を要求しているジェスチャであると判別されたときに、災害発生判定部により災害が発生していると判定された場合には、自動運転車両を自動運転車両の停止を要求している人の周囲で停車させ、災害発生判定部により災害が発生していないと判定されたときには、自動運転車両の周りにいる人のジェスチャが、自動運転車両の停止を要求しているジェスチャであったとしても自動運転車両を自動運転車両の停止を要求している人の周囲で停車させない車両制御装置が提供される。
また、本発明によれば、運行指令に基づいて自律走行を行う自動運転車両の車両制御装置において、
自動運転車両の停止を要求するときの人の基準ジェスチャ画像に関するデータおよび自動運転車両の停止を要求するときの基準の言葉に関するデータを事前に記憶している基準データ記憶部と、
自動運転車両の走行地域に関係する災害が発生しているか否かを判定する災害発生判定部と、
災害発生判定部により災害が発生していると判定されたときに、自動運転車両の自律走行中に、自動運転車両の周りに人がいることを認識する認識部と、
災害発生判定部により災害が発生していると判定されかつ認識部により自動運転車両の周りに人がいることが認識されたときに、自動運転車両の周りにいる人のジェスチャ画像に関するデータおよび自動運転車両の周りにいる人の言葉に関するデータを記憶する走行中データ記憶部と、
災害発生判定部により災害が発生していると判定されたときに、基準データ記憶部に記憶された基準ジェスチャ画像に関するデータと走行中データ記憶部に記憶されたジェスチャ画像に関するデータとの照合作業および基準データ記憶部に記憶された基準の言葉に関するデータと走行中データ記憶部に記憶された言葉に関するデータとの照合作業の少なくとも一方の照合作業を行うことにより、自動運転車両の周りにいる人のジェスチャが、自動運転車両の停止を要求しているジェスチャであるか否か、又は、自動運転車両の周りにいる人の言葉が、自動運転車両の停止を要求している言葉であるか否かを判別する判別部とを具備しており、
判別部により、自動運転車両の周りにいる人のジェスチャが、自動運転車両の停止を要求しているジェスチャであると判別されたとき、又は、自動運転車両の周りにいる人の言葉が、自動運転車両の停止を要求している言葉であると判別されたときに、自動運転車両を自動運転車両の停止を要求している人の周囲で停車させる車両制御装置が提供される。
更に、本発明によれば、運行指令に基づいて自律走行を行う自動運転車両の車両制御方法において、自動運転車両に搭載されたコンピュータが、
自動運転車両の停止を要求するときの人の基準ジェスチャ画像に関するデータを事前に記憶し、
自動運転車両の自律走行中に、自動運転車両の周りに人がいることを認識したときに、自動運転車両の周りにいる人のジェスチャ画像に関するデータを記憶し、
記憶された基準ジェスチャ画像に関するデータと記憶されたジェスチャ画像に関するデータとの照合作業を行うことにより、自動運転車両の周りにいる人のジェスチャが、自動運転車両の停止を要求しているジェスチャであるか否かを判別し、
自動運転車両の走行地域に関係する災害が発生しているか否かを判定し、
自動運転車両の周りにいる人のジェスチャが、自動運転車両の停止を要求しているジェスチャであると判別されたときに、上述の災害が発生していると判定された場合には、自動運転車両を自動運転車両の停止を要求している人の周囲で停車させ、上述の災害が発生していないと判定されたときには、自動運転車両の周りにいる人のジェスチャが、自動運転車両の停止を要求しているジェスチャであったとしても自動運転車両を自動運転車両の停止を要求している人の周囲で停車させない車両制御方法が提供される。
更に、本発明によれば、
運行指令に基づいて自律走行を行う自動運転車両を制御し、
自動運転車両の停止を要求するときの人の基準ジェスチャ画像に関するデータを事前に記憶し、
自動運転車両の自律走行中に、自動運転車両の周りに人がいることを認識したときに、自動運転車両の周りにいる人のジェスチャ画像に関するデータを記憶し、
記憶された基準ジェスチャ画像に関するデータと記憶されたジェスチャ画像に関するデータとの照合作業を行うことにより、自動運転車両の周りにいる人のジェスチャが、自動運転車両の停止を要求しているジェスチャであるか否かを判別し、
自動運転車両の走行地域に関係する災害が発生しているか否かを判定し、
自動運転車両の周りにいる人のジェスチャが、自動運転車両の停止を要求しているジェスチャであると判別されたときに、上述の災害が発生していると判定された場合には、自動運転車両を自動運転車両の停止を要求している人の周囲で停車させ、上述の災害が発生していないと判定されたときには、自動運転車両の周りにいる人のジェスチャが、自動運転車両の停止を要求しているジェスチャであったとしても自動運転車両を自動運転車両の停止を要求している人の周囲で停車させないよう、自動運転車両に搭載されたコンピュータを機能させるためのプログラムが提供される。
2番目の発明では、1番目の発明の効果に加え、言葉でもっても自動運転車両を停止させることが可能となる。
図3を参照すると、まず初めに、ステップ40において、サーバ20から運行指令を受信したか否かが判別される。サーバ20から運行指令を受信していないと判別されたときには処理サイクルを終了する。これに対し、サーバ20から運行指令を受信したと判別されたときにはステップ41に進んで、運行指令が取得される。次いで、ステップ42では、運行指令に基づいて、車両1の走行経路、走行速度および停車位置等の運行計画が生成される。
一方、この循環バスのような自動運転車両は、周囲の状況を検知し得る種々のセンサを備えており、従って、これらセンサを用いて、ジェスチャを検出可能である。そこで、本発明による実施例では、これらセンサを用いて、ジェスチャを検出し、ジェスチャが自動運転車両の停止を要求しているジェスチャであると判別されたときには、自動運転車両を停止させるようにしている。
図6を参照すると、まず初めに、ステップ100において、車両1に搭載されている環境情報センサ11の一つであるカメラにより撮影され続けられている走行中の車両1の周囲の画像が取得される。次いで、ステップ101では、カメラにより撮影された画面から、人の存在の認識処理が行われる。この場合、車両1の周囲に人がいるときには、カメラにより撮影された画面上に人を囲むバウンディングボックスが表示され、それにより人の存在が認識される。次いで、ステップ102では、カメラにより撮影された画面から、車両1の周囲に人が存在しているか否かが判別される。車両1の周囲に人が存在していないと判別されたときには、処理サイクルを終了する。これに対し、車両1の周囲に人が存在していると判別されたときにはステップ103に進む。
図7を参照すると、まず初めに、ステップ120において、電子制御ユニット4のメモリ8内に事前に記憶されている基準ジェスチャに関する画像データが読み込まれる。次いで、ステップ121では、走行中に取得された車両1の周囲にいる人のジェスチャに関する画像データであって電子制御ユニット4のメモリ8内に記憶されている画像データが読み込まれる。次いで、ステップ122では、走行中に取得された車両1の周囲にいる人のジェスチャに関する画像データと基準ジェスチャに関する画像データとが照合され、走行中に取得された車両1の周囲にいる人のジェスチャに関する画像データが、車両1の停止を要求しているジェスチャであるか否かの判別が行われる。
図8を参照すると、まず初めに、ステップ140において、停止要求フラグAがセットされているか否かが判別される。停止要求フラグAがセットされていないときには、処理サイクルを終了する。これに対し、停止要求フラグAがセットされているときには、ステップ141に進んで、車両1の走行地域に関係する地震、津波、洪水、火災、大雨等の災害の発生情報が取得される。この災害の発生情報としては、例えば、サーバ20から取得した災害の発生に関する外部からの情報を用いることもできるし、車両1に搭載されている環境情報センサ11により取得された災害の発生に関する情報を用いることもできる。例えば、環境情報センサ11として車両1に振動センサを搭載しておき、この振動センサにより地震が発生したか否かの情報を取得することができる。また、環境情報センサ11として車両1に浸水センサを搭載しておき、この浸水センサにより津波、洪水、大雨等が発生したか否かの情報を取得することができる。また、車載カメラにより撮影された建物や道路の損傷の画像から、地震が発生したか否かの情報を取得することができ、車載カメラにより撮影された炎や煙の画像から、火災が発生したか否かの情報を取得することができる。
また、別の見方をすると、本発明による第1実施例では、運行指令に基づいて自律走行を行う自動運転車両1の車両制御方法において、自動運転車両1の停止を要求するときの人の基準ジェスチャ画像に関するデータを事前に記憶し、自動運転車両1の自律走行中に、自動運転車両1の周りに人がいることを認識したときに、自動運転車両1の周りにいる人のジェスチャ画像に関するデータを記憶し、記憶された基準ジェスチャ画像に関するデータと記憶されたジェスチャ画像に関するデータとの照合作業を行うことにより、自動運転車両1の周りにいる人のジェスチャが、自動運転車両1の停止を要求しているジェスチャであるか否かを判別し、自動運転車両1の走行地域に関係する災害が発生しているか否かを判定し、自動運転車両1の周りにいる人のジェスチャが、自動運転車両1の停止を要求しているジェスチャであると判別されたときに、上述の災害が発生していると判定された場合には、自動運転車両1を自動運転車両1の停止を要求している人の周囲で停車させる車両制御方法が提供される。
また、本発明による第1実施例では、この車両制御方法を実行するよう、コンピュータを機能させるためのプログラムが提供される。
図10は、車両1の走行中に、車両1に搭載されている電子制御ユニット4内において実行されるデータ記憶処理ルーチンを示している。このルーチンは、一定時間毎の割り込みによって実行される。
図10を参照すると、まず初めに、ステップ200において、車両1に搭載されている環境情報センサ11の一つであるカメラにより撮影され続けられている走行中の車両1の周囲の画像が取得される。次いで、ステップ201では、カメラにより撮影された画面から、人の存在の認識処理が行われる。この場合、車両1の周囲に人がいるときには、カメラにより撮影された画面上に人を囲むバウンディングボックスが表示され、それにより人の存在が認識される。次いで、ステップ202では、カメラにより撮影された画面から、車両1の周囲に人が存在しているか否かが判別される。車両1の周囲に人が存在していないと判別されたときには、処理サイクルを終了する。これに対し、車両1の周囲に人が存在していると判別されたときにはステップ203に進む。
図12を参照すると、まず初めに、ステップ240において、電子制御ユニット4のメモリ8内に事前に記憶されている基準の言葉に関するデータが読み込まれる。この基準の言葉について説明すると、自動運転車両の停止を要求するときの言葉も、人、地域、国によって異なる種々の言葉が存在している。このような言葉の例としては、「乗せて」とか、「助けて」が挙げられる。そこで、この変形例では、これら言葉のうち代表的な多数の言葉が基準の言葉として予め選定され、選定された基準の言葉を人に発してもらうことにより基準の言葉が集音器により取得される。基準の言葉が取得されると、音声認識技術を用いて、基準の言葉から特徴量が抽出され、抽出された特徴量に基づいて文章化され、文章化されたデータ、即ち、言葉に関するデータが電子制御ユニット4のメモリ8内に記憶される。ステップ240では、電子制御ユニット4のメモリ8内に事前に記憶されているこの基準の言葉に関するデータが読み込まれる。
図13を参照すると、まず初めに、ステップ260において、図7に示される車両停止判別処理ルーチンにおいてセットされる停止要求フラグAがセットされているか否かが判別される。停止要求フラグAがセットされているときには、ステップ262にジャンプする。これに対し、停止要求フラグAがセットされていないときには、ステップ261に進んで、図12に示される車両停止判別処理ルーチンにおいてセットされる停止要求フラグBがセットされているか否かが判別される。停止要求フラグBがセットされているときには、ステップ262に進む。これに対し、停止要求フラグBがセットされていないときには、処理サイクルを終了する。
図14を参照すると、まず初めに、ステップ300において、車両1の走行地域に関係する地震、津波、洪水、火災、大雨等の災害の発生情報が取得される。次いで、ステップ301では、ステップ300において取得された災害の発生情報に基づいて、災害が発生したか否かが判別される。災害が発生していないと判別されたときには、処理サイクルを終了する。これに対し、災害が発生したと判別されたときには、ステップ302に進んで、種々の処理ルーチンが実行される。
2 車両駆動部
5、21 電子制御ユニット
70,80 基準データ記憶部
71,82 認識部
72,83 走行中データ記憶部
73,84 判別部
74,81 災害発生判定部
Claims (10)
- 運行指令に基づいて自律走行を行う自動運転車両の車両制御装置において、
該自動運転車両の停止を要求するときの人の基準ジェスチャ画像に関するデータを事前に記憶している基準データ記憶部と
該自動運転車両の自律走行中に、該自動運転車両の周りに人がいることを認識する認識部と、
該認識部により該自動運転車両の周りに人がいることが認識されたときに、該自動運転車両の周りにいる人のジェスチャ画像に関するデータを記憶する走行中データ記憶部と、
該基準データ記憶部に記憶された基準ジェスチャ画像に関するデータと該走行中データ記憶部に記憶されたジェスチャ画像に関するデータとの照合作業を行うことにより、該自動運転車両の周りにいる人のジェスチャが、該自動運転車両の停止を要求しているジェスチャであるか否かを判別する判別部と
該自動運転車両の走行地域に関係する災害が発生しているか否かを判定する災害発生判定部とを具備しており、
該判別部により、該自動運転車両の周りにいる人のジェスチャが、該自動運転車両の停止を要求しているジェスチャであると判別されたときに、該災害発生判定部により災害が発生していると判定された場合には、該自動運転車両を該自動運転車両の停止を要求している人の周囲で停車させ、該災害発生判定部により災害が発生していないと判定されたときには、該自動運転車両の周りにいる人のジェスチャが、該自動運転車両の停止を要求しているジェスチャであったとしても該自動運転車両を該自動運転車両の停止を要求している人の周囲で停車させない車両制御装置。 - 該基準データ記憶部が、該自動運転車両の停止を要求するときの人の基準ジェスチャ画像に関するデータに加え、該自動運転車両の停止を要求するときの基準の言葉に関するデータを事前に記憶しており、
該走行中データ記憶部が、該自動運転車両の周りにいる人のジェスチャ画像に関するデータに加え、該自動運転車両の周りにいる人の言葉に関するデータを記憶し、
該判別部が、該基準データ記憶部に記憶された基準ジェスチャ画像に関するデータと該走行中データ記憶部に記憶されたジェスチャ画像に関するデータとの照合作業および該基準データ記憶部に記憶された基準の言葉に関するデータと該走行中データ記憶部に記憶された言葉に関するデータとの照合作業の少なくとも一方の照合作業を行うことにより、該自動運転車両の周りにいる人のジェスチャが、該自動運転車両の停止を要求しているジェスチャであるか否か、又は、該自動運転車両の周りにいる人の言葉が、該自動運転車両の停止を要求している言葉であるか否かを判別し、
該判別部により、該自動運転車両の周りにいる人のジェスチャが、該自動運転車両の停止を要求しているジェスチャであると判別されたとき、又は、該自動運転車両の周りにいる人の言葉が、該自動運転車両の停止を要求している言葉であると判別されたときに、該災害発生判定部により災害が発生していると判定された場合には、該自動運転車両を該自動運転車両の停止を要求している人の周囲で停車させる請求項1に記載の車両制御装置 - 該災害発生判定部により災害が発生していると判定されたときに、該自動運転車両の停止を要求している人の該自動運転車両への乗車を許容するか否かを判定する乗車許容判定部を具備しており、該乗車許容判定部は、該自動運転車両に既に乗車している人の数又は既に乗車している人の要求を検知して、該自動運転車両に既に乗車している人の数が許容人数に達している場合、又は、該自動運転車両に既に乗車している人が該自動運転車両の停止を要求している人の乗車拒否を要求している場合には、該自動運転車両の停止を要求している人の該自動運転車両への乗車を許容しないと判定し、該判別部により、該自動運転車両の周りにいる人のジェスチャが、該自動運転車両の停止を要求しているジェスチャであると判別されたときであっても、該乗車許容判定部により該自動運転車両の停止を要求している人の該自動運転車両への乗車を許容しないと判定されたときには、該自動運転車両を該自動運転車両の停止を要求している人の周囲で停車させない請求項1に記載の車両制御装置。
- 該災害発生判定部により災害が発生していると判定されたときに、該自動運転車両の停止を要求している人の該自動運転車両への乗車を許容するか否かを判定する乗車許容判定部を具備しており、該乗車許容判定部は、該自動運転車両の停止要求がいたずらであるか否かを該自動運転車両の停止を要求している人の表情から判別して、該自動運転車両の停止要求がいたずらであると判定した場合には、該自動運転車両の停止を要求している人の該自動運転車両への乗車を許容しないと判定し、該判別部により、該自動運転車両の周りにいる人のジェスチャが、該自動運転車両の停止を要求しているジェスチャであると判別されたときであっても、該乗車許容判定部により該自動運転車両の停止を要求している人の該自動運転車両への乗車を許容しないと判定されたときには、該自動運転車両を該自動運転車両の停止を要求している人の周囲で停車させない請求項1に記載の車両制御装置。
- 運行指令に基づいて自律走行を行う自動運転車両の車両制御装置において、
該自動運転車両の停止を要求するときの人の基準ジェスチャ画像に関するデータおよび該自動運転車両の停止を要求するときの基準の言葉に関するデータを事前に記憶している基準データ記憶部と、
該自動運転車両の走行地域に関係する災害が発生しているか否かを判定する災害発生判定部と、
該災害発生判定部により災害が発生していると判定されたときに、該自動運転車両の自律走行中に、該自動運転車両の周りに人がいることを認識する認識部と、
該災害発生判定部により災害が発生していると判定されかつ該認識部により該自動運転車両の周りに人がいることが認識されたときに、該自動運転車両の周りにいる人のジェスチャ画像に関するデータおよび該自動運転車両の周りにいる人の言葉に関するデータを記憶する走行中データ記憶部と、
該災害発生判定部により災害が発生していると判定されたときに、該基準データ記憶部に記憶された基準ジェスチャ画像に関するデータと該走行中データ記憶部に記憶されたジェスチャ画像に関するデータとの照合作業および該基準データ記憶部に記憶された基準の言葉に関するデータと該走行中データ記憶部に記憶された言葉に関するデータとの照合作業の少なくとも一方の照合作業を行うことにより、該自動運転車両の周りにいる人のジェスチャが、該自動運転車両の停止を要求しているジェスチャであるか否か、又は、該自動運転車両の周りにいる人の言葉が、該自動運転車両の停止を要求している言葉であるか否かを判別する判別部とを具備しており、
該判別部により、該自動運転車両の周りにいる人のジェスチャが、該自動運転車両の停止を要求しているジェスチャであると判別されたとき、又は、該自動運転車両の周りにいる人の言葉が、該自動運転車両の停止を要求している言葉であると判別されたときに、該自動運転車両を該自動運転車両の停止を要求している人の周囲で停車させる車両制御装置。 - 該災害発生判定部により災害が発生していないと判定されたときには、該自動運転車両の周りにいる人のジェスチャが、該自動運転車両の停止を要求しているジェスチャであったとしても、又は、該自動運転車両の周りにいる人の言葉が、該自動運転車両の停止を要求している言葉であったとしても、該自動運転車両を該自動運転車両の停止を要求している人の周囲で停車させない請求項5に記載の車両制御装置。
- 該自動運転車両の停止を要求している人の該自動運転車両への乗車を許容するか否かを判定する乗車許容判定部を具備しており、該乗車許容判定部は、該自動運転車両に既に乗車している人の数又は既に乗車している人の要求を検知して、該自動運転車両に既に乗車している人の数が許容人数に達している場合、又は、該自動運転車両に既に乗車している人が該自動運転車両の停止を要求している人の乗車拒否を要求している場合には、該自動運転車両の停止を要求している人の該自動運転車両への乗車を許容しないと判定し、該判別部により、該自動運転車両の周りにいる人のジェスチャが、該自動運転車両の停止を要求しているジェスチャであると判別されたとき、又は、該自動運転車両の周りにいる人の言葉が、該自動運転車両の停止を要求している言葉であると判別されたときであっても、該乗車許容判定部により該自動運転車両の停止を要求している人の該自動運転車両への乗車を許容しないと判定されたときには、該自動運転車両を該自動運転車両の停止を要求している人の周囲で停車させない請求項5に記載の車両制御装置。
- 該自動運転車両の停止を要求している人の該自動運転車両への乗車を許容するか否かを判定する乗車許容判定部を具備しており、該乗車許容判定部は、該自動運転車両の停止要求がいたずらであるか否かを該自動運転車両の停止を要求している人の表情から判別して、該自動運転車両の停止要求がいたずらであると判定したときには、該自動運転車両の停止を要求している人の該自動運転車両への乗車を許容しないと判定し、該判別部により、該自動運転車両の周りにいる人のジェスチャが、該自動運転車両の停止を要求しているジェスチャであると判別されたとき、又は、該自動運転車両の周りにいる人の言葉が、該自動運転車両の停止を要求している言葉であると判別されたときであっても、該乗車許容判定部により該自動運転車両の停止を要求している人の該自動運転車両への乗車を許容しないと判定されたときには、該自動運転車両を該自動運転車両の停止を要求している人の周囲で停車させない請求項5に記載の車両制御装置。
- 運行指令に基づいて自律走行を行う自動運転車両の車両制御方法において、該自動運転車両に搭載されたコンピュータが、
該自動運転車両の停止を要求するときの人の基準ジェスチャ画像に関するデータを事前に記憶し、
該自動運転車両の自律走行中に、該自動運転車両の周りに人がいることを認識したときに、該自動運転車両の周りにいる人のジェスチャ画像に関するデータを記憶し、
記憶された基準ジェスチャ画像に関するデータと記憶されたジェスチャ画像に関するデータとの照合作業を行うことにより、該自動運転車両の周りにいる人のジェスチャが、該自動運転車両の停止を要求しているジェスチャであるか否かを判別し、
該自動運転車両の走行地域に関係する災害が発生しているか否かを判定し、
該自動運転車両の周りにいる人のジェスチャが、該自動運転車両の停止を要求しているジェスチャであると判別されたときに、該災害が発生していると判定された場合には、該自動運転車両を該自動運転車両の停止を要求している人の周囲で停車させ、該災害が発生していないと判定されたときには、該自動運転車両の周りにいる人のジェスチャが、該自動運転車両の停止を要求しているジェスチャであったとしても該自動運転車両を該自動運転車両の停止を要求している人の周囲で停車させない車両制御方法。 - 運行指令に基づいて自律走行を行う自動運転車両を制御し、
該自動運転車両の停止を要求するときの人の基準ジェスチャ画像に関するデータを事前に記憶し、
該自動運転車両の自律走行中に、該自動運転車両の周りに人がいることを認識したときに、該自動運転車両の周りにいる人のジェスチャ画像に関するデータを記憶し、
記憶された基準ジェスチャ画像に関するデータと記憶されたジェスチャ画像に関するデータとの照合作業を行うことにより、該自動運転車両の周りにいる人のジェスチャが、該自動運転車両の停止を要求しているジェスチャであるか否かを判別し、
該自動運転車両の走行地域に関係する災害が発生しているか否かを判定し、
該自動運転車両の周りにいる人のジェスチャが、該自動運転車両の停止を要求しているジェスチャであると判別されたときに、該災害が発生していると判定された場合には、該自動運転車両を該自動運転車両の停止を要求している人の周囲で停車させ、該災害が発生していないと判定されたときには、該自動運転車両の周りにいる人のジェスチャが、該自動運転車両の停止を要求しているジェスチャであったとしても該自動運転車両を該自動運転車両の停止を要求している人の周囲で停車させないよう、該自動運転車両に搭載されたコンピュータを機能させるためのプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021034590A JP7355050B2 (ja) | 2021-03-04 | 2021-03-04 | 車両制御装置、車両制御方法およびプログラム |
US17/573,757 US11938971B2 (en) | 2021-03-04 | 2022-01-12 | Vehicle control device, vehicle control method, and storage medium |
CN202210197518.3A CN115092120A (zh) | 2021-03-04 | 2022-03-02 | 车辆控制装置、车辆控制方法以及记录介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021034590A JP7355050B2 (ja) | 2021-03-04 | 2021-03-04 | 車両制御装置、車両制御方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022135028A JP2022135028A (ja) | 2022-09-15 |
JP7355050B2 true JP7355050B2 (ja) | 2023-10-03 |
Family
ID=83116869
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021034590A Active JP7355050B2 (ja) | 2021-03-04 | 2021-03-04 | 車両制御装置、車両制御方法およびプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US11938971B2 (ja) |
JP (1) | JP7355050B2 (ja) |
CN (1) | CN115092120A (ja) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017191562A (ja) | 2016-04-15 | 2017-10-19 | 本田技研工業株式会社 | 車両制御システム、車両制御方法、および車両制御プログラム |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017121865A (ja) | 2016-01-07 | 2017-07-13 | トヨタ自動車株式会社 | 自動運転車両 |
JP6862257B6 (ja) * | 2017-04-14 | 2021-06-23 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 自動運転車両、自動運転車両の停車方法及びプログラム |
US11436844B2 (en) * | 2017-04-28 | 2022-09-06 | Klashwerks Inc. | In-vehicle monitoring system and devices |
JP7107647B2 (ja) | 2017-07-06 | 2022-07-27 | 矢崎エナジーシステム株式会社 | 無人タクシー制御方法および無人タクシー制御装置 |
JP2019045370A (ja) * | 2017-09-05 | 2019-03-22 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 制御方法、自律走行車及び制御プログラム |
EP3854649B1 (en) * | 2018-10-24 | 2023-06-14 | Yamaha Hatsudoki Kabushiki Kaisha | Autonomous vehicle |
DE102018218671A1 (de) * | 2018-10-31 | 2020-04-30 | Audi Ag | Verfahren zum Betrieb eines autonomen Kraftfahrzeugs |
JP6916852B2 (ja) * | 2018-11-05 | 2021-08-11 | 本田技研工業株式会社 | 車両制御システム、車両制御方法、および車両制御プログラム |
US11347225B2 (en) * | 2019-02-05 | 2022-05-31 | Intel Corporation | Mechanism for conflict resolution and avoidance of collisions for highly automated and autonomous vehicles |
US11899448B2 (en) * | 2019-02-21 | 2024-02-13 | GM Global Technology Operations LLC | Autonomous vehicle that is configured to identify a travel characteristic based upon a gesture |
US11869244B2 (en) * | 2019-12-27 | 2024-01-09 | Nec Corporation | Notification device, notification method, and notification storage medium |
JP2023500993A (ja) * | 2020-01-03 | 2023-01-17 | モービルアイ ビジョン テクノロジーズ リミテッド | 歩行者を伴い、車両フリースペースを特定する車両ナビゲーション |
US11710352B1 (en) * | 2020-05-21 | 2023-07-25 | Zoox, Inc. | Machine-learned model training for pedestrian attribute and gesture detection |
-
2021
- 2021-03-04 JP JP2021034590A patent/JP7355050B2/ja active Active
-
2022
- 2022-01-12 US US17/573,757 patent/US11938971B2/en active Active
- 2022-03-02 CN CN202210197518.3A patent/CN115092120A/zh active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017191562A (ja) | 2016-04-15 | 2017-10-19 | 本田技研工業株式会社 | 車両制御システム、車両制御方法、および車両制御プログラム |
Also Published As
Publication number | Publication date |
---|---|
US20220281487A1 (en) | 2022-09-08 |
CN115092120A (zh) | 2022-09-23 |
JP2022135028A (ja) | 2022-09-15 |
US11938971B2 (en) | 2024-03-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11914377B1 (en) | Autonomous vehicle behavior when waiting for passengers | |
AU2021201755B2 (en) | Early boarding of passengers in autonomous vehicles | |
US10970747B2 (en) | Access and control for driving of autonomous vehicle | |
KR102498091B1 (ko) | 운전 제어 장치 및 운전 제어 방법, 그리고 프로그램 | |
JP2018190217A (ja) | 運転者監視装置、及び運転者監視方法 | |
US11972687B2 (en) | Parking control method | |
WO2022138123A1 (en) | Available parking space identification device, available parking space identification method, and program | |
JP2023529287A (ja) | 半自律車両のためのジェスチャベース制御 | |
JP7095757B2 (ja) | 乗車許可判断装置及び乗車許可判断方法 | |
JP7013776B2 (ja) | 車両制御装置、車両、及び自動配車方法 | |
CN113183948B (zh) | 一种基于交互服务的智能汽车的非固定车位自动移车方法及系统 | |
JP2021162960A (ja) | 収容領域管理装置 | |
KR20200125367A (ko) | 주차장에서의 자율 주행 방법 및 시스템 | |
JP7355050B2 (ja) | 車両制御装置、車両制御方法およびプログラム | |
US11866068B2 (en) | Detecting and responding to malfunctioning traffic signals for autonomous vehicles | |
CN115551755A (zh) | 为自主车辆仲裁摩擦制动和再生制动 | |
JP2018106667A (ja) | 情報処理装置、情報処理方法およびプログラム | |
JP2018106668A (ja) | 情報処理装置、情報処理方法およびプログラム | |
CN114207685A (zh) | 自主车辆交互系统 | |
KR102531722B1 (ko) | 차량 단말을 이용한 주차위치안내 서비스 방법 및 장치 | |
CN116206482B (zh) | 车位释放方法、电子设备及存储介质 | |
JP2018106666A (ja) | 情報処理装置、情報処理方法およびプログラム | |
JP7327428B2 (ja) | 感染防止システム | |
KR102614325B1 (ko) | 차량의 사고 이벤트를 분석하기 위한 전자 장치 및 그 동작방법 | |
JP2023066055A (ja) | 自動駐車システム、自動駐車方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220809 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230516 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230510 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230601 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230822 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230904 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7355050 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |