JP7324716B2 - 情報処理装置、移動装置、および方法、並びにプログラム - Google Patents
情報処理装置、移動装置、および方法、並びにプログラム Download PDFInfo
- Publication number
- JP7324716B2 JP7324716B2 JP2019569144A JP2019569144A JP7324716B2 JP 7324716 B2 JP7324716 B2 JP 7324716B2 JP 2019569144 A JP2019569144 A JP 2019569144A JP 2019569144 A JP2019569144 A JP 2019569144A JP 7324716 B2 JP7324716 B2 JP 7324716B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- driver
- unit
- driving
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 87
- 230000010365 information processing Effects 0.000 title claims description 69
- 238000012545 processing Methods 0.000 claims description 173
- 238000011084 recovery Methods 0.000 claims description 94
- 230000008569 process Effects 0.000 claims description 62
- 238000004891 communication Methods 0.000 claims description 52
- 230000007613 environmental effect Effects 0.000 claims description 43
- 230000006399 behavior Effects 0.000 claims description 27
- 210000005252 bulbus oculi Anatomy 0.000 claims description 14
- 206010062519 Poor quality sleep Diseases 0.000 claims description 11
- 238000003672 processing method Methods 0.000 claims description 11
- 210000001747 pupil Anatomy 0.000 claims description 7
- 230000008921 facial expression Effects 0.000 claims description 5
- 238000001514 detection method Methods 0.000 description 61
- 230000037007 arousal Effects 0.000 description 29
- 230000033001 locomotion Effects 0.000 description 29
- 238000003384 imaging method Methods 0.000 description 26
- 238000004458 analytical method Methods 0.000 description 25
- 238000010586 diagram Methods 0.000 description 24
- 230000000007 visual effect Effects 0.000 description 19
- 238000011156 evaluation Methods 0.000 description 17
- 230000004044 response Effects 0.000 description 16
- 230000001133 acceleration Effects 0.000 description 15
- 230000005856 abnormality Effects 0.000 description 11
- 238000012544 monitoring process Methods 0.000 description 10
- 230000010391 action planning Effects 0.000 description 8
- 230000008859 change Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 8
- 230000036626 alertness Effects 0.000 description 7
- 210000003128 head Anatomy 0.000 description 7
- 230000009467 reduction Effects 0.000 description 7
- 230000004434 saccadic eye movement Effects 0.000 description 7
- 230000009471 action Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 6
- 230000007423 decrease Effects 0.000 description 6
- 210000001508 eye Anatomy 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000004397 blinking Effects 0.000 description 5
- 238000012790 confirmation Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000015654 memory Effects 0.000 description 5
- 230000007704 transition Effects 0.000 description 5
- 210000004556 brain Anatomy 0.000 description 4
- 240000004050 Pentaglottis sempervirens Species 0.000 description 3
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 3
- 208000003443 Unconsciousness Diseases 0.000 description 3
- 238000013459 approach Methods 0.000 description 3
- 230000017531 blood circulation Effects 0.000 description 3
- 230000001788 irregular Effects 0.000 description 3
- 230000007774 longterm Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000013441 quality evaluation Methods 0.000 description 3
- 230000029058 respiratory gaseous exchange Effects 0.000 description 3
- 210000003462 vein Anatomy 0.000 description 3
- 230000002618 waking effect Effects 0.000 description 3
- 206010041349 Somnolence Diseases 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000008602 contraction Effects 0.000 description 2
- 230000001186 cumulative effect Effects 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 208000035985 Body Odor Diseases 0.000 description 1
- 206010040904 Skin odour abnormal Diseases 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000002730 additional effect Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000004071 biological effect Effects 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 230000003925 brain function Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 238000002599 functional magnetic resonance imaging Methods 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000004459 microsaccades Effects 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003387 muscular Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000004439 pupillary reactions Effects 0.000 description 1
- 230000009017 pursuit movement Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000004092 self-diagnosis Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000035900 sweating Effects 0.000 description 1
- 230000029305 taxis Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/005—Handover processes
- B60W60/0053—Handover processes from vehicle to occupant
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
- B60W30/095—Predicting travel path or likelihood of collision
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
- B60W40/06—Road conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
- B60W60/0015—Planning or execution of driving tasks specially adapted for safety
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/005—Handover processes
- B60W60/0057—Estimation of the time available or required for the handover
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/005—Handover processes
- B60W60/0059—Estimation of the risk associated with autonomous or manual driving, e.g. situation too complex, sensor failure or driver incapacity
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/0055—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot with safety arrangements
- G05D1/0061—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot with safety arrangements for transition from automatic pilot to manual pilot and vice versa
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0062—Adapting control system settings
- B60W2050/0063—Manual parameter input, manual setting means, manual initialising or calibrating means
- B60W2050/0064—Manual parameter input, manual setting means, manual initialising or calibrating means using a remote, e.g. cordless, transmitter or receiver unit, e.g. remote keypad or mobile phone
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0062—Adapting control system settings
- B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0062—Adapting control system settings
- B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
- B60W2050/0083—Setting, resetting, calibration
- B60W2050/0088—Adaptive recalibration
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/143—Alarm means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/146—Display means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B60W2420/408—
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/043—Identity of occupants
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/221—Physiology, e.g. weight, heartbeat, health or special needs
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/223—Posture, e.g. hand, foot, or seat position, turned or inclined
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/225—Direction of gaze
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2556/00—Input parameters relating to data
- B60W2556/45—External transmission of data to or from the vehicle
Description
自動運転技術は、車両(自動車)に備えられた位置検出手段等の様々なセンサを用いて、道路上を自動走行可能とする技術であり、今後、急速に普及することが予測される。
例えば、高速道路等、直線的で道路幅が十分な道路では、自動運転モードでの走行を行うが、高速道路から出て駐車場の好きな位置に車を止める場合や、道路幅の狭い山道等では手動運転モードに切り替えて運転者(ドライバ)の操作で走行を行うといったモード切り替えが必要となると予測される。
しかし、例えば、自動運転実行中に、運転者が居眠りをすると、運転者の覚醒度が低下する。すなわち意識レベルが低下した状態となる。このような覚醒度が低下した状態で手動運転モードに切り替えてしまうと、正常な手動運転を行うことができず、最悪の場合、事故を起こす可能性がある。
このためには、運転者の覚醒度の確認が必要である。
運転者の覚醒度を確認する技術を開示した従来技術として、例えば特許文献1(特許4980988号公報)がある。この文献には、運転者の顔情報、視線、瞳孔径等の生体情報を用いて運転者の注意力低下状態を推定する構成が開示されている。
自動運転モードから手動運転モードへ切り替える必要が発生した場合、運転者(ドライバ)に手動運転を開始させるための通知が必要となる。
この通知タイミングが遅すぎると、運転者の覚醒度が低い状態、すなわち意識レベルが低下した状態で手動運転を開始させてしまい、事故を発生させる可能性を高めてしまうという問題がある。
運転者情報と環境情報を入力して、自動運転中の車内の運転者が安全な手動運転が実行可能な状態にあるか否かを示す安全性指標値を算出する安全性判別部を有する情報処理装置にある。
移動装置の運転者情報を取得する運転者情報取得部と、
前記移動装置の環境情報を取得する環境情報取得部と、
前記運転者情報と前記環境情報を入力して、自動運転中の前記移動装置内の運転者が安全な手動運転が実行可能な状態にあるか否かを示す安全性指標値を算出する安全性判別部を有する移動装置にある。
情報処理装置において実行する情報処理方法であり、
安全性判別部が、運転者情報と環境情報を入力して、自動運転中の車内の運転者が安全な手動運転が実行可能な状態にあるか否かを示す安全性指標値を算出する処理を実行する情報処理方法にある。
移動装置において実行する情報処理方法であり、
運転者情報取得部が、前記移動装置の運転者情報を取得する運転者情報取得ステップと、
環境情報取得部が、前記移動装置の環境情報を取得する環境情報取得ステップと、
安全性判別部が、前記運転者情報と前記環境情報を入力して、自動運転中の前記移動装置内の運転者が安全な手動運転が実行可能な状態にあるか否かを示す安全性指標値を算出する安全性判別ステップを実行する情報処理方法にある。
情報処理装置において情報処理を実行させるプログラムであり、
安全性判別部に、運転者情報と環境情報を入力させて、自動運転中の車内の運転者が安全な手動運転が実行可能な状態にあるか否かを示す安全性指標値を算出する処理を実行させるプログラムにある。
具体的には、例えば、自動車等の移動装置の運転者情報を取得する運転者情報取得部と、移動装置の環境情報を取得する環境情報取得部と、運転者情報と環境情報を入力して、自動運転中の移動装置内の運転者が安全な手動運転が実行可能な状態にあるか否かを示す安全性指標値を学習し、算出する安全性判別部を有する。安全性判別部は、さらに、自動運転中の前記移動装置内の運転者が安全な手動運転を開始可能となるまでの時間である手動運転復帰可能時間を推定する。
本構成により、運転者情報と環境情報を入力して、自動運転中の運転者が安全な手動運転が実行可能な状態にあるか否かを示す安全性指標値や、手動運転復帰可能時間を推定する構成が実現される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
1.移動装置と情報処理装置の構成と処理の概要について
2.移動装置の具体的な構成と処理例について
3.自動運転モードから手動運転モードへのモード切り替えシーケンスについて
4.自動運転の動作シーケンス例について
5.移動装置の実行する安全性判別処理、手動運転復帰可能時間推定処理について
6.本開示の移動装置、情報処理装置の実行する処理のシーケンスについて
7.情報処理装置の構成例について
8.本開示の構成のまとめ
まず、図1以下を参照して、移動装置と情報処理装置の構成と処理の概要について説明する。
本開示の移動装置は、例えば、自動運転と手動運転を切り替えて走行することが可能な自動車である。
このような自動車において、自動運転モードから手動運転モードに切り替える必要が発生した場合、運転者(ドライバ)に手動運転を開始させることが必要となる。
例えば、ハンドルから手を放しているのみで、運転時と同様、自動車の前方を注視している場合もあり、本を読んでいる場合もあり、また、居眠りをしている場合もある。
これらの処理の違いにより、運転者の覚醒度(意識レベル)は異なるものとなる。
例えば、居眠りをすると、運転者の覚醒度が低下する。すなわち意識レベルが低下した状態となる。このような覚醒度が低下した状態では、正常な手動運転を行うことができず、その状態で手動運転モードに切り替えてしまうと、最悪の場合、事故を起こす可能性がある。
このためには、自動運転実行中の運転者の覚醒度に応じて、自動運転から手動運転への切り替え要求を行う通知タイミングを変更することが必要である。
このような場合は、手動運転への切り替え通知は、手動運転が必要となる時間の直前のタイミングに行えばよい。運転者は、すぐに安全な手動運転を開始することができるからである。
このような場合、手動運転への切り替え通知を手動運転が必要となる時間の直前のタイミングに行うと、運転者は、意識がはっきりしない状態で手動運転を開始せざる得ない。その結果、事故を発生させる可能性が高まる。従って、このように覚醒度が低い場合は、より早い段階で手動運転への切り替え通知を行うことが必要となる。
さらに、本開示の一実施例においては、覚醒度等の運転者情報のみならず、例えば、移動装置の走行時刻、運転者の操作情報、道路等の環境情報、過去に発生した事故情報等の情報も利用して、最適な手動運転の切り替え通知タイミングを算出する。
なお、学習処理は、移動装置である自動車内においても実行可能であり、また、移動装置である自動車と通信可能なサーバにおいて実行してもよい。
さらに、乗員の人数や、積載している貨物に関する情報も利用する。
なお、多くの種類の情報を利用する場合、データ特性に応じて、事前学習用と、オンライン学習用とに分けて利用することもできる。
図1は、本開示の移動装置の一例である自動車10の一構成例を示す図である。
図1に示す自動車10に本開示の情報処理装置が装着されている。
手動運転モードは、運転者(ドライバ)20の操作、すなわちハンドル(ステアリング)操作や、アクセル、ブレーキ等の操作に基づく走行が行われる。
一方、自動運転モードでは、運転者(ドライバ)20による操作が不要であり、例えば位置センサや、その他の周囲情報検出センサ等のセンサ情報に基づく運転が行われる。
位置センサは、例えばGPS受信機等であり、周囲情報検出センサは、例えば、カメラ、超音波センサ、レーダ、LiDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)、ソナー等である。
運転者情報取得部12は、例えば、運転者の覚醒度を判定するための情報、運転者の操作情報等を取得する。具体的には、例えば、運転者の顔画像を撮影するカメラ、各操作部(ハンドル、アクセル、ブレーキ等)の操作情報取得部等によって構成される。
さらに、例えば、自動運転モードから手動運転モードへの切り替えの必要が発生した場合に、手動運転モードへの切り替えを行うように、通知部15を介して通知する処理を実行する。
すなわち、運転者20が、安全な手動運転を開始できるようなタイミングとする。
具体的には、運転者の覚醒度が高い場合は、手動運転開始時間の直前、例えば5秒前に通知を行い、運転者の覚醒度が低い場合は、余裕をもって手動運転開始時間の20秒前に行う等の処理を行う。具体的な通知に最適なタイミングの算出は後述する。
通知部15を構成する表示部に対する警告表示の例を図2に示す。
運転モード情報=「自動運転中」、
警告表示=「手動運転に切り替えてください」
「手動運転に切り替えてください」
例えば、データ処理部11における通知出力の適正時間を算出する処理の一部、具体的には学習処理をサーバ30において行うことが可能である。
この具体例については後述する。
図3には、自動運転モードで自動運転を実行している間に、手動運転への切り替え要求を行う通知の適正タイミングの設定例を示す図であり、以下の2つの例の通知処理例を示している。
(a)自動運転実行中の運転者の覚醒度が高い場合の通知処理
(b)自動運転実行中の運転者の覚醒度が低い場合の通知処理
このような場合は、手動運転への切り替え通知は、手動運転が必要となる時間の直前タイミングに行っても、運転者は、すぐに安全な手動運転を開始することができる。
このような場合、手動運転への切り替え通知を、手動運転が必要となる時間の直前タイミングに行うと、運転者は、意識がはっきりしない状態子で手動運転を開始してしまい、事故を発生させる可能性が高まる。従って、このように覚醒度が低い場合は、より早い段階で、手動運転への切り替え通知を行うことが必要となる。
次に、図4以下を参照して、本開示の移動装置10の具体的な構成と処理例について説明する。
図4は、移動装置100の構成例を示している。なお、以下、移動装置100が設けられている車両を他の車両と区別する場合、自車または自車両と称する。
次に、自動運転モードから手動運転モードへの引継ぎシーケンスについて説明する。
図7は、自動運転制御部112における自動運転モードから手動運転モードへのモード切り替えシーケンスの一例を概略的に示している。
次に、図8に示すフローチャートを参照して、自動運転の動作シーケンスの一例について説明する。
図8に示すフローチャートは、移動装置の100を実行する自動運転の動作シーケンスを説明するフローチャートである。
図9は、運転者により目的地が設定されることで決定された走行ルートの一例を示している。この走行ルートには、自動運転可能区間Saと、手動運転区間Sbと、自動運転から手動運転への引継ぎ区間Scと、自動運転からの注意走行区間Sdが存在する。ここで、引継ぎ区間Scは手動運転区間Sbの直前に必ず存在し、運転者は手動運転への復帰体勢にあることが必要となる。また、注意走行区間Sdは、手動運転への復帰体勢にある運転者の注意監視下において自動運転のまま減速して走行が可能な区間である。
t=t0*h0/h ・・・(1)
次に、移動装置の実行する安全性判別処理、手動運転復帰可能時間推定処理について説明する。
この処理は、主に、図4を参照して説明した移動装置100の自動運転制御部112内に構成される安全性判別部155において実行される。
左に自動車等の移動装置200、右に移動装置100とネットワークを介して通信するサーバ300を示している。
なお、安全性判別部210は、図4に示す状況分析部133内に構成される安全性判別部155に相当する。
安全性判別部210は、学習処理部211、安全性判別処理実行部(手動運転復帰可能時間推定部)212、個人認証処理部213を有する。
サーバ300は、学習データ取得、生成部301、学習処理部302、通信部303、記憶部304を有する。
運転者情報取得部201は、カメラや様々なセンサによって構成され、運転者の情報を取得する。
運転者情報取得部201が取得する運転者情報は、例えば眼球領域を含む画像から取得した視線方向、眼球挙動、瞳孔径、顔領域を含む画像から取得した顔の表情などである。
運転者情報取得部201が取得するこれらの情報は、例えば運転者の覚醒度を判定するための情報として用いられる。
また、指示応答特性を見たジェスチャによる俊敏さ評価や活動量と言ったアクティブ評価による状態判別を行っても良い。
1.引き継がないといけないという事象が発生している事を認知し、
2.引き継ぎの必要性に伴う必要な状況把握認知をして、
3.通知把握認知が音声通知ならその通知に対する応答があり応答が起床であったり、スイッチによる認知確認であったり、ジェスチャによる応答確認であったり、ハンドルに手を添える行動認知による検出であったり、運転席着座復帰検出であったりする。
4.通常、復帰通知を受けて最終的に復帰姿勢に戻った運転者は、ハンドルヤブレーキやアクセルと言った操舵機器の操作を開始するに先立ち、手動運転復帰に必要な状況把握と精査手順を踏んでから機器操舵を開始する事が想定される為に、主な情報取得手段の一つが視覚的情報取得である。
5.視覚的に状況認知ができると運転者は適切な操舵機器を操り始めるが、安全の為にシステムは瞬間的に一切の操舵を引き継ぐのではなく、運転者の適切な操舵介在と筋力的操舵応答状況まで確認取れる段階への徐々に引き継を進める手順を行う。
運転者情報取得部201が取得する運転者情報は、更に前記視覚的な状況把握を行う事を述べたが、この4.の過程は更に視覚として認知・判断・プラニングを行う事で初めて手動操舵の準備が整う。視線の中心視野に判断に必要な情報を捉えただけでは、運転者は取るべき操舵行動判断とプラニングは出来ない。その為、視線をリスク判断に必要な対象に向けて、通常周辺視野でとらえその方角に中心視野=視線を向ける為、サケードによる眼球の振り向きの俊敏な動作が発現し、対象を視線の中心視野に来るとその対象の理解を進める為に主に固視(Fixation)を開始し、脳内の知識情報をその対象の特徴を捉えながら参照する事で対象の判断が完了すると理解の発火が起こる。そして対象の理解が完了すれば、同時並行的に把握しないといけない次の対象把握を進める新たな方角へ眼球のサッケード動作を行ったり、乃至は捉えた対象の行動判断を進める為に相対的方角移動を打ち消すパーシュート(Pursuit)追尾回転をしたりする。
環境情報取得部202が取得する環境情報は、例えば移動装置200に設置された撮像部による画像、奥行き情報、3次元構造情報、移動体に設置されたLiDAR等のセンサによる地形情報、GPSによる位置情報、さらに、信号器の状態、標識の情報など、道路等のインフラストラクチャーに設置された通信機器からの情報などである。
なお、図17に示す運転者情報取得部201、環境情報取得部202、運転者個人識別情報取得部203の構成は、図4に示す構成では、データ取得部102、検出部131の各構成に対応する。
個人認証処理部213は、運転者個人識別情報取得部203の取得した、例えば虹彩認証、指紋認証、静脈認証、声紋認証などの個人認証情報を入力して個人認証処理を実行する。
この認証処理に必要な登録情報は、記憶部240、あるいはサーバ300から取得する。
例えば、運転者が移動装置である自動車に乗車したときに、個人識別処理としての個人認証が実施される。個人識別後の運転者情報、時刻、運転入力、道路等の環境情報は、常時または定期的に記録され、サーバ300に送信される。
具体的には、例えば、「運転者情報」や「環境情報」に対応する「安全性指標値」や「手動運転復帰可能時間推定値」を算出可能とした学習器の構築を行う。なお、学習器においては運転者固有特性に限定した判別を行うよう学習するだけでは無く、車両特性や環境特性等に応じた特性も学習する。例えば、同一運転者として識別された運転者でも、自家用車による通勤乗用車での操舵特性と職業従事に於ける重量物連結車両の車両挙動特性の安全性を考慮して運転をする際に、走行状況に応じた操舵開始点や制動量なども大きく異なるため、それら安全性に寄与する変動因子の要因学習を行う事で、状況や車両特性を含めた最適化がなされた学習器となる。
さらに、安全な手動運転復帰までに必要となる時間(=手動運転復帰可能時間)を推定する。
なお、安全な手動運転復帰までに必要となる時間とは、引き継ぎが求められる地点到着までに、運転者が一定の高い割合で手動運転を開始する為に要する時間に基づいて算出されるが、安全性を直接評価して算出される時間では決して無い。手動運転への復帰準備の開始が求められるタイミングは、該当車両の運動特性や道路環境状況、天候と言った様々な要因に影響を受ける為に、それら影響を取り入れる事で安全性を最大化する事が出来る様になる。
なお、通知部222は、例えばアラーム、ウインドウ上のディスプレイ、ハンドルやシートのバイブレーション処理実行部などによって構成される。
通信部230は、サーバ300等、外部装置との通信を実行する。
サーバ300は、学習データ取得、生成部301、学習処理部302、通信部303、記憶部304を有する。
これらのデータは記憶部304に格納される。
この学習処理により、例えば、「運転者情報」や「環境情報」に対応する「安全性指標値」や「手動運転復帰可能時間推定値」を算出可能とした学習器の入出力データの構築を行う。
安全性判別部210は、学習処理部211、安全性判別処理実行部(手動運転復帰可能時間推定部)212、個人認証処理部213を有する。
学習処理部211は、運転者情報取得部201の取得した運転者情報と、環境情報取得部202の取得した環境情報を入力して、これらの入力情報を適用した安全性判定のための学習処理を実行する。
さらに、安全な手動運転復帰までに必要となる時間(=手動運転復帰可能時間)を推定する。
あるいは予め規定した固定の手動運転復帰可能時間を推定値として出力する。
なお、不特定多数のデータを用いた学習処理によって生成された学習器はサーバ300からも取得可能である。
(a)運転者情報取得部201の取得した運転者情報と、環境情報取得部202の取得した環境情報と、
(b)自動運転モードから手動運転モードへの切り替え通知後に、運転者が安全な状態で運転できたか否かの操作情報、
これら(a),(b)の情報の対応関係を構築する学習処理を行う。
安全な運転ができていれば、同じ運転者情報と、環境情報が得られた場合、手動運転復帰要求通知の通知タイミングを、さらに遅くしてもよいと判断する。
一方、安全な運転ができていなければ、同じ運転者情報と、環境情報が得られた場合、手動運転復帰要求通知の通知タイミングを早めるべきであると判断する。
なお、学習処理部211における学習処理では、手動運転復帰要求通知の通知タイミングの決定に適用するデータのみならず、ある運転者情報と、環境情報が得られた場合に運転者が安全な手動運転を実行できるか否かの判定処理に適用可能な学習器、すなわち、「運転者情報と環境情報」と、「安全性指標値」とを対応付けた学習器も構築する。
学習器の特徴として、事象発生の都度発生する運転者の復帰通知事前特性からの推移を取得しつつ、(b)運転者が安全な状態で運転できたか否かの操作情報も教師データとして成否判別や引き継ぎ品質評価を行う事で自己完結した学習器を含むシステムとなり,精度の向上をはかることができる。
さらに、運転者情報取得部201の取得した運転者情報と、環境情報取得部202の取得した環境情報に対応する手動運転復帰可能時間(安全な手動運転復帰までに必要となる時間)を算出することができる。
この手動運転復帰可能時間に基づいて、運転者に対する手動運転開始要求通知の通知時間を決定することができる。
学習処理部211における学習処理の結果データは記憶部240に格納される。
運転者情報と、環境情報に対応付けられた安全性指標値データ、
運転者情報と、環境情報に対応付けられた手動運転復帰可能時間(安全な手動運転復帰までに必要となる時間)(=手動運転開始要求の最適な先行通知時間)、
手動運転開始要求通知後の運転者情報の異常性、環境情報の異常性、復帰所要時間、
学習器、
これらのデータを記憶部240に蓄積することができる。
サーバ300は、移動装置200から受信するデータを記憶部304に格納するとともに、学習データ生成部301において、さらに受信データに基づく学習処理を行う。
サーバ300は、多数の移動装置(自動車)から大量のデータを受信し、これら大量のデータに基づく学習処理を行うことが可能となる。この結果、より汎用性の高い、かつ確実性の高い入出力データ(学習器)を得ることが可能となる。
サーバ300は、大量のデータに基づく学習処理により、学習器を更新しサーバ300の記憶部304に格納する。
学習器、
運転者情報と、環境情報に対応付けられた安全性指標値データ、
運転者情報と、環境情報に対応付けられた手動運転復帰可能時間(安全な手動運転復帰までに必要となる時間)(=手動運転開始要求の最適な先行通知時間)、
手動運転開始要求通知後の運転者情報の異常性、環境情報の異常性、復帰所要時間、
これらのデータが、サーバ300の記憶部304に格納される。
個人識別情報は、個人認証処理部213を介して取得可能である。
車種情報は、環境情報取得部202から取得可能である。あるいは予め記憶部に格納したデータを利用する構成としてもよい。
この判定に基づいて、例えば、異常が見られる頻度が高い場合には通知時刻を早め、異常が見られる頻度が低い場合には通知時刻を遅めるといった出力が可能となるように学習器の更新且つ/又は再学習を行う。この更新/又は再学習処理によって、通知時間制御を行うことも可能となる。
例えば、ハンドルから手を放しているのみで、運転時と同様、自動車の前方を注視している場合もあり、本を読んでいる場合もあり、また、居眠りをしている場合もある。これらの処理の違いにより、運転者の覚醒度(意識レベル)は異なるものとなる。
学習処理部211は、カメラから得た画像を用いて、顔認証、頭部姿勢推定、視線推定、身体姿勢推定、行動識別した結果を算出し、これらのデータを学習処理に利用する。
その際、情報提示から手動運転に復帰するまでの時間を引き継ぎ事象が発生する都度計測し、手動運転復帰可能時間として記録ログとして記録収拾する。
安全性指標値の推定や、手動運転復帰可能時間推定のためのデータが十分に集まった場合、例えば、以下の入出力データを利用した機械学習処理により、安全性指標値や、最適な復帰可能時間を予測する学習器を構築することができる。
入力:運転者情報や、環境情報等
出力:安全性指標値や、手動運転復帰可能時間
次に、ステップS22において、手動運転開始要求通知によって開始される手動運転開始後の運転者の操作情報を運転者情報取得部から取得し、安全な操作が行われているか否かに応じた安全性指標値を算出する。
ステップS21~S23の処理は、繰り返し、実行され、大量の学習データを利用して、入力情報(運転者情報、環境情報等)と、安全性指標値との対応データから構成される学習器が、順次、更新される。
ステップS24では、サーバ300の生成した最新の学習器を移動装置(自動車)に送信する。
次に、ステップS32において、手動運転開始要求通知時間から手動運転開始までの時間を計測する。
なお、ステップS33の安全性指標値算出処理においては、運転者の操作情報のみならず、例えば、具体的な事故情報を用いて安全性指標値を算出する処理を行ってもよい。例えば、「運転者情報」、「環境情報」の他、時刻や道路情報に対応する事故情報等を用いて安全性指標値を算出する構成としてもよい。
ステップS31~S35の処理は、繰り返し、実行され、大量の学習データを利用して、入力情報(運転者情報、環境情報等)と、安全性指標値と、手動運転復帰可能時間との対応データを用いて構成される学習器が、順次、更新される。
ステップS36では、サーバ300の生成した最新の学習器を移動装置(自動車)に送信する。
図20に示すデータは、入力情報(運転者情報、環境情報等)と、安全性指標値と、手動運転復帰可能時間との対応データから構成される、学習器の入出力データである。
なお、運転者情報、環境情報には、複数の異なるセンサによって取得される複数の観測値(パラメータ)が含まれる。
すなわち、運転者情報や、環境情報は、複数のパラメータのセットによって構成される。
これは一例であり、前述したように、0(危険)と1(安全)の2値設定や、さらにその他の数値範囲を適用することも可能である。
手動運転復帰可能時間推定値は、先に説明した図19のフローのステップS34の処理において算出された時間である。すなわち、手動運転開始後の操作情報に基づく安全性指標値を一定値以上(安全)にするために必要な、通知時間から手動運転開始時間までの経過時間(手動運転復帰可能時間)の算出値である。
安全性判別処理実行部(手動運転復帰可能時間推定部)212は、運転者情報取得部201の取得した運転者情報と、環境情報取得部202の取得した環境情報等を入力する。
さらに、学習処理部211における学習結果である学習器、あるいはサーバ300から取得した学習器、すなわち図20に示すデータ構成を有する入出力データを用いて学習された学習器を利用し、現在の運転者情報と環境情報に基づいて、安全な手動運転復帰までに必要となる時間(=手動運転復帰可能時間)を推定する。
このような構成とすることで、車両に乗車する運転者と同乗者のメンバーに応じた最適な手動運転復帰可能時間を予測することが可能となる。
なお、多くの種類の情報を利用する場合、データ特性に応じて、事前学習用と、オンライン学習用とに分けて利用する構成としてもよい。
次に、本開示の移動装置、情報処理装置の実行する処理のシーケンスについて説明する。
この観測情報は、例えば道路環境のLDM情報に基づいて取得される。
すなわち車両が走行する道路の走行地図情報を高密度で且つ常時更新するいわゆるローカルダイナミックマップ(LDM)情報に基づいて取得される。
具体例として、例えば、LDMに基づいて、高速道路から一般道への侵入が開始される予定が取得された場合、自動運転モードから手動運転モードへの切り替え要求の発生事象であると判定する。
この処理は、図17に示す安全性判別部210の安全性判別処理実行部(手動運転復帰可能時間推定部)212の実行する処理である。
なお、先に説明したように、12に示すデータは、「運転者情報と環境情報」と、「安全性指標値と手動運転復帰可能時間」との対応データから構成される学習器の入出力データである。
図20には、入力情報の組み合せを想定した運転者情報と環境情報の組み合せを基本に具体的なパラメータを組み合せしテーブル化して例として示しているが、実際には固有の組み合せ事象の発生頻度はそう多くなく、事象の発生の都度色々な経緯や状態の組み合わせとして発生するため、多次元入力の情報であり、また常に運転者の事前状態を示す情報のログが有るとも限らない。そして、同じ生体情報の観測値であっても個人固有の体質や仕草、経験・記憶等により取得視覚情報から判断に至る判断遅延には多くの個人差が表れる。
この場合、現在運転している運転者の個人識別情報と、現在実行中の2次タスクの種類の情報を観測情報として利用した処理(手動運転復帰可能時間推定処理)が行われる。
なお、走行道路に車両が停車しても周囲へ阻害要因とならないケースであれば、車両を停車してシステムが対処できる速度まで減速して対処をすればよい。通常なら走行道路での停車は必ずしも好ましいケースは多くないため、デフォルト設定として高い復帰率が望ましく、特に首都高速道路などの特定ルートでは敢えてインフラより更新情報が与えられなくとも極めて高い復帰成功率がデフォルトで求められるケースもある。
また、通知タイミングが重要となる事から、復帰成功率は一律の成否までの時間として説明をしているが、自動運転から手動運転の成否を2値的な成否に限定せず、復帰引き継ぎ品質に拡張した判別を更に行っても良い。つまり、実際の復帰確認に至る
復帰手順推移の遅延時間、通知に対する復帰開始遅延、途中復帰動作における停滞など、許された時間内での復帰であって復帰品質評価値として学習器へ更に入力をしてもよい。
上述した処理は、図4を参照して説明した移動装置の構成を適用して実行することが可能であるが、その処理の一部は、例えば移動装置に着脱可能な情報処理装置においてし実行することが可能である。
図24を参照して、このような情報処理装置のハードウェア構成例について説明する。
CPU(Central Processing Unit)501は、ROM(Read Only Memory)502、または記憶部508に記憶されているプログラムに従って各種の処理を実行するデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。
RAM(Random Access Memory)503には、CPU501が実行するプログラムやデータなどが記憶される。これらのCPU501、ROM502、およびRAM503は、バス504により相互に接続されている。
なお、入力部506には、センサ521からの入力情報も入力される。
また、出力部507は、移動装置の駆動部522に対する駆動情報も出力する。
入出力インタフェース505に接続されている記憶部508は、例えばハードディスク等からなり、CPU501が実行するプログラムや各種のデータを記憶する。通信部509は、インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部として機能し、外部の装置と通信する。
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
(1) 運転者情報と環境情報を入力して、自動運転中の車内の運転者が安全な手動運転が実行可能な状態にあるか否かを示す安全性指標値を算出する安全性判別部を有する情報処理装置。
前記運転者情報と前記環境情報を入力して、自動運転中の車内の運転者が安全な手動運転を開始可能となるまでの時間である手動運転復帰可能時間を推定する(1)に記載の情報処理装置。
学習処理を実行して、前記運転者情報および前記環境情報と、前記安全性指標値とを対応付けた学習器を生成し、
生成した学習器を適用して、前記安全性指標値の算出を実行する(1)または(2)に記載の情報処理装置。
学習処理を実行して、前記運転者情報および前記環境情報と、前記手動運転復帰可能時間とを対応付けた学習器を生成し、
生成した学習器を適用して、前記手動運転復帰可能時間を推定する(2)に記載の情報処理装置。
サーバとの通信を行う通信部を有し、
(a)前記運転者情報および前記環境情報、
(b)前記安全性指標値、または自動運転中の車内の運転者が安全な手動運転を開始可能となるまでの時間である手動運転復帰可能時間の少なくともいずれか、
上記(a),(b)のデータを対応付けた学習器を前記サーバから取得する(1)~(4)いずれかに記載の情報処理装置。
学習処理を実行して、前記運転者情報および前記環境情報と、前記手動運転復帰可能時間とを対応付けた学習器を生成し、
生成した学習器を適用して、前記手動運転復帰可能時間の算出を実行する構成であり、
前記情報処理装置は、
さらに、前記安全性判別部の算出した前記手動運転復帰可能時間に基づいて決定されるタイミングで通知部を介して運転者に対する手動運転復帰要求通知の通知処理を実行する通知制御部を有する(1)~(9)いずれかに記載の情報処理装置。
表示部、または音声出力部、またはバイブレータの少なくともいずれかによって構成される(10)に記載の情報処理装置。
前記移動装置の環境情報を取得する環境情報取得部と、
前記運転者情報と前記環境情報を入力して、自動運転中の前記移動装置内の運転者が安全な手動運転が実行可能な状態にあるか否かを示す安全性指標値を算出する安全性判別部を有する移動装置。
前記運転者情報と前記環境情報を入力して、自動運転中の前記移動装置内の運転者が安全な手動運転を開始可能となるまでの時間である手動運転復帰可能時間を推定する(12)に記載の移動装置。
学習処理を実行して、前記運転者情報および前記環境情報と、前記安全性指標値とを対応付けた学習器を生成し、
生成した学習器を適用して、前記安全性指標値の算出を実行する(12)または(13)に記載の移動装置。
学習処理を実行して、前記運転者情報および前記環境情報と、前記手動運転復帰可能時間とを対応付けた学習器を生成し、
生成した学習器を適用して、前記手動運転復帰可能時間を推定する(13)に記載の移動装置。
さらに、前記安全性判別部の算出した前記手動運転復帰可能時間に基づいて決定されるタイミングで、通知部を介して運転者に対する手動運転復帰要求通知の通知処理を実行する通知制御部を有する(15)に記載の移動装置。
表示部、または音声出力部、またはバイブレータの少なくともいずれかによって構成される(16)に記載の移動装置。
安全性判別部が、運転者情報と環境情報を入力して、自動運転中の車内の運転者が安全な手動運転が実行可能な状態にあるか否かを示す安全性指標値を算出する処理を実行する情報処理方法。
運転者情報取得部が、前記移動装置の運転者情報を取得する運転者情報取得ステップと、
環境情報取得部が、前記移動装置の環境情報を取得する環境情報取得ステップと、
安全性判別部が、前記運転者情報と前記環境情報を入力して、自動運転中の前記移動装置内の運転者が安全な手動運転が実行可能な状態にあるか否かを示す安全性指標値を算出する安全性判別ステップを実行する情報処理方法。
安全性判別部に、運転者情報と環境情報を入力させて、自動運転中の車内の運転者が安全な手動運転が実行可能な状態にあるか否かを示す安全性指標値を算出する処理を実行させるプログラム。
具体的には、例えば、自動車等の移動装置の運転者情報を取得する運転者情報取得部と、移動装置の環境情報を取得する環境情報取得部と、運転者情報と環境情報を入力して、自動運転中の移動装置内の運転者が安全な手動運転が実行可能な状態にあるか否かを示す安全性指標値を学習し、算出する安全性判別部を有する。安全性判別部は、さらに、自動運転中の前記移動装置内の運転者が安全な手動運転を開始可能となるまでの時間である手動運転復帰可能時間を推定する。
本構成により、運転者情報と環境情報を入力して、自動運転中の運転者が安全な手動運転が実行可能な状態にあるか否かを示す安全性指標値や、手動運転復帰可能時間を推定する構成が実現される。
Claims (19)
- 運転者情報と環境情報を用いて、自動運転中の車内の運転者が安全な手動運転が実行可能な状態にあるか否かを示す安全性指標値を算出する安全性判別部を有し、
前記運転者情報は自動運転モードから手動運転モードへのモード切り替え後の運転者の操作情報を含む情報である情報処理装置。 - 前記安全性判別部は、
前記運転者情報と前記環境情報を用いて、自動運転中の車内の運転者が安全な手動運転を開始可能となるまでの時間である手動運転復帰可能時間を推定する請求項1に記載の情報処理装置。 - 前記安全性判別部は、
学習処理を実行して、前記運転者情報および前記環境情報と、前記安全性指標値とを対応付けた学習器を生成し、
生成した学習器を適用して、前記安全性指標値の算出を実行する請求項1に記載の情報処理装置。 - 前記安全性判別部は、
学習処理を実行して、前記運転者情報および前記環境情報と、前記手動運転復帰可能時間とを対応付けた学習器を生成し、
生成した学習器を適用して、前記手動運転復帰可能時間を推定する請求項2に記載の情報処理装置。 - 前記情報処理装置は、さらに、
サーバとの通信を行う通信部を有し、
(a)前記運転者情報および前記環境情報、
(b)前記安全性指標値、または自動運転中の車内の運転者が安全な手動運転を開始可能となるまでの時間である手動運転復帰可能時間の少なくともいずれか、
上記(a),(b)のデータを対応付けた学習器を前記サーバから取得する請求項1に記載の情報処理装置。 - 前記運転者情報は、運転者の覚醒度を算出可能な情報である請求項1に記載の情報処理装置。
- 前記運転者情報は、眼球領域を含む画像から取得した視線方向、眼球挙動、瞳孔径、顔領域を含む画像から取得した顔の表情の少なくともいずれかの情報を含む請求項1に記載の情報処理装置。
- 前記環境情報は、撮影画像、奥行き情報、3次元構造情報、LiDAR取得情報、地形情報、位置情報の少なくともいずれかを含む請求項1に記載の情報処理装置。
- 前記安全性判別部は、
学習処理を実行して、前記運転者情報および前記環境情報と、前記手動運転復帰可能時間とを対応付けた学習器を生成し、
生成した学習器を適用して、前記手動運転復帰可能時間の算出を実行する構成であり、
前記情報処理装置は、
さらに、前記安全性判別部の算出した前記手動運転復帰可能時間に基づいて決定されるタイミングで通知部を介して運転者に対する手動運転復帰要求通知の通知処理を実行する通知制御部を有する請求項1に記載の情報処理装置。 - 前記通知部は、
表示部、または音声出力部、またはバイブレータの少なくともいずれかによって構成される請求項9に記載の情報処理装置。 - 移動装置の運転者情報を取得する運転者情報取得部と、
前記移動装置の環境情報を取得する環境情報取得部と、
前記運転者情報と前記環境情報を用いて、自動運転中の前記移動装置内の運転者が安全な手動運転が実行可能な状態にあるか否かを示す安全性指標値を算出する安全性判別部を有し、
前記運転者情報は自動運転モードから手動運転モードへのモード切り替え後の運転者の操作情報を含む情報である移動装置。 - 前記安全性判別部は、
前記運転者情報と前記環境情報を用いて、自動運転中の前記移動装置内の運転者が安全な手動運転を開始可能となるまでの時間である手動運転復帰可能時間を推定する請求項11に記載の移動装置。 - 前記安全性判別部は、
学習処理を実行して、前記運転者情報および前記環境情報と、前記安全性指標値とを対応付けた学習器を生成し、
生成した学習器を適用して、前記安全性指標値の算出を実行する請求項11に記載の移動装置。 - 前記安全性判別部は、
学習処理を実行して、前記運転者情報および前記環境情報と、前記手動運転復帰可能時間とを対応付けた学習器を生成し、
生成した学習器を適用して、前記手動運転復帰可能時間を推定する請求項12に記載の移動装置。 - 前記移動装置は、
さらに、前記安全性判別部の算出した前記手動運転復帰可能時間に基づいて決定されるタイミングで、通知部を介して運転者に対する手動運転復帰要求通知の通知処理を実行する通知制御部を有する請求項14に記載の移動装置。 - 前記通知部は、
表示部、または音声出力部、またはバイブレータの少なくともいずれかによって構成される請求項15に記載の移動装置。 - 情報処理装置において実行する情報処理方法であり、
安全性判別部が、運転者情報と環境情報を用いて、自動運転中の車内の運転者が安全な手動運転が実行可能な状態にあるか否かを示す安全性指標値を算出する処理を実行し、
前記運転者情報は自動運転モードから手動運転モードへのモード切り替え後の運転者の操作情報を含む情報である情報処理方法。 - 移動装置において実行する情報処理方法であり、
運転者情報取得部が、前記移動装置の運転者情報を取得する運転者情報取得ステップと、
環境情報取得部が、前記移動装置の環境情報を取得する環境情報取得ステップと、
安全性判別部が、前記運転者情報と前記環境情報を用いて、自動運転中の前記移動装置内の運転者が安全な手動運転が実行可能な状態にあるか否かを示す安全性指標値を算出する安全性判別ステップを実行し、
前記運転者情報は自動運転モードから手動運転モードへのモード切り替え後の運転者の操作情報を含む情報である情報処理方法。 - 情報処理装置において情報処理を実行させるプログラムであり、
安全性判別部に、運転者情報と環境情報を用いて、自動運転中の車内の運転者が安全な手動運転が実行可能な状態にあるか否かを示す安全性指標値を算出する処理を実行させ、
前記運転者情報は自動運転モードから手動運転モードへのモード切り替え後の運転者の操作情報を含む情報であるプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018018360 | 2018-02-05 | ||
JP2018018360 | 2018-02-05 | ||
PCT/JP2019/003030 WO2019151266A1 (ja) | 2018-02-05 | 2019-01-29 | 情報処理装置、移動装置、および方法、並びにプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2019151266A1 JPWO2019151266A1 (ja) | 2021-01-28 |
JP7324716B2 true JP7324716B2 (ja) | 2023-08-10 |
Family
ID=67479316
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019569144A Active JP7324716B2 (ja) | 2018-02-05 | 2019-01-29 | 情報処理装置、移動装置、および方法、並びにプログラム |
Country Status (6)
Country | Link |
---|---|
US (2) | US11654936B2 (ja) |
EP (1) | EP3751540A4 (ja) |
JP (1) | JP7324716B2 (ja) |
KR (1) | KR20200113202A (ja) |
CN (1) | CN111656423A (ja) |
WO (1) | WO2019151266A1 (ja) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108482381A (zh) * | 2018-03-27 | 2018-09-04 | 京东方科技集团股份有限公司 | 车辆控制系统、车辆和车辆控制方法 |
JP2019191893A (ja) * | 2018-04-24 | 2019-10-31 | 本田技研工業株式会社 | 車両制御装置及びプログラム |
US11414098B2 (en) * | 2019-01-11 | 2022-08-16 | Lg Electronics Inc. | Control authority transfer apparatus and method of autonomous vehicle |
CN113631411B (zh) * | 2019-04-12 | 2024-04-19 | 三菱电机株式会社 | 显示控制装置、显示控制方法及记录介质 |
JP2021043571A (ja) * | 2019-09-09 | 2021-03-18 | ソニーセミコンダクタソリューションズ株式会社 | 情報処理装置、移動装置、情報処理システム、および方法、並びにプログラム |
TWI737051B (zh) * | 2019-11-28 | 2021-08-21 | 啓碁科技股份有限公司 | 基於車聯網通訊之車輛預警的方法、遠程信息處理控制單元及裝置 |
JPWO2021193059A1 (ja) * | 2020-03-26 | 2021-09-30 | ||
CN111915159B (zh) * | 2020-07-15 | 2023-09-12 | 北方工业大学 | 一种基于动态时间预算的个性化接管预警方法和系统 |
CN112884210B (zh) * | 2021-01-31 | 2022-03-15 | 中国人民解放军63963部队 | 一种基于模糊聚类的车辆健康管理系统 |
CN113479197A (zh) * | 2021-06-30 | 2021-10-08 | 银隆新能源股份有限公司 | 车辆的控制方法及其装置、计算机可读存储介质 |
KR102592102B1 (ko) * | 2021-08-17 | 2023-10-23 | 한국자동차연구원 | 자율주행 제어권 전환에 대한 준비도 판단 장치 및 그 방법 |
CN114373263A (zh) * | 2022-01-11 | 2022-04-19 | 孟凡玉 | 基于互联网的多元化共享检测系统 |
CN114882477A (zh) * | 2022-03-04 | 2022-08-09 | 吉林大学 | 一种利用眼动信息预测自动驾驶接管时间的方法 |
CN115946710B (zh) * | 2023-03-14 | 2023-06-16 | 北京航空航天大学 | 一种驾驶特征数据处理方法、装置及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017097518A (ja) | 2015-11-20 | 2017-06-01 | オムロン株式会社 | 自動運転支援装置、自動運転支援システム、自動運転支援方法および自動運転支援プログラム |
WO2017195405A1 (ja) | 2016-05-11 | 2017-11-16 | ソニー株式会社 | 画像処理装置及び画像処理方法、並びに移動体 |
JP2017204301A (ja) | 2017-07-31 | 2017-11-16 | トヨタ自動車株式会社 | 運転支援方法及び運転支援装置 |
JP6264492B1 (ja) | 2017-03-14 | 2018-01-24 | オムロン株式会社 | 運転者監視装置、運転者監視方法、学習装置及び学習方法 |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10309961A (ja) * | 1997-05-12 | 1998-11-24 | Toyota Motor Corp | 自動走行車両制御装置 |
JP4980988B2 (ja) | 2008-06-13 | 2012-07-18 | トヨタ自動車株式会社 | 運転者状態推定装置 |
DE102012112802A1 (de) | 2012-12-20 | 2014-06-26 | Conti Temic Microelectronic Gmbh | Verfahren zur Steuerung eines Fahrzeugs mit einem ein automatisiertes, teilautomatisiertes und ein manuelles Fahren ermöglichenden Fahrerassistenzsystem |
US9751534B2 (en) * | 2013-03-15 | 2017-09-05 | Honda Motor Co., Ltd. | System and method for responding to driver state |
EP2848488B2 (en) | 2013-09-12 | 2022-04-13 | Volvo Car Corporation | Method and arrangement for handover warning in a vehicle having autonomous driving capabilities |
CN106163858B (zh) * | 2014-04-02 | 2018-10-12 | 日产自动车株式会社 | 车辆用信息呈现装置 |
JP6135618B2 (ja) | 2014-08-08 | 2017-05-31 | トヨタ自動車株式会社 | 車両制御装置 |
JP6287728B2 (ja) | 2014-09-25 | 2018-03-07 | 株式会社デンソー | 車載システム、車両制御装置、および車両制御装置用のプログラム |
US9969403B2 (en) * | 2014-10-31 | 2018-05-15 | Ford Global Technologies, Llc | Method and apparatus for predictive driving-mode learning and enablement |
JP6323318B2 (ja) * | 2014-12-12 | 2018-05-16 | ソニー株式会社 | 車両制御装置および車両制御方法、並びにプログラム |
CN117087697A (zh) * | 2014-12-12 | 2023-11-21 | 索尼公司 | 自动驾驶控制设备以及自动驾驶控制方法和程序 |
US10337874B2 (en) | 2014-12-30 | 2019-07-02 | Robert Bosch Gmbh | Route selection based on automatic-manual driving preference ratio |
DE102015201369A1 (de) | 2015-01-27 | 2016-07-28 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Betreiben eines zumindest teilautomatisch fahrenden oder fahrbaren Kraftfahrzeugs |
JP6558733B2 (ja) * | 2015-04-21 | 2019-08-14 | パナソニックIpマネジメント株式会社 | 運転支援方法およびそれを利用した運転支援装置、運転制御装置、車両、運転支援プログラム |
KR101684556B1 (ko) * | 2015-09-14 | 2016-12-08 | 현대자동차 주식회사 | 운전모드 전환 안내 시스템 및 방법 |
US10768617B2 (en) * | 2015-11-19 | 2020-09-08 | Sony Corporation | Drive assistance device and drive assistance method, and moving body |
JP6469635B2 (ja) * | 2016-12-16 | 2019-02-13 | 本田技研工業株式会社 | 車両制御装置 |
US10446031B2 (en) * | 2017-03-14 | 2019-10-15 | Hyundai Mobis Co., Ltd. | Apparatus and method of safety support for vehicle |
JP6950346B2 (ja) * | 2017-08-10 | 2021-10-13 | オムロン株式会社 | 運転者状態把握装置、運転者状態把握システム、及び運転者状態把握方法 |
CN111315627B (zh) | 2017-11-17 | 2024-04-19 | 索尼半导体解决方案公司 | 信息处理装置和信息处理方法 |
-
2019
- 2019-01-29 WO PCT/JP2019/003030 patent/WO2019151266A1/ja unknown
- 2019-01-29 JP JP2019569144A patent/JP7324716B2/ja active Active
- 2019-01-29 CN CN201980010757.XA patent/CN111656423A/zh active Pending
- 2019-01-29 EP EP19746945.5A patent/EP3751540A4/en active Pending
- 2019-01-29 US US16/964,189 patent/US11654936B2/en active Active
- 2019-01-29 KR KR1020207021512A patent/KR20200113202A/ko active IP Right Grant
-
2023
- 2023-04-07 US US18/297,391 patent/US20230311953A1/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017097518A (ja) | 2015-11-20 | 2017-06-01 | オムロン株式会社 | 自動運転支援装置、自動運転支援システム、自動運転支援方法および自動運転支援プログラム |
WO2017195405A1 (ja) | 2016-05-11 | 2017-11-16 | ソニー株式会社 | 画像処理装置及び画像処理方法、並びに移動体 |
JP6264492B1 (ja) | 2017-03-14 | 2018-01-24 | オムロン株式会社 | 運転者監視装置、運転者監視方法、学習装置及び学習方法 |
JP2017204301A (ja) | 2017-07-31 | 2017-11-16 | トヨタ自動車株式会社 | 運転支援方法及び運転支援装置 |
Also Published As
Publication number | Publication date |
---|---|
US20210031807A1 (en) | 2021-02-04 |
US11654936B2 (en) | 2023-05-23 |
EP3751540A4 (en) | 2021-04-07 |
JPWO2019151266A1 (ja) | 2021-01-28 |
EP3751540A1 (en) | 2020-12-16 |
US20230311953A1 (en) | 2023-10-05 |
WO2019151266A1 (ja) | 2019-08-08 |
KR20200113202A (ko) | 2020-10-06 |
CN111656423A (zh) | 2020-09-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7324716B2 (ja) | 情報処理装置、移動装置、および方法、並びにプログラム | |
JP7288911B2 (ja) | 情報処理装置、移動装置、および方法、並びにプログラム | |
JP7273031B2 (ja) | 情報処理装置、移動装置、情報処理システム、および方法、並びにプログラム | |
CN112041910B (zh) | 信息处理装置、移动设备、方法和程序 | |
JP7352566B2 (ja) | 情報処理装置、移動装置、および方法、並びにプログラム | |
US20210155269A1 (en) | Information processing device, mobile device, information processing system, method, and program | |
WO2021145131A1 (ja) | 情報処理装置、情報処理システム、情報処理方法及び情報処理プログラム | |
US11866073B2 (en) | Information processing device, information processing system, and information processing method for wearable information terminal for a driver of an automatic driving vehicle | |
WO2021049219A1 (ja) | 情報処理装置、移動装置、情報処理システム、および方法、並びにプログラム | |
WO2021131474A1 (ja) | 情報処理装置、移動装置、情報処理システム、および方法、並びにプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211209 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221206 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230203 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20230307 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230607 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20230615 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230704 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230731 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7324716 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |