JPWO2019044427A1 - 支援方法およびそれを利用した支援システム、支援装置 - Google Patents
支援方法およびそれを利用した支援システム、支援装置 Download PDFInfo
- Publication number
- JPWO2019044427A1 JPWO2019044427A1 JP2019539138A JP2019539138A JPWO2019044427A1 JP WO2019044427 A1 JPWO2019044427 A1 JP WO2019044427A1 JP 2019539138 A JP2019539138 A JP 2019539138A JP 2019539138 A JP2019539138 A JP 2019539138A JP WO2019044427 A1 JPWO2019044427 A1 JP WO2019044427A1
- Authority
- JP
- Japan
- Prior art keywords
- unit
- processing
- acquisition unit
- behavior model
- driving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 341
- 230000008569 process Effects 0.000 claims abstract description 298
- 238000012545 processing Methods 0.000 claims abstract description 222
- 238000001514 detection method Methods 0.000 claims abstract description 139
- 230000037007 arousal Effects 0.000 claims abstract description 88
- 230000006399 behavior Effects 0.000 claims description 202
- 230000008451 emotion Effects 0.000 claims description 35
- 230000009471 action Effects 0.000 claims description 4
- 238000012549 training Methods 0.000 claims description 2
- 238000004891 communication Methods 0.000 description 41
- 206010041349 Somnolence Diseases 0.000 description 24
- 238000013528 artificial neural network Methods 0.000 description 22
- 230000033001 locomotion Effects 0.000 description 19
- 230000036626 alertness Effects 0.000 description 17
- 230000004044 response Effects 0.000 description 17
- 230000008859 change Effects 0.000 description 14
- 210000000744 eyelid Anatomy 0.000 description 11
- 208000032140 Sleepiness Diseases 0.000 description 10
- 238000012544 monitoring process Methods 0.000 description 10
- 230000037321 sleepiness Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000004462 vestibulo-ocular reflex Effects 0.000 description 6
- 210000003128 head Anatomy 0.000 description 5
- 238000012706 support-vector machine Methods 0.000 description 5
- 230000008921 facial expression Effects 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 210000001508 eye Anatomy 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000003058 natural language processing Methods 0.000 description 3
- 230000004397 blinking Effects 0.000 description 2
- 239000012141 concentrate Substances 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000036461 convulsion Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000004424 eye movement Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 241000699670 Mus sp. Species 0.000 description 1
- 241001282135 Poromitra oscitans Species 0.000 description 1
- 206010048232 Yawning Diseases 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000004399 eye closure Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
- 238000004148 unit process Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/0098—Details of control systems ensuring comfort, safety or stability not otherwise provided for
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
- G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
- G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
- B60W2050/0019—Control system elements or transfer functions
- B60W2050/0028—Mathematical models, e.g. for simulation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0062—Adapting control system settings
- B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/221—Physiology, e.g. weight, heartbeat, health or special needs
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/40—Dynamic objects, e.g. animals, windblown objects
- B60W2554/402—Type
- B60W2554/4029—Pedestrians
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2556/00—Input parameters relating to data
- B60W2556/10—Historical data
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Artificial Intelligence (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Traffic Control Systems (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
Abstract
Description
本開示を具体的に説明する前に、概要を述べる。本実施の形態は、自動車の自動運転に関する。特に、本実施の形態は、車両の運転行動に関する情報を車両の乗員(例えば運転者)との間でやり取りするためのHMI(Human Machine Interface)を制御する装置(以下「運転支援装置」とも呼ぶ。)に関する。また、運転支援装置は、自動運転のために運転行動モデルを学習させること(以下、「学習処理」という)、運転行動モデルをもとに運転行動を推定すること(以下、「推定処理」という)の少なくとも一方を実行する。本開示の処理とは、運転行動の学習および/または推定であり、例えばIVI(In−Vehicle Infotainment)機器の操作などの運転中の運転以外の行動や操作であってもよい。本開示の非実行とは、処理の中止や中断であり、中断の場合は、処理を継続してもよい。また、本開示の非実行を決定しなかった場合に、処理が実行されているときに、運転者からの入力によって強制的に中止や中断をしてもよい。
第1決定処理では、走行困難度、覚醒度が使用される。図4(a)−(c)は、決定部62に記憶されるテーブルの構成を示す。図4(a)が、第1決定処理において使用されるテーブルである。横軸が走行困難度を示し、縦軸が覚醒度を示す。決定部62は、走行困難度が第1しきい値TDa以下である場合、覚醒度が第2しきい値Aa以上であり、かつ第3しきい値Ac以下であれば、処理の実行を決定する。ここで、第3しきい値Ac>第2しきい値Aaである。決定部62は、走行困難度が第1しきい値TDa以下である場合、覚醒度が第2しきい値Aaよりも低いか、あるいは覚醒度が第3しきい値Acよりも高ければ、処理の非実行を決定する。
第2決定処理では、覚醒度、運転習熟度が使用される。図4(b)が、第2決定処理において使用されるテーブルである。横軸が運転習熟度を示し、縦軸が覚醒度を示す。運転習熟度に対するしきい値としてDSa、DSbが規定される。DSa<DSbである。また、覚醒度に対するしきい値としてAd、Aeが規定される。Ad<Aeである。決定部62は、運転習熟度がDSa以下である場合、覚醒度によらず、処理の非実行を決定する。決定部62は、運転習熟度がDSaより高く、かつDSb以下である場合、覚醒度がAe以上であれば処理の実行を決定するが、覚醒度がAeより低くければ処理の非実行を決定する。決定部62は、運転習熟度がDSbより高い場合、覚醒度がAd以上であれば処理の実行を決定するが、覚醒度がAdより低くければ処理の非実行を決定する。これは、運転習熟度が高くなるほど覚醒度に対するしきい値を低くするといえる。
第3決定処理では、走行困難度、運転習熟度が使用される。図4(c)が、第3決定処理において使用されるテーブルである。横軸が運転習熟度を示し、縦軸が走行困難度を示す。運転習熟度に対するしきい値としてDSa、DSb、DScが規定される。DSa<DSb<DScである。また、走行困難度に対するしきい値としてTDb、TDc、TDdが規定される。TDb<TDc<TDdである。決定部62は、運転習熟度がDSa以下である場合、走行困難度によらず、処理の非実行を決定する。決定部62は、運転習熟度がDSaより高く、かつDSb以下である場合、走行困難度がTDb以下であれば処理の実行を決定するが、走行困難度がTDbより高ければ処理の非実行を決定する。決定部62は、運転習熟度がDSbより高く、かつ運転習熟度がDSc以下である場合、走行困難度がTDc以下であれば処理の実行を決定するが、走行困難度がTDcより高ければ処理の非実行を決定する。決定部62は、運転習熟度がDScより高い場合、走行困難度がTDd以下であれば処理の実行を決定するが、走行困難度がTDdより高ければ処理の非実行を決定する。これは、運転習熟度が高くなるほど走行困難度に対するしきい値を高くするといえる。
第4決定処理では、走行困難度が使用される。決定部62は、走行困難度がしきい値以下であれば、処理の実行を決定する。決定部62は、走行困難度がしきい値よりも高ければ、処理の非実行を決定する。
第5決定処理では、覚醒度が使用される。決定部62は、第1決定処理において走行困難度が第1しきい値TDa以下である場合と同様の処理を実行する。つまり、決定部62は、覚醒度がAa以上であり、かつAc以下であれば、処理の実行を決定する。前述のごとく、値Ac>Aaである。決定部62は、覚醒度がAaよりも低いか、あるいは覚醒度が値Acよりも高ければ、処理の非実行を決定する。
第6決定処理では、運転習熟度が使用される。決定部62は、運転習熟度がしきい値以上であれば、処理の実行を決定する。決定部62は、運転習熟度がしきい値よりも低ければ、処理の非実行を決定する。
次に実施の形態2を説明する。実施の形態2は、実施の形態1と同様に、状況に応じて、学習処理あるいは推定処理を実行するか否かを切りかえる支援システムに関する。実施の形態1においては、支援システムが自動車の自動運転において使用されており、支援システムによって運転行動モデルに対する学習処理あるいは推定処理が実行されている。一方、実施の形態2においては、支援システムが音声エージェントシステムにおいて使用される。音声エージェントシステムは、音声アシスタントシステムとも呼ばれ、音声認識処理と自然言語処理を組み合わせ、話者からの発話に対し、適切に回答したり、動作したりする。例えば、話者は、スマートフォン、タブレット型端末、スマートスピーカ(以下、「端末装置」と総称する)に発話し、端末装置にネットワークを介して接続されたサーバ装置において処理がなされる。このような音声エージェントシステムにおいて、話者による発話がなされてから回答あるいは動作までの応答期間の短縮が求められる。応答期間を短縮するために、音声エージェントシステムに支援システムを使用することによって、話者による発話の途中で発話の内容が推定される。この支援システムでは、発話行動モデルに対する学習処理あるいは推定処理が実行される。
第1決定処理では、発話の内容、話者の情報が使用される。決定部462は、予定される発話の内容に含まれるべきキーワードを1つ以上予め記憶する。決定部462は、発話の内容にキーワードが含まれているか否かを判定する。発話の内容にキーワードが含まれていなければ、つまり発話の内容が予定外であれば、決定部462は、処理の非実行を決定する。発話の内容にキーワードが含まれている場合、つまり発話の内容が予定内である場合、決定部462は、話者の情報を確認する。話者の情報において、画像に含まれた話者と参照画像に含まれた話者とが異なることが示されている場合、つまり発話の話者が予定外である場合、決定部462は、処理の非実行を決定する。一方、画像に含まれた話者と参照画像に含まれた話者とが同一であることが示されている場合、つまり発話の話者が予定内である場合、決定部462は、処理の実行を決定する。
第2決定処理では、発話の内容が使用される。決定部462は、第1決定処理と同様の処理を実行し、発話の内容が予定外であれば、処理の非実行を決定する。一方、決定部462は、発話の内容が予定内であれば、処理の実行を決定する。
第3決定処理では、話者の情報が使用される。決定部462は、第1決定処理と同様の処理を実行し、発話の話者が予定外であれば、処理の非実行を決定する。一方、決定部462は、発話の話者が予定内であれば、処理の実行を決定する。
次に実施の形態3を説明する。実施の形態3は、これまでと同様に、状況に応じて、学習処理あるいは推定処理を実行するか否かを切りかえる支援システムに関する。実施の形態3においては、支援システムが遠隔操作システムにおいて使用される。遠隔操作システムでは、スマートフォン、タブレット型端末(以下、これまでと同様に「端末装置」と総称する)とサーバ装置と機器とがネットワークを介して接続される。遠隔操作システムは、操作者からの操作をもとに、操作者から離れた機器を動作させる。例えば、操作者は端末装置を操作し、サーバ装置は、操作に応じて機器を制御する。遠隔操作システムにおいて、操作者による操作がなされてから機器の動作までの応答期間の短縮が求められる。応答期間を短縮するために、遠隔操作システムに支援システムを使用することによって、操作者による操作の途中で操作の内容が推定される。この支援システムでは、操作行動モデルに対する学習処理あるいは推定処理が実行される。
このように、取得部660は、行動モデルの精度に影響を与えうる1つ以上の情報として、機器570の操作内容、機器570の近傍の人の存在、機器570を操作した人の感情のうちの少なくとも1つの情報を取得する。
第1決定処理では、操作内容、人の存在の情報が使用される。決定部662は、予定される操作内容を予め記憶する。決定部662は、取得した操作内容が、予定される操作内容に含まれているか否かを判定する。機器570の操作内容が予定外であれば、決定部662は、処理の非実行を決定する。機器570の操作内容が予定内である場合、決定部662は、人の存在の情報を確認する。操作後に人の存在が不在を示す場合、決定部662は、処理の非実行を決定する。一方、操作後に人の存在が示される場合、決定部662は、処理の実行を決定する。
第2決定処理では、操作内容、人の感情の情報が使用される。決定部662は、取得した操作内容が、予定される操作内容に含まれているか否かを判定する。機器570の操作内容が予定外であれば、決定部662は、処理の非実行を決定する。機器570の操作内容が予定内である場合、決定部662は、人の感情の情報を確認する。人の感情が不満足である場合、決定部662は、処理の非実行を決定する。一方、人の感情が満足である場合、決定部662は、処理の実行を決定する。
第3決定処理では、操作内容が使用される。決定部662は、第1決定処理と同様の処理を実行し、操作内容が予定外が予定外であれば、処理の非実行を決定する。一方、決定部662は、操作内容が予定内であれば、処理の実行を決定する。
第4決定処理では、人の存在の情報が使用される。決定部662は、第1決定処理と同様の処理を実行し、操作後に人の存在が不在であれば、処理の非実行を決定する。一方、決定部662は、操作後に人の存在があれば、処理の実行を決定する。
第5決定処理では、人の感情の情報が使用される。決定部662は、第2決定処理と同様の処理を実行し、人の感情が不満足であれば、処理の非実行を決定する。一方、決定部662は、人の感情が満足であれば、処理の実行を決定する。
Claims (23)
- 行動モデルに関する処理を実行する支援システムであって、
検出情報が入力される検出情報入力部と、
前記検出情報入力部に入力された検出情報をもとに、行動モデルの精度に影響を与えうる1つ以上の情報を取得する取得部と、
前記取得部において取得した1つ以上の情報をもとに、処理を実行するか否かを決定する決定部と、
前記決定部が処理の実行を決定した場合、行動モデルに関する処理を実行する処理部とを備え、
前記処理部は、前記決定部が処理の非実行を決定した場合、行動モデルに関する処理を非実行とすることを特徴とする支援システム。 - 本支援システムは、車両での行動モデルに関する処理を実行しており、
前記検出情報入力部には、前記車両からの検出情報が入力され、
前記取得部は、行動モデルの精度に影響を与えうる1つ以上の情報として、前記車両の走行困難度、運転者の覚醒度、運転者の運転習熟度のうちの少なくとも1つの情報を導出することを特徴とする請求項1に記載の支援システム。 - 前記取得部は、前記車両の走行困難度を導出し、
前記決定部は、前記取得部において導出した走行困難度がしきい値よりも高ければ、処理の非実行を決定することを特徴とする請求項2に記載の支援システム。 - 前記取得部は、前記運転者の覚醒度を導出し、
前記決定部は、前記取得部において導出した覚醒度がしきい値よりも低ければ、処理の非実行を決定することを特徴とする請求項2に記載の支援システム。 - 前記取得部は、前記運転者の運転習熟度を導出し、
前記決定部は、前記取得部において導出した運転習熟度がしきい値よりも低ければ、処理の非実行を決定することを特徴とする請求項2に記載の支援システム。 - 前記取得部は、前記車両の走行困難度、前記運転者の覚醒度、前記運転者の運転習熟度のうちの2つ以上の情報を導出し、
前記決定部は、前記取得部において導出した2つ以上の情報の組合せをもとに、処理を実行するか否かを決定することを特徴とする請求項2に記載の支援システム。 - 前記取得部は、前記車両の走行困難度、前記運転者の覚醒度を導出し、
前記決定部は、走行困難度が第1しきい値以下である場合、覚醒度が第2しきい値よりも低いか、あるいは覚醒度が第3しきい値(第3しきい値>第2しきい値)よりも高ければ、処理の非実行を決定することを特徴とする請求項2に記載の支援システム。 - 前記取得部は、前記車両の走行困難度、前記運転者の覚醒度を導出し、
前記決定部は、走行困難度が第1しきい値より高い場合、覚醒度が第4しきい値よりも低ければ、処理の非実行を決定することを特徴とする請求項2に記載の支援システム。 - 前記取得部は、前記運転者の覚醒度、前記運転者の運転習熟度を導出し、
前記決定部は、運転習熟度が高くなるほどしきい値を低くするとともに、覚醒度がしきい値よりも低ければ処理の非実行を決定することを特徴とする請求項2に記載の支援システム。 - 前記取得部は、前記車両の走行困難度、前記運転者の運転習熟度を導出し、
前記決定部は、運転習熟度が高くなるほどしきい値を高くするとともに、走行困難度がしきい値よりも高ければ処理の非実行を決定することを特徴とする請求項2に記載の支援システム。 - 本支援システムは、発話についての行動モデルに関する処理を実行しており、
前記検出情報入力部には、前記発話についての検出情報が入力され、
前記取得部は、行動モデルの精度に影響を与えうる1つ以上の情報として、前記発話の内容、前記発話の話者、行動モデルの処理位置のうちの少なくとも1つの情報を取得することを特徴とする請求項1に記載の支援システム。 - 前記取得部は、前記発話の内容を取得し、
前記決定部は、前記取得部において取得した発話の内容が予定外であれば、処理の非実行を決定することを特徴とする請求項11に記載の支援システム。 - 前記取得部は、前記発話の話者を認識し、
前記決定部は、前記取得部において認識した発話の話者が予定外であれば、処理の非実行を決定することを特徴とする請求項11または12に記載の支援システム。 - 前記取得部は、行動モデルの処理位置を取得し、
前記決定部は、前記取得部において取得した行動モデルの処理位置が発話位置からネットワークを介して離れていなければ、処理の非実行を決定することを特徴とする請求項11から13のいずれかに記載の支援システム。 - 本支援システムは、機器に対する行動モデルに関する処理を実行しており、
前記検出情報入力部には、前記機器に対する検出情報が入力され、
前記取得部は、行動モデルの精度に影響を与えうる1つ以上の情報として、前記機器の操作内容、前記機器の近傍の人の存在、前記機器を操作した人の感情のうちの少なくとも1つの情報を取得することを特徴とする請求項1に記載の支援システム。 - 前記取得部は、前記機器の操作内容を取得し、
前記決定部は、前記取得部において取得した機器の操作内容が予定外であれば、処理の非実行を決定することを特徴とする請求項15に記載の支援システム。 - 前記取得部は、前記機器の近傍の人の存在を認識し、
前記決定部は、前記取得部において認識した人の存在が不在であれば、処理の非実行を決定することを特徴とする請求項15または16に記載の支援システム。 - 前記取得部は、前記機器を操作した人の感情を取得し、
前記決定部は、前記取得部において取得した人の感情が不満足であれば、処理の非実行を決定することを特徴とする請求項15から17のいずれかに記載の支援システム。 - 前記処理部における処理は、行動モデルを学習させる学習処理であり、
前記処理部は、入力パラメータによって行動モデルを構築することを特徴とする請求項1から18のいずれかに記載の支援システム。 - 前記処理部における処理は、行動を推定する推定処理であり、
前記処理部は、入力データを行動モデルに入力するとともに、行動モデルからの出力を行動として取得することを特徴とする請求項1から18のいずれかに記載の支援システム。 - 前記処理部における処理は、行動モデルを学習させる学習処理と、行動を推定する推定処理であり、
前記処理部は、学習処理を実行する場合、入力パラメータによって行動モデルを構築し、推定処理を実行する場合、入力データを行動モデルに入力するとともに、行動モデルからの出力を行動として取得することを特徴とする請求項1から18のいずれかに記載の支援システム。 - 行動モデルに関する処理を実行する支援装置であって、
検出情報が入力される検出情報入力部と、
前記検出情報入力部に入力された検出情報をもとに、行動モデルの精度に影響を与えうる1つ以上の情報を取得する取得部と、
前記取得部において取得した1つ以上の情報をもとに、処理を実行するか否かを決定する決定部と、
前記決定部が処理の実行を決定した場合、行動モデルに関する処理を実行する処理部とを備え、
前記処理部は、前記決定部が処理の非実行を決定した場合、行動モデルに関する処理を非実行とすることを特徴とする支援装置。 - 行動モデルに関する処理を実行する支援方法であって、
検出情報が入力されるステップと、
入力された検出情報をもとに、行動モデルの精度に影響を与えうる1つ以上の情報を取得するステップと、
取得した1つ以上の情報をもとに、処理を実行するか否かを決定するステップと、
処理の実行を決定した場合、行動モデルに関する処理を実行するステップと、
処理の非実行を決定した場合、行動モデルに関する処理を非実行とするステップと、
を備えることを特徴とする支援方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017167751 | 2017-08-31 | ||
JP2017167751 | 2017-08-31 | ||
PCT/JP2018/029640 WO2019044427A1 (ja) | 2017-08-31 | 2018-08-07 | 支援方法およびそれを利用した支援システム、支援装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2019044427A1 true JPWO2019044427A1 (ja) | 2020-10-29 |
JP7329755B2 JP7329755B2 (ja) | 2023-08-21 |
Family
ID=65524930
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019539138A Active JP7329755B2 (ja) | 2017-08-31 | 2018-08-07 | 支援方法およびそれを利用した支援システム、支援装置 |
Country Status (5)
Country | Link |
---|---|
US (2) | US11685390B2 (ja) |
JP (1) | JP7329755B2 (ja) |
CN (1) | CN111295699B (ja) |
DE (1) | DE112018004885T5 (ja) |
WO (1) | WO2019044427A1 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018159429A1 (ja) | 2017-03-02 | 2018-09-07 | パナソニックIpマネジメント株式会社 | 運転支援方法およびそれを利用した運転支援装置、運転支援システム |
WO2020121425A1 (ja) * | 2018-12-12 | 2020-06-18 | 三菱電機株式会社 | 状態判定装置、状態判定方法、及び状態判定プログラム |
JP7103201B2 (ja) * | 2018-12-20 | 2022-07-20 | トヨタ自動車株式会社 | 情報処理システム、プログラム、及び情報処理方法 |
US11878698B2 (en) * | 2019-04-12 | 2024-01-23 | Mitsubishi Electric Corporation | Display control device, display control method, and storage medium storing display control program |
JP6913716B2 (ja) * | 2019-07-17 | 2021-08-04 | 本田技研工業株式会社 | 車両制御装置、車両制御方法、及びプログラム |
JP7360859B2 (ja) | 2019-09-17 | 2023-10-13 | ダイハツ工業株式会社 | 配送システム |
KR20210124603A (ko) * | 2020-04-06 | 2021-10-15 | 현대자동차주식회사 | 차량의 자율 주행 제어 장치, 그를 포함한 시스템 및 그 방법 |
JP2022038604A (ja) * | 2020-08-27 | 2022-03-10 | 株式会社Subaru | 車両の制御装置 |
CN112697457B (zh) * | 2020-12-14 | 2022-11-01 | 中国科学院国家空间科学中心 | 一种基于深度学习的车辆自主检测与控制系统 |
US11840257B2 (en) * | 2022-03-25 | 2023-12-12 | Embark Trucks Inc. | Lane change determination for vehicle on shoulder |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006347531A (ja) * | 2005-05-16 | 2006-12-28 | Xanavi Informatics Corp | 車載端末装置、自動車の走行制御システム、及び自動車の制御方法 |
JP2008058696A (ja) * | 2006-08-31 | 2008-03-13 | Nara Institute Of Science & Technology | 声質変換モデル生成装置及び声質変換システム |
JP2010072800A (ja) * | 2008-09-17 | 2010-04-02 | Fuji Heavy Ind Ltd | 覚醒度判定装置 |
JP2017013749A (ja) * | 2015-07-06 | 2017-01-19 | トヨタ自動車株式会社 | 自動運転車両の制御装置 |
JP2017107299A (ja) * | 2015-12-07 | 2017-06-15 | 株式会社デンソー | ふらつき判定装置及びふらつき判定方法 |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040006477A1 (en) * | 2002-07-05 | 2004-01-08 | Craner Michael L. | Voice-controllable communication gateway for controlling multiple electronic and information appliances |
EP2032034B1 (en) * | 2006-06-11 | 2020-04-01 | Volvo Truck Corporation | Method for determining and analyzing a location of visual interest |
JP4240118B2 (ja) * | 2006-12-12 | 2009-03-18 | トヨタ自動車株式会社 | 運転支援装置 |
JP2008152438A (ja) * | 2006-12-15 | 2008-07-03 | Mitsubishi Fuso Truck & Bus Corp | 車両用表示装置 |
JP5161643B2 (ja) * | 2008-04-23 | 2013-03-13 | 富士重工業株式会社 | 安全運転支援システム |
JP5114342B2 (ja) * | 2008-08-25 | 2013-01-09 | 富士重工業株式会社 | 覚醒度判定装置 |
CN102414048A (zh) * | 2009-04-23 | 2012-04-11 | 丰田自动车株式会社 | 驾驶不当应对装置 |
JP5385056B2 (ja) | 2009-08-31 | 2014-01-08 | 株式会社デンソー | 運転状況推定装置,運転支援装置 |
US9493130B2 (en) * | 2011-04-22 | 2016-11-15 | Angel A. Penilla | Methods and systems for communicating content to connected vehicle users based detected tone/mood in voice input |
US9245254B2 (en) * | 2011-12-01 | 2016-01-26 | Elwha Llc | Enhanced voice conferencing with history, language translation and identification |
CN103390406B (zh) * | 2012-05-11 | 2016-08-24 | 联发科技股份有限公司 | 说话人验证方法、说话人验证的准备方法及电子装置 |
CN103020594B (zh) * | 2012-12-03 | 2016-01-20 | 清华大学苏州汽车研究院(吴江) | 利用在线学习消除驾驶人个体差异性的疲劳状态检测方法 |
US9153231B1 (en) * | 2013-03-15 | 2015-10-06 | Amazon Technologies, Inc. | Adaptive neural network speech recognition models |
US9147353B1 (en) * | 2013-05-29 | 2015-09-29 | Allstate Insurance Company | Driving analysis using vehicle-to-vehicle communication |
KR101589427B1 (ko) * | 2014-04-04 | 2016-01-27 | 현대자동차 주식회사 | 운전자 피로도 기반 차량운행 제어장치 및 방법 |
US9714037B2 (en) * | 2014-08-18 | 2017-07-25 | Trimble Navigation Limited | Detection of driver behaviors using in-vehicle systems and methods |
US10476872B2 (en) * | 2015-02-20 | 2019-11-12 | Sri International | Joint speaker authentication and key phrase identification |
JP6801274B2 (ja) * | 2016-07-11 | 2020-12-16 | 株式会社デンソー | 運転支援装置、及び運転支援方法 |
US20180170392A1 (en) * | 2016-12-20 | 2018-06-21 | Baidu Usa Llc | Method and System to Recognize Individual Driving Preference for Autonomous Vehicles |
-
2018
- 2018-08-07 WO PCT/JP2018/029640 patent/WO2019044427A1/ja active Application Filing
- 2018-08-07 DE DE112018004885.3T patent/DE112018004885T5/de active Pending
- 2018-08-07 CN CN201880070605.4A patent/CN111295699B/zh active Active
- 2018-08-07 JP JP2019539138A patent/JP7329755B2/ja active Active
-
2020
- 2020-02-27 US US16/803,433 patent/US11685390B2/en active Active
-
2023
- 2023-05-11 US US18/315,862 patent/US20230278566A1/en active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006347531A (ja) * | 2005-05-16 | 2006-12-28 | Xanavi Informatics Corp | 車載端末装置、自動車の走行制御システム、及び自動車の制御方法 |
JP2008058696A (ja) * | 2006-08-31 | 2008-03-13 | Nara Institute Of Science & Technology | 声質変換モデル生成装置及び声質変換システム |
JP2010072800A (ja) * | 2008-09-17 | 2010-04-02 | Fuji Heavy Ind Ltd | 覚醒度判定装置 |
JP2017013749A (ja) * | 2015-07-06 | 2017-01-19 | トヨタ自動車株式会社 | 自動運転車両の制御装置 |
JP2017107299A (ja) * | 2015-12-07 | 2017-06-15 | 株式会社デンソー | ふらつき判定装置及びふらつき判定方法 |
Also Published As
Publication number | Publication date |
---|---|
US20230278566A1 (en) | 2023-09-07 |
US20200198649A1 (en) | 2020-06-25 |
JP7329755B2 (ja) | 2023-08-21 |
WO2019044427A1 (ja) | 2019-03-07 |
CN111295699A (zh) | 2020-06-16 |
CN111295699B (zh) | 2023-03-21 |
DE112018004885T5 (de) | 2020-06-10 |
US11685390B2 (en) | 2023-06-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7329755B2 (ja) | 支援方法およびそれを利用した支援システム、支援装置 | |
JP7288911B2 (ja) | 情報処理装置、移動装置、および方法、並びにプログラム | |
JP7155122B2 (ja) | 車両制御装置及び車両制御方法 | |
JP7352566B2 (ja) | 情報処理装置、移動装置、および方法、並びにプログラム | |
CN108688677B (zh) | 车辆驾驶支援系统以及车辆驾驶支援方法 | |
JP7080598B2 (ja) | 車両制御装置および車両制御方法 | |
US11042766B2 (en) | Artificial intelligence apparatus and method for determining inattention of driver | |
JP6922739B2 (ja) | 情報処理装置、および情報処理方法、並びにプログラム | |
JP6773040B2 (ja) | 情報処理システム、および情報処理システムの情報処理方法、情報処理装置、並びにプログラム | |
CN108688676B (zh) | 车辆驾驶支援系统以及车辆驾驶支援方法 | |
US10908677B2 (en) | Vehicle system for providing driver feedback in response to an occupant's emotion | |
CN108688673B (zh) | 车辆驾驶支援系统 | |
JP2022552860A (ja) | 予測及び先取り制御に基づく乗用車の乗員状態調整システム | |
KR20200113202A (ko) | 정보 처리 장치, 이동 장치, 및 방법, 그리고 프로그램 | |
US20180275652A1 (en) | Driving assistance device | |
CN108688675B (zh) | 车辆驾驶支援系统 | |
JP6575933B2 (ja) | 車両運転支援システム | |
JP2018165692A (ja) | 運転支援方法およびそれを利用した運転支援装置、自動運転制御装置、車両、プログラム、提示システム | |
JP2018167648A (ja) | 車両運転支援システム及び車両運転支援方法 | |
JP7232094B2 (ja) | 車両の制御装置、車両の制御方法及びプログラム | |
JP7238193B2 (ja) | 車両制御装置および車両制御方法 | |
JP2018165693A (ja) | 運転支援方法およびそれを利用した運転支援装置、自動運転制御装置、車両、プログラム、提示システム | |
WO2022239642A1 (ja) | 車両用情報提供装置、車両用情報提供方法、及び車両用情報提供プログラム | |
JP2024078277A (ja) | 車両制御装置 | |
CN116685516A (zh) | 信息处理装置、信息处理方法和信息处理程序 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210615 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220726 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220922 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230124 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230324 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230711 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230727 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7329755 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
SZ03 | Written request for cancellation of trust registration |
Free format text: JAPANESE INTERMEDIATE CODE: R313Z03 |