JP2024066808A - 車載システム - Google Patents
車載システム Download PDFInfo
- Publication number
- JP2024066808A JP2024066808A JP2022176520A JP2022176520A JP2024066808A JP 2024066808 A JP2024066808 A JP 2024066808A JP 2022176520 A JP2022176520 A JP 2022176520A JP 2022176520 A JP2022176520 A JP 2022176520A JP 2024066808 A JP2024066808 A JP 2024066808A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- occupant
- behavior
- occupants
- emotion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000008451 emotion Effects 0.000 claims abstract description 58
- 238000012806 monitoring device Methods 0.000 claims abstract description 12
- 238000012544 monitoring process Methods 0.000 claims abstract description 5
- 230000006399 behavior Effects 0.000 claims description 73
- 230000001133 acceleration Effects 0.000 claims description 16
- 230000008921 facial expression Effects 0.000 claims description 15
- 238000003384 imaging method Methods 0.000 claims description 11
- 238000010801 machine learning Methods 0.000 claims description 6
- 238000000034 method Methods 0.000 claims description 2
- 230000004044 response Effects 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 8
- 230000000007 visual effect Effects 0.000 description 8
- 238000012549 training Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 238000002372 labelling Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 201000003152 motion sickness Diseases 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/087—Interaction between the driver and the control system where the control system corrects or modifies a request from the driver
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W2040/0872—Driver physiology
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
【課題】車両の挙動を把握していない乗員が不快になるのを抑制することができる車載システムを提供すること。【解決手段】本発明の車載システムは、制御装置と、車内の複数の乗員それぞれが車両の挙動を把握しているか否かを監視する監視装置と、感情推定用の学習済みモデルを記憶する記憶装置と、を備えた車載システムであって、制御装置は、監視装置の監視結果に基づいて、複数の乗員のうち、車両の挙動を把握していない乗員が存在するか否かを判定し、その判定結果に基づいて、感情を推定する対象となる対象乗員を前記複数の乗員から決定し、学習済みモデルを用いて、決定された対象乗員の感情を推定し、且つ、対象乗員の感情の推定結果に応じて、車両制御を実行する、ように構成される。【選択図】図2
Description
本発明は、車載システムに関する。
特許文献1には、運転者と乗員との感情差に基づいて、運転アドバイスを生成する技術が開示されている。
加減速、右左折、及び、段差などの車両の挙動を乗員が把握していない場合には、車酔いなどの不快な感情になりやすい。
本発明は、上記課題に鑑みてなされたものであって、その目的は、車両の挙動を把握していない乗員が不快になるのを抑制することができる車載システムを提供することである。
上述した課題を解決し、目的を達成するために、本発明に係る車載システムは、制御装置と、車内の複数の乗員それぞれが車両の挙動を把握しているか否かを監視する監視装置と、感情推定用の学習済みモデルを記憶する記憶装置と、を備えた車載システムであって、前記制御装置は、前記監視装置の監視結果に基づいて、前記複数の乗員のうち、前記車両の挙動を把握していない乗員が存在するか否かを判定し、その判定結果に基づいて、感情を推定する対象となる対象乗員を前記複数の乗員から決定し、前記学習済みモデルを用いて、決定された前記対象乗員の感情を推定し、且つ、前記対象乗員の感情の推定結果に応じて、車両制御を実行する、ように構成されるものである。
これにより、本発明に係る車載システムにおいては、車両の挙動を把握していない乗員の感情を優先して車両制御を実行することにより、当該乗員が不快になるのを抑制することができる。
また、上記において、前記判定結果に基づいて、前記対象乗員を決定することは、前記車両の挙動を把握していない1人以上の乗員が前記複数の乗員の中に存在する場合に、当該1人以上の乗員から前記対象乗員を決定することを含むようにしてもよい。
これにより、複数の乗員の中に存在する、車両の挙動を把握していない1人以上の乗員から、対象乗員を決定することができる。
また、上記において、車内において前記複数の乗員の顔を撮影可能な位置に配置された撮像装置を更に備え、前記学習済みモデルは、人物の表情の写る画像データから当該人物の感情を推定した結果を導出するように機械学習により生成されたものであり、前記学習済みモデルを用いて、前記対象乗員の感情を推定することは、前記撮像装置により得られる前記対象乗員の表情の写る画像データを前記学習済みモデルに与え、且つ、前記学習済みモデルの演算処理を実行することで、前記対象乗員の感情を推定した結果を前記学習済みモデルから得ること、により構成されるようにしてもよい。
これにより、撮像装置によって撮影された対象乗員の表情から感情を推定することができる。
また、上記において、前記監視装置は、前記撮像装置により構成され、前記車両の挙動を把握していない乗員が存在するか否かを判定することは、前記撮像装置により得られる画像データに基づいて、前記複数の乗員のうち、前記車両の挙動を把握していない乗員が存在するか否かを判定することにより構成されるようにしてもよい。
これにより、撮像装置により得られる画像データに基づいて、車両の挙動を把握していない乗員を判定することができる。
また、上記において、前記車両制御を実行することは、前記車両の挙動を把握していない乗員が存在すると判定した場合に、前記対象乗員の感情の推定結果に応じて、前記車両の加速度の範囲を限定する車両制御を実行することを含むようにしてもよい。
これにより、車両の挙動を把握していない乗員が、急激な加減速によって不快になるのを抑制することができる。
本発明に係る車載システムは、車両の挙動を把握していない乗員が不快になるのを抑制することができるという効果を奏する。
(実施形態1)
以下に、本発明に係る車載システムの実施形態1について説明する。なお、本実施形態により本発明が限定されるものではない。
以下に、本発明に係る車載システムの実施形態1について説明する。なお、本実施形態により本発明が限定されるものではない。
図1は、実施形態1に係る車載システム2が搭載された車両1の概略を示した図である。
図1に示すように、実施形態に係る車両1は、車載システム2、ハンドル4、前部座席31,32、及び、後部座席33などを備えている。なお、図1中の矢印Aは、車両1の進行方向を示している。
前部座席31,32及び後部座席33には、それぞれ乗員10A,10B,10Cが着座している。ハンドル4と対向する前部座席31に着座した乗員10Aは、車両1の運転者である。図1中の矢印LS1は、乗員10Bの視線の向きを示している。図1中の矢印LS2は、乗員10Cの視線の向きを示している。なお、以下の説明において、乗員10A,10B,10Cを特に区別しない場合には、単に乗員10と記す。
車載システム2は、制御装置21、記憶装置22、及び、車内カメラ23などによって構成されている。
制御装置21は、例えば、CPU(Central Processing Unit)を含む集積回路によって構成されている。制御装置21は、記憶装置22に記憶されたプログラムなどを実行する。また、制御装置21は、例えば、車内カメラ23から画像データを取得する。
記憶装置22は、例えば、ROM(Read Only Memory)、RAM(Random Access Memory)、SSD(Solid State Drive)、及び、HDD(Hard Disk Drive)などを少なくとも1つ備えている。また、記憶装置30は、物理的に一つの要素である必要はなく、物理的に離間して設けられた複数の要素を有してもよい。記憶装置22は、制御装置21によって実行されるプログラムなどを記憶する。また、記憶装置22は、後述する訓練済みの機械学習モデルである、車両1の挙動を把握しているか否かの判定用の学習済みモデル、感情推定用の学習済みモデル、車両制御用の学習済みモデルなどのプログラムの実行時に使用される各種データも記憶している。
車内カメラ23は、図1に示されるように、車内において複数の乗員10A,10B,10Cの顔を撮影可能な位置に配置された撮像装置である。この車内カメラ23によって撮影された画像データは、制御装置21に送信されて、記憶装置22に一時的に記憶されるようになっている。また、車内カメラ23は、車両1の複数の乗員10A、10B,10Cそれぞれが、車両1の挙動を把握しているか否かを監視するための監視装置として機能する。
制御装置21は、車内カメラ23によって撮影された画像データに基づいて、乗員10の顔の向きや視線、表情などを探知することができる。また、制御装置21は、車内カメラ23によって撮影された人物の表情の写る画像データに基づいて、車両1の挙動を把握していない乗員10や、乗員10の表情から当該乗員10の感情を、機械学習した学習済みモデルを用いてAI(Artificial Intellignece)により判定することが可能となっている。なお、車両1の挙動を把握していない乗員10が存在するか否かを判定することは、車内カメラ3により得られる画像データに基づいて、複数の乗員10のうち、車両1の挙動を把握していない乗員10が存在するか否かを判定することにより構成される。さらに、制御装置21は、乗員10の感情から車両制御の内容を、機械学習した学習済みモデルを用いてAIにより判断することが可能となっている。
車両1の挙動を把握しているか否かの判定用の学習済みモデルは、訓練済みの機械学習モデルであって、例えば、ニューラルネットワークモデルに従って、教師あり学習により、入力データから感情の推定結果を出力するように機械学習されている。前記判定用の学習済みモデルは、入力及び結果のデータの組み合わせである学習用データセットを用いて、学習処理を繰り返し実行して生成される。学習用データセットは、例えば、入力として与えられる乗員10の視線など人物の顔の写る画像データの入力データに対して、出力となる車両1の挙動を把握しているか否かをラベル付けした学習用データを複数含むものである。入力データに対する車両1の挙動を把握しているか否かのラベル付けは、例えば、当業者などによって行われる。このように、学習用データセットを用いて学習された前記判定用の学習済みモデルは、入力データを受けると、学習済みモデルの演算処理を実行することで、車両1の挙動を把握しているか否かを出力する。
感情推定用の学習済みモデルは、訓練済みの機械学習モデルであって、例えば、ニューラルネットワークモデルに従って、教師あり学習により、入力データから感情の推定結果を出力するように機械学習されている。感情推定用の学習済みモデルにおける学習用データセットは、例えば、入力として与えられる乗員10の表情など人物の表情の写る画像データの入力データに対して、出力となる乗員10の感情をラベル付けした学習用データを複数含むものである。入力データに対する乗員10の感情のラベル付けは、例えば、当業者などによって行われる。このように、学習用データセットを用いて学習された感情推定用の学習済みモデルは、入力データを受けると、学習済みモデルの演算処理を実行することで、乗員10の感情を推定した結果を出力する。
なお、乗員10が車両の挙動を把握しているか否かの判断に用いるデータと、車両1の挙動を把握していない乗員10の感情推定に用いるデータとは、同一でもよいし、異なっていてもよい。
車両制御用の学習済みモデルは、訓練済みの機械学習モデルであって、例えば、ニューラルネットワークモデルに従って、教師あり学習により、入力データから車両制御の内容の結果を出力するように機械学習されている。車両制御用の学習済みモデルにおける学習用データセットは、例えば、入力として与えられる乗員10の感情の推定結果などの入力データに対して、出力となる車両制御の内容をラベル付けした学習用データを複数含むものである。入力データに対する車両制御の内容のラベル付けは、例えば、当業者などによって行われる。このように、学習用データセットを用いて学習された車両制御用の学習済みモデルは、入力データを受けると、学習済みモデルの演算処理を実行することで、車両制御の内容を出力する。車両制御の内容としては、例えば、加速度の範囲を限定したり、操舵角や横Gが閾値以下になるようにしたりする。
なお、制御装置21は、車両制御の内容を決定するときに、車両制御用の学習済みモデルではなく、乗員10の感情と車両制御の内容とを対応付けたルールに基づいて、乗員10の感情から車両制御の内容を決定してもよい。
実施形態に係る車載システム2においては、制御装置21が乗員10の感情に基づいて車両制御を実行する。ここで、車両1の車内に複数の乗員10A,10B,10Cが存在する場合には、制御装置21のAIによる感情推定の対象を誰にすれば良いか不明となり得る。そのため、制御装置21は、複数の乗員10A,10B,10Cのうち、減速したり加速したり曲がったりするなどの車両1の挙動を把握していない乗員10を、感情推定の対象として優先する。
制御装置21は、乗員10が車両1の挙動を把握しているか否かを、例えば、乗員10の視線から判定する。すなわち、図1に示すように、前部座席32から前を向いて車外の風景を見ている乗員10Bは、車両1の進行方向Aと同方向の視線LS1であるため、加減速、右左折、及び、段差などの車両1の挙動を把握していると判断する。一方、後部座席33から横を向いて車外の風景を見ている乗員10Cは、車両1の進行方向Aとは異なる方向の視線LS2であるため、加減速、右左折、及び、段差などの車両1の挙動を把握していないと判断する。
なお、車両1の運転者である乗員10Aは、車両1の進行方向Aを見て運転しており、自身の操作によって加減速などを行なうため、車両1の挙動を把握している。そのため、制御装置21は、乗員10が車両1の挙動を把握しているか否かの判断の対象から除外している。なお、車両1が自動運転で走行している場合には、乗員10Aも車両1の挙動を把握しているか否かの判断の対象としてもよい。
乗員10が車両1の挙動を把握していない場合には、加減速、右左折、及び、段差などの車両1の挙動に対して予測できないため、当該乗員10が不快な感情になるおそれがある。そのため、制御装置21は、前記不快を低減させるために車両1の加減速などを制限する車両制御を実行する。このように、制御装置21が車両制御を実行することは、車両1の挙動を把握していない乗員10が存在すると判定した場合に、対象乗員の感情の推定結果に応じて、車両1の加速度の範囲などを限定する車両制御を実行することを含むものである。
また、制御装置21は、車両1の挙動を把握していない乗員10が存在しないと判断した場合、任意の乗員10を感情推定の対象とする。例えば、制御装置21は、車両1の前方の風景が見え難く、前部座席31,32よりも車酔いし易い後部座席33に着座している乗員10Cを、感情推定の対象とする。また、制御装置21は、車両1の挙動を把握していない乗員10が存在しないと判断した場合、例えば、運転者を優先して感情推定の対象としてもよい。すなわち、制御装置21は、車両1の挙動を把握していない乗員10が存在しないと判断した場合、車両1の挙動の把握以外の他の基準によって、優先して感情推定の対象とする乗員10を決定してもよい。
図2は、制御装置21が実施する制御の一例を示したフローチャートである。
まず、制御装置21は、ステップS1において、車両1に搭乗している複数の乗員10のそれぞれが、車両1の挙動を把握しているか否かを監視する。次に、制御装置21は、ステップS2において、複数の乗員10のうち、車両1の挙動を把握していない乗員10が存在するか否かを判定する。制御装置21は、車両1の挙動を把握していない乗員10が存在しないと判定した場合、ステップS2にてNoとして、一連の制御を終了する。一方、制御装置21は、車両1の挙動を把握していない乗員10が存在すると判定した場合、ステップS2にてYesとして、ステップS3に移行する。制御装置21は、ステップS3において、感情を推定する対象となる対象乗員を決定する。なお、車両1の挙動を把握していない乗員10が存在する判定結果に基づいて、対象乗員を決定することは、車両1の挙動を把握していない1人以上の乗員10が複数の乗員10の中に存在する場合に、当該1人以上の乗員10から対象乗員を決定することを含む。次に、制御装置21は、ステップS4において、感情推定用の学習済みモデルを使用して、決定された対象乗員の感情を推定する。次に、制御装置21は、ステップS5において、推定した対象乗員の感情に基づいて、車両制御用の学習済みモデルを使用して、車両制御の内容を決定する。次に、制御装置21は、ステップS6において、決定した車両制御の内容に基づいて、車両制御を実行する。その後、制御装置21は、一連の制御を終了する。
実施形態1に係る車載システム2は、車両1の挙動を把握していない乗員10の感情を優先して車両制御を実行することにより、当該乗員10が不快になるのを抑制することができる。
(実施形態2)
以下に、本発明に係る車載システムの実施形態2について説明する。なお、実施形態2において実施形態1と共通する内容については、適宜説明を省略する。
以下に、本発明に係る車載システムの実施形態2について説明する。なお、実施形態2において実施形態1と共通する内容については、適宜説明を省略する。
図3は、実施形態2に係る車載システム2が搭載された車両1の概略を示した図である。
図3に示すように、実施形態2に係る車両1には、前部座席31の背面にDVDプレイヤーなどのAV機器の表示装置であるディスプレイ24が取り付けられている。また、図3では、前部座席31の後方で後部座席33に着座している乗員10Cが、ディスプレイ24に表示された映像を視聴している状態である。そして、制御装置21は、車内カメラ23が撮影した画像データに基づいて、車両1の挙動を把握しているか否かの判定用の学習済みモデルを用い、ディスプレイ24に視線LS2を向けて視聴している乗員10Cが車両1の挙動を把握していないと判定する。なお、前記判定用の学習済みモデルにおける学習用データセットは、例えば、入力として与えられる乗員10のディスプレイ24での視聴の有無などの入力データに対して、出力となる車両1の挙動を把握しているか否かをラベル付けした学習用データを複数含むものである。
ディスプレイ24に表示された映像を視聴していて、車両1の挙動を把握していない乗員10Cは、加減速、右左折、及び、段差などの車両1の挙動に対して予測できないため不快になる。そのため、制御装置21は、車両1の挙動を把握していない乗員10Cの感情推定を、車内カメラ23によって撮影された画像データに基づいて、乗員10Cの表情から感情推定用の学習済みモデルを用いて優先して行う。そして、制御装置21は、感情の推定結果に基づいて、車両制御用の学習済みモデルを用いて、加速度などを制限する車両制御を実行する。
また、実施形態2に係る車載システム2においては、車内の複数の乗員10それぞれが車両1の挙動を把握しているか否かを監視する監視装置としてディスプレイ24を用いてもよい。すなわち、制御装置21は、乗員10Cが車両1の挙動を把握しているか否かを、例えば、ディスプレイ24の電源の状態を検出して判断するようにしてもよい。そして、制御装置21は、ディスプレイ24の電源が入っていれば、乗員10Cがディスプレイ24での視聴を行っているとして、乗員10Cが車両1の挙動を把握していないと判定する。
(実施形態3)
以下に、本発明に係る車載システムの実施形態3について説明する。なお、実施形態3において実施形態1と共通する内容については、適宜説明を省略する。
以下に、本発明に係る車載システムの実施形態3について説明する。なお、実施形態3において実施形態1と共通する内容については、適宜説明を省略する。
図4は、実施形態3に係る車載システム2が搭載された車両1の概略を示した図である。
図4では、前部座席32に着座している乗員10Bが睡眠状態である。そして、制御装置21は、車内カメラ23が撮影した乗員10の画像データに基づいて、車両1の挙動を把握しているか否かの判定用の学習済みモデルを用いて、睡眠状態の乗員10Bが車両1の挙動を把握していないと判定する。なお、前記判定用の学習済みモデルにおける学習用データセットは、例えば、入力として与えられる乗員10の表情などの入力データに対して、出力となる車両1の挙動を把握しているか否かをラベル付けした学習用データを複数含むものである。
また、制御装置21は、睡眠状態である乗員10Bの表情から感情推定を行えないため、他の乗員10A,10Cの感情推定を優先する。制御装置21は、睡眠状態の乗員10Bが覚醒した際に、車内カメラ23によって撮影された画像データに基づいて、乗員10Bの表情から感情推定用の学習済みモデルを用いて、乗員10Bの感情推定を優先して行う。そして、制御装置21は、感情の推定結果に基づいて、車両制御用の学習済みモデルを用いて、加速度などを制限する車両制御を実行する。
また、実施形態3に係る車載システム2においては、車内の複数の乗員10それぞれが車両1の挙動を把握しているか否かを監視する監視装置としてウェアブル端末を用いてもよい。例えば、図4に示すように、前部座席32に着座している乗員10Bは、ウェアブル端末25を装着している。ウェアブル端末25は、例えば、端末内に設けられた3軸加速度センサを用いて、ウェアブル端末25の動きや動いた方向などの活動情報を検出する。制御装置21は、ウェアブル端末25から前記活動情報を無線通信などによって取得して、一定時間、乗員10Bが激しい活動を行っていない場合に、乗員10Bが睡眠状態であると判断する。そして、制御装置21は、睡眠状態の乗員10Bが車両1の挙動を把握していないと判定する。なお、ウェアブル端末25が、前記活動情報に基づいて乗員10Bの睡眠状態を判断し、その判断結果を無線通信などによって制御装置21に送信するようにしてもよい。
(実施形態4)
以下に、本発明に係る車載システムの実施形態4について説明する。なお、実施形態4において実施形態1と共通する内容については、適宜説明を省略する。
以下に、本発明に係る車載システムの実施形態4について説明する。なお、実施形態4において実施形態1と共通する内容については、適宜説明を省略する。
図5は、実施形態4に係る車載システム2が搭載された車両1の概略を示した図である。
実施形態4に係る車両1においては、図5に示すように、前部座席31に着座している運転者である乗員10A以外の乗員10B,10Cが、それぞれ視覚カメラ26a,26Bを装着している。視覚カメラ26a,26Bは、例えば、乗員10B,10Cの頭などに装着して、乗員10B,10Cの視点をセンシングするセンサなどであって、ヘッドマウントのカメラなどが挙げられる。実施形態4に係る車載システム2においては、車内の乗員10B,10Cが車両1の挙動を把握しているか否かを監視する監視装置として視覚カメラ26a,26Bを用いる。
制御装置21は、視覚カメラ26a,26bとの間で無線通信により、視覚カメラ26a,26bによって撮影された画像データを取得可能である。そして、制御装置21は、視覚カメラ26a,26bによって撮影された画像データに基づいて、乗員10B,10Cの視点をセンシングし、センシング結果に基づいて、乗員10B,10Cの視線LS1,LS2の向きを探知することができる。制御装置21は、乗員10B,10Cが車両1の挙動を把握しているか否かを、車両1の挙動を把握しているか否かの判定用の学習済みモデルを用いて、乗員10B,10Cの視線LS1,LS2の向きから判定する。すなわち、図5に示すように、前部座席32から前を向いて車外の風景を見ている乗員10Bは、車両1の進行方向Aと同方向の視線LS1であるため、車両1の挙動を把握していると判定する。一方、後部座席33から横を向いて車外の風景を見ている乗員10Cは、車両1の進行方向Aとは異なる方向の視線LS2であるため、車両1の挙動を把握していないと判定する。なお、前記判定用の学習済みモデルにおける学習用データセットは、例えば、入力として与えられる乗員10の視線などの入力データに対して、出力となる車両1の挙動を把握しているか否かをラベル付けした学習用データを複数含むものである。
その後、制御装置21は、視覚カメラ26bによって撮影された画像データに基づいて、車両1の挙動を把握していない乗員10Cの感情推定を、乗員10Cの表情から感情推定用の学習済みモデルを用いて優先して行う。そして、制御装置21は、感情の推定結果に基づいて、車両制御用の学習済みモデルを用いて、加速度などを制限する車両制御を実行する。
以上のように説明した、実施形態1~4に係る車載システム2においては、例えば、車両1の後部座席33に設置されたチャイルドシートに子供が座っている場合に、当該子供を車両1の挙動を把握していない乗員10として優先的に判定するようにしてもよい。例えば、車載システム2は、チャイルドシートが設置された箇所に対応する後部座席33のシートベルトの装着の有無を、シートベルトセンサの検知結果に基づいて判断する。そして、制御装置21は、後部座席33のシートベルトが設定された箇所に存在する乗員10がシートベルトを装着していないと判断した場合に、当該乗員10がチャイルドシートに座っている子供であると判断する。そして、車両1の挙動を把握していないと判定した乗員10が、チャイルドシートに座っている子供である場合、制御装置21は、より制限(加速度Gの範囲や横Gが閾値以下など)を厳しくして車両制御を実施する。さらに、制御装置21は、車内カメラ23が撮影した画像データに基づいて、前記子供が睡眠していると判断した場合に、より制限を厳しくして車両制御を実施してもよい。
1 車両
2 車載システム
4 ハンドル
10,10A,10B,10C 乗員
21 制御装置
22 記憶装置
23 車内カメラ
24 ディスプレイ
25 ウェアブル端末
26a,26b 視覚カメラ
31,32 前部座席
33 後部座席
LS1,LS2 視線
2 車載システム
4 ハンドル
10,10A,10B,10C 乗員
21 制御装置
22 記憶装置
23 車内カメラ
24 ディスプレイ
25 ウェアブル端末
26a,26b 視覚カメラ
31,32 前部座席
33 後部座席
LS1,LS2 視線
Claims (5)
- 制御装置と、
車内の複数の乗員それぞれが車両の挙動を把握しているか否かを監視する監視装置と、
感情推定用の学習済みモデルを記憶する記憶装置と、
を備えた車載システムであって、
前記制御装置は、
前記監視装置の監視結果に基づいて、前記複数の乗員のうち、前記車両の挙動を把握していない乗員が存在するか否かを判定し、
その判定結果に基づいて、感情を推定する対象となる対象乗員を前記複数の乗員から決定し、
前記学習済みモデルを用いて、決定された前記対象乗員の感情を推定し、且つ、
前記対象乗員の感情の推定結果に応じて、車両制御を実行する、
ように構成される、
車載システム。 - 前記判定結果に基づいて、前記対象乗員を決定することは、前記車両の挙動を把握していない1人以上の乗員が前記複数の乗員の中に存在する場合に、当該1人以上の乗員から前記対象乗員を決定することを含む、
請求項1に記載の車載システム。 - 車内において前記複数の乗員の顔を撮影可能な位置に配置された撮像装置を更に備え、
前記学習済みモデルは、人物の表情の写る画像データから当該人物の感情を推定した結果を導出するように機械学習により生成されたものであり、
前記学習済みモデルを用いて、前記対象乗員の感情を推定することは、
前記撮像装置により得られる前記対象乗員の表情の写る画像データを前記学習済みモデルに与え、且つ、
前記学習済みモデルの演算処理を実行することで、前記対象乗員の感情を推定した結果を前記学習済みモデルから得ること、
により構成される、請求項1に記載の車載システム。 - 前記監視装置は、前記撮像装置により構成され、
前記車両の挙動を把握していない乗員が存在するか否かを判定することは、前記撮像装置により得られる画像データに基づいて、前記複数の乗員のうち、前記車両の挙動を把握していない乗員が存在するか否かを判定することにより構成される、
請求項3に記載の車載システム。 - 前記車両制御を実行することは、前記車両の挙動を把握していない乗員が存在すると判定した場合に、
前記対象乗員の感情の推定結果に応じて、前記車両の加速度の範囲を限定する車両制御を実行することを含む、
請求項1乃至4のいずれか1項に記載の車載システム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022176520A JP2024066808A (ja) | 2022-11-02 | 2022-11-02 | 車載システム |
US18/369,953 US20240140454A1 (en) | 2022-11-02 | 2023-09-19 | On-vehicle system |
CN202311415154.2A CN117985024A (zh) | 2022-11-02 | 2023-10-30 | 车载系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022176520A JP2024066808A (ja) | 2022-11-02 | 2022-11-02 | 車載システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024066808A true JP2024066808A (ja) | 2024-05-16 |
Family
ID=90835260
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022176520A Pending JP2024066808A (ja) | 2022-11-02 | 2022-11-02 | 車載システム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20240140454A1 (ja) |
JP (1) | JP2024066808A (ja) |
CN (1) | CN117985024A (ja) |
-
2022
- 2022-11-02 JP JP2022176520A patent/JP2024066808A/ja active Pending
-
2023
- 2023-09-19 US US18/369,953 patent/US20240140454A1/en active Pending
- 2023-10-30 CN CN202311415154.2A patent/CN117985024A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
CN117985024A (zh) | 2024-05-07 |
US20240140454A1 (en) | 2024-05-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11738757B2 (en) | Information processing device, moving apparatus, method, and program | |
US10089543B2 (en) | System and method for detecting distraction and a downward vertical head pose in a vehicle | |
JP5527411B2 (ja) | 車両の緊急退避装置 | |
JP2022552860A (ja) | 予測及び先取り制御に基づく乗用車の乗員状態調整システム | |
EP3588372B1 (en) | Controlling an autonomous vehicle based on passenger behavior | |
US20230054024A1 (en) | Information processing apparatus, information processing system, information processing method, and information processing program | |
EP3158392A2 (en) | System and method for responding to driver state | |
US20220001894A1 (en) | System for controlling autonomous vehicle for reducing motion sickness | |
CN109215390B (zh) | 用于警告运输工具中的乘客的方法 | |
US11430231B2 (en) | Emotion estimation device and emotion estimation method | |
JP7328089B2 (ja) | 閉眼判定装置 | |
Hayashi et al. | A driver situational awareness estimation system based on standard glance model for unscheduled takeover situations | |
JP7474160B2 (ja) | 情報処理装置 | |
US20210309253A1 (en) | Techniques for customizing self-driving models | |
JP2024066808A (ja) | 車載システム | |
Shibli et al. | Developing a vision-based driving assistance system | |
US20220089086A1 (en) | Techniques for automatically reducing annoyance levels of drivers when using driver monitoring systems | |
KR20220012490A (ko) | 차량 탑승객의 멀미 저감 시스템 및 방법 | |
CN116685516A (zh) | 信息处理装置、信息处理方法和信息处理程序 | |
JP2021126173A (ja) | 酔い予測システム及び酔い予測システムを備えた車両、酔い予測システムの制御方法及びプログラム | |
JP2024067160A (ja) | 車載システム | |
US20190130200A1 (en) | Systems and methods for actively re-weighting a plurality of image sensors based on content | |
JP7456355B2 (ja) | 乗員検知システム | |
JP7193378B2 (ja) | 走行制御システム | |
JP7450396B2 (ja) | 酔い予測システム及び酔い予測システムを備えた車両、酔い予測システムの制御方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240620 |