JP2024066808A - 車載システム - Google Patents

車載システム Download PDF

Info

Publication number
JP2024066808A
JP2024066808A JP2022176520A JP2022176520A JP2024066808A JP 2024066808 A JP2024066808 A JP 2024066808A JP 2022176520 A JP2022176520 A JP 2022176520A JP 2022176520 A JP2022176520 A JP 2022176520A JP 2024066808 A JP2024066808 A JP 2024066808A
Authority
JP
Japan
Prior art keywords
vehicle
occupant
behavior
occupants
emotion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022176520A
Other languages
English (en)
Inventor
智洋 金子
茂樹 中山
古都瑠 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2022176520A priority Critical patent/JP2024066808A/ja
Priority to US18/369,953 priority patent/US20240140454A1/en
Priority to CN202311415154.2A priority patent/CN117985024A/zh
Publication of JP2024066808A publication Critical patent/JP2024066808A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/087Interaction between the driver and the control system where the control system corrects or modifies a request from the driver
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0872Driver physiology
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/229Attention level, e.g. attentive to driving, reading or sleeping

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】車両の挙動を把握していない乗員が不快になるのを抑制することができる車載システムを提供すること。【解決手段】本発明の車載システムは、制御装置と、車内の複数の乗員それぞれが車両の挙動を把握しているか否かを監視する監視装置と、感情推定用の学習済みモデルを記憶する記憶装置と、を備えた車載システムであって、制御装置は、監視装置の監視結果に基づいて、複数の乗員のうち、車両の挙動を把握していない乗員が存在するか否かを判定し、その判定結果に基づいて、感情を推定する対象となる対象乗員を前記複数の乗員から決定し、学習済みモデルを用いて、決定された対象乗員の感情を推定し、且つ、対象乗員の感情の推定結果に応じて、車両制御を実行する、ように構成される。【選択図】図2

Description

本発明は、車載システムに関する。
特許文献1には、運転者と乗員との感情差に基づいて、運転アドバイスを生成する技術が開示されている。
特開2019-098779号公報
加減速、右左折、及び、段差などの車両の挙動を乗員が把握していない場合には、車酔いなどの不快な感情になりやすい。
本発明は、上記課題に鑑みてなされたものであって、その目的は、車両の挙動を把握していない乗員が不快になるのを抑制することができる車載システムを提供することである。
上述した課題を解決し、目的を達成するために、本発明に係る車載システムは、制御装置と、車内の複数の乗員それぞれが車両の挙動を把握しているか否かを監視する監視装置と、感情推定用の学習済みモデルを記憶する記憶装置と、を備えた車載システムであって、前記制御装置は、前記監視装置の監視結果に基づいて、前記複数の乗員のうち、前記車両の挙動を把握していない乗員が存在するか否かを判定し、その判定結果に基づいて、感情を推定する対象となる対象乗員を前記複数の乗員から決定し、前記学習済みモデルを用いて、決定された前記対象乗員の感情を推定し、且つ、前記対象乗員の感情の推定結果に応じて、車両制御を実行する、ように構成されるものである。
これにより、本発明に係る車載システムにおいては、車両の挙動を把握していない乗員の感情を優先して車両制御を実行することにより、当該乗員が不快になるのを抑制することができる。
また、上記において、前記判定結果に基づいて、前記対象乗員を決定することは、前記車両の挙動を把握していない1人以上の乗員が前記複数の乗員の中に存在する場合に、当該1人以上の乗員から前記対象乗員を決定することを含むようにしてもよい。
これにより、複数の乗員の中に存在する、車両の挙動を把握していない1人以上の乗員から、対象乗員を決定することができる。
また、上記において、車内において前記複数の乗員の顔を撮影可能な位置に配置された撮像装置を更に備え、前記学習済みモデルは、人物の表情の写る画像データから当該人物の感情を推定した結果を導出するように機械学習により生成されたものであり、前記学習済みモデルを用いて、前記対象乗員の感情を推定することは、前記撮像装置により得られる前記対象乗員の表情の写る画像データを前記学習済みモデルに与え、且つ、前記学習済みモデルの演算処理を実行することで、前記対象乗員の感情を推定した結果を前記学習済みモデルから得ること、により構成されるようにしてもよい。
これにより、撮像装置によって撮影された対象乗員の表情から感情を推定することができる。
また、上記において、前記監視装置は、前記撮像装置により構成され、前記車両の挙動を把握していない乗員が存在するか否かを判定することは、前記撮像装置により得られる画像データに基づいて、前記複数の乗員のうち、前記車両の挙動を把握していない乗員が存在するか否かを判定することにより構成されるようにしてもよい。
これにより、撮像装置により得られる画像データに基づいて、車両の挙動を把握していない乗員を判定することができる。
また、上記において、前記車両制御を実行することは、前記車両の挙動を把握していない乗員が存在すると判定した場合に、前記対象乗員の感情の推定結果に応じて、前記車両の加速度の範囲を限定する車両制御を実行することを含むようにしてもよい。
これにより、車両の挙動を把握していない乗員が、急激な加減速によって不快になるのを抑制することができる。
本発明に係る車載システムは、車両の挙動を把握していない乗員が不快になるのを抑制することができるという効果を奏する。
実施形態1に係る車載システムが搭載された車両の概略を示した図である。 制御装置が実施する制御の一例を示したフローチャートである。 実施形態2に係る車載システムが搭載された車両の概略を示した図である。 実施形態3に係る車載システムが搭載された車両の概略を示した図である。 実施形態4に係る車載システムが搭載された車両の概略を示した図である。
(実施形態1)
以下に、本発明に係る車載システムの実施形態1について説明する。なお、本実施形態により本発明が限定されるものではない。
図1は、実施形態1に係る車載システム2が搭載された車両1の概略を示した図である。
図1に示すように、実施形態に係る車両1は、車載システム2、ハンドル4、前部座席31,32、及び、後部座席33などを備えている。なお、図1中の矢印Aは、車両1の進行方向を示している。
前部座席31,32及び後部座席33には、それぞれ乗員10A,10B,10Cが着座している。ハンドル4と対向する前部座席31に着座した乗員10Aは、車両1の運転者である。図1中の矢印LS1は、乗員10Bの視線の向きを示している。図1中の矢印LS2は、乗員10Cの視線の向きを示している。なお、以下の説明において、乗員10A,10B,10Cを特に区別しない場合には、単に乗員10と記す。
車載システム2は、制御装置21、記憶装置22、及び、車内カメラ23などによって構成されている。
制御装置21は、例えば、CPU(Central Processing Unit)を含む集積回路によって構成されている。制御装置21は、記憶装置22に記憶されたプログラムなどを実行する。また、制御装置21は、例えば、車内カメラ23から画像データを取得する。
記憶装置22は、例えば、ROM(Read Only Memory)、RAM(Random Access Memory)、SSD(Solid State Drive)、及び、HDD(Hard Disk Drive)などを少なくとも1つ備えている。また、記憶装置30は、物理的に一つの要素である必要はなく、物理的に離間して設けられた複数の要素を有してもよい。記憶装置22は、制御装置21によって実行されるプログラムなどを記憶する。また、記憶装置22は、後述する訓練済みの機械学習モデルである、車両1の挙動を把握しているか否かの判定用の学習済みモデル、感情推定用の学習済みモデル、車両制御用の学習済みモデルなどのプログラムの実行時に使用される各種データも記憶している。
車内カメラ23は、図1に示されるように、車内において複数の乗員10A,10B,10Cの顔を撮影可能な位置に配置された撮像装置である。この車内カメラ23によって撮影された画像データは、制御装置21に送信されて、記憶装置22に一時的に記憶されるようになっている。また、車内カメラ23は、車両1の複数の乗員10A、10B,10Cそれぞれが、車両1の挙動を把握しているか否かを監視するための監視装置として機能する。
制御装置21は、車内カメラ23によって撮影された画像データに基づいて、乗員10の顔の向きや視線、表情などを探知することができる。また、制御装置21は、車内カメラ23によって撮影された人物の表情の写る画像データに基づいて、車両1の挙動を把握していない乗員10や、乗員10の表情から当該乗員10の感情を、機械学習した学習済みモデルを用いてAI(Artificial Intellignece)により判定することが可能となっている。なお、車両1の挙動を把握していない乗員10が存在するか否かを判定することは、車内カメラ3により得られる画像データに基づいて、複数の乗員10のうち、車両1の挙動を把握していない乗員10が存在するか否かを判定することにより構成される。さらに、制御装置21は、乗員10の感情から車両制御の内容を、機械学習した学習済みモデルを用いてAIにより判断することが可能となっている。
車両1の挙動を把握しているか否かの判定用の学習済みモデルは、訓練済みの機械学習モデルであって、例えば、ニューラルネットワークモデルに従って、教師あり学習により、入力データから感情の推定結果を出力するように機械学習されている。前記判定用の学習済みモデルは、入力及び結果のデータの組み合わせである学習用データセットを用いて、学習処理を繰り返し実行して生成される。学習用データセットは、例えば、入力として与えられる乗員10の視線など人物の顔の写る画像データの入力データに対して、出力となる車両1の挙動を把握しているか否かをラベル付けした学習用データを複数含むものである。入力データに対する車両1の挙動を把握しているか否かのラベル付けは、例えば、当業者などによって行われる。このように、学習用データセットを用いて学習された前記判定用の学習済みモデルは、入力データを受けると、学習済みモデルの演算処理を実行することで、車両1の挙動を把握しているか否かを出力する。
感情推定用の学習済みモデルは、訓練済みの機械学習モデルであって、例えば、ニューラルネットワークモデルに従って、教師あり学習により、入力データから感情の推定結果を出力するように機械学習されている。感情推定用の学習済みモデルにおける学習用データセットは、例えば、入力として与えられる乗員10の表情など人物の表情の写る画像データの入力データに対して、出力となる乗員10の感情をラベル付けした学習用データを複数含むものである。入力データに対する乗員10の感情のラベル付けは、例えば、当業者などによって行われる。このように、学習用データセットを用いて学習された感情推定用の学習済みモデルは、入力データを受けると、学習済みモデルの演算処理を実行することで、乗員10の感情を推定した結果を出力する。
なお、乗員10が車両の挙動を把握しているか否かの判断に用いるデータと、車両1の挙動を把握していない乗員10の感情推定に用いるデータとは、同一でもよいし、異なっていてもよい。
車両制御用の学習済みモデルは、訓練済みの機械学習モデルであって、例えば、ニューラルネットワークモデルに従って、教師あり学習により、入力データから車両制御の内容の結果を出力するように機械学習されている。車両制御用の学習済みモデルにおける学習用データセットは、例えば、入力として与えられる乗員10の感情の推定結果などの入力データに対して、出力となる車両制御の内容をラベル付けした学習用データを複数含むものである。入力データに対する車両制御の内容のラベル付けは、例えば、当業者などによって行われる。このように、学習用データセットを用いて学習された車両制御用の学習済みモデルは、入力データを受けると、学習済みモデルの演算処理を実行することで、車両制御の内容を出力する。車両制御の内容としては、例えば、加速度の範囲を限定したり、操舵角や横Gが閾値以下になるようにしたりする。
なお、制御装置21は、車両制御の内容を決定するときに、車両制御用の学習済みモデルではなく、乗員10の感情と車両制御の内容とを対応付けたルールに基づいて、乗員10の感情から車両制御の内容を決定してもよい。
実施形態に係る車載システム2においては、制御装置21が乗員10の感情に基づいて車両制御を実行する。ここで、車両1の車内に複数の乗員10A,10B,10Cが存在する場合には、制御装置21のAIによる感情推定の対象を誰にすれば良いか不明となり得る。そのため、制御装置21は、複数の乗員10A,10B,10Cのうち、減速したり加速したり曲がったりするなどの車両1の挙動を把握していない乗員10を、感情推定の対象として優先する。
制御装置21は、乗員10が車両1の挙動を把握しているか否かを、例えば、乗員10の視線から判定する。すなわち、図1に示すように、前部座席32から前を向いて車外の風景を見ている乗員10Bは、車両1の進行方向Aと同方向の視線LS1であるため、加減速、右左折、及び、段差などの車両1の挙動を把握していると判断する。一方、後部座席33から横を向いて車外の風景を見ている乗員10Cは、車両1の進行方向Aとは異なる方向の視線LS2であるため、加減速、右左折、及び、段差などの車両1の挙動を把握していないと判断する。
なお、車両1の運転者である乗員10Aは、車両1の進行方向Aを見て運転しており、自身の操作によって加減速などを行なうため、車両1の挙動を把握している。そのため、制御装置21は、乗員10が車両1の挙動を把握しているか否かの判断の対象から除外している。なお、車両1が自動運転で走行している場合には、乗員10Aも車両1の挙動を把握しているか否かの判断の対象としてもよい。
乗員10が車両1の挙動を把握していない場合には、加減速、右左折、及び、段差などの車両1の挙動に対して予測できないため、当該乗員10が不快な感情になるおそれがある。そのため、制御装置21は、前記不快を低減させるために車両1の加減速などを制限する車両制御を実行する。このように、制御装置21が車両制御を実行することは、車両1の挙動を把握していない乗員10が存在すると判定した場合に、対象乗員の感情の推定結果に応じて、車両1の加速度の範囲などを限定する車両制御を実行することを含むものである。
また、制御装置21は、車両1の挙動を把握していない乗員10が存在しないと判断した場合、任意の乗員10を感情推定の対象とする。例えば、制御装置21は、車両1の前方の風景が見え難く、前部座席31,32よりも車酔いし易い後部座席33に着座している乗員10Cを、感情推定の対象とする。また、制御装置21は、車両1の挙動を把握していない乗員10が存在しないと判断した場合、例えば、運転者を優先して感情推定の対象としてもよい。すなわち、制御装置21は、車両1の挙動を把握していない乗員10が存在しないと判断した場合、車両1の挙動の把握以外の他の基準によって、優先して感情推定の対象とする乗員10を決定してもよい。
図2は、制御装置21が実施する制御の一例を示したフローチャートである。
まず、制御装置21は、ステップS1において、車両1に搭乗している複数の乗員10のそれぞれが、車両1の挙動を把握しているか否かを監視する。次に、制御装置21は、ステップS2において、複数の乗員10のうち、車両1の挙動を把握していない乗員10が存在するか否かを判定する。制御装置21は、車両1の挙動を把握していない乗員10が存在しないと判定した場合、ステップS2にてNoとして、一連の制御を終了する。一方、制御装置21は、車両1の挙動を把握していない乗員10が存在すると判定した場合、ステップS2にてYesとして、ステップS3に移行する。制御装置21は、ステップS3において、感情を推定する対象となる対象乗員を決定する。なお、車両1の挙動を把握していない乗員10が存在する判定結果に基づいて、対象乗員を決定することは、車両1の挙動を把握していない1人以上の乗員10が複数の乗員10の中に存在する場合に、当該1人以上の乗員10から対象乗員を決定することを含む。次に、制御装置21は、ステップS4において、感情推定用の学習済みモデルを使用して、決定された対象乗員の感情を推定する。次に、制御装置21は、ステップS5において、推定した対象乗員の感情に基づいて、車両制御用の学習済みモデルを使用して、車両制御の内容を決定する。次に、制御装置21は、ステップS6において、決定した車両制御の内容に基づいて、車両制御を実行する。その後、制御装置21は、一連の制御を終了する。
実施形態1に係る車載システム2は、車両1の挙動を把握していない乗員10の感情を優先して車両制御を実行することにより、当該乗員10が不快になるのを抑制することができる。
(実施形態2)
以下に、本発明に係る車載システムの実施形態2について説明する。なお、実施形態2において実施形態1と共通する内容については、適宜説明を省略する。
図3は、実施形態2に係る車載システム2が搭載された車両1の概略を示した図である。
図3に示すように、実施形態2に係る車両1には、前部座席31の背面にDVDプレイヤーなどのAV機器の表示装置であるディスプレイ24が取り付けられている。また、図3では、前部座席31の後方で後部座席33に着座している乗員10Cが、ディスプレイ24に表示された映像を視聴している状態である。そして、制御装置21は、車内カメラ23が撮影した画像データに基づいて、車両1の挙動を把握しているか否かの判定用の学習済みモデルを用い、ディスプレイ24に視線LS2を向けて視聴している乗員10Cが車両1の挙動を把握していないと判定する。なお、前記判定用の学習済みモデルにおける学習用データセットは、例えば、入力として与えられる乗員10のディスプレイ24での視聴の有無などの入力データに対して、出力となる車両1の挙動を把握しているか否かをラベル付けした学習用データを複数含むものである。
ディスプレイ24に表示された映像を視聴していて、車両1の挙動を把握していない乗員10Cは、加減速、右左折、及び、段差などの車両1の挙動に対して予測できないため不快になる。そのため、制御装置21は、車両1の挙動を把握していない乗員10Cの感情推定を、車内カメラ23によって撮影された画像データに基づいて、乗員10Cの表情から感情推定用の学習済みモデルを用いて優先して行う。そして、制御装置21は、感情の推定結果に基づいて、車両制御用の学習済みモデルを用いて、加速度などを制限する車両制御を実行する。
また、実施形態2に係る車載システム2においては、車内の複数の乗員10それぞれが車両1の挙動を把握しているか否かを監視する監視装置としてディスプレイ24を用いてもよい。すなわち、制御装置21は、乗員10Cが車両1の挙動を把握しているか否かを、例えば、ディスプレイ24の電源の状態を検出して判断するようにしてもよい。そして、制御装置21は、ディスプレイ24の電源が入っていれば、乗員10Cがディスプレイ24での視聴を行っているとして、乗員10Cが車両1の挙動を把握していないと判定する。
(実施形態3)
以下に、本発明に係る車載システムの実施形態3について説明する。なお、実施形態3において実施形態1と共通する内容については、適宜説明を省略する。
図4は、実施形態3に係る車載システム2が搭載された車両1の概略を示した図である。
図4では、前部座席32に着座している乗員10Bが睡眠状態である。そして、制御装置21は、車内カメラ23が撮影した乗員10の画像データに基づいて、車両1の挙動を把握しているか否かの判定用の学習済みモデルを用いて、睡眠状態の乗員10Bが車両1の挙動を把握していないと判定する。なお、前記判定用の学習済みモデルにおける学習用データセットは、例えば、入力として与えられる乗員10の表情などの入力データに対して、出力となる車両1の挙動を把握しているか否かをラベル付けした学習用データを複数含むものである。
また、制御装置21は、睡眠状態である乗員10Bの表情から感情推定を行えないため、他の乗員10A,10Cの感情推定を優先する。制御装置21は、睡眠状態の乗員10Bが覚醒した際に、車内カメラ23によって撮影された画像データに基づいて、乗員10Bの表情から感情推定用の学習済みモデルを用いて、乗員10Bの感情推定を優先して行う。そして、制御装置21は、感情の推定結果に基づいて、車両制御用の学習済みモデルを用いて、加速度などを制限する車両制御を実行する。
また、実施形態3に係る車載システム2においては、車内の複数の乗員10それぞれが車両1の挙動を把握しているか否かを監視する監視装置としてウェアブル端末を用いてもよい。例えば、図4に示すように、前部座席32に着座している乗員10Bは、ウェアブル端末25を装着している。ウェアブル端末25は、例えば、端末内に設けられた3軸加速度センサを用いて、ウェアブル端末25の動きや動いた方向などの活動情報を検出する。制御装置21は、ウェアブル端末25から前記活動情報を無線通信などによって取得して、一定時間、乗員10Bが激しい活動を行っていない場合に、乗員10Bが睡眠状態であると判断する。そして、制御装置21は、睡眠状態の乗員10Bが車両1の挙動を把握していないと判定する。なお、ウェアブル端末25が、前記活動情報に基づいて乗員10Bの睡眠状態を判断し、その判断結果を無線通信などによって制御装置21に送信するようにしてもよい。
(実施形態4)
以下に、本発明に係る車載システムの実施形態4について説明する。なお、実施形態4において実施形態1と共通する内容については、適宜説明を省略する。
図5は、実施形態4に係る車載システム2が搭載された車両1の概略を示した図である。
実施形態4に係る車両1においては、図5に示すように、前部座席31に着座している運転者である乗員10A以外の乗員10B,10Cが、それぞれ視覚カメラ26a,26Bを装着している。視覚カメラ26a,26Bは、例えば、乗員10B,10Cの頭などに装着して、乗員10B,10Cの視点をセンシングするセンサなどであって、ヘッドマウントのカメラなどが挙げられる。実施形態4に係る車載システム2においては、車内の乗員10B,10Cが車両1の挙動を把握しているか否かを監視する監視装置として視覚カメラ26a,26Bを用いる。
制御装置21は、視覚カメラ26a,26bとの間で無線通信により、視覚カメラ26a,26bによって撮影された画像データを取得可能である。そして、制御装置21は、視覚カメラ26a,26bによって撮影された画像データに基づいて、乗員10B,10Cの視点をセンシングし、センシング結果に基づいて、乗員10B,10Cの視線LS1,LS2の向きを探知することができる。制御装置21は、乗員10B,10Cが車両1の挙動を把握しているか否かを、車両1の挙動を把握しているか否かの判定用の学習済みモデルを用いて、乗員10B,10Cの視線LS1,LS2の向きから判定する。すなわち、図5に示すように、前部座席32から前を向いて車外の風景を見ている乗員10Bは、車両1の進行方向Aと同方向の視線LS1であるため、車両1の挙動を把握していると判定する。一方、後部座席33から横を向いて車外の風景を見ている乗員10Cは、車両1の進行方向Aとは異なる方向の視線LS2であるため、車両1の挙動を把握していないと判定する。なお、前記判定用の学習済みモデルにおける学習用データセットは、例えば、入力として与えられる乗員10の視線などの入力データに対して、出力となる車両1の挙動を把握しているか否かをラベル付けした学習用データを複数含むものである。
その後、制御装置21は、視覚カメラ26bによって撮影された画像データに基づいて、車両1の挙動を把握していない乗員10Cの感情推定を、乗員10Cの表情から感情推定用の学習済みモデルを用いて優先して行う。そして、制御装置21は、感情の推定結果に基づいて、車両制御用の学習済みモデルを用いて、加速度などを制限する車両制御を実行する。
以上のように説明した、実施形態1~4に係る車載システム2においては、例えば、車両1の後部座席33に設置されたチャイルドシートに子供が座っている場合に、当該子供を車両1の挙動を把握していない乗員10として優先的に判定するようにしてもよい。例えば、車載システム2は、チャイルドシートが設置された箇所に対応する後部座席33のシートベルトの装着の有無を、シートベルトセンサの検知結果に基づいて判断する。そして、制御装置21は、後部座席33のシートベルトが設定された箇所に存在する乗員10がシートベルトを装着していないと判断した場合に、当該乗員10がチャイルドシートに座っている子供であると判断する。そして、車両1の挙動を把握していないと判定した乗員10が、チャイルドシートに座っている子供である場合、制御装置21は、より制限(加速度Gの範囲や横Gが閾値以下など)を厳しくして車両制御を実施する。さらに、制御装置21は、車内カメラ23が撮影した画像データに基づいて、前記子供が睡眠していると判断した場合に、より制限を厳しくして車両制御を実施してもよい。
1 車両
2 車載システム
4 ハンドル
10,10A,10B,10C 乗員
21 制御装置
22 記憶装置
23 車内カメラ
24 ディスプレイ
25 ウェアブル端末
26a,26b 視覚カメラ
31,32 前部座席
33 後部座席
LS1,LS2 視線

Claims (5)

  1. 制御装置と、
    車内の複数の乗員それぞれが車両の挙動を把握しているか否かを監視する監視装置と、
    感情推定用の学習済みモデルを記憶する記憶装置と、
    を備えた車載システムであって、
    前記制御装置は、
    前記監視装置の監視結果に基づいて、前記複数の乗員のうち、前記車両の挙動を把握していない乗員が存在するか否かを判定し、
    その判定結果に基づいて、感情を推定する対象となる対象乗員を前記複数の乗員から決定し、
    前記学習済みモデルを用いて、決定された前記対象乗員の感情を推定し、且つ、
    前記対象乗員の感情の推定結果に応じて、車両制御を実行する、
    ように構成される、
    車載システム。
  2. 前記判定結果に基づいて、前記対象乗員を決定することは、前記車両の挙動を把握していない1人以上の乗員が前記複数の乗員の中に存在する場合に、当該1人以上の乗員から前記対象乗員を決定することを含む、
    請求項1に記載の車載システム。
  3. 車内において前記複数の乗員の顔を撮影可能な位置に配置された撮像装置を更に備え、
    前記学習済みモデルは、人物の表情の写る画像データから当該人物の感情を推定した結果を導出するように機械学習により生成されたものであり、
    前記学習済みモデルを用いて、前記対象乗員の感情を推定することは、
    前記撮像装置により得られる前記対象乗員の表情の写る画像データを前記学習済みモデルに与え、且つ、
    前記学習済みモデルの演算処理を実行することで、前記対象乗員の感情を推定した結果を前記学習済みモデルから得ること、
    により構成される、請求項1に記載の車載システム。
  4. 前記監視装置は、前記撮像装置により構成され、
    前記車両の挙動を把握していない乗員が存在するか否かを判定することは、前記撮像装置により得られる画像データに基づいて、前記複数の乗員のうち、前記車両の挙動を把握していない乗員が存在するか否かを判定することにより構成される、
    請求項3に記載の車載システム。
  5. 前記車両制御を実行することは、前記車両の挙動を把握していない乗員が存在すると判定した場合に、
    前記対象乗員の感情の推定結果に応じて、前記車両の加速度の範囲を限定する車両制御を実行することを含む、
    請求項1乃至4のいずれか1項に記載の車載システム。
JP2022176520A 2022-11-02 2022-11-02 車載システム Pending JP2024066808A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2022176520A JP2024066808A (ja) 2022-11-02 2022-11-02 車載システム
US18/369,953 US20240140454A1 (en) 2022-11-02 2023-09-19 On-vehicle system
CN202311415154.2A CN117985024A (zh) 2022-11-02 2023-10-30 车载系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022176520A JP2024066808A (ja) 2022-11-02 2022-11-02 車載システム

Publications (1)

Publication Number Publication Date
JP2024066808A true JP2024066808A (ja) 2024-05-16

Family

ID=90835260

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022176520A Pending JP2024066808A (ja) 2022-11-02 2022-11-02 車載システム

Country Status (3)

Country Link
US (1) US20240140454A1 (ja)
JP (1) JP2024066808A (ja)
CN (1) CN117985024A (ja)

Also Published As

Publication number Publication date
CN117985024A (zh) 2024-05-07
US20240140454A1 (en) 2024-05-02

Similar Documents

Publication Publication Date Title
US11738757B2 (en) Information processing device, moving apparatus, method, and program
US10089543B2 (en) System and method for detecting distraction and a downward vertical head pose in a vehicle
JP5527411B2 (ja) 車両の緊急退避装置
JP2022552860A (ja) 予測及び先取り制御に基づく乗用車の乗員状態調整システム
EP3588372B1 (en) Controlling an autonomous vehicle based on passenger behavior
US20230054024A1 (en) Information processing apparatus, information processing system, information processing method, and information processing program
EP3158392A2 (en) System and method for responding to driver state
US20220001894A1 (en) System for controlling autonomous vehicle for reducing motion sickness
CN109215390B (zh) 用于警告运输工具中的乘客的方法
US11430231B2 (en) Emotion estimation device and emotion estimation method
JP7328089B2 (ja) 閉眼判定装置
Hayashi et al. A driver situational awareness estimation system based on standard glance model for unscheduled takeover situations
JP7474160B2 (ja) 情報処理装置
US20210309253A1 (en) Techniques for customizing self-driving models
JP2024066808A (ja) 車載システム
Shibli et al. Developing a vision-based driving assistance system
US20220089086A1 (en) Techniques for automatically reducing annoyance levels of drivers when using driver monitoring systems
KR20220012490A (ko) 차량 탑승객의 멀미 저감 시스템 및 방법
CN116685516A (zh) 信息处理装置、信息处理方法和信息处理程序
JP2021126173A (ja) 酔い予測システム及び酔い予測システムを備えた車両、酔い予測システムの制御方法及びプログラム
JP2024067160A (ja) 車載システム
US20190130200A1 (en) Systems and methods for actively re-weighting a plurality of image sensors based on content
JP7456355B2 (ja) 乗員検知システム
JP7193378B2 (ja) 走行制御システム
JP7450396B2 (ja) 酔い予測システム及び酔い予測システムを備えた車両、酔い予測システムの制御方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240620