JP7392607B2 - 制御装置、シートベルト装置、車両、システムの動作方法、プログラム、及び記憶媒体 - Google Patents

制御装置、シートベルト装置、車両、システムの動作方法、プログラム、及び記憶媒体 Download PDF

Info

Publication number
JP7392607B2
JP7392607B2 JP2020136001A JP2020136001A JP7392607B2 JP 7392607 B2 JP7392607 B2 JP 7392607B2 JP 2020136001 A JP2020136001 A JP 2020136001A JP 2020136001 A JP2020136001 A JP 2020136001A JP 7392607 B2 JP7392607 B2 JP 7392607B2
Authority
JP
Japan
Prior art keywords
behavior
passenger
vehicle
threatening
control device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020136001A
Other languages
English (en)
Other versions
JP2022032342A (ja
Inventor
裕樹 辰本
俊樹 柏倉
学 石原
章 佐々木
サチン アヒール
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2020136001A priority Critical patent/JP7392607B2/ja
Priority to CN202110913739.1A priority patent/CN114074630A/zh
Priority to US17/399,502 priority patent/US11643046B2/en
Publication of JP2022032342A publication Critical patent/JP2022032342A/ja
Application granted granted Critical
Publication of JP7392607B2 publication Critical patent/JP7392607B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R22/00—Safety belts or body harnesses in vehicles
    • B60R22/34—Belt retractors, e.g. reels
    • B60R22/36—Belt retractors, e.g. reels self-locking in an emergency
    • B60R22/415—Belt retractors, e.g. reels self-locking in an emergency with additional means allowing a permanent locking of the retractor during the wearing of the belt
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/01544—Passenger detection systems detecting seat belt parameters, e.g. length, tension or height-adjustment
    • B60R21/0155—Passenger detection systems detecting seat belt parameters, e.g. length, tension or height-adjustment sensing belt tension
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/02—Occupant safety arrangements or fittings, e.g. crash pads
    • B60R21/12—Occupant safety arrangements or fittings, e.g. crash pads which protect the occupants against personal attack from the inside or the outside of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R22/00—Safety belts or body harnesses in vehicles
    • B60R22/34—Belt retractors, e.g. reels
    • B60R22/46—Reels with means to tension the belt in an emergency by forced winding up
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B60W60/0016—Planning or execution of driving tasks specially adapted for safety of the vehicle or its occupants
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R22/00—Safety belts or body harnesses in vehicles
    • B60R2022/003—Safety belts or body harnesses in vehicles for restraining detainees
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R22/00—Safety belts or body harnesses in vehicles
    • B60R22/34—Belt retractors, e.g. reels
    • B60R22/46—Reels with means to tension the belt in an emergency by forced winding up
    • B60R2022/4666—Reels with means to tension the belt in an emergency by forced winding up characterised by electric actuators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R22/00—Safety belts or body harnesses in vehicles
    • B60R22/34—Belt retractors, e.g. reels
    • B60R22/46—Reels with means to tension the belt in an emergency by forced winding up
    • B60R2022/4685—Reels with means to tension the belt in an emergency by forced winding up with means to adjust or regulate the tensioning force in relation to external parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R22/00—Safety belts or body harnesses in vehicles
    • B60R22/48—Control systems, alarms, or interlock systems, for the correct application of the belt or harness
    • B60R2022/4808—Sensing means arrangements therefor
    • B60R2022/4816—Sensing means arrangements therefor for sensing locking of buckle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R22/00—Safety belts or body harnesses in vehicles
    • B60R22/48—Control systems, alarms, or interlock systems, for the correct application of the belt or harness
    • B60R2022/4808—Sensing means arrangements therefor
    • B60R2022/4841—Sensing means arrangements therefor for sensing belt tension
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/21—Voice
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/22—Psychological state; Stress level or workload

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Alarm Systems (AREA)
  • Automotive Seat Belt Assembly (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Description

本開示は、制御装置、シートベルト装置、車両、システムの動作方法、プログラム、及び記憶媒体に関する。
車両内で発生する種々の危険を察知するために、カメラで乗客の様子を監視する技術が知られている（特許文献１）。また、車両内で発生する危険には、タクシー又はライドシェアにおいて運転手が乗客からの暴行を受けるといった事態も含まれる。そうした乗客による脅威から運転手を防護するための技術として、運転座席と他の座席との間に延伸可能な間仕切りを設け、間仕切りを駆動して運転手を乗客から隔てる技術が知られている（特許文献２）。
特開２０１６－１０７８１７号公報 仏国特許出願公開３０６５６８１号明細書
乗客による脅威から運転手又は同乗者の安全を簡便かつ確実に確保する技術が求められる。
本開示における制御装置は、所作の類型に基づいて、車両内部の撮像画像又は音声から検出される乗客の所作が脅威的と判定すると、当該乗客が装着したシートベルトの張力を増加させる第１の指示を送出する制御部を有する。
本開示における動作方法は、シートベルト装置を制御する制御装置の動作方法であって、 前記制御装置は、所作の類型に基づいて、車両内部の撮像画像又は音声から検出される乗客の所作が脅威的と判定すると、当該乗客が装着したシートベルトの張力を増加させる第１の指示を送出し、前記シートベルト装置は、前記第１の指示を受ける。
本開示におけるプログラムは、シートベルト装置を制御する制御装置により実行されることで、当該制御装置が、所作の類型に基づいて、車両内部の撮像画像又は音声から検出される乗客の所作が脅威的と判定すると、当該乗客が装着したシートベルトの張力を増加させる第１の指示を送出する。
本開示によれば、乗客による脅威から運転手又は同乗者の安全を簡便かつ確実に確保することが可能となる。
制御装置の構成例を示す図である。 サーバ装置の構成例を示す図である。 車両の構成例を示す図である。 制御装置の動作例を示すフローチャート図である。
以下、実施の形態について説明する。
図１は、一実施形態における制御装置の構成例を示す図である。制御装置１０は、ライドシェア又はタクシーを利用する乗客による暴行等の脅威からの、運転手又は同乗者の安全確保を支援する。制御装置１０は、ネットワーク１４を介して互いに情報通信可能に接続される、サーバ装置１２と、車両１３の車載装置３０とを有する。サーバ装置１２は、例えば、クラウドコンピューティングシステム又はその他のコンピューティングシステムに属し、各種機能を実装するサーバ装置である。車両１３は、ライドシェアに供される任意の車両、又は、タクシーである。車載装置３０は、例えば、ナビゲーション装置、携帯電話機、スマートフォン、タブレット、又はＰＣ（Personal Computer）である。ネットワーク１４は、例えばインターネットであるが、アドホックネットワーク、ＬＡＮ(Local Area Network)、ＭＡＮ(Metropolitan Area Network)、もしくは他のネットワーク又はこれらいずれかの組合せが含まれる。
制御装置１０は、所作の類型に基づいて、車両１３内部の撮像画像又は音声から検出される乗客の所作が車両１３内の運転手又は同乗者にとって脅威的と判定すると、その乗客が装着したシートベルトの張力を増加させる指示を送出する。車両１３では、シートベルト装置が指示に応答して、脅威的な所作を行う乗客が装着しているシートベルトの張力を増加させることで、シートベルトにより乗客に束縛感を与えてその所作を抑制する。かかる本実施形態によれば、車両１３において最小限の追加的装備により簡便かつ確実に、乗客による脅威から運転手又は同乗者の安全を確保することが可能となる。
図２は、サーバ装置１２の構成例を示す。サーバ装置１２は、制御部２１、記憶部２２、通信部２３、入力部２５、及び出力部２６を備える。サーバ装置１２は、例えば、クラウドコンピューティングシステム又はその他のコンピューティングシステムに属し、各種機能を実装するサーバとして機能するサーバコンピュータである。サーバ装置１２は、互いに情報通信可能に接続されて連携動作する一以上のサーバコンピュータであってもよい。
制御部２１は、１つ以上のプロセッサ、１つ以上の専用回路、又はこれらの組み合わせを含む。プロセッサは、例えば、ＣＰＵ（Central Processing Unit）などの汎用プロセッサ、又は特定の処理に特化したＧＰＵ（Graphics Processing Unit）等の専用プロセッサである。専用回路は、例えば、ＦＰＧＡ（Field-Programmable Gate Array）、ＡＳＩＣ（Application Specific Integrated Circuit）等である。制御部２１は、サーバ装置１２の各部を制御しながら、サーバ装置１２の動作に係る情報処理を実行する。
記憶部２２は、例えば、主記憶装置、補助記憶装置、又はキャッシュメモリとして機能する１つ以上の半導体メモリ、１つ以上の磁気メモリ、１つ以上の光メモリ、又はこれらのうち少なくとも２種類の組み合わせを含む。半導体メモリは、例えば、ＲＡＭ（Random Access Memory）又はＲＯＭ（Read Only Memory）である。ＲＡＭは、例えば、ＳＲＡＭ（Static RAM）又はＤＲＡＭ（Dynamic RAM）である。ＲＯＭは、例えば、ＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）である。記憶部２２は、サーバ装置１２の動作に用いられる情報と、サーバ装置１２の動作によって得られた情報とを記憶する。
サーバ装置１２において、制御部２１と記憶部２２は、バスを介して接続されてもよいし、バスを介さず互いに直接的に接続されてもよい。あるいは制御部２１が記憶部２２を内包し、記憶部２２と一体的に構成されてもよい。
通信部２３は、１つ以上の通信用インタフェースを含む。通信用インタフェースは、例えば、ＬＡＮインタフェースである。通信部２３は、サーバ装置１２の動作に用いられる情報を受信し、またサーバ装置１２の動作によって得られる情報を送信する。サーバ装置１２は、通信部２３によりネットワーク１４に接続され、ネットワーク１４経由で他の装置と情報通信を行う。
入力部２５は、１つ以上の入力用インタフェースを含む。入力用インタフェースは、例えば、物理キー、静電容量キー、ポインティングデバイス、ディスプレイと一体的に設けられたタッチスクリーン、又は音声入力を受け付けるマイクロフォンである。入力インタフェースは、さらに、撮像画像又は画像コードを取り込むカメラ、又はＩＣカードリーダーを含んでもよい。入力部２５は、サーバ装置１２の動作に用いられる情報を入力する操作を受け付け、入力される情報を制御部２１に送る。
出力部２６は、１つ以上の出力用インタフェースを含む。出力用インタフェースは、例えば、ディスプレイ又はスピーカである。ディスプレイは、例えば、ＬＣＤ又は有機ＥＬディスプレイである。出力部２６は、サーバ装置１２の動作によって得られる情報を出力する。
サーバ装置１２の機能は、制御プログラムを、制御部２１に含まれるプロセッサで実行することにより実現される。制御プログラムは、サーバ装置１２の動作に含まれるステップの処理をコンピュータに実行させることで、そのステップの処理に対応する機能をコンピュータに実現させるためのプログラムである。すなわち、制御プログラムは、コンピュータをサーバ装置１２として機能させるためのプログラムである。また、サーバ装置１２の一部又は全ての機能が、制御部２１に含まれる専用回路により実現されてもよい。
本実施形態において、制御部２１は、車両１３における乗客の所作が脅威的か否かに類型化した情報を記憶部２２に格納する。かかる所作の類型は、例えば、予め、各所作に紐づけられた、各所作が脅威的か否かを示す情報である。所作は、乗客による動作及び音声を含む。脅威的な所作は、例えば、他者又は内装に対する殴る・蹴る等の接触を伴う暴力的動作、殴る・蹴る等を示唆するが接触を伴わない予備的動作、恫喝、罵詈雑言等を示す文言を含みある程度以上の音圧を伴う音声である。あるいは、所作の類型は、制御部２１が記憶部２２を含む動作において、判定モデルとして実装してもよい。制御部２１は、例えば、所作とその所作が他者に与える印象とを対応付けた教師データを機械学習することで判定モデルを構成する。そして、制御部２１は、車両１３の車室内の撮像画像及び音声から乗客の所作を画像認識又は音声認識により抽出し、その所作が脅威的か否かを所作の類型に基づいて判定する。
図３は、車両１３に搭載される車載装置３０の構成例を示す。車載装置３０は、制御部３１、記憶部３２、通信部３３、測位部３４、入力部３５、及び出力部３６を備える。また、車両１３には、車載装置３０により制御される、記録装置３７、シートベルト装置３８、及び通知装置３９が搭載される。
制御部３１は、１つ以上のプロセッサ、１つ以上の専用回路、又はこれらの組み合わせを含む。プロセッサは、ＣＰＵなどの汎用プロセッサ、又は特定の処理に特化した専用プロセッサである。専用回路は、例えば、ＦＰＧＡ又はＡＳＩＣである。制御部３１は、車載装置３０の各部を制御しながら、車載装置３０の動作に係る情報処理を実行する。
記憶部３２は、例えば、主記憶装置、補助記憶装置、又はキャッシュメモリとして機能する、１つ以上の半導体メモリ、１つ以上の磁気メモリ、１つ以上の光メモリ、又はこれらのうち少なくとも２種類の組み合わせを含む。半導体メモリは、例えば、ＲＡＭ又はＲＯＭである。ＲＡＭは、例えば、ＳＲＡＭ又はＤＲＡＭである。ＲＯＭは、例えば、ＥＥＰＲＯＭである。記憶部３２は、車載装置３０の動作に係る情報処理を実行するとともに、車載装置３０の動作に用いられる情報と、車載装置３０の動作によって得られた情報とを記憶する。
通信部３３は、１つ以上の通信用インタフェースを含む。通信用インタフェースは、例えば、ＬＴＥ、４Ｇ、若しくは５Ｇなどの移動通信規格に対応したインタフェースである。通信部３３は、車載装置３０の動作に用いられる情報を受信し、また車載装置３０の動作によって得られる情報を送信する。車載装置３０は、通信部３３により、移動体通信の基地局を介してネットワーク１４に接続され、ネットワーク１４経由で他の装置と情報通信を行う。
測位部３４は、１つ以上のＧＮＳＳ受信機を含む。ＧＮＳＳには、例えば、ＧＰＳ、ＱＺＳＳ、ＧＬＯＮＡＳＳ、及びＧａｌｉｌｅｏの少なくともいずれかが含まれる。測位部３４は、車両１３の位置情報を取得する。
入力部３５は、１つ以上の入力用インタフェースを含む。入力用インタフェースは、例えば、物理キー、静電容量キー、ポインティングデバイス、ディスプレイと一体的に設けられたタッチスクリーン、又は音声入力を受け付けるマイクロフォンである。入力インタフェースは、さらに、撮像画像又は画像コードを取り込むカメラ、又はＩＣカードリーダーを含んでもよい。入力部３５は、車載装置３０の動作に用いられる情報を入力する操作を受け付け、入力される情報を制御部３１に送る。
出力部３６には、１つ以上の出力用インタフェースを含む。出力用インタフェースは、例えば、ディスプレイ又はスピーカである。ディスプレイは、例えば、ＬＣＤ又は有機ＥＬディスプレイである。出力部３６は、車載装置３０の動作によって得られる情報を出力する。
車載装置３０の機能は、制御プログラムを、制御部３１に含まれるプロセッサで実行することにより実現される。制御プログラムは、車載装置３０の動作に含まれるステップの処理をコンピュータに実行させることで、そのステップの処理に対応する機能をコンピュータに実現させるためのプログラムである。すなわち、制御プログラムは、コンピュータを車載装置３０として機能させるためのプログラムである。また、車載装置３０の一部又は全ての機能が、制御部３１に含まれる専用回路により実現されてもよい。
記録装置３７は、車両１３の車室内の乗員の座席を撮像可能な位置に設けられる、一以上のカメラとその制御回路とを有する。記録装置３７が有するカメラは、単眼カメラであってもよく、ステレオカメラであってもよい。記録装置３７は、更に、車両１３の車室内の音声を録音する録音装置とその制御回路とを有する。記録装置３７は、車両１３の車室内を任意の時間間隔で撮像及び録音し、撮像画像及び音声の情報を車載装置３０の制御部３１に送る。
シートベルト装置３８は、車両１３の各座席に設けられ、シートベルトの張力を検知するセンサと、シートベルトを巻き上げる駆動機構及びその制御回路とを有する。シートベルト装置３８は、シートベルトの張力を示す情報を車載装置３０の制御部３１に送る。また、シートベルト装置３８は、制御部３１からの指示に応答して、シートベルトの張力を増減させるようにシートベルトの駆動機構を制御する。
通知装置３９は、車室内の座席において視聴可能な画像及び音声を出力する、ディスプレイとスピーカ、及びこれらの制御回路を有する。通知装置３９は、車載装置３０の制御部３１から送られる指示と情報とに応じた画像又は音声を出力する。
次に、制御装置１０の動作について、図４を用いて説明する。
図４は、制御装置１０の動作手順を示すフローチャート図である。制御装置１０の動作手順は、サーバ装置１２の制御部２１と車載装置３０の制御部３１のいずれか単独により、または両方の分担により、実行される。図４の手順は、例えば、車両１３がタクシー又はカーシェアのサービスを提供する際、車載装置３０が動作するときに、任意の周期（例えば、数ミリ秒～数秒周期）で実行される。あるいは、車両１３の運転手が乗客を乗せたことを示す情報を車載装置３０に入力し、その入力に応答して図４の手順が開始されてもよい。
ステップＳ４００において、制御装置１０は、車両１３の車室内の撮像画像及び音声情報を取得する。例えば、車両１３では、記録装置３７が任意のフレームレートで撮像と、撮像に伴う音声の録音を行い、撮像画像と撮像画像に付随する音声情報とを車載装置３０に送る。車載装置３０の制御部３１は、通信部３３を介して撮像画像及び音声情報をサーバ装置１２へ送る。サーバ装置１２の制御部２１は、通信部２３を介して撮像画像及び音声情報を受けて記憶部２２に格納しておく。そして、制御部２１は、図４の手順を実行する毎に、記憶部２２から任意のフレーム数の撮像画像と撮像画像に付随する音声情報とを読み出して取得する。
ステップＳ４０２において、制御装置１０は、車両１３のシートベルト装着情報を取得する。装着情報は、例えば、座席毎のシートベルトの装着の有無、及び、装着されている場合はシートベルトの張力を含む。例えば、車両１３では、シートベルト装置３８が任意の周期（例えば数ミリ秒～数秒周期）で装着情報を車載装置３０に送る。車載装置３０の制御部３１は、通信部３３を介して装着情報をサーバ装置１２へ送る。サーバ装置１２の制御部２１は、通信部２３を介して装着情報を受けて記憶部２２に格納しておき、図４の手順を実行する毎に、記憶部２２から装着情報を読み出して取得する。
ステップＳ４０４において、制御装置１０は、取得した撮像画像及び音声情報から乗客の所作を抽出する。例えば、サーバ装置１２の制御部２１は、画像認識処理及び音声認識処理を行い、パターンマッチング等により、撮像画像及び音声情報から乗客の所作を抽出する。このとき、制御部２１は、乗客が着座している座席を画像認識処理により特定し、乗客の所作と対応付けて座席の位置を記憶部２２に格納する。
ステップＳ４０６において、制御装置１０は、抽出した所作が脅威的か否かを判定する。例えば、サーバ装置１２の制御部２１は、所作の類型に基づいて、抽出した所作が脅威的であるか否かを判定する。例えば、制御部２１は、所作が、他者又は内装に対する殴る・蹴る等の接触を伴う暴力的動作、殴る・蹴る等を示唆するが接触を伴わない予備的動作、恫喝、罵詈雑言等を示す文言を含みある程度以上の音圧を伴う音声である場合に、その所作が脅威的と判定する。特段の所作が抽出されない場合、又は抽出された所作が暴力的動作、予備的動作、恫喝又は罵詈雑言等に該当しない場合は、制御部２１は、その所作が脅威的でないと判定する。
ステップＳ４０８において、制御装置１０は、所作が脅威的と判定した場合（ステップＳ４０８のＹｅｓ）、ステップＳ４１０に進み、一方、所作が脅威的でないと判定した場合（ステップＳ４０８のＮｏ）、ステップＳ４２０に進む。
ステップＳ４１０において、制御装置１０は、脅威的な所作の継続時間をカウントする。例えば、サーバ装置１２の制御部２１は、前回の処理サイクルで脅威的所作が検出された時点からの経過時間を累計カウントして記憶部２２に格納する。
ステップＳ４１２において、制御装置１０は、脅威的な所作の継続時間が基準時間を超過したか否かを判断する。例えば、サーバ装置１２の制御部２１は、ステップＳ４１０でカウントした継続時間が任意の基準時間（例えば、数秒～数十秒）を超過したか否かを判断する。制御装置１０は、継続時間が基準時間を超過した場合（ステップＳ４１２のＹｅｓ）、ステップＳ４１４に進み、基準時間を超過していない場合（ステップＳ４１２のＮｏ）、図４の処理サイクルを終了する。
ステップＳ４１４において、制御装置１０は、装着情報から、脅威的な所作を行う乗客の座席におけるシートベルト装着の有無を判定する。制御装置１０は、乗客のシートベルトが装着されている場合（ステップＳ４１４のＹｅｓ）、ステップＳ４１６に進み、一方、乗客のシートベルトが装着されていない場合（ステップＳ４１４のＮｏ）、ステップＳ４１８に進む。
ステップＳ４１６において、制御装置１０は、車両１３のシートベルト装置３８にシートベルトの張力を増加させるための指示を送出する。例えば、サーバ装置１２の制御部２１は、装着情報に基づき現時点の張力を検出し、その張力より増加させた張力とするための指示を生成する。例えば、張力は任意の段階に規定されており、制御部２１は、現時点の張力より一段階以上大きい張力を選択して指示を生成する。そして、制御部２１は、通信部２３を介して、張力増加のための指示を車載装置３０へ送る。車載装置３０の制御部３１は、通信部３３を介して張力増加のための指示を受けると、その指示をシートベルト装置３８へ送る。これに応答して、シートベルト装置３８は、張力を増加させるよう、シートベルトの駆動機構を制御する。これにより、シートベルトが巻き上げられてシートベルトの張力が増加し、乗客により強い束縛感を与える。
ステップＳ４１８において、制御装置１０は、車両１３の通知装置３９に乗客に対する通知を出力させるための指示を送出する。例えば、サーバ装置１２の制御部２１は、脅威的な所作を緩和又は中止するような文言を含む通知を生成する。通知は、例えば、「やめてください」、「落ち着いてください」といった文言、脅威的な所作の緩和又は中止を訴求するような図柄を含む。そして、制御部２１は、通信部２３を介して、生成した通知の出力のための指示を車載装置３０へ送る。車載装置３０の制御部３１は、通信部３３を介して、通知出力のための指示を受けると、その指示を通知装置３９へ送る。これに応答して、通知装置３９は、乗客に向けて通知を表示又は音声により出力する。これにより、乗客に脅威的な所作の緩和又は中止を求める通知がなされる。そして、制御装置１０は、図４の処理サイクルを終了する。
ステップＳ４１６及びＳ４１８を実行することで、乗客にシートベルトによる束縛感を与えることに加え通知により、乗客の所作をより効率的に抑制することが可能となる。また、乗客がシートベルトを装着していない場合（ステップＳ４１４のＮｏ）であっても、ステップＳ４１８が実行されることで、通知により乗客の所作を牽制することが可能となる。
なお、乗客の脅威的な所作が比較的短時間で鎮まれば、シートベルトで束縛感を与えることで却って乗客を刺激する可能性もあることから、ステップＳ４１２で判断する基準時間を任意に適切な長さに設定することで、無用な刺激を避けることが可能となる。
ステップＳ４１２
乗客の所作が脅威的と判定されなかった場合（Ｓ４０８のＮｏ）、ステップＳ４２０において、制御装置１０は、運転手又は同乗者から脅威を示す報告がなされたか否かを判断する。例えば、運転手は、乗客の所作を脅威的と感じた場合に、車載装置３０の入力部３５に対し、脅威的所作の報告を入力する。例えば、車載装置３０にて、警報用のボタン、タップ領域等に対し運転手の入力がなされる。すると、車載装置３０の制御部３１は、入力に応答して、通信部３３を介して、脅威を示す報告をサーバ装置１２へ送る。サーバ装置１２の制御部２１は、通信部３３を介して報告を受ける。報告を受けた場合（Ｓ４２０のＹｅｓ）、制御装置１０はステップＳ４２２に進み、報告を受けていない場合（Ｓ４２０のＮｏ）、制御装置１０はステップＳ４２４に進む。
変形例として、各座席に脅威の報告用のボタン等を設けておき、同乗者によりボタンが押下されると、これに応答して車載装置３０が報告をサーバ装置１２へ送ってもよい。あるいは、同乗者が携行する端末装置が、車載装置３０と近距離通信又は移動体通信により情報通信可能に接続されることにより、またはサーバ装置１２と移動体通信を介して情報通信可能に接続されることにより、同乗者が端末装置の専用アプリを操作することで、車載装置３０又はサーバ装置１２へ報告を送ってもよい。例えば、同乗者は、アプリによって自らの座席位置を特定して車載装置３０へ報告を送る。制御装置１０は、どの座席から報告が送られたかを判別し、脅威的な所作を行う乗客の座席以外の座席から報告が送られた場合に、脅威的所作の報告とみなすことができる。
ステップＳ４２２において、制御装置１０は、抽出した所作に脅威を対応付けるように、所作の類型を修正する。サーバ装置１２の制御部２１は、記憶部２２に格納される、所作が脅威的か否かに類型化された情報を修正する。あるいは、制御部２１は、所作とその所作が他者に与える印象とを対応付けた教師データに抽出した所作を脅威的印象と対応付けて反映し、教師データを修正して機械学習を実行する。このようにして、以後の所作の判定精度を向上させることが可能となる。そして、制御装置１０はステップＳ４１０へ進んで、ステップＳ４１２以降を実行する。すなわち、この場合、乗客が脅威的な所作を行っているので、シートベルトの張力増加又は通知出力を行う。
脅威報告がなされない場合（ステップＳ４２０のＮｏ）、ステップＳ４２４において、制御装置１０は、脅威的所作の継続時間の累計カウントをリセットする。そして、ステップＳ４２６において、制御装置１０は、車両１３のシートベルトの張力を減少させるための指示を送出する。例えば、サーバ装置１２の制御部２１は、装着情報に基づき現時点の張力を検出し、その張力より減少させた張力とするための指示を生成する。そして、制御部２１は、通信部２３を介して、張力減少のための指示を車載装置３０へ送る。車載装置３０の制御部３１は、通信部３３を介して指示を受けてシートベルト装置３８へ送る。これに応答して、シートベルト装置３８は、張力を減少させるようにシートベルトの駆動機構を制御する。これにより、シートベルトが緩和されて、乗客に与える束縛感が緩和される。ただし、シートベルトが本来の機能として乗客を保持するために必要な張力を下回るような場合には、張力の減少を中止してもよい。そして、図４の処理サイクルが終了する。
本実施形態によれば、例えば、車両１３に間仕切り等の追加設備を設けることなく、したがって簡便に、乗客による脅威からの運転手又は同乗者の安全を確保することが可能となる。また、制御装置１０が所作と脅威の対応付けを判定することで、乗客による脅威からの運転手又は同乗者の安全を確保することが可能となる。ただし、車両１３において座席間に可動式の間仕切りを設け、シートベルトの張力増加、通知に加えて、脅威的な所作を行う乗客と運転手又は同乗者との間の間仕切りを動作させ、脅威的な所作を行う乗客を隔離してもよい。
上記において、シートベルトの張力を増加させる際、シートベルトをロックして一時的に解除できなくすることで、乗客による脅威からの安全をより確実に確保するようにしてもよい。例えば、制御装置１０からシートベルト装置３８への張力増加のための指示に、シートベルトをロックする指示が含まれており、これに応答してシートベルト装置３８がロック機構を作動させてもよい。
また、上記において、通知装置３９が車両１３の車室内の照明を含み、脅威的な所作を鎮静化するような色の照明、明滅パターン等により通知を出力してもよい。
上述の実施形態において、車載装置３０の動作を規定する処理・制御プログラムは、サーバ装置１２に記憶されていて、ネットワーク１４経由で各装置にダウンロードされてもよいし、各装置に読取り可能な可搬型で非一過性の記録・記憶媒体に格納され、各装置が媒体から読み取ってもよい。
本開示は上述の実施形態に限定されるものではない。例えば、ブロック図に記載の複数のブロックを統合してもよいし、又は１つのブロックを分割してもよい。フローチャートに記載の複数のステップを記述に従って時系列に実行する代わりに、各ステップを実行する装置の処理能力に応じて、又は必要に応じて、並列的に又は異なる順序で実行してもよい。その他、本開示の趣旨を逸脱しない範囲での変更が可能である。
１０ 情報処理システム
１１ 端末装置
１２ サーバ装置
１３ 車両
１４ ネットワーク
２１ 制御部
２２ 記憶部
２３ 通信部
２５ 入力部
２６ 出力部
３０ 車載装置
３１ 制御部
３２ 記憶部
３３ 通信部
３４ 測位部
３５ 入力部
３６ 出力部
３７ 記録装置
３８ シートベルト装置
３９ 通知装置

Claims (17)

  1. 所作の類型に基づいて、車両内部の撮像画像又は音声から検出される乗客の所作が脅威的と判定すると、当該乗客が装着したシートベルトの張力を増加させる第１の指示を送出する制御部を有し、
    前記制御部は、前記乗客の所作が脅威的でないと判定したときであっても、当該乗客の所作が脅威を示す報告を前記車両内部の他の乗客の座席又は端末装置から受けると、前記第１の指示を送出する、
    制御装置。
  2. 請求項１において、
    前記制御部は、所定の時間継続して前記乗客の所作が脅威的と判定する毎に、前記第１の指示を送出する、
    制御装置。
  3. 請求項１において、
    前記制御部は、前記乗客の所作を脅威的として前記所作の類型を修正する、
    制御装置。
  4. 請求項１～３のいずれかにおいて、
    前記制御部は、前記所作を抑止するための情報を前記車両内に出力させる第２の指示を更に送出する、
    制御装置。
  5. 請求項１～４のいずれかに記載の第１の指示に応じてシートベルトの張力を増加させる、シートベルト装置。
  6. 請求項５に記載のシートベルト装置を備えた車両。
  7. 請求項１～４のいずれかに記載の制御装置とシートベルト装置とを有するシステム。
  8. シートベルト装置を制御する制御装置の動作方法であって、
    前記制御装置は、所作の類型に基づいて、車両内部の撮像画像又は音声から検出される乗客の所作が脅威的と判定すると、当該乗客が装着したシートベルトの張力を増加させる第１の指示を送出し、前記乗客の所作が脅威的でないと判定したときであっても、当該乗客の所作が脅威を示す報告を前記車両内部の他の乗客の座席又は端末装置から受けると、前記第１の指示を送出し、
    前記シートベルト装置は、前記第１の指示を受ける、
    動作方法。
  9. 請求項８において、
    前記制御装置は、所定の時間継続して前記乗客の所作が脅威的と判定する毎に、前記第１の指示を送出する、
    動作方法。
  10. 請求項８において、
    前記制御装置は、前記乗客の所作を脅威的として前記所作の類型を修正する、
    動作方法。
  11. 請求項９～１０のいずれかにおいて、
    前記制御装置は、前記所作を抑止するための情報を前記車両内に出力させる第２の指示を通知装置へ送出する、
    動作方法。
  12. 請求項９～１１のいずれかにおいて、
    前記シートベルト装置は、記載の第１の指示に応じてシートベルトの張力を増加させる、動作方法。
  13. シートベルト装置を制御する制御装置により実行されることで、当該制御装置が、
    所作の類型に基づいて、車両内部の撮像画像又は音声から検出される乗客の所作が脅威的と判定すると、当該乗客が装着したシートベルトの張力を増加させる第１の指示を送出し、前記乗客の所作が脅威的でないと判定したときであっても、当該乗客の所作が脅威を示す報告を前記車両内部の他の乗客の座席又は端末装置から受けると、前記第１の指示を送出する、
    プログラム。
  14. 請求項１３において、
    前記制御装置は、所定の時間継続して前記乗客の所作が脅威的と判定する毎に、前記第１の指示を送出する、
    プログラム。
  15. 請求項１３において、
    前記制御装置は、前記乗客の所作を脅威的として前記所作の類型を修正する、
    プログラム。
  16. 請求項１３～１５のいずれかにおいて、
    前記制御装置は、前記所作を抑止するための情報を前記車両内に出力させる第２の指示を通知装置へ送出する、
    プログラム。
  17. 請求項１３～１６のいずれかに記載のプログラムを格納する、コンピュータ読取り可能な非一過性記憶媒体。
JP2020136001A 2020-08-11 2020-08-11 制御装置、シートベルト装置、車両、システムの動作方法、プログラム、及び記憶媒体 Active JP7392607B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020136001A JP7392607B2 (ja) 2020-08-11 2020-08-11 制御装置、シートベルト装置、車両、システムの動作方法、プログラム、及び記憶媒体
CN202110913739.1A CN114074630A (zh) 2020-08-11 2021-08-10 控制装置、座椅安全带装置、车辆、系统的工作方法以及介质
US17/399,502 US11643046B2 (en) 2020-08-11 2021-08-11 Control apparatus, seat belt apparatus, vehicle, method of operating system, and medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020136001A JP7392607B2 (ja) 2020-08-11 2020-08-11 制御装置、シートベルト装置、車両、システムの動作方法、プログラム、及び記憶媒体

Publications (2)

Publication Number Publication Date
JP2022032342A JP2022032342A (ja) 2022-02-25
JP7392607B2 true JP7392607B2 (ja) 2023-12-06

Family

ID=80223902

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020136001A Active JP7392607B2 (ja) 2020-08-11 2020-08-11 制御装置、シートベルト装置、車両、システムの動作方法、プログラム、及び記憶媒体

Country Status (3)

Country Link
US (1) US11643046B2 (ja)
JP (1) JP7392607B2 (ja)
CN (1) CN114074630A (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7229283B2 (ja) * 2021-02-04 2023-02-27 本田技研工業株式会社 車両用シートベルト装置
US20210397858A1 (en) * 2021-08-31 2021-12-23 Cornelius Buerkle Detection and mitigation of inappropriate behaviors of autonomous vehicle passengers
CN115743019A (zh) * 2022-11-17 2023-03-07 中国第一汽车股份有限公司 车辆控制方法、装置、车辆、存储介质及电子装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001114069A (ja) 1999-10-14 2001-04-24 Nsk Ltd シートベルトシステム
JP2002225659A (ja) 2001-01-31 2002-08-14 Kazuo Hirokawa 車両強盗防止システム
JP3109663U (ja) 2005-01-07 2005-05-19 株式会社 南場運輸 自動車用防犯装置
JP2006130951A (ja) 2004-11-02 2006-05-25 Kazuhiko Kami 自動車の防犯装置
JP2014054968A (ja) 2012-09-14 2014-03-27 Auto Network Gijutsu Kenkyusho:Kk 車両用セキュリティーシステム
JP2016186813A (ja) 2013-10-17 2016-10-27 みこらった株式会社 自動運転車、自動運転車の盗難防止プログラム及び自動運転車のレンタル方法
JP2019151290A (ja) 2018-03-06 2019-09-12 トヨタ自動車株式会社 輸送システム、情報処理装置、情報処理方法、およびプログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4102951A1 (de) * 1991-01-29 1992-07-30 Gerhard Mueller Notwehr- und alarmierungseinrichtung in pkw fuer chauffeure, insbesondere fuer taxichauffeure
CN1307992A (zh) * 2000-02-08 2001-08-15 陈锐 安全带防暴力装置
CN1433911A (zh) * 2002-01-22 2003-08-06 王廷森 智能型车辆防暴设施
JP2016107817A (ja) 2014-12-05 2016-06-20 ダイムラー・アクチェンゲゼルシャフトＤａｉｍｌｅｒ ＡＧ 車内事故防止システム
DE102016101895A1 (de) * 2016-02-03 2017-08-03 Manuel Imamovic Kraftfahrezug mit Fixiereinheit und Notrufeinheit
FR3065681B1 (fr) 2017-04-27 2021-01-08 Faurecia Interieur Ind Habitacle de vehicule
DE102017004918A1 (de) * 2017-05-23 2018-11-29 GM Global Technology Operations LLC (n. d. Ges. d. Staates Delaware) Gurtautomat für ein Fahrzeug, Fahrzeug mit dem Gurtautomat und Verfahren zur Regulierung eines Gurtrückhaltekraft- und/oder Gurtstrafferkraftniveaus
WO2019111244A1 (en) * 2017-12-04 2019-06-13 Guardian Optical Technologies Ltd. Systems and methods for adjustment of vehicle sub-systems based on monitoring of vehicle occupant(s)
JP7118529B2 (ja) * 2018-03-29 2022-08-16 矢崎総業株式会社 車内監視モジュール、及び、監視システム
CN108810804B (zh) * 2018-06-13 2020-06-09 车城智行信息技术(成都)有限公司 一种基于网约车平台的智能防护方法及其系统
JP7226691B2 (ja) * 2019-01-16 2023-02-21 株式会社東海理化電機製作所 車両用シートベルト装置
CN110322661A (zh) * 2019-08-05 2019-10-11 深圳市沃信达科技有限公司 一种车载汇聚安全报警系统及其控制方法
CN111137244A (zh) * 2020-02-17 2020-05-12 安徽理工大学 一种双电机双向预紧主动放松式安全带
US20210397858A1 (en) * 2021-08-31 2021-12-23 Cornelius Buerkle Detection and mitigation of inappropriate behaviors of autonomous vehicle passengers

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001114069A (ja) 1999-10-14 2001-04-24 Nsk Ltd シートベルトシステム
JP2002225659A (ja) 2001-01-31 2002-08-14 Kazuo Hirokawa 車両強盗防止システム
JP2006130951A (ja) 2004-11-02 2006-05-25 Kazuhiko Kami 自動車の防犯装置
JP3109663U (ja) 2005-01-07 2005-05-19 株式会社 南場運輸 自動車用防犯装置
JP2014054968A (ja) 2012-09-14 2014-03-27 Auto Network Gijutsu Kenkyusho:Kk 車両用セキュリティーシステム
JP2016186813A (ja) 2013-10-17 2016-10-27 みこらった株式会社 自動運転車、自動運転車の盗難防止プログラム及び自動運転車のレンタル方法
JP2019151290A (ja) 2018-03-06 2019-09-12 トヨタ自動車株式会社 輸送システム、情報処理装置、情報処理方法、およびプログラム

Also Published As

Publication number Publication date
US11643046B2 (en) 2023-05-09
US20220048464A1 (en) 2022-02-17
CN114074630A (zh) 2022-02-22
JP2022032342A (ja) 2022-02-25

Similar Documents

Publication Publication Date Title
JP7392607B2 (ja) 制御装置、シートベルト装置、車両、システムの動作方法、プログラム、及び記憶媒体
US10399575B2 (en) Cognitive load driving assistant
EP2836410B1 (en) User identification and personalized vehicle settings management system
US10462281B2 (en) Technologies for user notification suppression
US9473919B2 (en) System and method for anti texting in cell phones during vehicle driving
JP5881596B2 (ja) 車載情報装置、通信端末、警告音出力制御装置、および警告音出力制御方法
US20170132016A1 (en) System and method for adapting the user-interface to the user attention and driving conditions
US11386678B2 (en) Driver authentication for vehicle-sharing fleet
CN110869262B (zh) 用于为车辆的至少一名乘员生成视觉信息的方法、移动用户设备、计算单元
US20150158426A1 (en) Apparatus, control method thereof and computer-readable storage medium
CN111845762A (zh) 驾驶者注意力分散的确定
CN112001348A (zh) 车舱内的乘员检测方法及装置、电子设备和存储介质
US10769944B2 (en) Method for processing message and electronic device implementing the same
US11332072B2 (en) Driving assistance apparatus, driving assistance method, and computer-readable recording medium
US11511703B2 (en) Driver personalization for vehicle-sharing fleet
JP7371587B2 (ja) サーバ装置、システム、車載装置、プログラム、車両、システムの動作方法
WO2020079755A1 (ja) 情報提供装置及び情報提供方法
CN118144649A (zh) 车辆座椅位置调整方法、装置、电子设备及存储介质
CN116136900A (zh) 用于车辆的方法和装置、车载信息系统、存储介质和车辆
JP2021103436A (ja) 報知制御装置、報知装置、報知制御方法、報知制御プログラム、および、車両情報送信装置
CN116248701A (zh) 提示方法、装置、电子设备以及车辆
KR20140128799A (ko) 차량 설정 방법 및 그 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220809

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230705

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230711

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230816

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231024

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231106

R151 Written notification of patent or utility model registration

Ref document number: 7392607

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151