JP7371587B2 - サーバ装置、システム、車載装置、プログラム、車両、システムの動作方法 - Google Patents
サーバ装置、システム、車載装置、プログラム、車両、システムの動作方法 Download PDFInfo
- Publication number
- JP7371587B2 JP7371587B2 JP2020135998A JP2020135998A JP7371587B2 JP 7371587 B2 JP7371587 B2 JP 7371587B2 JP 2020135998 A JP2020135998 A JP 2020135998A JP 2020135998 A JP2020135998 A JP 2020135998A JP 7371587 B2 JP7371587 B2 JP 7371587B2
- Authority
- JP
- Japan
- Prior art keywords
- passenger
- vehicle
- control unit
- behavior
- server device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000011017 operating method Methods 0.000 title description 2
- 238000004891 communication Methods 0.000 claims description 46
- 238000000034 method Methods 0.000 claims description 21
- 238000011156 evaluation Methods 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 10
- 238000012423 maintenance Methods 0.000 claims description 2
- 230000006399 behavior Effects 0.000 description 64
- 238000012545 processing Methods 0.000 description 23
- 230000006870 function Effects 0.000 description 14
- 230000015654 memory Effects 0.000 description 13
- 230000010365 information processing Effects 0.000 description 10
- 230000004044 response Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 230000033001 locomotion Effects 0.000 description 8
- 239000004065 semiconductor Substances 0.000 description 7
- 238000010295 mobile communication Methods 0.000 description 6
- 238000005401 electroluminescence Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000004080 punching Methods 0.000 description 4
- 206010001488 Aggression Diseases 0.000 description 3
- 230000029305 taxis Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 239000000654 additive Substances 0.000 description 2
- 230000000996 additive effect Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000008451 emotion Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W40/09—Driving style or behaviour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/20—Monitoring the location of vehicles belonging to a group, e.g. fleet of vehicles, countable or determined number of vehicles
- G08G1/202—Dispatching vehicles on the basis of a location, e.g. taxi dispatching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/02—Reservations, e.g. for tickets, services or events
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
- G06Q50/265—Personal security, identity or safety
-
- G06Q50/40—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/94—Hardware or software architectures specially adapted for image or video understanding
- G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/01—Occupants other than the driver
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/21—Voice
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2756/00—Output or target parameters relating to data
- B60W2756/10—Involving external transmission of data to or from the vehicle
Description
本開示は、サーバ装置、システム、車載装置、プログラム、車両、システムの動作方法に関する。
不特定の乗客を乗せるタクシー、ライドシェア等の車両において、暴行等の脅威的な所作を行う乗客から運転手又は同乗者の安全を確保するために、種々の技術が提案されている。特許文献１には、社内の撮像画像により乗客の暴力的な行動を検出して警察等に通報する技術が開示されている。また、特許文献２には、生体情報により乗員の感情を検出する技術が開示されている。
乗客による脅威から運転手又は同乗者の安全を確保する技術が求められる。
本開示における制御装置は、所作の類型に基づいて、車両内部の撮像画像又は音声から検出される乗客の所作が脅威的と判定すると、当該乗客への配車を制限するように当該乗客を評価する処理を実行する制御部を有する。
本開示における車載装置は、通信部と、前記通信部により他の装置と情報を送受する制御部とを有し、前記制御部は、所作の類型に基づいて車両内部の撮像画像又は音声から検出される乗客の所作が脅威的と判定すると当該乗客への配車を制限するように当該乗客を評価する処理を実行するサーバ装置へ、車両内部の撮像画像又は音声の情報を送る。
本開示におけるシステムの動作方法は、互いに情報を送受するサーバ装置と車両の車載装置とを有するシステムの動作方法であって、前記車載装置は、前記車両内部の撮像画像又は音声の情報を前記サーバ装置へ送り、前記サーバ装置は、所作の類型に基づいて、前記撮像画像又は音声から検出される乗客の所作が脅威的と判定すると、当該乗客への配車を制限するように当該乗客を評価する処理を実行する。
本開示によれば、乗客による脅威から運転手又は同乗者の安全を確保することが可能となる。
以下、実施の形態について説明する。
図１は、一実施形態における制御装置の構成例を示す図である。情報処理システム１０は、ライドシェア又はタクシーを利用する乗客による暴行等の脅威からの、運転手又は同乗者の安全確保を支援する。情報処理システム１０は、ネットワーク１４を介して互いに情報通信可能に接続される、端末装置１１、サーバ装置１２、及び車両１３の車載装置４０を有する。端末装置１１は、例えば携帯電話機、スマートフォン、タブレット、又はＰＣ（Personal Computer）である。サーバ装置１２は、例えば、クラウドコンピューティングシステム又はその他のコンピューティングシステムに属し、各種機能を実装するサーバ装置である。車両１３は、不特定の乗客を乗せる、タクシー、ライドシェアに供される任意の車両である。車載装置４０は、例えば、ナビゲーション装置、携帯電話機、スマートフォン、タブレット、又はＰＣ（Personal Computer）である。ネットワーク１４は、例えばインターネットであるが、アドホックネットワーク、ＬＡＮ(Local Area Network)、ＭＡＮ(Metropolitan Area Network)、もしくは他のネットワーク又はこれらいずれかの組合せが含まれる。
サーバ装置１２は、所作の類型に基づいて、車両１３内部の撮像画像又は音声から検出される乗客の所作が脅威的と判定すると、その乗客への配車を制限するようにその乗客を評価する処理を実行する。乗客の評価は、脅威的な所作を行う傾向を示す、例えばスコアである。その乗客が配車を要求するときに、乗客の評価に応じてその乗客への配車が制限されることで、脅威的な所作の傾向を有する乗客が車両１３に乗車することを防ぎ、運転手又は同乗者の安全をより確保することが可能となる。
図２は、端末装置１１の構成例を示す。端末装置１１は、制御部２１、記憶部２２、通信部２３、測位部２４、入力部２５、及び出力部２６を備える。端末装置１１は、例えば携帯電話機、スマートフォン、タブレット、又はＰＣであり、乗客又はその同乗者により携行される。
制御部２１は、１つ以上のプロセッサ、１つ以上の専用回路、又はこれらの組み合わせを含む。プロセッサは、例えば、ＣＰＵ（Central Processing Unit）などの汎用プロセッサ、又は特定の処理に特化した専用プロセッサである。専用回路は、例えば、ＦＰＧＡ（Field-Programmable Gate Array）又はＡＳＩＣ（Application Specific Integrated Circuit）である。制御部２１は、端末装置１１の各部を制御しながら、端末装置１１の動作に係る情報処理を実行する。
記憶部２２は、１つ以上の半導体メモリ、１つ以上の磁気メモリ、１つ以上の光メモリ、又はこれらのうち少なくとも２種類の組み合わせを含む。半導体メモリは、例えば、ＲＡＭ（Random Access Memory）又はＲＯＭ（Read Only Memory）である。ＲＡＭは、例えば、ＳＲＡＭ（Static RAM）又はＤＲＡＭ（Dynamic RAM）である。ＲＯＭは、例えば、ＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）である。記憶部２２は、例えば、主記憶装置、補助記憶装置、又はキャッシュメモリとして機能する。記憶部２２は、端末装置１１の動作に用いられる情報と、端末装置１１の動作によって得られる情報とを記憶する。
通信部２３は、１つ以上の通信用インタフェースを含む。通信用インタフェースは、例えば、ＬＴＥ（Long Term Evolution）、４Ｇ（4th Generation）、若しくは５Ｇ（5th Generation）などの移動通信規格に対応したインタフェース、又はＬＡＮインタフェースである。通信部２３は、端末装置１１の動作に用いられる情報を受信し、また端末装置１１の動作によって得られる情報を送信する。端末装置１１は、通信部２３により、近傍のルータ装置または移動体通信の基地局を介してネットワーク１４に接続され、ネットワーク１４経由で他の装置と情報通信を行う。
測位部２４には、１つ以上のＧＮＳＳ（Global Navigation Satellite System）受信機が含まれる。ＧＮＳＳには、例えば、ＧＰＳ（Global Positioning System）、ＱＺＳＳ（Quasi-Zenith Satellite System）、ＧＬＯＮＡＳＳ（Global Navigation Satellite System）、及びＧａｌｉｌｅｏの少なくともいずれかが含まれる。測位部２４は、端末装置１１の位置情報を取得する。
入力部２５は、１つ以上の入力用インタフェースを含む。入力用インタフェースは、例えば、物理キー、静電容量キー、ポインティングデバイス、ディスプレイと一体的に設けられたタッチスクリーン、又は音声入力を受け付けるマイクロフォンである。入力インタフェースは、さらに、撮像画像又は画像コードを取り込むカメラ、又はＩＣカードリーダーを含んでもよい。入力部２５は、端末装置１１の動作に用いられる情報を入力する操作を受け付け、入力される情報を制御部２１に送る。
出力部２６は、１つ以上の出力用インタフェースを含む。出力インタフェースは、例えば、情報を画像・映像として出力する外付け又は内蔵のディスプレイ、情報を音声として出力するスピーカ、又は、外部の出力機器との接続インタフェースである。ディスプレイは、例えば、ＬＣＤ（Liquid Crystal Display）又は有機ＥＬ（Electro Luminescence）ディスプレイである。出力部２６は、端末装置１１の動作によって得られる情報を出力する。
端末装置１１の動作は、制御部２１に含まれるプロセッサがプログラムを実行することにより実現される。プログラムは、コンピュータで読取り可能な記録媒体に記録することができる。コンピュータで読取り可能な記録媒体は、例えば、磁気記録装置、光ディスク、光磁気記録媒体、又は半導体メモリである。プログラムは、例えば、プログラムを記録したＤＶＤ（Digital Versatile Disc）又はＣＤ（Compact Disc）－ＲＯＭなどの可搬型記録媒体に記録された状態で流通される。プログラムは、サーバ装置のストレージにプログラムを格納しておき、サーバ装置から他のコンピュータにプログラムを転送することで流通されてもよい。端末装置１１の一部又は全ての動作は、制御部２１に含まれる専用回路により実行されてもよい。
図３は、サーバ装置１２の構成例を示す。サーバ装置１２は、制御部３１、記憶部３２、通信部３３、入力部３５、及び出力部３６を備える。サーバ装置１２は、例えば、クラウドコンピューティングシステム又はその他のコンピューティングシステムに属し、各種機能を実装するサーバとして機能するサーバコンピュータである。サーバ装置１２は、互いに情報通信可能に接続されて連携動作する一以上のサーバコンピュータであってもよい。
制御部３１は、１つ以上のプロセッサ、１つ以上の専用回路、又はこれらの組み合わせを含む。プロセッサは、例えば、ＣＰＵなどの汎用プロセッサ、又は特定の処理に特化したＧＰＵ（Graphics Processing Unit）等の専用プロセッサである。専用回路は、例えば、ＦＰＧＡ、ＡＳＩＣ等である。制御部３１は、サーバ装置１２の各部を制御しながら、サーバ装置１２の動作に係る情報処理を実行する。
記憶部３２は、例えば、主記憶装置、補助記憶装置、又はキャッシュメモリとして機能する１つ以上の半導体メモリ、１つ以上の磁気メモリ、１つ以上の光メモリ、又はこれらのうち少なくとも２種類の組み合わせを含む。半導体メモリは、例えば、ＲＡＭ又はＲＯＭである。ＲＡＭは、例えば、ＳＲＡＭ又はＤＲＡＭである。ＲＯＭは、例えば、ＥＥＰＲＯＭである。記憶部３２は、サーバ装置１２の動作に用いられる情報と、サーバ装置１２の動作によって得られる情報とを記憶する。
サーバ装置１２において、制御部３１と記憶部３２は、バスを介して接続されてもよいし、バスを介さず互いに直接的に接続されてもよい。あるいは制御部３１が記憶部３２を内包し、記憶部３２と一体的に構成されてもよい。
通信部３３は、１つ以上の通信用インタフェースを含む。通信用インタフェースは、例えば、ＬＡＮインタフェースである。通信部３３は、サーバ装置１２の動作に用いられる情報を受信し、またサーバ装置１２の動作によって得られる情報を送信する。サーバ装置１２は、通信部３３によりネットワーク１４に接続され、ネットワーク１４経由で他の装置と情報通信を行う。
入力部３５は、１つ以上の入力用インタフェースを含む。入力用インタフェースは、例えば、物理キー、静電容量キー、ポインティングデバイス、ディスプレイと一体的に設けられたタッチスクリーン、又は音声入力を受け付けるマイクロフォンである。入力インタフェースは、さらに、撮像画像又は画像コードを取り込むカメラ、又はＩＣカードリーダーを含んでもよい。入力部３５は、サーバ装置１２の動作に用いられる情報を入力する操作を受け付け、入力される情報を制御部３１に送る。
出力部３６は、１つ以上の出力用インタフェースを含む。出力用インタフェースは、例えば、ディスプレイ又はスピーカである。ディスプレイは、例えば、ＬＣＤ又は有機ＥＬディスプレイである。出力部３６は、サーバ装置１２の動作によって得られる情報を出力する。
サーバ装置１２の機能は、制御プログラムを、制御部３１に含まれるプロセッサで実行することにより実現される。制御プログラムは、サーバ装置１２の動作に含まれるステップの処理をコンピュータに実行させることで、そのステップの処理に対応する機能をコンピュータに実現させるためのプログラムである。すなわち、制御プログラムは、コンピュータをサーバ装置１２として機能させるためのプログラムである。また、サーバ装置１２の一部又は全ての機能が、制御部３１に含まれる専用回路により実現されてもよい。
本実施形態において、制御部３１は、車両１３における乗客の所作が脅威的か否かに類型化した情報を記憶部３２に格納する。かかる所作の類型は、例えば、予め、各所作に紐づけられた、各所作が脅威的か否かを示す情報である。所作は、乗客による動作及び音声を含む。動作は、頭部及び四肢の動作、上体の姿勢の変化、表情の変化等を含む。脅威的な所作は、例えば、他者又は内装に対する殴る・蹴る等の接触を伴う暴力的動作、殴る・蹴る等を示唆するが接触を伴わない予備的動作又は表情、恫喝、罵詈雑言等を示す文言を含みある程度以上の音圧を伴う音声である。あるいは、所作の類型は、制御部２１が記憶部２２を含む動作において、判定モデルとして実装してもよい。制御部２１は、例えば、所作とその所作が他者に与える印象とを対応付けた教師データを機械学習することで判定モデルを構成する。そして、制御部２１は、車両１３の車室内の撮像画像及び音声から乗客の所作を画像認識又は音声認識により抽出し、その所作が脅威的か否かを所作の類型に基づいて判定する。
図４は、車両１３に搭載される車載装置４０の構成例を示す。車載装置４０は、制御部４１、記憶部４２、通信部４３、測位部４４、入力部４５、及び出力部４６を備える。また、車両１３には、車載装置４０により制御される、記録装置４７が搭載される。
制御部４１は、１つ以上のプロセッサ、１つ以上の専用回路、又はこれらの組み合わせを含む。プロセッサは、ＣＰＵなどの汎用プロセッサ、又は特定の処理に特化した専用プロセッサである。専用回路は、例えば、ＦＰＧＡ又はＡＳＩＣである。制御部４１は、車載装置４０の各部を制御しながら、車載装置４０の動作に係る情報処理を実行する。
記憶部４２は、例えば、主記憶装置、補助記憶装置、又はキャッシュメモリとして機能する、１つ以上の半導体メモリ、１つ以上の磁気メモリ、１つ以上の光メモリ、又はこれらのうち少なくとも２種類の組み合わせを含む。半導体メモリは、例えば、ＲＡＭ又はＲＯＭである。ＲＡＭは、例えば、ＳＲＡＭ又はＤＲＡＭである。ＲＯＭは、例えば、ＥＥＰＲＯＭである。記憶部４２は、車載装置４０の動作に係る情報処理を実行するとともに、車載装置４０の動作に用いられる情報と、車載装置４０の動作によって得られる情報とを記憶する。
通信部４３は、１つ以上の通信用インタフェースを含む。通信用インタフェースは、例えば、ＬＴＥ、４Ｇ、若しくは５Ｇなどの移動通信規格に対応したインタフェースである。通信部４３は、車載装置４０の動作に用いられる情報を受信し、また車載装置４０の動作によって得られる情報を送信する。車載装置４０は、通信部４３により、移動体通信の基地局を介してネットワーク１４に接続され、ネットワーク１４経由で他の装置と情報通信を行う。
測位部４４は、１つ以上のＧＮＳＳ受信機を含む。ＧＮＳＳには、例えば、ＧＰＳ、ＱＺＳＳ、ＧＬＯＮＡＳＳ、及びＧａｌｉｌｅｏの少なくともいずれかが含まれる。測位部４４は、車両１３の位置情報を取得する。
入力部４５は、１つ以上の入力用インタフェースを含む。入力用インタフェースは、例えば、物理キー、静電容量キー、ポインティングデバイス、ディスプレイと一体的に設けられたタッチスクリーン、又は音声入力を受け付けるマイクロフォンである。入力インタフェースは、さらに、撮像画像又は画像コードを取り込むカメラ、又はＩＣカードリーダーを含んでもよい。入力部４５は、車載装置４０の動作に用いられる情報を入力する操作を受け付け、入力される情報を制御部４１に送る。
出力部４６には、１つ以上の出力用インタフェースを含む。出力用インタフェースは、例えば、ディスプレイ又はスピーカである。ディスプレイは、例えば、ＬＣＤ又は有機ＥＬディスプレイである。出力部４６は、車載装置４０の動作によって得られる情報を出力する。
車載装置４０の機能は、制御プログラムを、制御部４１に含まれるプロセッサで実行することにより実現される。制御プログラムは、車載装置４０の動作に含まれるステップの処理をコンピュータに実行させることで、そのステップの処理に対応する機能をコンピュータに実現させるためのプログラムである。すなわち、制御プログラムは、コンピュータを車載装置４０として機能させるためのプログラムである。また、車載装置４０の一部又は全ての機能が、制御部４１に含まれる専用回路により実現されてもよい。
記録装置４７は、車両１３の車室内の乗員の座席を撮像可能な位置に設けられる、一以上のカメラとその制御回路とを有する。記録装置４７が有するカメラは、単眼カメラであってもよく、ステレオカメラであってもよい。記録装置４７は、更に、車両１３の車室内の音声を録音する録音装置とその制御回路とを有する。記録装置４７は、車両１３の車室内を任意の時間間隔で撮像及び録音し、撮像画像及び音声の情報を車載装置４０の制御部４１に送る。
次に、情報処理システム１０の動作について、図５を用いて説明する。
図５は、端末装置１１、サーバ装置１２及び車両１３の車載装置４０が連携しながら動作するときの動作手順を示すシーケンス図である。図５の手順は、乗客が端末装置１１を操作して端末装置１１の配車アプリケーション起動したときに実行される。
ステップＳ５００において、端末装置１１は、乗客による配車の要求を受け付ける。端末装置１１の制御部２１は、例えば、端末装置１１の現在位置に応じてサーバ装置１２から地図情報を受け取り、その地図情報を出力部２６により表示して、乗客に乗車地点、降車地点の入力を促す。乗客は、例えば地図上の所望の地点をタップしたり、住所を入力したりするなどして、乗車地点等を入力し、配車を要求する。また、配車要求の際、あるいは配車アプリケーションを使用開始するとき一回的に、乗客は自らを識別する氏名、ユーザ名、パスワード等の識別情報を入力する。すると、制御部２１が、入力部２５を介して乗客からの入力を受け付ける。
ステップＳ５０２において、端末装置１１は、乗客の識別情報と、乗車地点情報等を含む配車要求とを、サーバ装置１２へ送る。端末装置１１の制御部２１は、通信部２３により、乗客の識別情報と配車要求とをサーバ装置１２へ送る。サーバ装置１２の制御部３１は、通信部３３により、乗客の識別情報と配車要求とを受ける。
ステップＳ５０４において、サーバ装置１２は、配車の可否を判断する。サーバ装置１２の制御部３１は、乗客の識別情報に基づき、その乗客の評価を参照する。乗客の評価は、例えば、記憶部３２に乗客毎のスコアとして、識別情報に紐づけて格納される。スコアは、各乗客の脅威的な所作の傾向を示す。スコアは、例えば、任意に設定されるダイナミックレンジにおける離散的な数値である。スコアは、例えば、加算式でスコアが大きいほど脅威的な所作の傾向の大きさを示してもよいし、初期値からの減算式でスコアが小さいほど脅威的な所作の傾向の大きさを示してもよい。制御部３１は、乗客の評価が示す脅威的な所作の傾向が大きいほど配車をしないような判断を行う。例えば、制御部３１は、スコアが任意の基準値を超えて脅威的な所作の傾向の大きさを示す場合、その乗客への配車は不可、スコアが基準値以下の場合に、その乗客への配車は可と判断する。また、例えば、脅威的な所作の傾向を段階的に示す三以上のレンジをスコアに設け、スコアが最も低い程度のレンジの場合には配車可、中程度のレンジの場合には程度に応じた任意の回数に１回の頻度で配車可、最も高い程度のレンジの場合には配車不可というように、制御部３１が段階的に判断してもよい。配車不可と判断した場合、サーバ装置１２はステップＳ５０６の処理へ進み、配車可と判断した場合、サーバ装置１２はステップＳ５１０の処理へ進む。
ステップＳ５０６において、サーバ装置１２は、配車不可を示す通知を端末装置１１へ送る。サーバ装置１２の制御部３１は、通信部３３により、配車不可を示す通知を、端末装置１１へ送る。端末装置１１の制御部２１は、通信部２３により、配車不可を示す通知を受ける。
ステップＳ５０８において、端末装置１１は、配車不可を示す通知を出力する。端末装置１１の制御部２１は、出力部３６により配車不可を示す通知を乗客へ向けて表示する。そして、端末装置１１、サーバ装置１２及び車載装置４０の動作が終了する。
一方、ステップＳ５１０において、サーバ装置１２は、車両１３に対する運行要求を生成して車載装置４０へ送る。サーバ装置１２の制御部３１は、端末装置１１から受けた乗客の識別情報、乗車地点等の情報等に基づき、乗車地点へ向かって乗客と合流するように運行する要求を生成し、通信部３３により、運行要求を車載装置４０へ送る。車載装置４０の制御部４１は、通信部４３により、運行要求を受ける。
ステップＳ５１１において、車載装置４０は、運行要求に応じるための運行応答を生成する。車載装置４０の制御部４１は、運行要求に含まれる乗車地点を出力部４６により運転手に向け表示し、運転手による運行要求への対応可否の回答を入力部４５により受け付けて、運行可否に関する運行応答を生成する。運行が可能である場合、運行応答には、車両１３の識別番号、車両１３の現在位置の情報等が含まれる。運行が可能であることを示す運行応答が生成されると、ステップＳ５１２において、車載装置４０は、運行応答をサーバ装置１２へ送る。車載装置４０の制御部４１は、通信部４３により、運行応答をサーバ装置１２へ送る。サーバ装置１２の制御部３１は、通信部３３により運行応答を受ける。
ステップＳ５１４において、サーバ装置１２は、運行応答に対応する配車通知を生成して、配車通知を端末装置１１へ送る。サーバ装置１２の制御部３１は、例えば、車両１３の現在位置に基づき、乗車地点への到着予想時刻を算出する。そして、制御部３１は、車両１３の識別番号、現在位置、到着予想時刻等を含む配車通知を生成する。そして、制御部３１は、通信部３３により、配車通知を端末装置１１へ送る。端末装置１１の制御部２１は、通信部２３により、配車通知を受ける。
ステップＳ５１６において、端末装置１１は、配車通知を乗客へ向けて出力する。端末装置１１の制御部２１は、出力部３６により配車通知を乗客へ向けて表示する。例えば、「配車完了しました」などの文字情報とともに、乗車地点への車両１３の到着予想時刻等が表示される。そして、車両１３が乗車地点へ到着すると、乗客が車両１３に搭乗して乗車が開始される。
乗車が開始されると、ステップＳ５１８、Ｓ５２０及びＳ５２２が、例えば数秒～十数秒毎の任意のサイクルで実行される。
ステップＳ５１８において、車載装置４０は、車両１３の車室内の撮像及び録音を行う。そして、ステップＳ５２０において、車載装置４０は、撮像画像と音声情報とをサーバ装置１２へ送る。車両１３では、記録装置４７が任意のフレームレートでの撮像と撮像に伴う音声の録音を行い、撮像画像と撮像画像に付随する音声情報とを車載装置４０に送る。車載装置４０の制御部４１は、通信部４３により撮像画像及び音声情報をサーバ装置１２へ送る。サーバ装置１２の制御部３１は、通信部３３により撮像画像及び音声情報を受けて記憶部３２に格納する。
ステップＳ５２２において、サーバ装置１２は、車両内部の撮像画像又は音声から検出される乗客の所作の類型に基づいて所作を評価する。ステップＳ５２２の手順の詳細を図６に示す。
図６は、サーバ装置１２における制御部３１の処理手順を示すフローチャート図である。
ステップＳ６００において、制御部３１は、記憶部３２から任意のフレーム数の撮像画像と撮像画像に付随する音声情報とを読み出す。
ステップＳ６０２において、制御部３１は、撮像画像及び音声情報から乗客の所作を抽出する。例えば、制御部３１は、画像認識処理及び音声認識処理を行い、パターンマッチング等により、撮像画像及び音声情報から乗客の所作を抽出する。
ステップＳ６０４において、制御部３１は、抽出した所作が脅威的か否かを判定する。例えば、制御部３１は、所作の類型に基づいて、抽出した所作が脅威的であるか否かを判定する。例えば、制御部３１は、所作が、他者又は内装に対する殴る・蹴る等の接触を伴う暴力的動作、殴る・蹴る等を示唆するが接触を伴わない予備的動作、恫喝、罵詈雑言等を示す文言を含みある程度以上の音圧を伴う音声である場合に、その所作が脅威的と判定する。特段の所作が抽出されない場合、又は抽出された所作が暴力的動作、予備的動作、恫喝又は罵詈雑言等に該当しない場合は、制御部３１は、その所作が脅威的でないと判定する。制御部３１は、所作が脅威的と判定した場合（ステップＳ６０６のＹｅｓ）、ステップＳ６０８に進み、一方、所作が脅威的でないと判定した場合（ステップＳ６０６のＮｏ）、ステップＳ６１８に進む。
ステップＳ６０８において、制御部３１は、脅威的な所作の継続時間をカウントする。例えば、制御部３１は、前回の処理サイクルで脅威的な所作が検出された時点からの経過時間を累計して記憶部３２に格納する。
ステップＳ６１０において、制御部３１は、脅威的な所作の継続時間が基準時間を超過したか否かを判断する。例えば、制御部３１は、ステップＳ６０８でカウントした継続時間が任意の基準時間（例えば、数秒～数十秒）を超過したか否かを判断する。制御部３１は、継続時間が基準時間を超過した場合（ステップＳ６１０のＹｅｓ）、ステップＳ６１２に進み、基準時間を超過していない場合（ステップＳ６１０のＮｏ）、図６の処理サイクルを終了する。
ステップＳ６１２において、制御部３１は、乗客にスコアを付与する処理を実行する。すなわち、乗客の所作が評価される。制御部３１は、乗客の識別情報に紐づけてスコアを記憶部３２に格納する。例えば、制御部３１は、加算式のスコアの場合には任意の増加分をスコアに加算し、減算式のスコアの場合には任意の減少分をスコアから減算して、計算後のスコアを記憶部３２に格納する。制御部３１は、例えば、所作に応じて加減算するスコアの大きさを調整する。例えば、制御部３１は、他者又は内装に対する接触を伴う暴力的動作によるスコア、接触を伴わない予備的動作によるスコア、音声によるスコアの順に小さくなるようなスコアを加減算する。そうすることで、乗客の脅威的な所作の程度に応じた評価が可能となる。
また、制御部３１は、例えば、同乗者の所作を加味してスコアを調整することも可能である。例えば、制御部３１は、撮像画像又は音声情報から同乗者の所作を抽出する。乗客の所作を嫌悪する所作を同乗者が行う場合に、制御部３１は、乗客のスコアに対する重み付けを大きくすることができる。かかる同乗者の所作は、例えば、同乗者が、顔をしかめる、顔をそむける、乗客の所作をよける、乗客の所作に対し苦言を発する等を含む。このようにすることで、より的確に乗客の脅威的な所作を評価することができる。
さらに、制御部３１は、例えば、乗客の属性を加味してスコアを調整することも可能である。例えば、制御部３１は、乗客の識別情報を用いて行政当局のサーバに照会し、犯罪歴の有無に応じてスコアに重み付けすることができる。例えば、制御部３１は、犯罪歴を有する場合のスコアには、犯罪歴を有さない場合のスコアより大きい重みをつける。あるいは、制御部３１は、所作の抽出に伴って衣服の輪郭等から銃器の携行を検出した場合、乗客の識別情報に基づき銃器の所持許可を有するか否かを行政当局のサーバに照会し、許可を有さない場合のスコアを、許可を有する場合のスコアより大きくすることが可能である。このようにすることで、より的確に乗客の脅威的な所作を評価することができる。
ステップＳ６１４において、制御部３１は、スコアが基準スコアを超過したか否かを判断する。例えば、制御部３１は、ステップＳ６１２で付与したスコアが示す乗客の脅威的な所作の傾向が任意の基準を超えた場合（ステップＳ６１４のＹｅｓ）、ステップＳ６１６に進み、基準以下の場合（ステップＳ６１４のＮｏ）、図６の処理サイクルを終了する。
ステップＳ６１６において、制御部３１は、警察等、治安維持当局へ向けた通報処理を行う。これにより、乗客が過度に脅威的な所作の傾向を示す場合に、車両１３における潜在的な危険を当局に通知することができ、運転手又は同乗者の安全確保に資することが可能となる。
なお、乗客の脅威的な所作が比較的短時間で鎮まれば、乗客の傾向改善の期待の余地が認められるので、ステップＳ６１０で判断する基準時間を任意に適切な長さに設定することで、乗客の評価がむやみに悪化することを回避したり、無用の通報を回避し当局への負担を軽減したりすることが可能となる。
乗客の所作が脅威的と判定されなかった場合（Ｓ６０６のＮｏ）、ステップＳ６１８において、制御部３１は、運転手又は同乗者から脅威を示す報告がなされたか否かを判断する。例えば、運転手又は同乗者は、乗客の所作を脅威的と感じた場合に、車載装置４０の入力部４５に対し、脅威的な所作の報告を入力する。例えば、車載装置４０にて、警報用のボタン、タップ領域等に対し運転手又は同乗者の入力がなされる。すると、車載装置４０の制御部４１は、入力に応答して、通信部４３により、脅威を示す報告をサーバ装置１２へ送る。あるいは、同乗者が携行する端末装置が、車載装置４０と近距離通信又は移動体通信により情報通信可能に接続されることにより、またはサーバ装置１２と移動体通信により情報通信可能に接続されることにより、同乗者が端末装置の専用アプリを操作することで、車載装置４０又はサーバ装置１２へ報告を送ってもよい。サーバ装置１２の制御部３１は、通信部４３により報告を受ける。報告を受けた場合（Ｓ６１８のＹｅｓ）、制御部３１はステップＳ６２０に進み、報告を受けていない場合（Ｓ６１８のＮｏ）、制御部３１はステップＳ６２２に進む。
ステップＳ６２０において、制御部３１は、抽出した所作に脅威を対応付けるように、所作の類型を修正する。制御部３１は、記憶部３２に格納される、所作が脅威的か否かに類型化された情報を修正する。あるいは、制御部３１は、所作とその所作が他者に与える印象とを対応付けた教師データに抽出した所作を脅威的印象と対応付けて反映し、教師データを修正して機械学習を実行する。このようにして、以後の所作の判定精度を向上させることが可能となる。そして、制御部３１はステップＳ６０８以降を実行する。すなわち、この場合、乗客が脅威的な所作を行っているので、制御部３１は、スコア付与処理、及びスコアに応じた通報処理を行う。
脅威報告がなされない場合（ステップＳ６１８のＮｏ）、ステップＳ６２２において、制御部３１は、脅威的な所作の継続時間のカウントをリセットする。そして、図６の処理サイクルが終了する。
図６の手順により評価した乗客の評価に基づき、以後に実行される図５のステップＳ５０４で配車可否が判断されるので、乗客の脅威的な所作の傾向に応じてその乗客への配車が制限される。よって、運転手又は同乗者が、脅威的な所作の傾向が大きい乗客と同乗する蓋然性を抑え、運転手又は同乗者の安全確保が可能となる。
上述の実施形態において、端末装置１１又は車載装置４０の動作を規定する処理・制御プログラムは、サーバ装置１２に記憶されていて、ネットワーク１４経由で各装置にダウンロードされてもよいし、各装置に読取り可能な可搬型で非一過性の記録・記憶媒体に格納され、各装置が媒体から読み取ってもよい。
本開示は上述の実施形態に限定されるものではない。例えば、ブロック図に記載の複数のブロックを統合してもよいし、又は１つのブロックを分割してもよい。フローチャートに記載の複数のステップを記述に従って時系列に実行する代わりに、各ステップを実行する装置の処理能力に応じて、又は必要に応じて、並列的に又は異なる順序で実行してもよい。その他、本開示の趣旨を逸脱しない範囲での変更が可能である。
１０ 情報処理システム
１１ 端末装置
１２ サーバ装置
１３ 車両
１４ ネットワーク
２１ 制御部
２２ 記憶部
２３ 通信部
２５ 入力部
２６ 出力部
３１ 制御部
３２ 記憶部
３３ 通信部
３５ 入力部
３６ 出力部
４０ 車載装置
４１ 制御部
４２ 記憶部
４３ 通信部
４４ 測位部
４５ 入力部
４６ 出力部
４７ 記録装置
１１ 端末装置
１２ サーバ装置
１３ 車両
１４ ネットワーク
２１ 制御部
２２ 記憶部
２３ 通信部
２５ 入力部
２６ 出力部
３１ 制御部
３２ 記憶部
３３ 通信部
３５ 入力部
３６ 出力部
４０ 車載装置
４１ 制御部
４２ 記憶部
４３ 通信部
４４ 測位部
４５ 入力部
４６ 出力部
４７ 記録装置
Claims (9)
- 通信部と、
前記通信部により他の装置と情報を送受する制御部とを有し、
前記制御部は、所作の類型に基づいて、車両内部の撮像画像又は音声から検出される乗客の所作が当該車両における他者又は内装に対し脅威的と判定すると、当該乗客への配車を制限するように当該乗客を評価する処理を実行し、端末装置から送られる前記車両内部の同乗者からの報告に応じて前記乗客の評価を調整する、
サーバ装置。 - 請求項１において、
前記制御部は、
前記撮像画像又は音声から検出される前記車両内部の同乗者の所作に応じて前記乗客の評価を調整する、
サーバ装置。 - 請求項１又は２において、
前記制御部は、前記乗客の端末装置から配車の要求を受けるときに当該乗客の識別情報を取得し、当該識別情報に対応する当該乗客の犯罪履歴に応じて前記乗客の評価を調整する、
サーバ装置。 - 請求項１～３のいずれかにおいて、
前記制御部は、前記評価が基準を超えると、前記通信部を介して治安維持当局へ通報を発する処理を実行する、
サーバ装置。 - 請求項１～４のいずれかに記載のサーバ装置と車両とを有するシステム。
- 互いに情報を送受するサーバ装置と車両の車載装置とを有するシステムの動作方法であって、
前記車載装置は、前記車両内部の撮像画像又は音声の情報を前記サーバ装置へ送り、
前記サーバ装置は、所作の類型に基づいて、前記撮像画像又は音声から検出される乗客の所作が当該車両における他者又は内装に対し脅威的と判定すると、当該乗客への配車を制限するように当該乗客を評価する処理を実行し、端末装置から送られる前記車両内部の同乗者からの報告に応じて前記乗客の評価を調整する、
動作方法。 - 請求項６において、
前記サーバ装置は、前記撮像画像又は音声から検出される前記車両内部の同乗者の所作に応じて前記乗客の評価を調整する、
動作方法。 - 請求項６又は７において、
前記サーバ装置は、前記乗客の端末装置から配車の要求を受けるときに当該乗客の識別情報を取得し、当該識別情報に対応する当該乗客の犯罪履歴に応じて前記乗客の評価を調整する、
動作方法。 - 請求項６～８のいずれかにおいて、
前記サーバ装置は、前記評価が基準を超えると、治安維持当局へ通報を発する処理を実行する、
動作方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020135998A JP7371587B2 (ja) | 2020-08-11 | 2020-08-11 | サーバ装置、システム、車載装置、プログラム、車両、システムの動作方法 |
| CN202110914655.XA CN114078316A (zh) | 2020-08-11 | 2021-08-10 | 服务器装置、系统、车载装置、介质、车辆、系统的工作方法 |
| US17/399,346 US20220048521A1 (en) | 2020-08-11 | 2021-08-11 | Server apparatus, system, vehicle-mounted apparatus, medium, vehicle, and method of operating system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020135998A JP7371587B2 (ja) | 2020-08-11 | 2020-08-11 | サーバ装置、システム、車載装置、プログラム、車両、システムの動作方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022032340A JP2022032340A (ja) | 2022-02-25 |
| JP7371587B2 true JP7371587B2 (ja) | 2023-10-31 |
Family
ID=80223884
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020135998A Active JP7371587B2 (ja) | 2020-08-11 | 2020-08-11 | サーバ装置、システム、車載装置、プログラム、車両、システムの動作方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20220048521A1 (ja) |
| JP (1) | JP7371587B2 (ja) |
| CN (1) | CN114078316A (ja) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019168815A (ja) | 2018-03-22 | 2019-10-03 | 東芝メモリ株式会社 | 情報処理装置、情報処理方法、及び情報処理プログラム |
| JP2020052471A (ja) | 2018-09-21 | 2020-04-02 | トヨタ自動車株式会社 | 乗車マナー評価装置、乗車マナー評価システム、乗車マナー評価方法、及び乗車マナー評価用コンピュータプログラム |
| JP2020087218A (ja) | 2018-11-29 | 2020-06-04 | トヨタ自動車株式会社 | 車両及び乗客輸送システム |
Family Cites Families (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9086948B1 (en) * | 2013-03-13 | 2015-07-21 | Allstate Insurance Company | Telematics based on handset movement within a moving vehicle |
| CN103489309B (zh) * | 2013-08-20 | 2015-09-16 | 深圳市幸运草科技有限公司 | 拼出租车、分享私家车、搭顺风车的方法及其系统 |
| CN104599216A (zh) * | 2015-01-26 | 2015-05-06 | 刘江涛 | 一种行车软件平台的工作方法 |
| US20170316533A1 (en) * | 2016-04-29 | 2017-11-02 | GM Global Technology Operations LLC | Personal safety and privacy features for passengers of an autonomous vehicle based transportation system |
| JP2017211703A (ja) * | 2016-05-23 | 2017-11-30 | 三菱電機株式会社 | 運転評価装置および運転評価プログラム |
| CN107103310B (zh) * | 2017-06-01 | 2020-12-18 | 鄂尔多斯市普渡科技有限公司 | 一种无人驾驶出租车的乘客行为监督方法 |
| CN109146217A (zh) * | 2017-06-19 | 2019-01-04 | 北京嘀嘀无限科技发展有限公司 | 行程安全评估方法、装置、服务器、计算机可读存储介质 |
| JP6319506B1 (ja) * | 2017-11-02 | 2018-05-09 | オムロン株式会社 | 評価装置、評価システム、車両、およびプログラム |
| JP2019132928A (ja) * | 2018-01-30 | 2019-08-08 | 株式会社デンソー | 車両用楽曲提供装置 |
| JP7172321B2 (ja) * | 2018-09-12 | 2022-11-16 | トヨタ自動車株式会社 | 運転評価装置、運転評価システム、運転評価方法、及び運転評価用コンピュータプログラム |
| CN110060484B (zh) * | 2019-05-16 | 2021-10-22 | 武汉理工大学 | 一种基于区块链的公路客运违章实时预警系统及方法 |
| CN110189208A (zh) * | 2019-06-04 | 2019-08-30 | 北京百度网讯科技有限公司 | 乘客评价方法、装置及存储介质 |
| CN110838027A (zh) * | 2019-10-23 | 2020-02-25 | 上海能塔智能科技有限公司 | 车辆使用满意度的确定方法及装置、存储介质、计算设备 |
| CN111178659A (zh) * | 2019-10-29 | 2020-05-19 | 孙群 | 一种网约车派单方法 |
| CN111062782A (zh) * | 2019-12-17 | 2020-04-24 | 支付宝(杭州)信息技术有限公司 | 确认拼车的方法以及装置 |
| US11664043B2 (en) * | 2019-12-31 | 2023-05-30 | Beijing Didi Infinity Technology And Development Co., Ltd. | Real-time verbal harassment detection system |
| US11494865B2 (en) * | 2020-04-21 | 2022-11-08 | Micron Technology, Inc. | Passenger screening |
-
2020
- 2020-08-11 JP JP2020135998A patent/JP7371587B2/ja active Active
-
2021
- 2021-08-10 CN CN202110914655.XA patent/CN114078316A/zh active Pending
- 2021-08-11 US US17/399,346 patent/US20220048521A1/en active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019168815A (ja) | 2018-03-22 | 2019-10-03 | 東芝メモリ株式会社 | 情報処理装置、情報処理方法、及び情報処理プログラム |
| JP2020052471A (ja) | 2018-09-21 | 2020-04-02 | トヨタ自動車株式会社 | 乗車マナー評価装置、乗車マナー評価システム、乗車マナー評価方法、及び乗車マナー評価用コンピュータプログラム |
| JP2020087218A (ja) | 2018-11-29 | 2020-06-04 | トヨタ自動車株式会社 | 車両及び乗客輸送システム |
Also Published As
| Publication number | Publication date |
|---|---|
| US20220048521A1 (en) | 2022-02-17 |
| JP2022032340A (ja) | 2022-02-25 |
| CN114078316A (zh) | 2022-02-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210407225A1 (en) | Method and system for vehicle-related driver characteristic determination | |
| Kashevnik et al. | Methodology and mobile application for driver behavior analysis and accident prevention | |
| CN111937050B (zh) | 乘客相关物品丢失减少 | |
| WO2015117528A1 (zh) | 行车记录处理方法及系统 | |
| CN109636368B (zh) | 互联网打车方法、装置、打车设备和计算机可读存储介质 | |
| KR20190115040A (ko) | 운전 거동 결정 방법, 디바이스, 장비 및 저장 매체 | |
| US20120109862A1 (en) | User device and method of recognizing user context | |
| US11074816B2 (en) | Information providing system, server, onboard device, and information providing method | |
| US20190047578A1 (en) | Methods and apparatus for detecting emergency events based on vehicle occupant behavior data | |
| CN111401328A (zh) | 数据采集方法、装置、终端及存储介质 | |
| WO2018230654A1 (ja) | インタラクション装置、インタラクション方法、およびプログラム | |
| JP2015002477A (ja) | 情報処理装置、情報処理システムおよび情報処理方法 | |
| Jiang et al. | Smart diagnosis: Deep learning boosted driver inattention detection and abnormal driving prediction | |
| JP7392607B2 (ja) | 制御装置、シートベルト装置、車両、システムの動作方法、プログラム、及び記憶媒体 | |
| CN111278708B (zh) | 用于辅助驾驶的方法和装置 | |
| JP7371587B2 (ja) | サーバ装置、システム、車載装置、プログラム、車両、システムの動作方法 | |
| US9685062B2 (en) | Electronic device, security warning system and method | |
| EP4141813A1 (en) | Detection and mitigation of inappropriate behaviors of autonomous vehicle passengers | |
| JP2016095705A (ja) | 不明事項解消処理システム | |
| JP7447915B2 (ja) | 処理装置、処理方法及びプログラム | |
| CN104019820A (zh) | 一种基于摄像的自动导航方法及系统 | |
| KR20220168533A (ko) | 입차 또는 출차되는 차량을 관리하기 위한 전자 장치 및 그 동작 방법 | |
| KR20190023362A (ko) | 핸드폰을 이용한 차량운전 중 휴대폰 사용 경고장치 및 그 제어방법 | |
| WO2021145013A1 (ja) | 障害物通知装置、障害物通知インターフェース端末、障害物通知システム | |
| US20220284062A1 (en) | Information providing apparatus, information providing method, and non-transitory storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220809 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230531 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230613 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230802 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230919 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231002 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7371587 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |