JP7303901B2 - 複数の候補からドライバーを選択する提案システム - Google Patents

複数の候補からドライバーを選択する提案システム Download PDF

Info

Publication number
JP7303901B2
JP7303901B2 JP2021563408A JP2021563408A JP7303901B2 JP 7303901 B2 JP7303901 B2 JP 7303901B2 JP 2021563408 A JP2021563408 A JP 2021563408A JP 2021563408 A JP2021563408 A JP 2021563408A JP 7303901 B2 JP7303901 B2 JP 7303901B2
Authority
JP
Japan
Prior art keywords
data
vehicle
driver
current
passengers
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021563408A
Other languages
English (en)
Other versions
JP2022530481A (ja
Inventor
ジャーン,ディー
ヤーン,レイ
ユイ,ハイ
ホワーン,ウエイ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of JP2022530481A publication Critical patent/JP2022530481A/ja
Application granted granted Critical
Publication of JP7303901B2 publication Critical patent/JP7303901B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2178Validation; Performance evaluation; Active pattern learning techniques based on feedback of a supervisor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation

Description

本開示は、一般に、ドライバーの安全性を改善するための方法及びシステムに関し、とりわけ、車両を運転するために好ましい候補を特定する方法及びシステムに関する。
長年にわたって、ドライバーの安全性を向上させてきた数多くの革新的な技術がある。このような革新的技術の例としては、シートベルト、エアバッグ、安全ガラス、クランプルゾーンなどが挙げられ、これらの革新的技術は衝突時にドライバーを保護するのに役立つ。アンチロックブレーキシステムや衝突回避システム等の他の種類の革新的技術は、そもそも衝突が起こる確率を減らすことを試みる。より最近では、一部の車両製造業者は、ドライバーが過度に疲労しているか又は障害があることを検出した場合に警告を発するアテンション支援システムを導入している。このような革新的技術にもかかわらず、衝突が発生する確率をさらに低下させることによって、ドライバーの安全性をさらに改善させることが依然として望まれている。
本開示の一態様によれば、方法は、1つ以上のセンサから、車両のドライバーについての現在データ及び潜在的ドライバーである該車両の1人以上の同乗者のそれぞれについての現在のデータを取得することを含む。本方法は、1つ以上のデータ記憶装置から、前記車両の前記ドライバーについての履歴データ及び潜在的ドライバーである前記車両の1人以上の同乗者のそれぞれについての履歴データを取得することも含む。加えて、本方法は、前記車両の前記ドライバーについての前記現在のデータ及び前記履歴データ並びに潜在的ドライバーである前記車両の1人以上の同乗者のそれぞれについての前記現在のデータ及び前記履歴データを分析することにより、前記車両を運転するのに好ましい候補を特定することであって、該分析することは1つ以上のコンピュータ実装モデルを用いて行われる、ことを含む。1つ以上のそのようなコンピュータ実装モデルは、コンピュータ実装ニューラルネットワークである。本方法は、前記好ましい候補が前記車両を運転する旨の提案を出力することとも含む。
任意で、前述の態様のいずれかにおいて、本方法は、前記提案が従われたどうかを示すフィードバックデータを取得することと、前記フィードバックデータに基づいて、前記1つ以上のコンピュータ実装モデルのうちの少なくとも1つを更新することと、をさらに含む。
任意で、前述の態様のいずれかにおいて、前記車両の前記ドライバーについての前記現在のデータは、現在の画像データ、現在のビデオデータ、現在のオーディオデータ、現在の心拍数データ、現在の体温データ、現在の運転速度データ、又は現在の走行性能データのうちの1つ以上を含む。
任意で、前述の態様のいずれかにおいて、潜在的ドライバーである前記車両の1人以上の同乗者のそれぞれについての前記現在のデータは、現在の画像データ、現在のビデオデータ、現在のオーディオデータ、現在の心拍数データ、又は現在の体温データ、のうちの1つ以上を含む。
任意で、前述の態様のいずれかにおいて、前記車両のドライバーについての及び潜在的ドライバーである前記車両の1人以上の同乗者のそれぞれについての前記履歴データは、過去の運転記録データ、過去の運転パフォーマンスデータ、運転免許種類データ、過去の運転期間データ、又は過去の休息期間のデータのうちの1つ以上を含む。
任意で、前述の態様のいずれかにおいて、前記車両の前記ドライバーについての前記現在のデータ及び前記履歴データ並びに潜在的ドライバーである前記車両の1人以上の同乗者のそれぞれについての前記現在のデータ及び前記履歴データを分析することは、前記車両の前記ドライバー及び潜在的ドライバーである前記車両の1人以上の同乗者のそれぞれについて、精神状態、情緒状態、疲労状態、又は警戒状態のうちの1つ以上を定量化することを含む。
本開示の別の態様によれば、システムは1つ以上のセンサインターフェイス、1つ以上のデータ記憶装置インターフェイス及び1つ以上のプロセッサを含む。1つ以上のセンサインターフェイスは、1つ以上のセンサから、車両のドライバーについての現在データ及び潜在的ドライバーである該車両の1人以上の同乗者のそれぞれについての現在のデータを取得するように構成されている。1つ以上のデータ記憶装置インターフェイスは、1つ以上のデータ記憶装置から、前記車両の前記ドライバーについての履歴データ及び潜在的ドライバーである前記車両の1人以上の同乗者のそれぞれについての履歴データを取得するように構成されている。前記1つ以上のプロセッサは、前記車両の前記ドライバーについての前記現在のデータ及び前記履歴データ並びに潜在的ドライバーである前記車両の1人以上の同乗者のそれぞれについての前記現在のデータ及び前記履歴データを分析することにより、前記車両を運転するのに好ましい候補を特定するように構成されている。前記プロセッサは、前記好ましい候補が前記車両を運転する旨の提案を出力するようにも構成されている。
任意で、前述の態様のいずれかにおいて、前記1つ以上のプロセッサは、前記車両の前記ドライバーについての前記現在のデータ及び前記履歴データ並びに潜在的ドライバーである前記車両の1人以上の同乗者のそれぞれについての前記現在のデータ及び前記履歴データを分析することにより、前記車両を運転するのに好ましい候補を特定するように構成された1つ以上のコンピュータ実装モデルを実施する。
任意で、前述の態様のいずれかにおいて、前記1つ以上のプロセッサは、前記提案が従われたどうかを示すフィードバックデータを取得することと、前記フィードバックデータに基づいて、前記1つ以上のコンピュータ実装モデルのうちの少なくとも1つを更新することと、を行うようにさらに構成されている。
任意で、前述の態様のいずれにおいて、前記1つ以上のプロセッサによって分析される前記車両の前記ドライバーについての前記現在のデータは、現在の画像データ、現在のビデオデータ、現在のオーディオデータ、現在の心拍数データ、現在の体温データ、現在の運転速度データ、又は現在の走行性能データのうちの1つ以上を含む。
任意で、前述の態様のいずれかにおいて、前記1つ以上のプロセッサによって分析される潜在的ドライバーである前記車両の前記1人以上の同乗者のそれぞれについての前記現在のデータは、現在の画像データ、現在のビデオデータ、現在のオーディオデータ、現在の心拍数データ、又は現在の体温データ、のうちの1つ以上を含む。
任意で、前述の態様のいずれかにおいて、前記1つ以上のプロセッサによって分析される、前記車両のドライバーについての及び潜在的ドライバーである前記車両の前記1人以上の同乗者のそれぞれについての前記履歴データは、過去の運転記録データ、過去の運転パフォーマンスデータ、運転免許種類データ、過去の運転期間データ、又は過去の休息期間のデータのうちの1つ以上を含む。
任意で、前述の態様のいずれかにおいて、前記車両の前記ドライバーについての前記現在のデータ及び前記履歴データ並びに潜在的ドライバーである前記車両の1人以上の同乗者のそれぞれについての前記現在のデータ及び前記履歴データを分析するために、前記1つ以上のプロセッサは、前記ドライバー及び潜在的ドライバーである前記車両の1人以上の同乗者のそれぞれについて、精神状態、情緒状態、疲労状態、又は警戒状態のうちの1つ以上を定量化するようにさらに構成されている。
任意で、前述の態様のいずれかにおいても、前記1つ以上のセンサは、前記車両の前記ドライバーについての現在の画像データ及び潜在的ドライバーである前記車両の前記1人以上の同乗者のそれぞれについての現在の画像データを取得するように構成された1つ以上のカメラを含む。前記1つ以上のデータ記憶装置インターフェイスは、1つ以上のデータ記憶装置から、前記車両の前記ドライバーについての過去の画像データ及び潜在的ドライバーである前記車両の前記1人以上の同乗者のそれぞれについての過去の画像データを取得するように構成されている。また、前記1つ以上のプロセッサは、前記車両の前記ドライバーについての前記現在の画像データ及び前記過去の画像データ並びに潜在的ドライバーである前記車両の1人以上の同乗者のそれぞれについての前記現在の画像データ及び前記過去の画像データを分析することにより、前記車両を運転するのに好ましい候補を特定するように構成されている。
本開示の別の態様によれば、非一時的コンピュータ読み取り可能記憶媒体はコンピュータ命令を記憶し、該コンピュータ命令は、1つ以上のプロセッサに実行された場合、該1つ以上のプロセッサに、1つ以上のセンサから、車両のドライバーについての現在データ及び潜在的ドライバーである該車両の1人以上の同乗者のそれぞれについての現在のデータを取得することと、1つ以上のデータ記憶装置から、前記車両の前記ドライバーについての履歴データ及び潜在的ドライバーである前記車両の1人以上の同乗者のそれぞれについての履歴データを取得することと、前記車両の前記ドライバーについての前記現在のデータ及び前記履歴データ並びに潜在的ドライバーである前記車両の1人以上の同乗者のそれぞれについての前記現在のデータ及び前記履歴データを分析することにより、前記車両を運転するのに好ましい候補を特定することと、前記好ましい候補が前記車両を運転する旨の提案を出力することと、を行わせる。非一時的コンピュータ読み取り可能記憶媒体は、1つ以上のプロセッサによって実行された場合、1つ以上のプロセッサに、上記で要約し、以下で付加的に詳細を説明する方法の追加のステップを行わせるコンピュータ命令も記憶できる。
本概要は、以下の詳細な説明でさらに説明される一連の概念を簡素化した形態で紹介するために提供される。本概要は、本願発明の主題の主要な特徴又は本質的な特徴を特定することを意図したものではなく、本願発明の主題の範囲を決定するのを支援するために用いられることを意図したものでもない。本願発明の主題は、背景技術欄で述べた欠点のいずれか又は全てを解決する実装に限定されない。
本開示の態様は一例として説明され、同様の参照符号が同様の要素を示す添付の図面に限定されない。
図1は、本技術の一実施形態に係るドライバー提案システムを示す。 図2は、本技術の一実施形態に係る、図1で紹介したドライバー提案システムの追加の詳細を提供するブロック図である。 図3A及び図3Bは、本技術の特定の実施形態に係る、車両を運転するのに好ましい候補を提案するのに用いることができる方法を説明するために用いられるフロー図である。 図4は、図1で紹介したドライバー提案システムに提供可能な様々な種類のデータを示し、それらのデータは、車両を運転するのに好ましい候補を提案するためにドライバー提案システムによって用いられる。 図5は、図3Aで紹介したステップのうちの1つの追加の詳細を説明するために用いられるフロー図である。 図6は、報酬及び/又はフィードバックをどのように定量化するかを説明するために用いられるフロー図である。 図7は、車両のドライバー及び潜在的ドライバーである同乗者のそれぞれについて、情緒状態、疲労状態、精神状態及び警戒状態がどのように検出されるかについての追加の詳細を説明するために用いられるブロック図である。
本技術の実施形態は、車両のドライバーについての現在データ及び履歴データ並びに潜在的ドライバーである車両の1人以上の同乗者についての履歴データを分析することにより、車両を運転するのに好ましい候補を特定し、提案する方法及びシステムに関する。そのような実施形態は、車両のドライバー及び同乗者の安全性、並びに他の車両のドライバー及び同乗者の安全性を改善するために用いることができる。
本開示の本実施形態は、多くの異なる形態で実施され、特許請求の範囲は、本明細書に記載される実施形態に限定されるものと解釈すべきではないことが理解される。むしろ、これらの実施形態は、本開示が徹底的且つ完全であり、本発明の実施形態の概念を当業者に完全に伝えることができるように提供される。実際、本開示は、添付の特許請求の範囲によって定義される本開示の範囲及び精神に含まれる、これらの実施形態の代替、修正及び同等物をカバーすることを意図している。さらに、本開示の本実施形態の以下の詳細な説明では、完全な理解を提供するために、多数の特定の詳細が記載されている。しかしながら、当業者であれば、本開示の本実施形態は、そのような特定の詳細なしに実施され得ることが明らかであろう。
図1は、本技術の一実施形態に係るドライバー提案システム110を示す。ドライバー提案システム110は、ドライバー及び1人又はそれ以上の同乗者が座ることができるキャビンも含む車両101内に設置されているか又はそうでなければ含まれるものとして示されている。ドライバー提案システム110又はその1つ以上の部分は、インキャビンコンピュータシステムにより及び/又は限定されないが、スマートフォン、タブレットコンピュータ、ノートブックコンピュータ、ラップトップコンピュータ等のモバイルコンピュータ装置によって実施できる。
本技術の特定の実施形態によれば、ドライバー提案システム110は、1つ以上のセンサから、車両のドライバーについての現在のデータ及び潜在的ドライバーである車両の1人以上の同乗者のそれぞれについての現在のデータを取得する。ドライバー提案システム110は、1つ以上のデータ記憶装置から、車両のドライバーの履歴データ及び潜在的ドライバーである車両の1人以上の同乗者のそれぞれについての履歴データも取得する。ドライバー提案システム110は、車両のドライバーのための現在データ及び履歴データ、並びに潜在的ドライバーである車両の1人以上の同乗者の各々のための履歴データを分析し、それにより、車両を運転するための好ましい候補を特定する。このような分析は、1つ以上のコンピュータ実施ニューラルネットワークおよび/または他のコンピュータ実施モデルを用いて実施される。さらに、ドライバー提案システム110は、好ましい候補者が車両を運転することを提案する。
図1に示すように、ドライバー提案システム110は、ドライバー取り込みサブシステム102及び同乗者取り込みサブシステム103に通信的に連結されている。ドライバー取り込みサブシステム102は、車両101のドライバーについての現在のデータを取得するために用いることができる。同乗者取り込みサブシステム103は、車両の1人以上の同乗者についての現在のデータを取得するために用いることができる。すなわち、ドライバー取り込みサブシステム102及び同乗者取り込みサブシステム103は、車両のドライバーについての現在のデータ及び潜在的ドライバーである車両の同乗者のそれぞれについての現在のデータを取得するために用いられるセンサを含むことができる。以下で追加で詳細に説明するように、図2を参照して、このようなセンサは1つ以上のカメラ、マイクロフォン及び/又は生理学的センサを含むことができる。
図1には1つの同乗者取り込みサブシステム103のみを示すが、複数の同乗者取り込みサブシステム103を車両101内に含めることができる。ドライバー取り込みサブシステム102及び同乗者取り込みサブシステム103は、図1に示すようにドライバー提案システム110の外部にあってもいいし、特定の実施に応じて、ドライバー提案システム110の一部として含まれてもよい。本技術の特定の実施形態に係るドライバー取り込みサブシステム102及び同乗者取り込みサブシステム103の追加の詳細を図2を参照しながら以下で説明する。
図1を依然参照して、ドライバー提案システム110は、車両101内に含まれる様々な異なる種類の車両関連センサ105に通信的に連結されているものとしても示される。このようなセンサ105は、限定されないが、速度計、全地球測位システム(GPS)受信機及びクロックを含むことができる。ドライバー提案システム110は、1つ以上のデータベース140及び/又は他の種類のデータ記憶装置へのアクセスを提供する1つ以上の通信ネットワーク130に通信的に連結されているものとしても示される。データベース140及び/又は他の種類のデータ記憶装置は、車両のドライバーについての履歴データに加えて潜在的ドライバーである車両の1人以上の同乗者のそれぞれについての履歴データを記憶できる。そのような履歴データの例としては、限定されないが、過去の運転記録データ、過去の運転パフォーマンスデータ、運転免許種類データ、過去の運転期間データ及び/又は過去の休息期間のデータを含む。そのような履歴データは、車両内に位置するローカルデータベース又は他のデータ記憶装置内に記憶できる。しかしながら、履歴データは、車両101に対して遠隔的に位置する1つ以上のデータベース140又は他のデータ記憶装置に記憶される可能性が高い。したがって、そのようなデータベース140又は他のデータ記憶装置は、1つ以上の通信ネットワーク130を介してドライバー提案システムに通信的に連結できる。
通信ネットワーク130は、データネットワーク、無線ネットワーク、電話ネットワーク又はそれらの任意の組み合わせを含むことができる。データネットワークは、任意のローカルエリアネットワーク(LAN)、大都市エリアネットワーク(MAN)、ワイドエリアネットワーク(WAN)、パブリックデータネットワーク(例えばインターネット)、短距離無線ネットワーク又は任意の他の好適なパケット交換ネットワークであり得ると考えられる。加えて、無線ネットワークは、例えば、セルラネットワークであってもよく、グローバル進化型高速データレート(EDGE)、一般パケット無線サービス(GPRS)、グローバルシステムフォーモバイルコミュニケーション(GSM)、インターネットプロトコルマルチメディアサブシステム(IMS)、ユニバーサル移動通信システム(UMTS)に加えて、任意の他の好適な無線媒体、例えば、ワールドワイドインターオペラビリティフォーマイクロウェーブアクセス(WiMAX)、ロングタームエボリューション(LTE)ネットワーク、符号分割多元接続(CDMA)、広帯域符号分割多元接続(WCDMA)、ワイヤレスフィデリティー(Wi-Fi)、無線LAN(WLAN)、Bluetooth(R)、インターネットプロトコル(IP)データキャスティング、衛星、モバイルアドホックネットワーク(MANET)等又はそれらの任意の組み合わせを含む様々な技術を用いり得る。通信ネットワーク130は、ドライバー提案システム110とデータベース140及び/又は他のデータ記憶装置との間の通信能力を提供できる。
本技術の特定の実施形態に係るドライバー提案システム110のさらなる詳細について、図2を参照しながら今から説明する。図2を参照して、ドライバー提案システム110は、1つ以上のプロセッサ208、入出力(I/O)インターフェイス210、メモリ212、ディスプレイ214及び通信装置216を含むものとして示されている。ドライバー提案システム110は、ドライバー分析器215、ドライバープロフィール217、機械学習エンジン219、同乗者分析器225、同乗者プロフィール227及びデータベース218を含むものとしても示されている。通信装置216は、例えば、1つ以上の通信ネットワーク130を介して、ドライバー提案システム110と1つ以上の外部データ記憶装置との間の通信を提供できる。ディスプレイ214は、車両101のドライバーに加えて車両101の1人以上の同乗者に指示及び/又は提案を表示できる。それに加えて又は代替的に、そのような命令及び/又は提案は、ドライバー提案システム110のオーディオスピーカ220によって提供することができる。
図2では別個のブロックとして示すが、ドライバー分析器215及び同乗者分析器225は、ドライバー提案システム110の1つ以上のプロセッサ208によって実施できる。ドライバー分析器215は、限定されないが、ドライバーの精神状態、情緒状態、疲労状態及び/又は警戒状態を含む、車両101のドライバーの様々な状態を検出及び定量化できる。同様に、同乗者分析器225は、限定されないが、同乗者の精神状態、情動状態、疲労状態及び/又は警戒状態を含む、車両101の同乗者の様々な状態を検出及び定量できる。特定の実施に応じて、同乗者分析器225は、車両内の全ての同乗者又は潜在的ドライバーとして既に特定された1人以上の同乗者のみのそのような分析を行うことができる。ドライバー分析器215は、車両のドライバーの現在のデータ及び車両のドライバーの履歴データに基づいてその分析を行うことができる。同様に、同乗者分析器225は、車両の同乗者の現在のデータ及び車両の同乗者の履歴データに基づいてその分析を行うことができる。
上述のように、車両のドライバーについての及び潜在的ドライバーである車両の同乗者について記憶可能な履歴データは、過去の運転記録データ、過去の運転パフォーマンスデータ、運転免許種類データ、過去の運転期間データ及び/又は過去の休息期間のデータを含むことができる。過去の運転記録データは、例えば、運転免許及び/又は車両登録を追跡する1つ以上の政府機関によって及び/又は一部の民間機関若しくは企業によって生成及び維持できる。過去の運転記録データを生成及び維持し得る政府機関の例としては、車両管理局、自動車局、公安局、運輸省等を含む。民間保険会社も、過去の運転記録データを生成及び維持し得る。過去の運転記録データは、例えば、運転免許を有する人々のための移動車両違反の頻度及び種類に関する情報を含むことができる。そのような政府部門及び/又は企業は、乗用車、商用車、セミトレーラートラック等の個々人が運転免許を与えられている車両の特定の種類に加えて、人々が完全な免許を有しているか又は単なる練習許可を有しているかを示すことができる運転免許の種類のデータも生成及び維持し得る。そのようなデータは、運転免許証が停止されたか又は過去に停止されたかを特定することもできる。過去の運転パフォーマンスデータは、例えば、個々人がどの程度の頻度で車両を運転し、どの程度安全に車両を運転するかを特定できる。
過去の運転記録データ及び/又は過去の運転パフォーマンスデータは、人の将来の運転パフォーマンスを予測するために用いることができる。例えば、第1の人物は過去1年間に1回の衝突にしか巻き込まれていないのに対して、第2の人物は過去1年間に2回の衝突に巻き込まれたと仮定した場合、それ以上何も知らならなければ、第1の人物は第2の人物よりも安全なドライバーであると推測される。しかしながら、第1の人物が1週間に1時間しか運転しないのに対して、第2の人物は1週間に10時間運転することも分かれば、第2の人物が1時間毎に衝突する回数は、第1の人物が1時間毎に衝突する回数よりも実質的に少ないため、第2の人物は第1の人物よりも安全なドライバーであると推測するほうが正確であろう。過去の運転記録データ及び過去の運転パフォーマンスデータは、特定の人が良好に運転でき、また運転が不得手な特定の種類の運転条件を特定することもできる。これらはほんの数例に過ぎず、全てを網羅することを意図するものではない。
過去の運転期間データは、特定の人が特定の期間毎に(例えば、1日当たり)どの程度頻度に且つどれぐらいの長さの時間運転するかを示すことができる。それに加えて又は代替的に、過去の運転期間データは、特定の人が1つ以上の最近の期間(例えば、過去1時間、過去4時間、過去8時間、・・・過去1日、過去2日等)にどれだけ直近に及び/又はどれだけの長さの時間運転したかを示し得る。過去の運転期間データは、例えば、人々が通常時に装着及び/又は携帯する1つ以上のウェアラブルデバイス(例えば、時計)及び/又はモバイルコンピュータ装置(例えば、スマートフォン)から得ることができる。過去の運転期間データは、代替的に又はそれに加えて、インキャビンコンピュータシステムから得ることができる。特定の実施形態では、ドライバー及び/又は同乗者は、例えば、ドライバー及び/又は同乗者に提示される質問に応答して、入出力インターフェイス210を用いて過去の運転データを入力し得る。
過去の運転記録データ及び/又は過去の運転パフォーマンスデータは、ドライバーの経験年数、経験の種類、交通事故の履歴、雇用労務記録からの項目、速度違反及び/又は他の交通違反の履歴、様々なドライバー挙動の以前に特定された出来事の数、深刻度及び長さに関する情報も含むことができる。上述したように、ドライバー提案システム110は、ドライバーの履歴の一部として、特定のドライバーのための運転プロフィール(例えば、プロフィール217)を収集し、記憶し得る。例えば、ドライバーのプロフィールは、ドライバーがどのくらい速く加速又は減速するか、例えば夜間運転、雨又は雪中運転等の特定の運転条件における通常の速度、ドライバーがどのくらいの頻度で旋回又は中心線を横断するか等も含み得る。一実施形態におけるドライバー履歴情報は、ドライバーの保険会社のデータベース等の外部データベースから読み出され得る。
運転履歴は、車両101のドライバー又は他の車両のドライバーが横断の間に疲労した1つ以上の運転ルートに関する情報も含み得る。一部の実施形態では、1つ以上の運転ルートに関する情報は、道路プロフィール、道路トポロジー、運転ルートに関連する停止の数、運転ルートに関連する曲がり角の数等も含み得る。
過去の休息期間のデータは、特定の人が通常、特定の期間(例えば、1日当たり)毎にどのくらいの頻度で及びどのくらいの期間睡眠を取ったか又はそうでなければ休息したかを示すことができる。それに加えて又は代替的に、過去の休息期間のデータは、1つ以上の最近の期間(例えば、過去1時間、過去4時間、過去8時間、・・・過去1日、過去2日等)内に特定の人がどのくらい最近の期間及び/又はどのくらいの期間休息したかを示し得る。過去の休息期間のデータは、例えば、人々が通常に装着及び/又は携帯する1つ以上のウェアラブルデバイス(例えば、時計)及び/又はモバイルコンピュータ装置(例えば、スマートフォン)から得ることができる。代替的に又はそれに加えて、過去の休息期間のデータはインキャビンコンピュータシステムから追加的に得ることができる。特定の実施形態では、ドライバー及び/又は同乗者は、例えば、ドライバー及び/又は同乗者に提示される質問に応答して、入出力インターフェイス210を用いて過去の休息期間データを入力し得る。
図2は、ドライバー取り込みサブシステム102及び同乗者取り込みサブシステム103の追加の詳細も示す。図2を依然参照して、ドライバー取り込みサブシステム102は、1つ以上のカメラ205、1つ以上のマイクロフォン206及び1つ以上の生理学的センサ204を含むものとして示されている。同様に、同乗者取り込みサブシステム103は、1つ以上のカメラ205、1つ以上のマイクロフォン206及び1つ以上の生理学的センサ204を含むものとして示されている。上述したように、ドライバー取り込みサブシステム102及び同乗者取り込みサブシステム103は、特定の実施に応じて、ドライバー提案システム110の外部のものであってもいいし、ドライバー提案システム110の一部として含まれてもよい。
入出力インターフェイス210は、様々な入出力装置を用いてユーザ及び/又は他のコンポーネント若しくは装置に情報を提示することを可能にする。入力装置の例としては、キーボード、マイクロフォン、タッチスクリーン(例えば、物理的接触を検出するように構成された容量性又は他のセンサを含む)、カメラ(例えば、赤外周波数等の、可視又は非可視波長を用いて、接触を伴わないジェスチャとして動作を認識し得る)等が挙げられる。出力装置の例としては、ディスプレイ装置214、スピーカ等が挙げられる。特定の実施形態では、入出力インターフェイス210は、ドライバー取り込みサブシステム102及び同乗者取り込みサブシステム103から現在のドライバーデータ及び現在の同乗者データを受信する。入出力インターフェイス210は、ドライバー提案システム110と、取り込みサブシステム102及び103のセンサの間のインターフェイスを提供することができ及び/又は追加のセンサインターフェイス207を用いることができる。
ドライバー取り込みサブシステム102は、カメラ205、マイクロフォン206及び/又は生理学的センサ204のうちの1つ以上を用いて取り込まれたドライバーデータに基づいて、ドライバーの挙動を監視及び特定するために用いることができる。一実施形態では、カメラ205は、ドライバーの頭部及び顔の画像及び動きを取り込みように配置され、他の実施では、ドライバーの胴体及び/又はドライバーの四肢及び手の画像及び動きも取り込まれる。そのような画像データを用いて、ドライバー分析器215は、カメラ205によって取り込まれたドライバーの挙動を監視して、例えば、頭部のポーズ及び頭部の頷き等を含むことができる特定の顔の表情、凝視、瞬き及び/又は身体ポーズを検出できる。カメラ205のうちの1つ以上は、毎秒複数の二次元RGB、RGB-D及/又はNIR画像(例えば、30画像/秒)を取り込むために用いることができる画像センサ(例えば、CMOS画像センサ)を含むRGBカメラ、RGB-Dカメラ及び/又はNIR(近赤外)カメラであり得る。少なくとも1つのカメラは、例えば、構造化光及び/又は飛行時間(TOF)センサを用いて、点群上に3D構造を再現する等、奥行き画像を生成する奥行きカメラであり得る。これらは、使用可能なカメラ及び画像の種類のほんの一例に過ぎない。他の種類のカメラ及び画像の使用も可能であり、本明細書に記載の実施形態の範囲内にある。
ドライバー取り込みサブシステム102の1つ以上のマイクロフォン206を用いて、マイクロフォン206によって取り込まれたドライバーの1つ以上のオーディオ信号を取り込むことができる。オーディオは、ドライバーの状態に依存して変化し得る様々な特徴を検出するために分析できる。このようなオーディオ機能の例としては、不明瞭な発話又はいびきが挙げられ、これは、ドライバーの疲労状態又は眠気状態を示し得る。
ドライバー取り込みサブシステム102のコンポーネント(例えば、生理学的センサ、カメラ、マイクロフォン等)は車両のキャビン内に共存することができ又は車両のキャビンの異なる領域に位置していてもよい。別の例では、取り込みサブシステム102の個々のコンポーネントは、別のコンポーネント又は装置の一部であってもよい。例えば、カメラ205及びマイクロフォン206(及びディスプレイ214も)は、車両のキャビン内に置かれたスマートフォン又はタブレット(図示せず)の一部であっていいし、他方で、1つ以上の生理学的センサ204はウェアラブル装置の一部であり得る及び/又は車両のキャビン内の1つ以上の異なる場所に位置してもよい。生理学的センサ204は、限定されないが、心拍数センサ、体温センサ、血圧センサ等類を含むことができる。このような1つ以上のセンサは運転席に組み込むことができる。
同様に、同乗者取り込みサブシステム103のコンポーネント(例えば、生理学的センサ、カメラ、マイクロフォン等)は車両のキャビン内に共存することができ又は車両のキャビンの異なる領域に位置していてもよい。また、取り込みサブシステム103の個々のコンポーネントは、別のコンポーネント又は装置の一部であってもよい。各同乗者に対して別個の同乗者取り込みサブシステム103があってもいいし、複数の同乗者のために1つのサブシステム103を用いることができる。特定のコンポーネント(例えば、マイクロフォン及び/又はカメラ)が、ドライバー取り込みサブシステム102及び同乗者取り込みサブシステム103によって共有され及び/又は複数の同乗者取り込みサブシステム103の間で共有されることも可能であり得る。
ドライバー分析器215はドライバープロフィール217に関連付けられ、ドライバープロフィール217は以下でさらに説明するようにドライバーの挙動をモデル化し、それと共に、車両101のドライバーの挙動を示す1つ以上の属性を検出し得る。ドライバーの挙動は、例えば、ドライバーの通常の瞬き速度、注視方向、頭部、四肢及び/又は胴体の位置及び/又は他のドライバーの動き及び活動又はドライバーの音又は音声を含み得る。ドライバーの挙動がプロフィール217から実質的に逸脱する場合、それは、車両及びその同乗者の安全性に対するリスクが高まっていることを含意する、不安定な又は異常なドライバーの挙動の指標となり得る。例えば、速い瞬き速度又はぎこちない注視方向は、ドライバーが疲労していることを示し得る。別の例では、いびき又は不明瞭な発話は、ドライバーが運転の際中に眠りに落ちそうになっているか又は眠っていることを示し得る。以下にさらに説明するように、過去又は現在のデータ又は情報に関連して、ドライバーの挙動をリアルタイムで評価することにより、システム110は、望ましくないドライバーの挙動の検出に応答して、リアルタイムのフィードバック(例えば、同乗者が運転を引き継ぐことを提案する)を提供できる。
特定の実施形態では、ドライバーの挙動は、各々が比較のためのベースラインとして作用し得る、個人プロフィール又はプールされたドライバープロフィールのグループ又は「閾値」プロフィールと比較され得る。この比較は、特定のドライバーの行動(例えば、顔の表情、動き及び/又は音声)が許容可能な(例えば、疲労が問題でないか又は問題である可能性が低い)又は許容不能な(例えば、疲労が問題である可能性が高いか又は問題である)ドライバーの挙動を構成するかどうかを判定するために用いられ得る。例えば、取り込みサブシステム102によって取り込みされたドライバーの目の閉塞が、許容可能な(例えば、目が開いていて、特定の閾値の挙動で瞬きする)又は許容不能な(例えば、目が、閾値レベルの挙動よりも長く閉じたままである)ドライバーの挙動に関連する可能性が高いかどうかを判定するためにアルゴリズムが用いられ得る。
ドライバーの画像、動き及び/又は音声は、ドライバーの挙動を識別するための分析のために取り込みされ得るが、追加の情報も取り込みされ、収集され得る。追加情報としては、限定されないが、ドライバーの心拍数、体温及び/又は血圧が挙げられる。車両のドライバーについての履歴データにアクセスし、ドライバーの行動が正常か又は異常かを判定するために用いることもできる。識別された挙動は、初期の又はベースラインのドライバープロフィールを生成するために、また、データが所定の期間にわたって収集される履歴プロフィールを生成するために用いられ得る。一実施形態では、追加情報は、ドライバーが現在車両101を運転している文脈又は環境を含む。例えば、車両の運転に適用される文脈又は環境は、ドライバーが操作している一連の現在の状態として定義され得る。そのような条件としては、ドライバーが運転している時間の長さ(例えば、現在の運転時間)、ドライバーが最後に寝てからの時間の長さ、気象条件、温度、進行方向、太陽の位置、道路条件、日時、交通条件、及び/又は前述の条件の過去の集合を含む、ドライバーの行動に関連する及び/又は影響を与える可能性のある任意の他の現在の条件を含み得る。この情報は、車両のドライバーだけでなく、潜在的ドライバーである1人以上の同乗者についても収集され得る。
一部の実施形態では、検出されたドライバーの挙動は、疲労又は眠気又は居眠りに関連する行動である。これらのドライバーの挙動は、過度のあくび、瞬き及び/又は頭部のうなずき等の動きによって示すことができる。一部の実施形態では、ドライバーの行動は、テキスト作成、電子メール送信、携帯電話又はタブレットの使用、食事、読書、会話等の(疲労に関連する挙動とは対照的な)能動的な挙動である。例えば、ドライバーと装置とのやりとりと一致する動作/位置は、ドライバーの注視方向、例えば、道路と装置を行ったり来たりする目及び/又は網膜の動き、タッチ又はキーパッドとのやりとりと一致する指/手の動き、例えば、道路及び装置への交互の頭部の回転によって実証され得る。
特定の実施形態では、ドライバー分析器215は、ドライバー挙動検出を実施するように構成されたソフトウェア及び/又はファームウェアを実行するハードウェアを含み得る。一部の実施形態では、ドライバー分析器215は、車両(図示せず)のオンボードコンピュータの一部又はプロセッサ208として実施され得る。他の実施形態では、取り込みされたドライバー画像及び関連するオーディオデータ並びに任意で少なくとも一部の追加情報は、ネットワーク(図示せず)を介して車両から外部コンピュータ又はプロセッサに送信される。一部の実施形態では、動作検出、画像処理及び/又は挙動認識、分類及び検出等のドライバー挙動検出の一部は、車両101内のドライバー挙動分析器215によって実行され、処理されたデータの分析等のドライバー分析器の他の部分は、ネットワークを介して外部プロセッサによって実施され得る。
入出力インターフェイス210は、ドライバー及び/又は潜在的ドライバーである1人以上の同乗者に情報を提示することを可能にする。入力装置の例としては、キーボード、マイクロフォン、(例えば、物理的接触を検出するように構成された容量性又は他のセンサを含む)タッチスクリーン、(例えば、可視又は赤外周波数等の非可視波長を用いて、接触を伴わないジェスチャとしてて動作を認識し得る)カメラ等が挙げられる。出力装置の例としては、1つ以上のディスプレイ装置214、スピーカ220等が挙げられる。
特定の実施形態では、入出力インターフェイス210は、ドライバー提案システム110に対して自身を識別するためにドライバーによって用いられ、それによりドライバー提案システム110がドライバーの履歴データを取得できるようにする。あるいは、ドライバー提案システム110は、ドライバーを識別するために顔認識技術等を用いることができ、これによりドライバー提案システム110はドライバーいついての履歴データを取得できる。より具体的には、ドライバーの画像データを取得するために1つ以上のカメラ205を用いることができ、そのような画像データをデータベース等に記憶された画像データと比較して、ドライバーを識別できる。
入出力インターフェイス210は、ドライバー提案システム110に対して自身を識別するために車両の1人以上の同乗者によって用いることもでき、これによりドライバー提案システム110は、同乗者についての履歴データを取得することができ、また、同乗者が潜在的ドライバーであるかどうか判定できる。同乗者又はドライバーは、どの同乗者が潜在的ドライバーであるかを特定するために入出力インターフェイス210を用いることができる。顔認識技術等を用いて車両内の同乗者を識別することにより、ドライバー提案システム110は同乗者が潜在的ドライバーかどうかを判定し、同乗者についての履歴データを取得し得る。より具体的には、各同乗者の画像データを取得するために1つ以上のカメラ205を用いることができ、そのような画像データをデータベース等に記憶された画像データと比較して、同乗者を識別することができる。画像データを用いることにより及び/又はドライバー又は同乗者によって入力された入力によって同乗者が識別されると、ドライバー提案システム110は、同乗者が潜在的ドライバーであるかどうかを判定できる。そのような判定は、同乗者が位置する車両を運転するための適切で有効な免許を有しているかどうかに基づいて行うことができる。特定の実施形態では、ドライバー及び/又は同乗者は、入出力インターフェイス210を用いて、どの1人以上の同乗者が潜在的ドライバーであるかを特定することもできる。1人以上の同乗者が潜在的ドライバーと見なされないようにできるオプションもある。
特定の実施形態では、入出力インターフェイス210(及び/又はインターフェイス207)は車両のドライバーについての現在のデータを受信する。現在のデータは、例えば、現在の画像データ、現在のビデオデータ、現在の心拍数データ、現在の体温データ、現在の運転速度データ及び/又は現在の運転パフォーマンスデータを含み得るが、これらに限定されない。現在の画像及び/又はビデオデータは、ドライバー取り込みサブシステム102の1つ以上のカメラ205から得ることができる。現在の心拍数データ及び現在の体温データは、ドライバー取り込みサブシステム102の1つ以上の生理学的センサ204から得ることができる。このような生理学的センサ204は、ドライバー提案システム110と無線通信可能なウェアラブル装置(例えば、手首装着装置)に含めることができる。このような生理学的センサ204は、車両内、例えば運転席内に組み込むことも可能である。
同様に、特定の実施形態では、入出力インターフェイス210(及び/又はインターフェイス207)は、車両の1人以上の同乗者についての現在のデータを受信する。現在のデータは、例えば、現在の画像データ、現在のビデオデータ、現在の心拍数データ、現在の体温データ、現在の運転速度データ及び/又は現在の運転パフォーマンスデータを含み得るが、これらに限定されない。現在の画像及び/又はビデオデータは、同乗者取り込みサブシステム103の1つ以上のカメラ205から得ることができる。現在の心拍数データ及び現在の体温データは、同乗者取り込みサブシステム103の1つ以上の生理学的センサ204から得ることができる。このような生理学的センサ204は、ドライバー提案システム110と無線通信可能な同乗者に装着される装置(例えば、手首装着装置)に含めることができる。このような生理学的センサ204は、車両内、例えば助手席に組み込むことも可能である。入出力インターフェイス210、通信装置216及び/又はインターフェイス209は、1つ以上のデータ記憶装置から、車両のドライバーの履歴データ及び潜在的ドライバーである車両の1人以上の同乗者のそれぞれについての履歴データを取得する1つ以上のデータ記憶装置インターフェイスを提供できる。
図2では別個のブロックとして示されているが、ドライバー分析器215及び同乗者分析器225は、ドライバー提案システム110の1つ以上のプロセッサ208によって実施できる。特定の実施形態では、ドライバー分析器215、より具体的には、プロセッサ208は、ドライバーの閉眼を抽出及び測定し、1つ以上の閉眼測定値及びドライバープロフィール217を用いて、ある期間内でのドライバーの閉眼比を特定ことができる。閉眼比は、ベースライン状態の間のドライバーのプロフィール217から取り出されたドライバーの閉眼状態に対する、現在の期間内に測定されたドライバーの閉眼の比を示すことができる。そして、閉眼比が正規化され、プロセッサ208により百分率閉眼値が特定され、プロセスを一定期間にわたって繰り返され得る。次いで、測定値が、例えば、ドライバーのプロフィール217に記憶された値と比較されて、測定された閉眼が車両101のドライバーの疲労状態又は眠気状態を示すかどうかを判定され得る。一実施形態では、プロセッサ208は、例えば車両101を出ることによって、車両のエンジンが切られるか又はさもなければドライバーが、例えば車両101から降りることで運転を完了するまで測定を継続する。
ドライバー取り込みサブシステム102及び同乗者取り込みサブシステム103によって収集されたデータは、データベース218、メモリ212又はそれらの任意の組み合わせに記憶され得る。一実施形態では、収集されたデータは車両101の外部の1つ以上のソースからのものである。ドライバーについての記憶情報は、取り込みサブシステム103によって取り込まれた情報等のドライバーの挙動及び安全性に関連するデータであり得る。一実施形態では、データベース218に記憶されたデータは、車両101及び/又は他の車両について収集されたデータの集合であり得る。1つの例では、収集されたデータは、リアルタイムに収集された現在のデータを提供してもよく、現在のプロフィールデータ及びドライバーの挙動及び安全性に関連し且つ有用な他のデータを含み得る。他の一実施形態では、収集されたデータは履歴データ又は運転履歴、運転疲労データ、過去のプロフィールデータ及び過去及び/又は一定期間にわたって収集されたドライバーの挙動及び安全性に関連し且つ有用な他のデータ等の履歴データ又は情報を提供し得る。運転履歴は、一実施形態では、記憶されたプロフィール217の一部として含まれ得る。別の実施形態では、収集されたデータは、特定のルートを又は収集されたデータのリアルタイムの表示を提供する地理的領域で現在運転している1人以上のドライバーの現在のデータであり得る。
特定の実施形態では、メモリ212は、プロセッサ208により実行可能な命令、機械学習エンジン219及びプロセッサ208によってロード可能で実行可能なプログラム又はアプリケーション(図示せず)を記憶できる。機械学習エンジン219は、メモリ212に記憶され、プロセッサ208によって実行可能な実行可能命令を含むことができ、メモリ212(又はデータベース218)に記憶された挙動モデル等の1つ以上の機械学習モデルを選択する。挙動モデルは、許容可能な及び許容不能なドライバーの挙動(例えば、身体の姿勢)に基づくことに加えて、車両101及び/又は他の車両から収集された現在及び過去のデータと共にドライバーの挙動又は履歴に関連する任意の他の情報を用いて開発され得る。ドライバーの身体姿勢等の許容可能及び許容不能なドライバーの挙動のモデルは、以下でより詳細に説明する畳み込みニューラルネットワーク(CNN)の実施等の周知で従来的な機械学習及びディープラーニング技術を用いて開発できる。
図3A及び図3Bは、車両、例えば、車両101を運転するための好ましい候補を提案するために用いることが可能な本技術の特定の実施形態に係る方法を説明するために用いられるフロー図を示す。図3Aを参照して、ステップ302は、車両のドライバーについての現在のデータを取得することを伴い、ステップ304は、潜在的ドライバーである車両の1人以上の同乗者についての現在のデータを取得することを伴う。図3Aに示すように、ステップ302及び304は並行して行うことができる。あるいは、そのようなステップは連続的に、すなわち次から次に行うことができ、例えば、ステップ302をステップ304の前に又はその逆に行うことができる。図3Aを依然参照して、ステップ306は、車両のドライバーについての履歴データを取得することを伴い、ステップ308は、潜在的ドライバーである車両の1人以上の同乗者についての履歴データを取得することを伴う。図3Aに示すように、ステップ306及び308は並行して行うことができる。あるいは、そのようなステップは連続的に、すなわち次から次に行うことができ、例えば、ステップ306をステップ308の前に又はその逆に行うことができる。ステップ302及び306の順序を逆にし、ステップ304及び308の順序を逆にすることも可能であり得る。ドライバー及び同乗者について取得され得る現在のデータ及び履歴データの例示の種類は上述されており、例えば図4を参照して以下でより詳細に説明する。
図3Aを依然参照して、ステップ312は、車両のドライバーについての現在データ及び履歴データ並びに潜在的ドライバーである車両の同乗者のそれぞれについての現在のデータ及び履歴データを分析することにより、車両を運転するのに好ましい候補を特定することを伴う。特定の実施形態によれば、分析は、コンピュータに実装されたニューラルネットワーク及び/又は他の種類のコンピュータ実装モデルを用いて行われる。本技術の特定の実施形態に従ってどのようにステップ312を行うことができるかについてのさらなる詳細は、図5を参照して後述される。ステップ312で車両を運転するのに好ましい候補が特定された後、ステップ314は、好ましい候補が車両を運転する旨の提案を出力することを伴う。再度図2を参照して、提案は、ディスプレイ214及び/又はスピーカ220を介して出力することができる。特定の実施形態では、提案は、特定の同乗者が車両の運転を引き継ぐことを提案すると概して述べることができる。他の実施形態では、提案の理由を述べることができる。例えば、運転手は非常に疲労している及び/又は気が散っているように見え、特定の同乗者は十分に休息し、注意力があるように見えるため、特定の同乗者が運転を引き継ぐことが提案されると述べられ得る。より具体的な例として、ドライバーに「疲れているように見えるので、助手席に座っている人に運転を引き継いでもらった方が安全かもしれません。」との音声出力が提供され得る。それに加えて又は代替的に、「ドライバーは疲れています。あなたは今運転するのに最も適しているようですが、代わってもらえますか?」との音声出力が同乗者のうちの1人に提供され得る。これらは、ステップ314で発生し得る出力の種類のほんの数例である。車両を運転するための良好な候補者が存在しない可能性もあり、その場合、システムは、単に、車両内の人が休息できるように休息場所を見つけるよう車両のドライバーに提案し得る。
特定の実施形態によれば、現在のドライバーが運転を続けることが安全であると判定される場合(例えば、定量化の結果がある特定の閾値を越える場合)、同乗者の方がより安全なドライバーである可能性が高いことを分析の結果が示したとしても、同乗者のうちの1人が運転を引き継ぐことは提案されない。すなわち、ステップ312における分析の結果は、例えば閾値との比較に基づいて、ドライバー及び同乗者のそれぞれとってポジティブ又はネガティブとしてラベル付けすることができる。ドライバーの結果がポジティブの場合、ドライバー提案システム110はドライバーが運転を続けることを提案するか又は現状を継続すべきであるため、単に提案が提供されない。しかしながら、ドライバーの結果がポジティブでなく、1人以上の同乗者についてポジティブな結果が存在する場合、ドライバー提案システム110は、同乗者の1人が運転を引き継ぐことを提案できる。さもなければ、ドライバー提案システム110は車両の乗組員全員が休息を有することを提案できる。
次に、図3Aのフロー図の続きである図3Bのフロー図を参照して、ステップ316は、(ステップ314での出力された)提案が従われたかどうかを示すフィードバックデータを取得することを伴い、ステップ318は、フィードバックデータに基づいて、(ステップ312で分析を行うために用いられる)コンピュータ実装ニューラルネットワーク及び/又は何らかの他の種類のコンピュータ実装モデルを更新することを伴う。このフィードバックは、ステップ314で出力された提案が従われたかどうかを単に特定できる。フィードバックは、入出力インターフェイス210を介してドライバー又は同乗者によって入力できる。代替的に、ドライバー取り込みサブシステム102は、車両のドライバーが同乗者の1人と交代したかどうかを示す画像データを取り込みすることができ、その結果、車両の新たなドライバーが存在する。
ステップ314で出力された提案が、特定の同乗者が車両101の運転を引き継ぐことであった場合、ステップ316で得られたフィードバックは、特定の同乗者が車両の運転を引き継いだかどうかを示すことができる。提案が従われた場合、ドライバー提案システム110は、その提案が正確であり、ドライバー及び特定の同乗者がそのような提案に従う可能性の高い種類の人であると推定できる。提案が従われなかった場合、ドライバー提案システム110は、その提案が正確でなかった可能性があること及び/又はドライバー及び特定の同乗者は、将来そのような提案に従わない可能性が高い種類の人であると推定できる。提案が従われなかった場合、ドライバー提案システム110は、何故提案が従われなかったかの理由に関する特定のフィードバックを受信するために、例えばディスプレイ214を介して、ドライバー及び/又は(車両を運転するのに好ましい同乗者として特定された)特定の同乗者に1つ以上の質問を提示できる。そのような理由には、例えば、ドライバーが運転するのに問題ないと考えること及び/又は特定の同乗者がこの特定の車両を運転することを望まないこと及び/又は他の特定の理由が含まれ得る。このようなフィードバック情報は、ドライバー及び特定の同乗者のために記憶される履歴データを更新するために用いることができる。上述のように、そのようなフィードバック情報は、ステップ312で分析を行うモデルを更新するためにも用いることができるため、そのような分析が将来どのように行われるかを潜在的に変更できる。
図4は、図1で紹介したドライバー提案システム110に提供可能な(故に取得される)様々な種類のデータを示し、このデータ(又はその一部)は、車両を運転するのに好ましい候補を提案するためにドライバー提案システム110によって用いられる。図4に示すように且つ上述したように、このようなデータは、ドライバーについての現在のデータ、潜在的ドライバーである1人以上の同乗者からの現在のデータ並びにドライバー及び潜在的ドライバーである同乗者のそれぞれについての履歴データを含むことができる。上述したように、ドライバーいついての現在のデータは、限定されないが、現在の画像データ、現在のビデオデータ、現在のオーディオデータ、現在の心拍数データ、現在の体温データ、現在の運転速度データ及び/又は現在のドライブパフォーマンスデータを含むことができる。1人以上の同乗者のそれぞれについての現在のデータは同様の種類のデータを含むことができるが、同乗者は現在車両を運転していないため、現在の運転速度データ及び現在の運転パフォーマンスデータは含まれないことがある。ドライバー及び同乗者のそれぞれについての履歴データは、上述したように、例えば、過去の運転記録データ、過去の運転パフォーマンスデータ、運転免許種別データ、過去の運転期間データ、過去の休憩時間データ等を含むことができる。
本技術の特定の実施形態に係る、図3Aを参照して上記で紹介したステップ312で行われる分析のさらなる詳細を図5を参照して説明する。ドライバーの分析は図5の左側に沿って非特定の順序で示され、ステップ502でドライバーの精神状態を定量化すること、ステップ504でドライバーの感情状態を定量化すること、ステップ506でドライバーの疲労状態を定量化すること及びステップ508でドライバーの注意力を定量化することを含むことができる。図5の右側に沿って非特定の順序で示すステップ512、514、516及び518のインスタンスでも1人以上の同乗者について同様に条件を定量化できる。ドライバー及び1人以上の同乗者のそれぞれの精神状態は、例えば、限定されたないが、彼らが正気であるか又は精神障害をきたしているかを示すことができる。ドライバー及び1人以上の同乗者のそれぞれの感情状態は、例えば、限定されないが、彼らが怒っているか又は幸福であるかを示すことができる。ドライバー及び1人以上の同乗者のそれぞれの疲労状態は、例えば、限定されないが、彼らが疲れているか又は目がさえているかを示すことができる。ドライバー及び1人以上の同乗者のそれぞれの警戒状態は、例えば、限定されないが、彼らは気が散っているか又は没頭しているかを示すことができる。ドライバー及び同乗者について定量化され得る他の種類の条件は、例えば、彼らが健康か又は病気か等の身心的健康であり得る。ステップ502~508及び512~518で行われる定量化は、安全運転に適した条件に第1の値(例えば、値1)を割り当てることができ、安全運転に適さない条件には第2の値(例えば、値-1)を割り当てることができる。すなわち、定量化はバイナリであり得る。あるいは、定量化される各条件について2より大きい可能な値を有することにより、定量化は単純にバイナリであるよりもより大きい粒度を有することができる。
図5を依然参照して、ステップ520は、ドライバー及び潜在的ドライバーである同乗者に対応する定量化された条件に基づいて、好ましい候補を特定することを伴う。特定の実施形態によれば、ステップ520は、ステップ502~508及び(潜在的ドライバーである各同乗者に対して行われる)ステップ512~518のインスタンスで求められた定量化された値を加算することと、どの人(ドライバー又は同乗者)が結果として得られた最大の合計に対応するかを特定することを伴うことができる。加算を行う場合は、各条件を等しく重み付けできる。代替的に、特定の条件を他の条件とは異なる形で重み付けすることもできる。例えば、疲労条件を最も大きく重み付けできるのに対して、条件のうちの別のものを最も小さく重み付けできる。他のバリエーションも可能であり、本明細書で説明する実施形態の範囲内にある。
特定の実施形態によれば、ドライバー及び同乗者の状態は、量子化情報ベクトルを用いて定量化される。Xpd,mが潜在的ドライバーmの情報ベクトルであり、Fpd,mが潜在的ドライバーmのフィードバックであり、ypd,mが潜在的ドライバーmの結果であると仮定した場合、ypd,m=f(Xpd,m,Fpd,m)となる。同様に、Xがドライバーの情報ベクトルであり、Fがドライバーのフィードバックであり、yがドライバーの結果であると仮定すると、y=f(X,F)となる。y>0の場合、ドライバー提案システム110は、ドライバーが運転を続けることを提案できる。y<0の場合、ドライバー提案システム110は、ドライバーを変える時であることを提案できる。それが発生した場合にypd,m>0が存在する場合、システムは、最も高い状態値を有する同乗者が車両を運転するのに好ましい候補であると提案する。ypd,m>0が存在しない場合、全ての人が駐車場又は休憩所を見つけて休憩を取ることを提案する。ロジスティック回帰、サポートベクトルマシン、ニューラルネットワーク又は隠れマルコフモデル等の様々な機械学習方法を用いてこの機能を実装できる。特定の実施形態では、ドライバーの結果及び各潜在的ドライバーの結果は別々にできる。
特定の実施形態によれば、ドライバー及び同乗者が提案に従う確率を高めるために、提案が従われた場合にドライバー及び/又は1人以上の同乗者に報酬を与えることができる。そのような報酬は、特定の会社のクーポン、キャッシュバック報酬、車両保険料の減額等であり得る。
図6は、どのようにして報酬及び/又はフィードバックを定量化できるかを説明するために用いられるフロー図である。ステップ314と同じであり得るステップ602で、ドライバーに提案が提供される。ステップ602の別のインスタンスでは、提案を1人以上の同乗者に提供することもできる。ステップ604のインスタンスでは、提案が従われたかどうかの表示が受信される。ステップ606で、提案が従われたどうか判定される。提案が従われた場合、ステップ608で、提案に従った人に提供される報酬が増額され得る。それに加えて又は代替的に、ステップ608で、特定の提案が従われため、特定の人によって将来再度従われる可能性が高いことを示すポジティブフィードバックをドライバー提案システム110に提供することができる。提案が従われなかった場合、ステップ610で、提案に従わなかった人に提供される報酬を減額することができる。それに加えて又は代替的に、ステップ610で、特定の提案が従われなかったため、特定の人によって将来再度従われない可能性が高いことを示すネガティブフィードバックをドライバー提案システム110に提供することができる。
図7は、人(例えば、ドライバー及び潜在的ドライバーである同乗者のそれぞれ)についての感情状態、疲労状態、精神状態及び警戒状態がどのように検出され得るかについての追加の詳細を説明するために用いられるブロック図である。図7のブロックは、図2で紹介したドライバー分析器215及び/又は同乗者分析器225の一部であり得る。より一般的には、図7のブロックは、ドライバー提案システム110の一部であり得る。
図7を参照して、顔検出ブロック710(顔検出器710とも呼ばれる)及び顔表情認識ブロック712(顔表情認識器712とも呼ばれる)が示されている。図7には、骨格検出ブロック714(骨格検出器714とも呼ばれる)及び姿勢認識ブロック716(姿勢認識器716とも呼ばれる)も示す。図7に示すように、顔検出器710及び骨格検出器714をビデオ信号702を受信するものとして示されている。ビデオ信号702は、例えば、ドライバー取り込みサブシステム102(又は同乗者取り込みサブシステム103)のカメラ205から受信したドライバー(又は同乗者)のビデオ信号であり得る。図7には、オーディオ信号処理ブロック724(オーディオ信号プロセッサ724又はオーディオ信号分析器724とも呼ばれる)及び他の信号処理ブロック744も示す。オーディオ信号722は、例えば、ドライバー取り込みサブシステム102(又は同乗者取り込みサブシステム103)のマイクロフォン206から受信したドライバー(又は同乗者)のオーディオ信号であり得る。
特定の実施形態によれば、顔検出器710は画像内の人の顔を検出することができ、画像内の顔の特徴も検出できる。そのような顔の特徴を検出するために、顔検出器710によって既に開発された(又は将来開発される)コンピュータビジョン技術を用いることができる。例えば、画像内の顔を検出するために、HSV(色彩/彩度/明度)カラーモデル又は他のコンピュータビジョン技術を用いることができる。限定されないが、目、鼻、唇、顎、頬、眉、額等の顔の特徴を特定するために特徴検出モデル又は他のコンピュータビジョン技術を用いることができる。特徴検出は、額、口の側部及び/又は眼の周囲等の特定の顔の領域におけるしわを検出するのに用いることもできる。特定の実施形態では、人の顔及び顔の特徴は、境界ボックスを用いて特定することができる。特定すべき一部の特徴は、ユーザの顔の目等の他の特徴内に含まれ得る。この場合、連続する境界ボックスは先ず含有特徴(例えば、顔)を特定し、次に含有される特徴(例えば、一対の目の各目)を特定するために用いることができる。他の実施形態では、各個別の特徴を特定するために単一の境界ボックスが用いられ得る。特定の実施形態では、OpenCV(http://opencv.willowgarage.com/wiki/)コンピュータビジョンライブラリ及び/又はDlibアルゴリズムライブラリ(http://dlib.net/)等の1つ以上のアルゴリズムライブラリを用いてこれらの顔の特徴を識別し、境界ボックスを生成できる。特定の実施形態では、境界ボックスは長方形である必要はなく、むしろ、限定されないが楕円形等の別の形状とすることができる。特定の実施形態では、顔の特徴(例えば、目、鼻、唇等)の検出における信頼レベルを高めるために、ブースティング等の機械学習技術が用いられ得る。より一般的に、画像から顔の特徴を検出するためにディープニューラルネットワーク及び/又は他のコンピュータモデルを訓練するためにデータセットを用いることができ、訓練されたDNN及び/又は他のコンピュータモデルはその後に顔の特徴認識のために用いることができる。
顔検出器710によって顔の特徴が一度特定されると、顔表情認識器712は、人の顔の表情を特定することができる。一般に、人間の顔は、上述したように、顎、口、眼及び鼻の等の異なる部分で構成される。これらの顔の特徴の形状、構造及び大きさは、顔の表情によって異なる。加えて、特定の顔の表情では、特定の顔の場所におけるシワが変化し得る。例えば、人の目及び口の形状は、人の額のしわ等と同様に、異なる顔の表情を区別するために用いることができる。検出された人の顔の表情に少なくとも部分的に基づく。
骨格検出器714は、限定されないが、腕、手、肘、手首等の人体の部位及び関節を特定するために、骨格検出モデル又は他のコンピュータビジョン技術を用いることができる。姿勢認識器716は、人が車両の運転中に両手で車両のハンドルを握っているかどうか又は人が車両の運転中に手を握りこぶしにして腕の一方を上げているかどうか等の特定の姿勢を検出できる。画像から人間の姿勢を検出するためにディープニューラルネットワーク(DNN)及び/又は他のコンピュータモデルを訓練するためにデータセットを用いることができ、訓練されたDNN及び/又は他のコンピュータモデルはその後、姿勢認識のために用いることができる。
画像内の人体の部位が骨格検出器714によって一度検出されると、姿勢認識器716は人の姿勢を特定できる。一般に、人体は、頭部、頸部、胴体、上腕、肘、前腕、手首、手等の異なる部分で構成される。ある姿勢では、そのような身体部位の全体的及び相対的な位置及び方向が変化し得る。例えば、人が車両を運転している間、多くの場合、その人は車両のハンドル上に両手を置いているが、他の車両のドライバーによってその人が急停止させられたり、進路変更させられたり等によってその人が怒った場合、腕の一方を上げ、手を握りこぶしにすることがある。
上述したように、図7で、オーディオ信号分析器724はオーディオ信号722を受信する。オーディオ信号722は、例えば、ドライバー(又は同乗者)のオーディオ信号であり得る。オーディオ信号分析器724は、人の感情状態、疲労、精神状態及び/又は注意力に依存して変化し得るオーディオ信号722の様々な特徴を検出するために、オーディオ信号722を分析できる。そのようなオーディオ特徴の例としては、ピッチ、ビブラート及び抑揚が挙げられる。ピッチは信号の周波数に関係するため、周波数として定量化できる。人の声のピッチの変化は、多くの場合、人の覚醒状態、より一般的には情動状態と相関する。例えば、ピッチの増加は怒り、喜び、恐怖等の高度に覚醒した状態と多くの場合相関し、ピッチの減少は悲しみや落ち着き等の低覚醒状態と多くの場合相関する。ビブラートは、人の声のピッチ(例えば、基本周波数)の周期的な変調であり、所定の速度及び深さで生じる。ビブラートはジッターとも関係し、情動の変化と多くの場合相関する。ピッチ、ひいてはビブラートの変動の増大は、例えば、幸福、苦痛又は恐怖の増大を示し得る。抑揚は、各発話の開始時のピッチの急速な修正であり、ターゲットを数半音ずつ上回るが、正常値にまで急速に減衰する。抑揚の使用は、高い感情的強度と正の誘意性と関連する、ピッチの変化の増加につながる。
顔検出器710、顔表現認識器712、姿勢認識器716及びオーディオ信号プロセッサ724からの出力は、それぞれが1つ以上のプロセッサ(例えば、108)を用いて実施可能な感情検出器750、疲労検出器752、精神状態検出器754及び警戒感検出器756に提供することができる。検出器750、752、754及び756は1つ以上の生理学的信号742を、そのような信号が信号プロセッサ744によって任意で処理された後に受信することもできる。そのような生理学的信号は、上述したように、心拍数、体温、血圧等に関する情報を提供し得る。そのような生理学的情報を用いて1つ以上のディープニューラルネットワーク(DNN)及び/又は他のコンピュータモデルを訓練し、そのような情報及び/又はその変化が感情、疲労、精神状態及び/又は警戒感にどのように相関するかを特定することができる。
検出器750、752、754及び756のそれぞれは、分析されている人の感情、疲労、精神及び警戒状態を定量化するために1つ以上の参照テーブルを用いることができる。加えて、そのような検出器に、上記でその例を説明した1つ以上の生理学的センサ204から生理学的信号742を提供でき、そのような信号は、検出器750、752、754及び756のうちの1つ以上に提供される前に、信号プロセッサ744によって処理され得る。顔表現分析器712の出力は、人のビデオ信号702に基づいて判定された、人の1つ以上の顔表現特徴を特定でき、姿勢認識器716の出力は、人のビデオ信号702に基づいて判定された、人の1つ以上の身体姿勢を特定でき、オーディオ信号分析器724の出力は、オーディオ信号722に基づいて判定された1つ以上の音声特徴を特定することができる。LUTの使用の代わりに又は加えて、検出器750、752、754及び756のうちの1つ以上は、顔表情トレーニングデータ、身体姿勢トレーニングデータ、スピーチトレーニングデータ及び/又は他のトレーニングデータを含むことができるトレーニングデータに基づいて訓練された1つ以上のディープニューラルネットワーク(DNN)及び/又は1つ以上の他のコンピュータモデルによって実施できる。検出器750、752、754及び756のうちの1つ以上は、人の感情状態、疲労状態、精神状態及び警戒状態をそれぞれ定量化するために、ドライバー(及び1人以上の同乗者)の瞬き、注視、頭部の姿勢、手の姿勢、声の特徴等を分析することができる。
様々な検出器750、752、754及び756の出力は、好ましいドライバーセレクタ760に提供されるものとして示されている。好ましいドライバーセレクタ760は、様々な検出器750、752、754及び756によって検出された様々な条件に基づいて好ましいドライバーを特定するために用いられるDNN及び/又は1つ以上のコンピュータモデルを実施する1つ以上のプロセッサ(例えば108)を用いて実施できる。
誰が車を運転すべきか又は運転すべきではないかという議論が、リラックスした楽しいドライブの際中に起きることが時としてある。これにより、友人及び/又は家族のメンバー間で口論になったり、交通事故の原因になったりし得る。例えば、人がドライブに出かける前に、本明細書で説明したシステムによって生成される提案に従うことに同意した場合、そのような口論を回避するために本技術の実施形態を用いることができる。また、ドライバー及び全ての同乗者が眠気を帯びているか、さもなれければ運転に適した状態にない場合、本明細書で説明したシステムは、車両内の全ての人が休息をとることを提案して、ドライバーとしての責任をとることができると車内にいる一人が偽る必要を回避できる。
本技術の実施形態は、見ず知らずの人々がレンタカーを共有することに同意した場合にとりわけ有用である。例えば、見知らぬ人に1台の車を一緒に借りてもらうアプリケーション及び/又はサービスがあり、それらの人の全てが有効なドライバーであるとする。そのような状況では、見知らぬ人たちは互いの運転能力が分からない。本技術の実施形態は、誰がレンタカーを最初に運転すべきか、また同乗者のうちの1人が運転を何時引き継ぐべきかを決定するために用いることができる。そのような実施形態では、ドライバーの選択を全員が満足する形で円滑に行うことができ、誰がどのくらいの期間運転すべきかを自分達で決定する必要がある人々の煩雑さを回避できる。
本技術の実施形態は、運転履歴を用いることにより、同様の又は補完的な能力及びエネルギーを有するドライバーをペアにすることによって、トラックドライバーのグループをペアにするために用いることができる。例えば、特定の長距離トラックドライバーが昼間の運転経験を有する一方で、他のものが夜間の運転経験を有する場合、本技術の実施形態を用いてそのようなドライバーをペアにし及び/又はトラックドライバーのうちの1人が何時運転を行い、他の1人が休息すべきかを提案することができる。
本明細書で説明する本技術の特定の実施形態は、ハードウェア、ソフトウェア又はハードウェア及びソフトウェア両方の組み合わせを用いて実施できる。用いられるソフトウェアは、本明細書で説明した機能を行うよう1つ以上のプロセッサをプログラムするために上述のプロセッサ読み取り可能記憶装置のうちの1つ以上に記憶される。プロセッサ読み取り可能記憶装置は、揮発性及び不揮発性媒体、取り外し可能及び非取り外し可能媒体等のコンピュータ読み取り可能媒体を含むことができる。限定ではなく一例として、コンピュータ読み取り可能媒体はコンピュータ読み取り可能記憶媒体及び通信媒体を含み得る。コンピュータ読み取り可能記憶媒体は、コンピュータ読み取り可能命令、データ構造、プログラムモジュール又は他のデータ等の情報の記憶のための任意の方法又は技術で実施され得る。コンピュータ読み取り可能記憶媒体の例として、RAM、ROM、EEPROM、フラッシュメモリ又は他のメモリ技術、CD-ROM、デジタル多用途ディスク(DVD)又は他の光ディスク記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置又は他の磁気記憶装置又は所望の情報を記憶するために用いることができ、コンピュータによってアクセス可能な任意の他の媒体を含むことができる。コンピュータ読み取り可能媒体は、伝搬、変調又は一時的信号を含まない。
通信媒体は、搬送波又は他の搬送機構等の伝搬、変調又は一時的データ信号でコンピュータ読み取り可能命令、データ構造、プログラムモジュール又は他のデータを具現化し、任意の情報伝達媒体を含む。「変調データ信号」という用語はその特性の1つ以上をセットを有するか又は信号内の情報を符号化するような方法で変更された信号を意味する。限定ではなく一例として、通信媒体は、有線ネットワーク又は直接有線接続等の有線媒体並びにRF及び他の無線媒体等の無線媒体を含む。上記の任意の組み合わせもコンピュータ読み取り可能媒体の範囲内に含まれる。
代替的な実施形態では、ソフトウェアの一部又は全ては専用のハードウェアロジックコンポーネントで置き換えることができる。例えば、限定されるものではないが、使用可能なハードウェアロジックコンポーネントの例示の種類としては、フィールドプログラマブルゲートアレイ(FPGA)、特定用途向け集積回路(ASIC)、特定用途向け標準製品(ASSP)、システムオンチップシステム(SOC)、複合プログラマブルロジックデバイス(CPLD)、専用コンピュータ等が含まれる。一実施形態では、1つ以上の実施形態を実施する(記憶装置に記憶された)ソフトウェアは1つ以上のプロセッサをプログラミングするために用いられる。1つ以上のプロセッサは、1つ以上のコンピュータ読み取り可能媒体/記憶装置、周辺機器及び/又は通信インターフェイスと通信することができる。
本主題は、多くの異なる形態で具体化され、本明細書に記載の実施形態に限定されるものと解釈すべきでないことが分かる。むしろ、これらの実施形態は、この主題は徹底的且つ完全であり、当業者に開示を完全に伝えるように提供されている。実際、本主題は、添付の特許請求の範囲によって定義される本主題の範囲及び精神に含まれる、これらの実施形態の代替、修正及び等価物をカバーすることを意図している。さらに、本主題の以下の詳細な説明において、本主題の完全な理解を提供するために数多くの特定の詳細が記載されている。しかしながら、当業者であれば、本主題はこのような特定の詳細なしに実施され得ることが明らかであろう。
本開示の実施形態に係る方法、装置(システム)及びコンピュータプログラム製品のフロー図及び/又はブロック図を参照しながら、本開示の態様を本明細書で説明してきた。フローチャート図及び/又はブロック図の各ブロック及びフローチャート図及び/又はブロック図のブロックの組み合わせは、コンピュータプログラム命令によって実施できることが理解されよう。これらのコンピュータプログラム命令は、汎用コンピュータ、専用コンピュータ又は他のプログラマブルデータ処理装置のプロセッサに提供されて、コンピュータのプロセッサ又は他のプログラマブル命令実行装置を介して実行される命令が、フローチャート及び/又はブロック図のブロックで特定される機能/動作を実施するための機構を生成するように機械を生成できる。
本開示の説明は解説及び説明を目的のために提示されたが、開示された形態の開示に徹底するか又は限定することを意図したものではない。多くの修正及び変更は、本開示の範囲及び精神から逸脱することなく、当業者には明らかであろう。本明細書の開示の態様は、開示の原理及び実用的用途を最良な形で説明し、当業者が、考えられる特定の用途に適した様々な修正と共に本開示を理解できるように選択され説明された。
様々な実施形態と共に本開示を説明してきた。しかしながら、開示した実施形態の他の変形及び変更は、図面、開示及び添付の特許請求の範囲の検討から理解及び実施でき、そのような変形及び変更は添付の特許請求の範囲に包含されるものとして解釈すべきである。特許請求の範囲において、「含む」という用語は他の要素又はステップを除外せず、不定冠詞「a」又は「an」は複数を除外しない。
なお、本願の目的のために、図中に示されている様々な特徴の寸法は、必ずしも縮尺通りに描かれているとは限らない。
本願の目的のために、本明細書において「実施形態」、「一実施形態」、「一部の実施形態」又は「別の実施形態」への言及は、異なる実施形態又は同じ実施形態を説明するために用いられ得る。
本願の目的のために、接続は直接接続又は(例えば、1つ以上の他の部分を介した)間接接続であり得る。ある場合には、要素が他の要素に接続されている又は連結されていると言及された場合、その要素は他の要素に直接的に接続されているか又は介在要素を介して他の要素に間接的に接続されている。ある要素が他の要素に直接接続されていると言及される場合、その要素と他の要素との間には介在要素は存在しない。2つの装置の間で電子信号を通信できるようにそれらが直接的又は間接的に接続されている場合、それらは「通信している」。
本願の目的のために、「基づく」という用語は「少なくとも部分的に基づく」と読まれ得る。
本願の目的のために、追加の文脈なしに、「第1の」オブジェクト、「第2の」オブジェクト、「第3の」オブジェクト等の数的用語の使用はオブジェクトの順序を意味するものではなく、その代わりに、異なるオブジェクトを識別するための識別を目的として用いられ得る。
前述の詳細な説明は、解説及び説明を目的として提示されてきた。これは本明細書でクレームされた主題を開示された正確な形態に徹底するか又は限定することを意図していない。上記の教示に照らして、多くの修正及び変更が可能である。説明した実施形態は、開示した技術の原理及びその実用的用途を最良な形で説明することにより、考えられる特定の用途に好適な様々な変更と共に、当業者が様々な実施形態における技術を最良な形で利用できるようにするために選択されたものである。範囲は、添付の特許請求の範囲によって定義されることを意図する。
構造的特徴及び/又は方法論的行為に特有の言葉で主題を説明してきたが、添付の請求項で定義された主題は必ずしも上述の特定の特徴又は行為に限定されないことが理解されるであろう。むしろ、上述の特定の特徴及び作用は、特許請求の範囲を実施する例示の形態として開示されている。

Claims (13)

  1. 1つ以上のセンサから、車両のドライバーについての現在データ及び潜在的ドライバーである該車両の1人以上の同乗者のそれぞれについての現在のデータを取得することと、
    1つ以上のデータ記憶装置から、前記車両の前記ドライバーについての履歴データ及び潜在的ドライバーである前記車両の1人以上の同乗者のそれぞれについての履歴データを取得することと、
    前記車両の前記ドライバーについての前記現在のデータ及び前記履歴データ並びに潜在的ドライバーである前記車両の1人以上の同乗者のそれぞれについての前記現在のデータ及び前記履歴データを分析することにより、前記車両を運転するのに好ましい候補を特定することであって、該分析することは1つ以上のコンピュータ実装モデルを用いて行われる、ことと、
    前記好ましい候補が前記車両を運転する旨の提案を出力することと、
    前記提案が従われたどうかを示すフィードバックデータを取得することと、
    前記フィードバックデータに基づいて、前記1つ以上のコンピュータ実装モデルのうちの少なくとも1つを更新することと、
    前記提案が従われなかったことを前記フィードバックデータが示す場合、前記ドライバー及び/又は前記1人以上の同乗者に質問を提示して追加のフィードバックを受信し、前記ドライバーについての履歴データ及び前記1人以上の同乗者のそれぞれについての履歴データを更新することと、
    を含む方法。
  2. 前記車両の前記ドライバーについての前記現在のデータは、
    現在の画像データ、
    現在のビデオデータ、
    現在のオーディオデータ、
    現在の心拍数データ、
    現在の体温データ、
    現在の運転速度データ、又は
    現在の走行性能データ
    のうちの1つ以上を含む、請求項1に記載の方法。
  3. 潜在的ドライバーである前記車両の1人以上の同乗者のそれぞれについての前記現在のデータは、
    現在の画像データ、
    現在のビデオデータ、
    現在のオーディオデータ、
    現在の心拍数データ、及び
    現在の体温データ、
    のうちの1つ以上を含む、請求項1又は2に記載の方法。
  4. 前記車両のドライバーについての及び潜在的ドライバーである前記車両の1人以上の同乗者のそれぞれについての前記履歴データは、
    過去の運転記録データ、
    過去の運転パフォーマンスデータ、
    運転免許種類データ、
    過去の運転期間データ、又は
    過去の休息期間のデータ
    のうちの1つ以上を含む、請求項1乃至のいずれか一項に記載の方法。
  5. 前記車両の前記ドライバーについての前記現在のデータ及び前記履歴データ並びに潜在的ドライバーである前記車両の1人以上の同乗者のそれぞれについての前記現在のデータ及び前記履歴データを分析することは、前記車両の前記ドライバー及び潜在的ドライバーである前記車両の1人以上の同乗者のそれぞれについて、
    精神状態、
    情緒状態、
    疲労状態、又は
    警戒状態
    のうちの1つ以上を定量化することを含む、請求項1乃至のいずれか一項に記載の方法。
  6. 1つ以上のセンサから、車両のドライバーについての現在データ及び潜在的ドライバーである該車両の1人以上の同乗者のそれぞれについての現在のデータを取得するように構成された1つ以上のセンサインターフェイスと、
    1つ以上のデータ記憶装置から、前記車両の前記ドライバーについての履歴データ及び潜在的ドライバーである前記車両の1人以上の同乗者のそれぞれについての履歴データを取得するように構成された1つ以上のデータ記憶装置インターフェイスと、
    1つ以上のプロセッサであって、
    前記車両の前記ドライバーについての前記現在のデータ及び前記履歴データ並びに潜在的ドライバーである前記車両の1人以上の同乗者のそれぞれについての前記現在のデータ及び前記履歴データを分析することにより、前記車両を運転するのに好ましい候補を特定することと、
    前記好ましい候補が前記車両を運転する旨の提案を出力することと、
    前記車両の前記ドライバーについての前記現在のデータ及び前記履歴データ並びに潜在的ドライバーである前記車両の1人以上の同乗者のそれぞれについての前記現在のデータ及び前記履歴データを分析することにより、前記車両を運転するのに好ましい候補を特定するように構成された1つ以上のコンピュータ実装モデルを実施することと、
    前記提案が従われたどうかを示すフィードバックデータを取得することと、
    前記フィードバックデータに基づいて、前記1つ以上のコンピュータ実装モデルのうちの少なくとも1つを更新することと、
    前記提案が従われなかったことを前記フィードバックデータが示す場合、前記ドライバー及び/又は前記1人以上の同乗者に質問を提示して追加のフィードバックを受信し、前記ドライバーについての履歴データ及び前記1人以上の同乗者のそれぞれについての履歴データを更新することと、
    を行うように構成されている、1つ以上のプロセッサと、
    を含むシステム。
  7. 前記車両の前記ドライバーについての前記現在のデータは、
    現在の画像データ、
    現在のビデオデータ、
    現在のオーディオデータ、
    現在の心拍数データ、
    現在の体温データ、
    現在の運転速度データ、又は
    現在の走行性能データ
    のうちの1つ以上を含む、請求項に記載のシステム。
  8. 潜在的ドライバーである前記車両の前記1人以上の同乗者のそれぞれについての前記現在のデータは、
    現在の画像データ、
    現在のビデオデータ、
    現在のオーディオデータ、
    現在の心拍数データ、及び
    現在の体温データ、
    のうちの1つ以上を含む、請求項6又は7に記載のシステム。
  9. 前記車両のドライバーについての及び潜在的ドライバーである前記車両の前記1人以上の同乗者のそれぞれについての前記履歴データは、
    過去の運転記録データ、
    過去の運転パフォーマンスデータ、
    運転免許種類データ、
    過去の運転期間データ、又は
    過去の休息期間のデータ
    のうちの1つ以上を含む、請求項乃至のいずれか一項に記載のシステム。
  10. 前記車両の前記ドライバーについての前記現在のデータ及び前記履歴データ並びに潜在的ドライバーである前記車両の1人以上の同乗者のそれぞれについての前記現在のデータ及び前記履歴データを分析するために、前記1つ以上のプロセッサは、前記車両の前記ドライバー及び潜在的ドライバーである前記車両の1人以上の同乗者のそれぞれについて、
    精神状態、
    情緒状態、
    疲労状態、又は
    警戒状態
    のうちの1つ以上を定量化するようにさらに構成されている、請求項乃至のいずれか一項に記載のシステム。
  11. 前記1つ以上のセンサは、前記車両の前記ドライバーについての現在の画像データ及び潜在的ドライバーである前記車両の前記1人以上の同乗者のそれぞれについての現在の画像データを取得するように構成された1つ以上のカメラを含み、
    前記1つ以上のデータ記憶装置インターフェイスは、1つ以上のデータ記憶装置から、前記車両の前記ドライバーについての履歴画像データ及び潜在的ドライバーである前記車両の前記1人以上の同乗者のそれぞれについての履歴画像データを取得するように構成され、
    前記1つ以上のプロセッサは、
    前記1つ以上のコンピュータ実装モデルを実施して、前記車両の前記ドライバーについての前記現在の画像データ及び前記履歴画像データ並びに潜在的ドライバーである前記車両の1人以上の同乗者のそれぞれについての前記現在の画像データ及び前記履歴画像データを分析することにより、前記車両を運転するのに好ましい候補を特定するように構成されている、
    請求項乃至10のいずれか一項に記載のシステム。
  12. コンピュータ命令を記憶したコンピュータ読み取り可能記憶媒体であって、該コンピュータ命令は、1つ以上のプロセッサに実行された場合、該1つ以上のプロセッサに、請求項1乃至のいずれか一項に記載の方法を行わせる、コンピュータ読み取り可能記憶媒体。
  13. 命令を含むコンピュータプログラムであって、該命令は、1つ以上のプロセッサに実行された場合、該1つ以上のプロセッサに、請求項1乃至のいずれか一項に記載の方法を行わせる、コンピュータプログラム。
JP2021563408A 2019-04-25 2019-04-25 複数の候補からドライバーを選択する提案システム Active JP7303901B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2019/029168 WO2020219054A1 (en) 2019-04-25 2019-04-25 Recommender system selecting a driver out of multiple candidates

Publications (2)

Publication Number Publication Date
JP2022530481A JP2022530481A (ja) 2022-06-29
JP7303901B2 true JP7303901B2 (ja) 2023-07-05

Family

ID=66821361

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021563408A Active JP7303901B2 (ja) 2019-04-25 2019-04-25 複数の候補からドライバーを選択する提案システム

Country Status (5)

Country Link
EP (1) EP3953856A1 (ja)
JP (1) JP7303901B2 (ja)
CN (1) CN113728323A (ja)
MX (1) MX2021012911A (ja)
WO (1) WO2020219054A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220176978A1 (en) * 2020-12-09 2022-06-09 International Business Machines Corporation Vehicular environment management for sudden events
US11881036B2 (en) * 2021-01-01 2024-01-23 Nauto, Inc. Devices and methods for detecting drowsiness of drivers of vehicles
CN113825118B (zh) * 2021-09-24 2024-02-27 中车大连电力牵引研发中心有限公司 一种基于人体骨声纹的列车操纵系统
CN115144013A (zh) * 2022-09-02 2022-10-04 荣耀终端有限公司 驾驶员检测方法、电子设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016161313A (ja) 2015-02-27 2016-09-05 株式会社日立アドバンストシステムズ 測位システム
JP2017024653A (ja) 2015-07-27 2017-02-02 トヨタ自動車株式会社 乗員情報取得装置及び車両制御システム
WO2018100619A1 (ja) 2016-11-29 2018-06-07 本田技研工業株式会社 車両制御システム、車両制御方法、および車両制御プログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10897650B2 (en) * 2010-06-07 2021-01-19 Affectiva, Inc. Vehicle content recommendation using cognitive states
US20180089605A1 (en) * 2016-09-23 2018-03-29 Intel Corporation Enhanced ride sharing user experience
US10950132B2 (en) * 2016-12-22 2021-03-16 Xevo Inc. Method and system for providing artificial intelligence analytic (AIA) services using operator fingerprints and cloud data

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016161313A (ja) 2015-02-27 2016-09-05 株式会社日立アドバンストシステムズ 測位システム
JP2017024653A (ja) 2015-07-27 2017-02-02 トヨタ自動車株式会社 乗員情報取得装置及び車両制御システム
WO2018100619A1 (ja) 2016-11-29 2018-06-07 本田技研工業株式会社 車両制御システム、車両制御方法、および車両制御プログラム

Also Published As

Publication number Publication date
MX2021012911A (es) 2022-01-18
CN113728323A (zh) 2021-11-30
WO2020219054A1 (en) 2020-10-29
EP3953856A1 (en) 2022-02-16
JP2022530481A (ja) 2022-06-29

Similar Documents

Publication Publication Date Title
US11249544B2 (en) Methods and systems for using artificial intelligence to evaluate, correct, and monitor user attentiveness
CN111741884B (zh) 交通遇险和路怒症检测方法
JP7303901B2 (ja) 複数の候補からドライバーを選択する提案システム
Zepf et al. Driver emotion recognition for intelligent vehicles: A survey
Kashevnik et al. Cloud-based driver monitoring system using a smartphone
US10867197B2 (en) Drowsiness mental state analysis using blink rate
US20200216078A1 (en) Driver attentiveness detection system
US11067405B2 (en) Cognitive state vehicle navigation based on image processing
US11017250B2 (en) Vehicle manipulation using convolutional image processing
US10922566B2 (en) Cognitive state evaluation for vehicle navigation
US11292477B2 (en) Vehicle manipulation using cognitive state engineering
US11040712B2 (en) Information processing apparatus and information processing method
US20210339759A1 (en) Cognitive state vehicle navigation based on image processing and modes
El Khatib et al. Driver inattention detection in the context of next-generation autonomous vehicles design: A survey
US11318949B2 (en) In-vehicle drowsiness analysis using blink rate
JP2018180983A (ja) 情報処理装置、情報処理方法、及び、プログラム
Liu et al. The empathetic car: Exploring emotion inference via driver behaviour and traffic context
EP4042322A1 (en) Methods and systems for using artificial intelligence to evaluate, correct, and monitor user attentiveness
Arakawa Trends and future prospects of the drowsiness detection and estimation technology
Lashkov et al. Ontology-based approach and implementation of ADAS system for mobile device use while driving
Xie et al. Real-time driving distraction recognition through a wrist-mounted accelerometer
US20210323559A1 (en) Data processing device, human-machine interface system including the device, vehicle including the system, method for evaluating user discomfort, and computer-readable medium for carrying out the method
Kashevnik et al. Dangerous situation prediction and driving statistics accumulation using smartphone
Lashkov et al. Dangerous state detection in vehicle cabin based on audiovisual analysis with smartphone sensors
Stang et al. Adaptive customized forward collision warning system through driver monitoring

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211203

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211203

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221115

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230214

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230530

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230623

R150 Certificate of patent or registration of utility model

Ref document number: 7303901

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150