JP7195931B2 - 状況認知型のパーソナルアシスタント - Google Patents

状況認知型のパーソナルアシスタント Download PDF

Info

Publication number
JP7195931B2
JP7195931B2 JP2018559276A JP2018559276A JP7195931B2 JP 7195931 B2 JP7195931 B2 JP 7195931B2 JP 2018559276 A JP2018559276 A JP 2018559276A JP 2018559276 A JP2018559276 A JP 2018559276A JP 7195931 B2 JP7195931 B2 JP 7195931B2
Authority
JP
Japan
Prior art keywords
personal assistant
electronic personal
driver
situation
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018559276A
Other languages
English (en)
Other versions
JP2019527387A5 (ja
JP2019527387A (ja
Inventor
ホン ジュー，テ
ゼット． エラッバディ，タレク
ソリマン ハビブ，モナ
Original Assignee
マイクロソフト テクノロジー ライセンシング，エルエルシー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by マイクロソフト テクノロジー ライセンシング，エルエルシー filed Critical マイクロソフト テクノロジー ライセンシング，エルエルシー
Publication of JP2019527387A publication Critical patent/JP2019527387A/ja
Publication of JP2019527387A5 publication Critical patent/JP2019527387A5/ja
Application granted granted Critical
Publication of JP7195931B2 publication Critical patent/JP7195931B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72463—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions to restrict the functionality of the device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/65—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive
    • B60K35/654—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive the user being the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0098—Details of control systems ensuring comfort, safety or stability not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B60W2520/105—Longitudinal acceleration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/22—Psychological state; Stress level or workload
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/20—Ambient conditions, e.g. wind or rain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/724098—Interfacing with an on-board device of a vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Environmental & Geological Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • User Interface Of Digital Computer (AREA)
  • Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)
  • Organic Low-Molecular-Weight Compounds And Preparation Thereof (AREA)
  • Electrochromic Elements, Electrophoresis, Or Variable Reflection Or Absorption Elements (AREA)
  • Acyclic And Carbocyclic Compounds In Medicinal Compositions (AREA)
  • Emergency Alarm Devices (AREA)
  • Adhesive Tapes (AREA)
  • Telephone Function (AREA)

Description

「電子パーソナルアシスタント」又は「インテリジェントパーソナルアシスタント」は、ユーザーがやり取りできる、携帯電話機などのユーザー装置内において稼働しているアプリケーションである。ユーザーが、電子パーソナルアシスタントに話しかけることができると共に、電子パーソナルアシスタントも、発話により、ユーザーに応答することができる。電子パーソナルアシスタントは、タスク及び／又はサービスを実行するための要求などの、ユーザー要求を処理することにより、一般的な支援を提供するように構成されている。例えば、電子パーソナルアシスタントは、質問に対して回答するように、推奨を実行するように、且つ／又は、動作を実行するように、構成することができる。電子パーソナルアシスタントは、ユーザーからの事前の指示やモバイル装置の場所などに基づいて情報をユーザーに提供するべく、それ自体で発話するように更に構成することができる。但し、いずれの場合にも、運転などの、ユーザーがタスクに集中する必要がある状況においてユーザーに話しかけると、気が散る場合もあり、且つ、恐らくは、場合によっては、ユーザーにとって危険である場合もある。
この「概要」は、「詳細な説明」において更に後述されている概念の一選択肢について概略的な形態で紹介するべく提供されるものである。この「概要」は、特許請求されている主題の主な特徴又は不可欠な特徴を識別することを意図したものではなく、且つ、特許請求されている主題の範囲を限定するべく使用されることを意図したものでもない。
状況に基づいて電子パーソナルアシスタントの振る舞いを変更するための方法、システム、装置、及びコンピュータプログラムプロダクトが提供されている。センサデータを生成するべく、複数のセンサによって状況が検知される。センサデータに基づいて、状況スコアが算出される。算出された状況スコアに基づいて、電子パーソナルアシスタントの振る舞いが変更される。一態様においては、状況は、運転者が道路上において車両を運転している運転状況である。このようなケースにおいては、センサデータに基づいて、運転状況スコアが算出され、且つ、運転者の気が散ることを防止するべく、算出された運転状況スコアに基づいて、運転者との間における電子パーソナルアシスタントによるやり取りを一時停止するなどのように、電子パーソナルアシスタントの振る舞いが変更される。
以下、添付図面を参照し、本発明の更なる特徴及び利点のみならず、本発明の様々な実施形態の構造及び動作について詳細に説明する。本発明は、本明細書において記述されている特定の実施形態に限定されるものではないことに留意されたい。これらの実施形態は、例示を目的として、本明細書において提示されているに過ぎない。当業者には、本明細書において含まれている教示内容に基づいて、更なる実施形態が明らかとなろう。
本明細書に含まれていると共に本明細書の一部分を形成している添付図面は、本出願の実施形態を示しており、且つ、説明と共に、実施形態の原理を説明するように、且つ、当業者による実施形態の実施及び使用を可能とするように、更に機能する。
図１は、例示用の一実施形態による、電子パーソナルアシスタントの振る舞いを変更するべく、センサデータが、状況モニタによって受け取られると共に処理される、状況認知型システムのブロック図を示す。 図２は、例示用の一実施形態による、状況に基づいて電子パーソナルアシスタントの振る舞いを変更するプロセスを提供するフローチャートを示す。 図３は、例示用の一実施形態による、電子パーソナルアシスタントが運転者の気を散らせることを防止するべく、車両内において実装された図１の状況認知型システムのブロック図を示す。 図４は、例示用の一実施形態による、車両電子回路内において実装された、車両に基づいた状況認知型システムのブロック図を示す。 図５は、例示用の一実施形態による、部分的に車両電子回路内において、且つ、部分的にモバイルユーザー装置内において、実装された、車両に基づいた状況認知型システムのブロック図を示す。 図６は、例示用の一実施形態による、モバイルユーザー装置内において実装された、車両に基づいた状況認知型システムのブロック図を示す。 図７は、例示用の一実施形態による、運転状況の検知に基づいて車両内の電子パーソナルアシスタントの振る舞いを変更するプロセスを提供するフローチャートを示す。 図８は、例示用の一実施形態による、走行している車両と関連する態様を検知する複数のセンサのブロック図を示す。 図９は、例示用の一実施形態による、走行している車両と関連する態様を検知するプロセスを提供するフローチャートを示す。 図１０は、例示用の一実施形態による、状況モニタのブロック図を示す。 図１１は、例示用の一実施形態による、状況認知型システムの別のブロック図を示す。 図１２は、例示用の一実施形態による、検知された状態に基づいて運転者との間における電子パーソナルアシスタントによるやり取りを一時停止及び再開する、車両内のプロセスを提供するフローチャートを示す。 図１３は、例示用の一実施形態による、電子パーソナルアシスタントの振る舞いを変更するプロセスを示す。 図１４は、実施形態を実装するべく使用されうる、例示用の演算装置のブロック図を示す。
本発明の特徴及び利点については、対応する要素がその全体を通じて同一の参照符号によって識別されている図面との関連において検討された際に、後述する詳細な説明から、更に明らかとなろう。図面においては、同一の参照符号は、通常、同一の、機能的に類似した、且つ／又は、構造的に類似した、要素を示している。要素が最初に登場している図面は、対応する参照符号の最も左側の１つ又は複数の桁によって示されている。
Ｉ．導入部
本明細書及び添付の図面は、本発明の特徴を内蔵する１つ又は複数の実施形態を開示している。本発明の範囲は、開示されている実施形態に限定されるものではない。開示されている実施形態は、本発明を例示するものに過ぎず、且つ、開示されている実施形態の変更されたバージョンも、本発明によって包含される。本発明の実施形態は、添付の請求項によって定義されている。
「一実施形態」、「実施形態」、及び「例示用の実施形態」などに対する本明細書における参照は、記述されている実施形態が、特定の特徴、構造、又は特性を含みうるが、すべての実施形態が、それらの特定の特徴、構造、又は特性を必ずしも含んでいない場合があることを示している。更には、このようなフレーズは、必ずしも、同一の実施形態を参照しているものでもない。更には、特定の特徴、構造、又は特性が一実施形態との関連において記述されている際には、明示的に記述されているかどうかとは無関係に、その他の実施形態との関連におけるそれらの特徴、構造、又は特性の実施が、当業者の知識に含まれていることを申し添えておきたい。
この説明においては、そうではない旨が記述されていない限り、本開示の一実施形態の１つ又は複数の特徴の状態又は関係特性を修飾している「実質的に（substantially）」及び「約（about）」などの形容詞は、その状態又は特性が、その意図されている用途における実施形態の動作について受け入れ可能である許容範囲内において定義されていることを意味するものと理解されたい。
以下においては、多数の例示用の実施形態について記述されている。本明細書において提供されている任意のセクション／サブセクションの見出しは、限定を意図したものではないことに留意されたい。実施形態は、本明細書の全体を通じて記述されており、且つ、任意のセクション／サブセクションの下において、任意のタイプの実施形態を含むことができる。更には、任意のセクション／サブセクション内において開示されている実施形態は、任意の方式により、同一のセクション／サブセクション及び／又は異なるセクション／サブセクション内において記述されている任意のその他の実施形態と組み合わせることができる。
ＩＩ．バケッティング試験障害（bucketing test failure）用の例示用の実施形態
電子パーソナルアシスタントは、ユーザーがやり取りすることができる、携帯電話機などのユーザー装置内において稼働するアプリケーションである。ユーザーは、電子パーソナルアシスタントに対して話しかけることができる共に、電子パーソナルアシスタントも、発話により、ユーザーに返答することができる。電子パーソナルアシスタントは、情報に対する、或いは、タスク及び／又はサービスを実行するための、要求などの、ユーザー要求を処理することにより、一般的な支援を提供するように構成することができる。例えば、電子パーソナルアシスタントは、質問に対して回答するように、推奨を実行するように、且つ／又は動作を実行するように、構成することができる。電子パーソナルアシスタントは、ユーザー要求に対して直接的に応答することができ、且つ／又は、事前の指示やモバイル装置の場所などを含む、様々な要因に基づいて情報をユーザーに提供するべく、それ自体で発話することもできる。市場においては、Apple Inc. of Cupertino, Californiaによって提供されているSiri（登録商標）、Google, Inc. of Mountain View, Californiaによって提供されているGoogle Now（商標）、Amazon.com, Inc. of Seattle, Washingtonによって提供されているAmazon Echo（商標）、及びMicrosoft Corporation of Redmond, Washingtonによって提供されているCortana（商標）を含む、多数の電子パーソナルアシスタントが入手可能である。
通常の動作の際に、電子パーソナルアシスタントは、ユーザーと通信するべく又はその他の方法でやり取りするべく、起動することができる。但し、電子パーソナルアシスタントがその振る舞いを変更することにより、通常の動作から外れることが望ましい場合が存在しうる。例えば、車両の運転者（例えば、自動車又はトラックの運転者や航空機のパイロット）が電子パーソナルアシスタントとやり取りしている、従来の運転状況においては、電子パーソナルアシスタントに対する運転者の発話された要求は、即座に処理されている。この理由は、部分的には、電子パーソナルアシスタントがその周囲の認知を欠いているからである。但し、運転者が、運転している最中に、特に、不都合な状態にある際に、電子パーソナルアシスタントが運転者に話しかけることは、望ましくない場合がある。その理由は、電子パーソナルアシスタントの音声が、気を散らせる場合があり、且つ、従って、ユーザー及び車両の任意のその他の乗員にとって危険である場合があるからである。
従って、実施形態においては、モバイル装置と関連する状況に基づいて、電子パーソナルアシスタントの振る舞いが変更されている。実施形態においては、センサデータを生成するべく、状況が複数のセンサによって検知されている。センサデータに基づいて、状況スコアが算出されている。算出された状況スコアに基づいて、電子パーソナルアシスタントの振る舞いが変更されている。
例えば、運転状況のケースにおいては、研究者は、運転者がSiri（登録商標）とやり取りした際には、運転者の気が散ることになり、且つ、運転者の気が散った状態は、やり取りが終了した後に、２０秒にわたって継続することを見出している。更には、自動車内におけるセル電話機の使用は、自動車事故率を増大させるが、自動車内に乗員が存在している場合には、事故率が減少することも観察されている。これらの観察に対する１つの説明は、人間の乗員は、自身の発話を調節することにより、重要な時点において運転者の注意を奪おうとしない会話パターンを結果的にもたらしているというものである。
一実施形態においては、電子パーソナルアシスタントによって使用される実際の言葉ではなく、電子パーソナルアシスタントが車両内において発話する方式／時点が、乗員の発話パターンに似せるなどのように、変更されている。
このような一車両実施形態においては、運転状況に関するデータは、直近の環境に関する状況認知を生み出す、近隣のその他の車両及び道路上の物体の場所及び運動を判定するための車両上のセンサ（例えば、カメラ、ＲＡＤＡＲ、ＳＯＮＡＲ、及び／又はＬＩＤＡＲ（LIght Detection And Ranging））、運転者についてトレーニング済みのビデオカメラ及び／又は運転者のストレスレベルを推定するためのその他のセンサ、突然の加速及び減速を判定するためのリアルタイムの車両運動計測、並びに／或いは、霧、雨、雪などのような局所的な天候状態を検出するように構成されたセンサによるなどの、様々な方法によってキャプチャすることができる。このような検知によって提供される局所的な認知のレベルは、注意深い乗員が実現しうるものに類似している。
従って、大きな周辺ノイズ、強力且つ迅速に変化する交通及び／又は道路状態、運転者の一時的な否定的感情状態（例えば、突然のストレス又は混乱）、自動車速度の突然の変化、及び／又は様々な更なる状態、という状態のうちの１つ又は複数が存在していることに起因して、運転者の気を散らせることが安全ではない際には、電子パーソナルアシスタントが、運転者とのやり取り（例えば、運転者への返答又は会話の開始）を延期するようにすることができる。
一運転状況においては、発話又はテキストにおいて、ユーザー（運転者又は乗員）の要求に応答する際に、電子パーソナルアシスタントは、やり取りを一時停止するように（例えば、発話を停止するように）、且つ、再開する前に、状況が受け入れ可能な方式において穏やかになる時点まで、待つように、構成することができる。一実施形態においては、電子パーソナルアシスタントの発話／待機状態を通知するフラグを生成することができる。適切に応答を遅延させることにより、電子パーソナルアシスタントは、運転者が直面している更なる混乱及び錯乱に拍車をかけることがない。
別の実施形態においては、電子パーソナルアシスタントは、積極的な支援を運転者に対して提供することができる。上述のようにセンサデータを処理することにより、運転者における将来の潜在的な否定的状況を予測することができると共に、電子パーソナルアシスタントにより、運転者に対して事前に警告することができる。例えば、近傍の自動車の運動を検知することにより、自動車の軌跡を予測することが可能であり、且つ、電子パーソナルアシスタントは、衝突の可能性が存在する場合に、運転者に対して警告することができる。
交通事故を回避するためのガイダンスの提供に加えて、電子パーソナルアシスタントは、将来の計画について助言するべく、自動車の状態から得られた情報、現時点の自動車の場所、並びに、運転者の予定されている面会の約束及びイベントなどの運転者の個人的な情報を組み合わせることができる。例えば、車両の燃料が少ない場合には、電子パーソナルアシスタントは、現時点の場所、交通状態、及び運転者のスケジュールに基づいて、好都合なガソリンスタンドを示唆することができる。
従って、一運転状況実施形態においては、状況認知型システムは、局所的な運転状況によって運転者に課せられている認識需要を推定するように構成されており、且つ、状況認知型システムの出力値に基づいて、電子パーソナルアシスタントの発話ユーザーインターフェイスが変更されている。例えば、その他の運転者による攻撃的且つ突然の運転動作を伴う混雑した交通は、運転者の十分な注意を必要としている。このような状況においては、運転者とのやり取りを再開する前に、運転タスクによって必要とされている認識作業負荷が和らげられる時点まで、待つように、電子パーソナルアシスタントの発話インターフェイスを構成することができる。
一実施形態においては、運転状況認知型（ＤＳＡ：Driving Situation Aware）システム内において周囲の交通状態を内蔵するように、電子パーソナルアシスタントのユーザーインターフェイスを変更することができる。ＤＳＡシステムは、（ａ）運転者の発話パターン（例えば、長い休止、或いは、中断された不完全な文章は、混雑した交通状態を通知しうる）、（ｂ）運転者の顔面表現（例えば、ストレスを受けている又は緊張した顔面表現は、混雑した交通を通知しうる）、（ｃ）運転者の運転動作（例えば、突然の操向又は加速及び減速は、回避操作を通知しうる）、（ｄ）センサ信号（例えば、レーダー、ビデオカメラ、ソナー、ＩＲ（赤外線）カメラ、慣性ナビゲーションシステム、ＬＩＤＡＲなどを含む、カーセンサからの利用可能な信号を使用したもの）、及び（ｅ）任意のその他の検知された状態を含む、サポートベクトルマシン、回帰ツリー、深層ニューラルネットワーク、或いは、様々な検知された状態を考慮した一般的なモデルなどの、多次元回帰アルゴリズムを使用するように構成することができる。
実施形態は、様々な方式によって実装することができる。例えば、図１は、例示用の一実施形態による、電子パーソナルアシスタントの振る舞いを変更するべく、センサデータが処理される、状況認知型システム１００のブロック図を示している。図１に示されているように、システム１００は、第１～第３センサ１０２Ａ～１０２Ｃと、状況モニタ１０４と、電子パーソナルアシスタント１０６と、を含む。以下、図２との関係において、システム１００について説明する。図２は、例示用の一実施形態による、状況の検知に基づいて電子パーソナルアシスタントの振る舞いを変更するプロセスを提供するフローチャート２００を示している。システム１００は、一実施形態において、フローチャート２００を実行することができる。
フローチャート２００は、ステップ２０２において始まっている。ステップ２０２において、センサデータを生成するべく、状況が複数のセンサによって検知されている。図２に示されているように、センサ１０２Ａ～１０２Ｃは、状況の態様を検知するように構成することができる。検知される状況は、ユーザーによって使用されている電子パーソナルアシスタントを含むモバイル装置又はその他の演算装置を含む環境内において発生している任意の状況であってよい。例示用の適用可能な状況は、運転状況、飛行状況（例えば、航空機内のパイロット）、航行状況、職場状況（例えば、デスクトップコンピュータを前にして着座したユーザーや機械を操作しているユーザーなど）、歩行状況（例えば、歩行中の、モバイル装置を携帯したユーザー）、体操状況（走行中の、ジム内の、ハイキング又は登山中の、モバイル装置を携帯したユーザー）などを含む。
センサ１０２Ａ～１０２Ｃは、それぞれ、同一又は異なるタイプのセンサ装置である。図１には、図示の容易性を目的として、３つのセンサ１０２Ａ～１０２Ｃが示されているが、実施形態においては、数十、数百、或いは、場合によっては、更に多くの数のセンサを含む、任意の数のセンサが、システム１００内において存在しうる。センサ１０２Ａ～１０２Ｃの例は、圧力センサ（例えば、気圧や水圧）、温度センサ（例えば、自宅やその他の建物の温度、体温、エンジン温度、環境温度）、超音波センサ、湿度センサ、ガスセンサ、光センサ、ＰＩＲ（受動型赤外線：Passive InfraRed）センサ、ノイズセンサ、加速度センサ、モーションセンサ、変位センサ、生体計測センサ（例えば、指紋センサ、心拍数センサ、血圧センサ、網膜センサ、顔面認識センサ、音声センサ）などを含む。それぞれのセンサ１０２Ａ～１０２Ｃは、それぞれ、センサデータ１１０Ａ～１１０Ｃとして示されている、検知状態（例えば、温度、圧力、湿度など）について通知する電気信号を生成するように構成されている。センサ１０２Ａ～１０２Ｃは、アナログ電気信号やデジタル電気信号（例えば、電気的なハイ及びローの形態においてデータを担持するもの）などとしてのものを含む、任意の形態において、センサデータ１１０Ａ～１１０Ｃを生成することができると共に、無線又は有線方式により、センサデータ１１０Ａ～１１０Ｃを状況モニタ１０４に提供することができる。
ステップ２０４において、センサデータに基づいて、状況スコアが算出されている。図１に示されているように、状況モニタ１０４は、センサデータ１１０Ａ～１１０Ｃなどの、センサデータを受け取っており、且つ、受け取られたセンサデータに基づいて状況スコア１１２を生成するように構成されている。状況モニタ１０４は、センサデータ１１０Ａ～１１０Ｃ（並びに／或いは、更なるセンサデータ）の任意の１つ又は複数を考慮しうる、任意の方式により、状況スコア１１２を算出してもよく、それぞれの受け取られたセンサデータを任意の方式によって重み付けしてもよく、且つ、任意選択により、状況スコア１１２を生成するべく、重み付けされたセンサデータを（例えば、任意の等式又は式に従って）任意の方式によって組み合わせてもよい。
ステップ２０６において、算出された状況スコアに基づいて、電子パーソナルアシスタントの振る舞いが変更されている。一実施形態においては、状況スコア１１２は、電子パーソナルアシスタント１０６の振る舞いを変更するべく、使用されている。例えば、図１に示されているように、状況モニタ１０４は、電子パーソナルアシスタント１０６によって受け取られうる、状況スコア１１２を出力することができると共に、電子パーソナルアシスタント１０６は、状況スコア１１２の値に基づいて、その振る舞い（例えば、機能／動作）を変更することができる。例えば、電子パーソナルアシスタント１０６は、実行されている動作を一時停止してもよく（例えば、音楽の再生を停止する、発話を停止する、メッセージの表示を停止する、ビデオの表示を停止するなど）、動作を開始してもよく（例えば、音楽の再生を開始する、発話を開始する、メッセージを示す、ビデオを示すなど）、且つ／又は、別の方式によって振る舞いを変更してもよい。或いは、この代わりに、更に後述するように、状況スコア１１２を出力する代わりに、状況モニタ１０４は、電子パーソナルアシスタント１０６の出力を受け取ると共に、これがユーザーに提供されないように保留することもできる。
例えば、図１に示されているように、ユーザーは、任意選択により、口頭で、要求１０８を電子パーソナルアシスタント１０６に対して提供することができる。又、要求１０８は、（図１に示されているように）電子パーソナルアシスタント１０６を通じて状況モニタ１０４によって受け取られるか、或いは、ユーザーから直接的に受け取られる。通常の状況下においては、電子パーソナルアシスタント１０６は、口頭で、回答１１４により、要求１０８に応答することができる。但し、状況スコア１１２は、電子パーソナルアシスタント１０６がその振る舞いを変更するようにすることができる。このようなケースにおいては、電子パーソナルアシスタント１０６は、ユーザーに対して話しかけないことにより、回答１１４（又は、その他のやり取り）を一時停止することができ、且つ／又は、その振る舞いを別の方式によって変更することもできる。回答１１４を一時停止することは、少なくとも、電子パーソナルアシスタント１０６が通常のやり取りを再開しうる（例えば、危険が過ぎ去った）と状況モニタ１０４が判定する時点まで継続することができる。
このような振る舞いの変更は、（例えば、乱気流が検知された際に航空機を飛行させている際などのように）状況スコア１１２の値に基づいて、状況が、ユーザーからの増大した注意を必要としていると判定された際に、ユーザーの気を散らすことを回避するために、実施することができる。或いは、この代わりに、振る舞いの変更は、状況の変化を処理する際にユーザーを支援するための、ユーザーに対する情報の提供であってもよい（例えば、血圧の上昇が検知された際に、心臓発作を回避するべく、活動を低減するための指示をユーザーに対して提供する）。
図１の状況認知型システム１００は、様々なタイプの状況を監視するべく、且つ、電子パーソナルアシスタントの振る舞いを相応して変更するべく、様々な方式によって構成することができることに留意されたい。例えば、図３～図６は、運転状況用のシステム１００の例示用の構成を示している。これらの運転状況の例は、例示を目的として提供されるものであり、且つ、限定を意図したものではない。又、本明細書における教示から当業者には明らかとなるように、図３～図６の実施形態は、本明細書のどこか別の場所において言及されている、或いは、その他の方法で既知である、その他のタイプの状況に対しても適用可能である。以下、図３～図６について説明する。
図３は、例示用の一実施形態による、車両３００内において実装された状況認知型システム１００のブロック図を示している。車両３００は、自動車、トラック、列車、船舶、航空機、又はその他のタイプの車両であってもよい。図３に示されているように、第１～第３センサ１０２Ａ～１０２Ｃのそれぞれ、運転状況モニタ３０２、及び電子パーソナルアシスタント１０６が、車両３００内において実装されている。センサ１０２Ａ～１０２Ｃは、それぞれ、車両３００の内部又は上部のどこかにおいて取り付けることができる。状況モニタ３０２は、運転状況のために構成された状況モニタ１０４の一例である。状況モニタ３０２及び電子パーソナルアシスタント１０６は、共通の装置又は電子回路内において実装されてもよく、或いは、別個に実装されてもよい。
例えば、図４は、例示用の一実施形態による、車両電子回路内において実装されたシステム１００のブロック図を示している。図４に示されているように、車両３００は、１つ又は複数の車両プロセッサ回路４０２（例えば、マイクロプロセッサやＣＰＵなど）と、１つ又は複数の車両メモリ装置４０４（例えば、ランダムアクセスメモリや読み出し専用メモリなど）と、を含む。センサ１０２Ａ～１０２Ｃは、それぞれ、図４の車両３００の内部又は上部のどこかにおいて取り付けることができる。運転状況モニタ３０２及び電子パーソナルアシスタント１０６は、１つ又は複数の車両メモリ装置４０４内において保存されていると共に１つ又は複数の車両プロセッサ回路４０２によって実行される、別個のアプリケーションであってもよい（或いは、単一のアプリケーションとして組み合わせることもできる）。このような一実施形態においては、車両ユーザーインターフェイス（例えば、ダッシュボードに取り付けられているディスプレイ）は、電子パーソナルアシスタント１０６に対するアクセスを運転者に対して提供することができると共に、電子パーソナルアシスタント１０６は、１つ又は複数の車両に取り付けられたラウドスピーカ及び１つ又は複数のマイクロフォンを介して運転者と通信することができる。１つ又は複数の車両プロセッサ回路４０２によって実行されている運転状況モニタ３０２は、センサ１０２Ａ～１０２Ｃを監視することができると共に、本明細書における実施形態に従って電子パーソナルアシスタント１０６の振る舞いを変更するべく、電子パーソナルアシスタント１０６と通信することができる。
図５は、別の、車両に基づいた実施形態を示しており、この場合には、システム１００は、部分的に車両コンピュータ内において、且つ、部分的にモバイルユーザー装置５０２内において、実装されている。モバイルユーザー装置５０２は、運転者が車両３００の内外に携行しうる、モバイル装置である。図５においては、センサ１０２Ａ～１０２Ｃは、それぞれ、図４の車両３００の内部又は上部のどこかにおいて取り付けることができる。運転状況モニタ３０２は、１つ又は複数の車両メモリ装置４０４内において保存されており、且つ、１つ又は複数の車両プロセッサ回路４０２によって実行される。電子パーソナルアシスタント１０６は、モバイルユーザー装置５０２内において実装されており、且つ、モバイルユーザー装置５０２の１つ又は複数のマイクロフォン及び１つ又は複数のラウドスピーカを介してユーザーと直接的にやり取りしてもよく、或いは、車両３００の１つ又は複数のマイクロフォン及び１つ又は複数のラウドスピーカを介してやり取りしてもよい（例えば、モバイルユーザー装置５０２は、有線又は無線リンクを介して、車両３００と通信することができる）。運転状況モニタ３０２は、センサ１０２Ａ～１０２Ｃを監視することができると共に、本明細書における実施形態に従って電子パーソナルアシスタント１０６の振る舞いを変更するべく、モバイルユーザー装置５０２と通信することができる。
図６は、更に別の、車両に基づいた実施形態を示している。図５においては、センサ１０２Ａ～１０２Ｃは、それぞれ、図４の車両３００の内部又は上部のどこかにおいて取り付けることができる。運転状況モニタ３０２及び電子パーソナルアシスタント１０６は、モバイルユーザー装置５０２内において実装されている。このような一実施形態においては、車両インターフェイスは、電子パーソナルアシスタント１０６に対するアクセスを運転者に提供するべく、モバイルユーザー装置５０２と（例えば、有線又は無線方式によって）インターフェイスしてもよく、或いは、運転者は、電子パーソナルアシスタント１０６と直接的に通信することもできる。モバイルユーザー装置５０２内の運転状況モニタ３０２は、（例えば、車両３００の有線及び／又は無線インターフェイスを介して）センサデータをセンサ１０２Ａ～１０２Ｃから受け取ることができると共に、且つ、本明細書における実施形態に従って電子パーソナルアシスタント１０６の振る舞いを変更するべく、モバイルユーザー装置５０２の内部の電子パーソナルアシスタント１０６と通信することができる。
モバイルユーザー装置５０２の例は、モバイルコンピュータ又はモバイル演算装置（例えば、Microsoft（登録商標）Surface（登録商標）装置、パーソナルデジタルアシスタント（ＰＤＡ：Personal Digital Assistant）、ラップトップコンピュータ、ノートブックコンピュータ、Apple iPad（登録商標）などのタブレットコンピュータ、ネットブックなど）、携帯電話機（例えば、セル電話機、Microsoft Windows（登録商標）phone、Apple iPhone（登録商標）、Google（登録商標）Android（商標）オペレーティングシステムを実装した電話機、Palm（登録商標）装置、Blackberry（登録商標）装置など）、或いは、ウェアラブル演算装置（例えば、スマートウォッチやGoogle（登録商標）Glass（商標）などのスマート眼鏡を含むヘッドマウント型装置など）を含む。
図３～図６の運転状況モニタ３０２は、その機能を実行するべく、様々な方式によって動作することができる。例えば、図７は、例示用の一実施形態による、運転状況の検知に基づいて車両内の電子パーソナルアシスタントの振る舞いを変更するプロセスを提供するフローチャート７００を示している。以下、フローチャート７００について説明する。
フローチャート７００は、ステップ７０２において始まっている。ステップ７０２において、運転状況に関するセンサデータが複数のセンサから受け取られている。上述のように、且つ、図３～図６に示されているように、センサ１０２Ａ～１０２Ｃが、運転状況の態様を検知しており、且つ、それぞれ、運転状況モニタ３０２によって受け取られるセンサデータ１１０Ａ～１１０Ｃを生成している。検知される運転状況は、ユーザーによって使用されている電子パーソナルアシスタントを搬送している車両を含む、運転環境において発生している。運転（又は、その他の）状況においては、様々なタイプのセンサが存在しうる。
例えば、図８は、例示用の一実施形態による車両３００と関連する態様を検知する複数のセンサ８０２Ａ～８０２Ｃのブロック図を示している。センサ８０２Ａ～８０２Ｃは、センサ１０２Ａ～１０２Ｃの例である。図８には、３つのセンサ８０２Ａ～８０２Ｃが示されているが、任意の数のセンサ及びセンサタイプの組合せが存在しうる。例示を目的として、図９との関係において、図８について説明する。図９は、例示用の一実施形態による走行する車両と関連する態様を検知するプロセスを提供するフローチャート９００を示している。一実施形態においては、センサ８０２Ａ～８０２Ｃは、フローチャート９００に従って動作することができる。フローチャート９００のステップのうちの任意の１つ又は複数は、実施形態において、任意の順序において実行することができる。以下、図８及びフローチャート９００について説明する。
ステップ９０２において、運転者の少なくとも１つの態様が検知されている。一実施形態においては、センサ８０２Ａは、運転者８０４（車両３００を運転している人物）の態様を検知するように構成された運転者態様センサ８０２Ａである。運転者態様センサ８０２Ａによって生成されたセンサデータは、少なくとも部分的に運転状況を判定するべく、使用されてもよく、従って、この運転状況は、（例えば、運転者８０４のモバイルユーザー装置内の、或いは、車両３００内に統合された）運転者８０４の電子パーソナルアシスタントの振る舞いを変更するべく、使用されてもよい。
運転者態様センサ８０２Ａは、運転者８０４の態様を検知する能力を有する任意のタイプのセンサであってもよい。例えば、運転者態様センサ８０２Ａは、運転者８０４の発話パターンを監視するように構成された発話パターンセンサ（例えば、発話認識ソフトウェア／ハードウェアと結合された１つ又は複数のマイクロフォン）であってもよい。発話パターンセンサは、長い休止又は中断、不完全な文章、又は混雑した又は危険な交通状況のその他の通知について、運転者８０４の発話を監視することができる。別の例においては、運転者態様センサ８０２Ａは、運転者８０４の顔面表現を監視するように構成された顔面センサ（例えば、顔面認識ソフトウェア／ハードウェアと結合された運転者８０４の顔面に向けられた１つ又は複数のカメラ）であってもよい。例えば、顔面センサは、ストレスを受けた又は緊張している顔面表現、或いは、混雑した又は危険な交通状況を通知しうるその他の表現について、運転者８０４の顔面を監視することができる。別の例においては、運転者態様センサ８０２Ａは、運転者８０４の運転動作を監視するように構成された運転動作センサ（例えば、空間認識ソフトウェア／ハードウェアと結合された、運転者８０４の腕及び／又は脚に向けられた１つ又は複数のカメラ）であってもよい。例えば、運転動作センサは、運転者８０４によって試みられた回避操作を通知しうる、突然の操向、加速、及び／又は減速について、運転者８０４を監視することができる。
ステップ９０４において、車両の少なくとも１つの態様が検知されている。一実施形態においては、センサ８０２Ｂは、車両３００の態様を検知するように構成された車両態様センサ８０２Ｂである。車両態様センサ８０２Ｂによって生成されたセンサデータは、少なくとも部分的に運転状況を判定するべく、使用されてもよく、従って、この運転状況は、運転者８０４の電子パーソナルアシスタントの振る舞いを変更するべく、使用されてもよい。
車両態様センサ８０２Ｂは、車両３００の態様を検知する能力を有する任意のタイプのセンサであってもよい。例えば、車両態様センサ８０２Ａは、１つ又は複数の加速度センサ、モーションセンサ、方向センサ、温度センサ、カメラなどを含む、車両モーションモニタセンサであってもよい。例えば、車両態様センサ８０２Ａは、運転者３００による、車両３００の自動運転システムによる、回避操作、並びに／或いは、衝突を通知しうる、方向転換、加速、減速、突然の停止などを含む、動き又は方向の突然の変化について車両３００を監視することができる。
ステップ９０６において、道路の環境の少なくとも１つの態様が検知されている。一実施形態においては、センサ８０２Ｃは、道路８０６上の車両３００を取り囲んでいる交通の態様を検知するように構成された交通態様センサ８０２Ｃである。交通態様センサ８０２Ｃによって生成されたセンサデータは、少なくとも部分的に運転状況を判定するべく使用されてもよく、従って、この運転状況は、運転者８０４の電子パーソナルアシスタントの振る舞いを変更するべく使用されてもよい。
交通態様センサ８０２Ｃは、道路８０６上の交通の態様を検知する能力を有する任意のタイプのセンサであってもよい。例えば、車両態様センサ８０２Ａは、レーダーディッシュ／アンテナなどの車両／交通センサ、１つ又は複数のカメラ、ソナートランスミッタ／レシーバ、１つ又は複数のＩＲ（赤外線：InfraRed）カメラ、慣性ナビゲーションシステム、ＬＩＤＡＲシステム（例えば、レーザー及び光検出器）などのような、車両／交通センサであってもよい。交通態様センサ８０２Ｃは、車両３００との間における、その他の車両及び／又は障害物などの間における、可能な衝突を検知するべく、その他の車両及び／又は道路８０６上の障害物を検知することができるが、これには、その位置及び速度が含まれる。
運転状況モニタ３０２（図３～図６）は、フローチャート７００（図７）のステップ７０２に従って、任意の数及び組合せにおいて、運転者態様センサ８０２Ａ、車両態様センサ８０２Ｂ、及び／又は交通態様センサ８０２Ｃのうちの１つ又は複数から、センサデータ１１０Ａ～１１０Ｃを受け取ることができる。
フローチャート７００を再度参照すれば、ステップ７０４において、運転状況スコアが、センサデータに基づいて算出されている。実施形態においては、運転状況モニタ３０２は、リアルタイムの交通危険レベルを通知する運転状況スコア（例えば、ＤＳＡスコア）として、状況スコア１１２を算出することができる。例えば、運転状況モニタ３０２は、図１０に示されているように構成することができる。図１０は、例示用の一実施形態による、図１の状況モニタ１０４のブロック図を示している。図１０に示されているように、状況モニタ１０４は、状況スコア計算機１００２と、アシスタント振る舞い変更器１００４と、を含むことができる。一運転状況においては、状況スコア計算機１００２は、運転状況スコア１１２を生成するべく、ステップ７０４を実行するように構成することができる。その他の状況においては、状況スコア計算機１００２は、本明細書のどこか別の場所において記述されているように、且つ、本明細書における教示から当業者には判明するように、その他のタイプの状況スコアを生成することができる。状況スコア計算機１００２は、任意の適切な価値体系に従って状況スコア１１２を生成することができる。
状況スコア計算機１００２は、０～１の範囲内であるなどの、２つの限度の間の値を有することを含む、任意の方式により、運転状態スコアを構成してもよく、この場合に、０は、交通なしを通知し、且つ、１は、最大限に混雑した交通状態を通知している。算出された運転状況スコアは、電子パーソナルアシスタント１０６の振る舞いを変更するべく、提供されてもよく、或いは、その他の方法で使用されてもよい。
実施形態においては、運転状況スコアは、運転者態様センサ８０２Ａ、車両態様センサ８０２Ｂ、及び／又は交通態様センサ８０２Ｃのうちの任意の１つ又は複数によって生成されたセンサデータ（並びに／或いは、更なるセンサデータ）に基づいて、状況スコア計算機１００２によって算出することができる。状況スコア計算機１００２は、状況スコア１１２を生成するべく、任意の方式によってそれぞれの受け取られたセンサデータを重み付けること、並びに、（例えば、任意の等式又は式に従って）任意の方式によって重み付けされたセンサデータを組み合わせること、を含む、任意の方式により、状況スコア１１２を算出することができる。
例えば、状況スコア計算機１００２が、一般的な加法モデルを実装している際には、それぞれのセンサデータ入力は、１つの関数によって処理され、且つ、以下の式１において示されているものなどのように、すべての関数の出力が、運転状況スコアを判定するべく、加算される。
スコア＝ｆｌ（発話）＋ｆ２（顔面画像）＋ｆ３（運転動作）＋ｆ４（車両センサ）＋ｆ５（交通）＋ｆ６（ノイズ） 式１
ここで、
ｆ１＝発話パターンセンサデータに基づいた関数であり、
ｆ２＝顔面画像センサデータに基づいた関数であり、
ｆ３＝運転動作センサデータに基づいた関数であり、
ｆ４＝車両センサデータに基づいた関数であり、
ｆ５＝交通センサデータに基づいた関数であり、且つ、
ｆ６＝ノイズセンサデータ（例えば、突然の大きなノイズなど）に基づいた関数である。
実施形態においては、運転状況スコアを判定するべく、関数ｆ１～ｆ６のうちの任意の１つ又は複数を組み合わせることができる。一実施形態においては、関数ｆ１～ｆ６は、それぞれ、トレーニングデータセットを使用することにより、或いは、その他の方式により、判定することができる。更なる実施形態においては、状況スコア計算機１００２は、サポートベクトルマシン、回帰ツリー、深層ニューラルネットワークなどのような、多次元回帰アルゴリズムを含む、センサデータに基づいて状況スコアを生成するその他の技法を実装することができる。
実施形態においては、状況スコア１１２は、定期的に、既定の時点において、或いは、任意のその他の基準に基づいて、状況スコア計算機１００２によって演算することができる。
フローチャート７００（図７）を再度参照すれば、ステップ７０６において、算出された運転状況スコアに基づいて、電子パーソナルアシスタントの振る舞いが変更されている。一実施形態においては、状況スコア１１２は、電子パーソナルアシスタント１０６の振る舞いを変更するべく、使用されている。例えば、図１、図３～図６、及び図１０に示されているように、状況モニタ１０４／３０２は、状況スコア１１２を出力している。電子パーソナルアシスタント１０６は、状況スコア１１２を受け取り、且つ、状況スコア１１２の値に基づいて、その振る舞い（例えば、機能／動作）を変更する。或いは、この代わりに、システム１００は、図１０に示されているように構成することもできる。図１０においては、状況スコア計算機１００２は、状況スコア１１２を生成しているが、状況スコア１１２を直接的に電子パーソナルアシスタント１０６に提供してはおらず、その代わりに、状況スコア１１２をアシスタント振る舞い変更器１００４に提供しており、このアシスタント振る舞い変更器１００４が、電子パーソナルアシスタント１０６によって受け取られる、且つ、１つ又は複数の振る舞いを変更するように電子パーソナルアシスタントに対して命令する、振る舞い変更命令１０１２を生成している。
更に別の実施形態においては、システム１００は、図１１に示されているように構成することができる。図１１においては、状況モニタ１０４は、状況スコア１１２又は振る舞い変更命令１０１２を電子パーソナルアシスタント１０６に提供してはいない。その代わりに、電子パーソナルアシスタント１０６及び状況モニタ１０４の両方が、要求１０８を受け取っている。電子パーソナルアシスタント１０６は、要求１０８に基づいて応答１１４（例えば、ユーザー向けの発話）を生成し、且つ、応答１１４は、ユーザーに対して直接的に提供されるのではなく、状況モニタ１０４によってインターセプトされている。状況モニタ１０４は、本明細書において記述されているように、状況スコアを生成し、且つ、状況スコアがこのような伝達を認めている場合に（例えば、状況が危険ではない場合に）、応答１１４をユーザーに提供する一方で、状況スコアがこのような一時停止を認めている場合には（例えば、状況が危険であると判定された場合には）、ユーザーに対する応答１１４の提供を一時停止している。
従って、受け取られた状況スコアに基づいて、電子パーソナルアシスタント１０６は、その振る舞いを変更することができる。一運転状況実施形態においては、電子パーソナルアシスタント１０６は、図１２に従って動作することができる。図１２は、例示用の一実施形態による、検知された状態に基づいて電子パーソナルアシスタントによるやり取りを一時停止及び再開するプロセスを提供するフローチャート１２００を示している。フローチャート１２００は、フローチャート７００（図７）のステップ７０６において、実行されてもよく、且つ、以下、これについて説明する。
フローチャート１２００は、ステップ１２０２によって始まっている。ステップ１２０２においては、電子パーソナルアシスタントによって運転者の気が散ることを回避するべく、運転状況スコアが第１の既定の条件を充足している際に、運転者との間における電子パーソナルアシスタントによるやり取りが一時停止される。上述のように、実施形態においては、電子パーソナルアシスタント１０６の振る舞いは、電子パーソナルアシスタント１０６が状況スコア１１２又は振る舞い変更命令１０１２を受け取ることに起因して、或いは、状況モニタ１０４が電子パーソナルアシスタント１０６からの応答１１４を抑制することに起因して、変更されている。状況スコア１１２又は振る舞い変更命令１０１２は、電子パーソナルアシスタント１０６が運転者との間におけるやり取りを一時停止するようにするべく、構成されてもよく、或いは、電子パーソナルアシスタント１０６からの応答１１４が、やり取りが一時停止されるようにするべく、抑制されてもよい。これは、混雑した又は危険な運転状況の際に、運転者の気を散らせることを回避するべく、実行することができる。
例えば、状況スコア１１２が、第１の既定の条件を充足している際には（例えば、状況スコア１１２を第１既定閾値と比較することによって判定されうる、第１既定閾値を上回る、これに等しい、或いは、これ未満であるなどのような、第１既定閾値との間における既定の関係を有する際には）、運転者との間における電子パーソナルアシスタント１０６によるやり取りが一時停止される。一実施形態においては、アシスタント振る舞い変更器１００４は、状況スコア１１２が既定の閾値を上回る値を有する際に、振る舞い変更命令１０１２を生成することができる。一運転状況実施形態においては、第１閾値は、運転者の注意がそれを上回る場合に運転に合焦することを要する、混雑した交通の閾値レベルに対応しうる。別の実施形態においては、アシスタント振る舞い変更器１００４は、状況スコア１１２の値を命令テーブルに適用することができる。命令テーブルは、対応する状況スコア／範囲にマッピングされた、複数の振る舞い変更命令を列挙している。（例えば、命令に対応する特定の範囲に含まれているなどの）状況スコア１１２の値に対応する振る舞い変更命令が、命令テーブルから選択され、且つ、選択された命令は、電子パーソナルアシスタント１０６に提供される。列挙されている命令の１つ又は複数は、やり取りの一時停止を含むことができる。その他の実施形態においては、アシスタント振る舞い変更器１００４は、その他の方法により、振る舞い変更命令１０１２を判定することができる。
フローチャート１２００のステップ１２０４において、運転状況スコアが第２条件を充足している際に、運転者との間における電子パーソナルアシスタントによるやり取りが再開されている。実施形態においては、状況スコア１１２又は振る舞い変更命令１０１２は、電子パーソナルアシスタント１０６が運転者との間におけるやり取りを再開するようにするべく構成されてもよく、或いは、応答１１４が、やり取りが再開されるようにするべく、状況モニタ１０４により、電子パーソナルアシスタント１０６に提供されてもよい。これは、やり取りによって運転者の気が散ることに関する懸念を十分に低減するように運転状態が十分に改善された際に、実行することができる。
例えば、状況スコア１１２が、第２既定条件を充足している際に（例えば、第２既定閾値を上回る、これに等しい、これ未満であるなどのような、第２既定閾値との間における既定の関係を有する際に）、運転者との間における電子パーソナルアシスタント１０６によるやり取りが再開される。一実施形態においては、アシスタント振る舞い変更器１００４は、状況スコア１１２が第２既定閾値未満の値を有する際に、振る舞い変更命令１０１２を生成することができる。この第２閾値は、やり取りを一時停止するべく使用される第１閾値と同一であってもよく、或いは、第１及び第２閾値は、（例えば、ヒステリシスを提供するように）互いに異なっていてもよい。一運転状況実施形態においては、第２閾値は、運転者がその下方において電子パーソナルアシスタント１０６に対してなんらかの注意を付与しうる、混雑した交通の閾値レベルに対応しうる。別の実施形態においては、アシスタント振る舞い変更器１００４は、状況スコア１１２の値をやり取りの再開を可能にするエントリを含みうる上述の命令テーブルに対して適用することができると共に、提供するべく対応する命令を抽出することができる。
上述のように、状況スコア１１２に基づいて、電子パーソナルアシスタント１０６は、（例えば、音楽の再生を停止する、発話を停止する、メッセージの表示を停止する、ビデオの表示を停止するなどのように）任意のタイプ及び数の動作の実行を一時停止することができる。或いは、この代わりに、状況スコアに基づいて、電子パーソナルアシスタント１０６は、（例えば、音楽の再生を開始する、発話を開始する、メッセージを示す、ビデオを示すなどのように）動作を開始することもでき、且つ／又は、別の方式によって振る舞いを変更することもできる。
一実施形態においては、フローチャート７００（図７）のステップ７０６は、図１３に従って振る舞いを変更することができる。図１３は、例示用の一実施形態による、電子パーソナルアシスタントの振る舞いを変更するステップ１３０２を示している。以下、ステップ１３０２について説明する。ステップ１３０２においては、運転者との間における口頭の又は視覚的な通信のうちの少なくとも１つを遅延させること、運転者に対する口頭の又は視覚的な支援のうちの少なくとも１つを提供すること、又は運転者に対して示唆を提供すること、のうちの少なくとも１つが実行される。
実施形態においては、運転者の気が散ることを防止するべく、運転者との間における電子パーソナルアシスタント１０６による口頭の又は視覚的な（例えば、テキストや画像などの）通信を遅延又は一時停止することができる。例えば、図１０との関係において、電子パーソナルアシスタント１０６の発話インターフェイス１００６は、状況スコア１１２又は振る舞い変更命令１０１２を受け取ることができる。発話インターフェイス１００６は、電子パーソナルアシスタント１０６による発話通信を不可能又は可能にする能力を有することができる。状況スコア１１２又は振る舞い変更命令１０１２を受け取った際に、発話インターフェイス１００６は、（状況スコア１１２又は振る舞い変更命令１０１２の対応する値／命令により、再度可能にされる時点まで）電子パーソナルアシスタント１０６による発話通信を不可能にすることができる。
更には、ステップ１３０２によれば、その他の実施形態においては、電子パーソナルアシスタント１０６は、状況スコア１１２又は振る舞い変更命令１０１２に基づいて情報を運転者に提供することもできる。例えば、車両の状態、現時点の場所、運転者の個人的な情報（例えば、予定されている面会の約束及びイベント）に関するセンサデータに基づいて、電子パーソナルアシスタント１０６は、将来の計画について助言するべく、情報を運転者に提供することができる。例えば、車両の燃料が少ないことが、或いは、機械的な問題点を有することが、センサによって検出された場合に、電子パーソナルアシスタント１０６は、現時点の場所、交通状態、及び運転者のスケジュールに基づいて好都合なガソリンスタンドを示唆することができる。
ＩＩＩ．例示用の可動型及び固定型装置の実施形態
センサモニタ１０４、電子パーソナルアシスタント１０６、１つ又は複数の車両プロセッサ回路４０２、モバイルユーザー装置５０２、状況スコア計算機１００２、アシスタント振る舞い変更器１００４、発話インターフェイス１００６、フローチャート２００、フローチャート７００、フローチャート１２００、及びステップ１３０２は、ハードウェアにおいて、或いは、ソフトウェア及び／又はファームウェアと組み合わされたハードウェアにおいて、実装することができる。例えば、センサモニタ１０４、電子パーソナルアシスタント１０６、４０２、状況スコア計算機１００２、アシスタント振る舞い変更器１００４、発話インターフェイス１００６、フローチャート２００、フローチャート７００、フローチャート１２００、及び／又はステップ１３０２は、１つ又は複数のプロセッサ内において実行されると共にコンピュータ可読ストレージ媒体内において保存されるように構成されたコンピュータプログラムコード／命令として実装することができる。或いは、この代わりに、センサモニタ１０４、電子パーソナルアシスタント１０６、１つ又は複数の車両プロセッサ回路４０２、モバイルユーザー装置５０２、状況スコア計算機１００２、アシスタント振る舞い変更器１００４、発話インターフェイス１００６、フローチャート２００、フローチャート７００、フローチャート１２００、及びステップ１３０２は、ハードウェア論理／電気回路として実装することもできる。
例えば、一実施形態において、センサモニタ１０４、電子パーソナルアシスタント１０６、１つ又は複数の車両プロセッサ回路４０２、モバイルユーザー装置５０２、状況スコア計算機１００２、アシスタント振る舞い変更器１００４、発話インターフェイス１００６、フローチャート２００、フローチャート７００、フローチャート１２００、及びステップ１３０２のうちの、任意の組合せにおける、１つ又は複数は、システムオンチップ（ＳｏＣ：System on a Chip）内において一緒に実装することができる。ＳｏＣは、プロセッサ（例えば、中央処理ユニット（ＣＰＵ：Central Processing Unit）、マイクロコントローラ、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ：Digital Signal Processor）など）、メモリ、１つ又は複数の通信インターフェイス、及び／又は更なる回路のうちの１つ又は複数を含む集積回路チップを含むことができると共に、任意選択により、機能を実行するべく、受け取ったプログラムコードを実行することができ且つ／又は、埋め込まれたファームウェアを含むことができる。
図１４は、実施形態が実装されうる演算装置１４００の例示用の一実装形態を示している。例えば、１つ又は複数の車両プロセッサ回路４０２及びモバイルユーザー装置５０２は、それぞれ、演算装置１４００及び／又は代替特徴のうちの１つ又は複数の特徴を含む、固定型又は可動型コンピュータ実施形態における演算装置１４００に類似した１つ又は複数の演算装置内において実装することができる。本明細書において提供されている演算装置１４００の説明は、例示を目的として提供されるものであり、従って、限定を意図したものではない。実施形態は、当業者には判明するように、更なるタイプのコンピュータシステムにおいて実装することができる。
図１４に示されているように、演算装置１４００は、プロセッサ回路１４０２と呼称される１つ又は複数のプロセッサ、システムメモリ１４０４、並びに、システムメモリ１４０４を含む様々なシステムコンポーネントをプロセッサ回路１４０２に対して結合するバス１４０６を含む。プロセッサ回路１４０２は、中央処理ユニット（ＣＰＵ）、マイクロコントローラ、マイクロプロセッサ、及び／又はその他の物理的なハードウェアプロセッサ回路として１つ又は複数の物理的なハードウェア電気回路装置要素及び／又は集積回路装置（半導体材料チップ又はダイ）内において実装された電気的且つ／又は光学的な回路である。プロセッサ回路１４０２は、オペレーティングシステム１４３０、アプリケーションプログラム１４３２、その他のプログラム１４３４などのプログラムコードなどの、コンピュータ可読媒体内において保存されているプログラムコードを実行することができる。バス１４０６は、メモリバス又はメモリコントローラ、周辺バス、アクセラレーテッドグラフィクスポート、及び様々なバスアーキテクチャのうちの任意のものを使用するプロセッサ又はローカルバスを含む、いくつかのタイプのバス構造のうちの任意のものの１つ又は複数を表している。システムメモリ１４０４は、読み出し専用メモリ（ＲＯＭ）１４０８と、ランダムアクセスメモリ（ＲＡＭ）１４１０と、を含む。基本入出力システム１４１２（ＢＩＯＳ：Basic Input/Output System）は、ＲＯＭ１４０８内において保存される。
又、演算装置１４００は、ハードディスクとの間において読み取り及び書き込みを実行するハードディスクドライブ１４１４、着脱自在の磁気ディスク１４１８との間において読み取り及び書き込みを行う磁気ディスクドライブ１４１６、及びＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、又はその他の光媒体などの着脱自在の光ディスク１４２２との間において読み取り及び書き込みを行う光ディスクドライブ１４２０、というドライブのうちの１つ又は複数をも有する。ハードディスクドライブ１４１４、磁気ディスクドライブ１４１６、及び光ディスクドライブ１４２０は、それぞれ、ハードディスクドライブインターフェイス１４２４、磁気ディスクドライブインターフェイス１４２６、及び光ドライブインターフェイス１４２８により、バス１４０６に接続されている。ドライブ及びその関連するコンピュータ可読媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、及びコンピュータ用のその他のデータの不揮発性の保存を提供している。ハードディスク、着脱自在の磁気ディスク、及び着脱自在の光ディスクについて記述されているが、フラッシュメモリカード、デジタルビデオディスク、ＲＡＭ、ＲＯＭ、及びその他のハードウェアストレージ媒体などの、その他のタイプのハードウェアに基づいたコンピュータ可読ストレージ媒体を使用することにより、データを保存することができる。
いくつかのプログラムモジュールは、ハードディスク、磁気ディスク、光ディスク、ＲＯＭ、又はＲＡＭ上において保存することができる。これらのプログラムは、オペレーティングシステム１４３０、１つ又は複数のアプリケーションプログラム１４３２、その他のプログラム１４３４、及びプログラムデータ１４３６を含む。アプリケーションプログラム１４３２又はその他のプログラム１４３４は、例えば、センサモニタ１０４、電子パーソナルアシスタント１０６、状況スコア計算機１００２、アシスタント振る舞い変更器１００４、発話インターフェイス１００６、フローチャート２００、フローチャート７００、フローチャート１２００、及びステップ１３０２（フローチャート２００、７００、１２００の任意の適切なステップを含む）、並びに／或いは、本明細書において記述されている更なる実施形態を実装するためのコンピュータプログラムロジック（例えば、コンピュータプログラムコード又は命令）を含むことができる。
ユーザーは、キーボード１４３８及びポインティング装置１４４０などの入力装置を通じて、コマンド及び情報を演算装置１４００に入力することができる。その他の入力装置（図示されてはいない）は、マイクロフォン、ジョイスティック、ゲームパッド、衛星放送受信アンテナ、スキャナ、タッチスクリーン及び／又はタッチパッド、音声入力を受け取るための音声認識システム、ジェスチャ入力を受け取るためのジェスチャ認識システム、又はこれらに類似したものを含むことができる。これらの及びその他の入力装置は、しばしば、バス１４０６に結合されたシリアルポートインターフェイス１４４２を通じてプロセッサ回路１４０２に接続されているが、パラレルポート、ゲームポート、又はユニバーサルシリアルバス（ＵＳＢ：Universal Serial Bus）などの、その他のインターフェイスにより、接続することもできる。
又、表示画面１４４４は、ビデオアダプタ１４４６などの、インターフェイスを介してバス１４０６に接続されている。表示画面１４４４は、演算装置１４００の外部に位置してもよく、或いは、これに内蔵されていてもよい。表示画面１４４４は、情報を表示しうるのみならず、（例えば、接触、指ジェスチャ、仮想キーボードなどによって）ユーザーコマンド及び／又はその他の情報を受け取るためのユーザーインターフェイスであってもよい。表示画面１４４４に加えて、演算装置１４００は、スピーカ及びプリンタなどの、その他の周辺出力装置（図示されてはいない）を含むことができる。
演算装置１４００は、アダプタ又はネットワークインターフェイス１４５０、モデム１４５２、又はネットワーク上において通信を確立するその他の手段を通じて、ネットワーク１４４８（例えば、インターネット）に接続されている。内部又は外部に位置しうる、モデム１４５２は、図１４に示されているように、シリアルポートインターフェイス１４４２を介してバス１４０６に接続されてもよく、或いは、パラレルインターフェイスを含む別のインターフェイスタイプを使用することにより、バス１４０６に接続されてもよい。
本明細書において使用されている「コンピュータプログラム媒体」、「コンピュータ可読媒体」、及び「コンピュータ可読ストレージ媒体」という用語は、ハードディスクドライブ１４１４、着脱自在の磁気ディスク１４１８、着脱自在の光ディスク１４２２と関連するハードディスク、ＲＡＭ、ＲＯＭ、フラッシュメモリカード、デジタルビデオディスク、ＺＩＰディスク、ＭＥＭ、ナノ技術に基づいたストレージ装置などのその他の物理的ハードウェア媒体、並びに、更なるタイプの物理的／有体的ハードウェアストレージ媒体などの、物理的ハードウェア媒体を意味するべく使用されている。このようなコンピュータ可読ストレージ媒体は、通信媒体とは弁別されると共に、これらとはオーバーラップしていない（通信媒体を含んではいない）。通信媒体は、搬送波などの変調されたデータ信号内において、コンピュータ可読命令、データ構造、プログラムモジュール、又はその他のデータを実施している。「変調されたデータ信号」という用語は、信号内において情報をエンコードするような方式によって設定又は変更されたその特性の１つ又は複数を有する信号を意味している。例として、且つ、限定を伴うことなしに、通信媒体は、音響、ＲＦ、赤外線、及びその他の無線媒体などの、無線媒体のみならず、有線媒体をも含んでいる。又、実施形態は、コンピュータ可読ストレージ媒体を対象としている実施形態とは別個であり、且つ、これとはオーバーラップしていない、この種の通信媒体をも対象としている。
上述のように、コンピュータプログラム及びモジュール（アプリケーションプログラム１４３２及びその他のプログラム１４３４を含む）は、ハードディスク、磁気ディスク、光ディスク、ＲＯＭ、ＲＡＭ、又はその他のハードウェアストレージ媒体上において保存することができる。又、このようなコンピュータプログラムは、ネットワークインターフェイス１４５０、シリアルポートインターフェイス１４４２、又は任意のその他のインターフェイスタイプを介して受け取ることもできる。このようなコンピュータプログラムは、アプリケーションによって実行されるか又は読み込まれた際に、演算装置１４００が本明細書において記述されている実施形態の特徴を実装することを可能にする。従って、このようなコンピュータプログラムは、演算装置１４００のコントローラを表している。
又、実施形態は、任意のコンピュータ可読媒体上において保存されているコンピュータコード又は命令を有するコンピュータプログラムプロダクトをも対象としている。このようなコンピュータプログラムプロダクトは、ハードディスクドライブ、光ディスクドライブ、メモリ装置パッケージ、携帯型メモリスティック、メモリカード、及びその他のタイプの物理的ストレージハードウェアを含む。
ＩＶ．更なる例示用の実施形態
一実施形態においては、少なくとも１つの演算装置内の方法は、センサデータを生成するべく複数のセンサによって状況を検知することと、センサデータに基づいて状況スコアを算出することと、算出された状況スコアに基づいて電子パーソナルアシスタントの振る舞いを変更することと、を有する。
一実施形態においては、状況は、運転者が道路上において車両を運転している運転状況であり、上記算出することは、センサデータに基づいて運転状況スコアを算出することを有し、且つ、上記変更することは、算出された運転情報スコアに基づいて電子パーソナルアシスタントの振る舞いを変更することを有する。
一実施形態においては、検知することは、運転者の少なくとも１つの態様を検知することを有する。
一実施形態においては、検知することは、車両の少なくとも１つの態様を検知することを有する。
一実施形態においては、検知することは、道路の環境の少なくとも１つの態様を検知することを有する。
一実施形態においては、変更することは、電子パーソナルアシスタントによって運転者の気が散ることを防止するべく、運転状況スコアが既定の値を有する場合に、運転者との間における電子パーソナルアシスタントによるやり取りを一時停止することを有する。
一実施形態においては、やり取りを一時停止することは、運転者との間における口頭の又は視覚的な通信のうちの少なくとも１つを遅延させることを有する。
一実施形態においては、変更することは、口頭の又は視覚的な支援のうちの少なくとも１つを運転者に対して提供することを有する。
別の実施形態においては、少なくとも１つの演算装置は、状況を検知する複数のセンサから受け取られたセンサデータに基づいて状況スコアを算出するように構成された状況モニタと、算出された状況スコアに基づいて振る舞いを変更するように構成された電子パーソナルアシスタントと、を有する。
一実施形態においては、状況は、運転者が道路上において車両を運転している運転状況であり、且つ、状況モニタは、センサデータに基づいて運転状況スコアを算出するように構成された運転状況モニタを含む。
一実施形態においては、センサは、運転者の少なくとも１つの態様を検知するように構成された第１センサ、車両の少なくとも１つの態様を検知するように構成された第２センサ、又は道路の環境の少なくとも１つの態様を検知するように構成された第３センサ、のうちの少なくとも１つを有する。
一実施形態においては、電子パーソナルアシスタントは、運転状況スコアが既定の値を有する場合に、運転者との間における電子パーソナルアシスタントによるやり取りを一時停止し、これにより、電子パーソナルアシスタントによって運転者の気が散ることを防止することにより、振る舞いを変更するように構成されている。
一実施形態においては、少なくとも１つの演算装置は、運転状況モニタ及び電子パーソナルアシスタントを実装するモバイルユーザー装置を更に有する。
一実施形態においては、少なくとも１つの演算装置は、電子パーソナルアシスタントを実装するモバイルユーザー装置を更に有し、且つ、運転状況モニタは、車両のプロセッサ回路によって実装されている。
一実施形態においては、少なくとも１つの演算装置は、運転状況モニタ及び電子パーソナルアシスタントを実装する車両のプロセッサを更に有する。
更に別の実施形態においては、演算装置は、少なくとも１つのプロセッサ回路と、動作を実行するべく少なくとも１つのプロセッサ回路によって実行されるように構成されたプログラムコードを保存するメモリと、を含み、動作は、状況を検知する複数のセンサから受け取られたセンサデータに基づいて状況スコアを算出することと、電子パーソナルアシスタントの振る舞いが、算出された状況スコアに基づいて変更されるようにすることと、を含む。
一実施形態においては、状況は、運転者が道路上において車両を運転している運転状況であり、上記算出することは、センサデータに基づいて運転状況スコアを算出することを有し、且つ、上記変更されるようにすることは、電子パーソナルアシスタントの振る舞いが、算出された運転状況スコアに基づいて変更されるようにすることを有する。
一実施形態においては、検知することは、運転者の少なくとも１つの態様を検知すること、車両の少なくとも１つの態様を検知すること、或いは、道路の環境の少なくとも１つの態様を検知すること、のうちの少なくとも１つを有する。
一実施形態においては、変更するようにすることは、電子パーソナルアシスタントによって運転者の気が散ることを防止するべく、運転状況スコアが既定の値を有する場合に、電子パーソナルアシスタントが、運転者との間におけるやり取りを一時停止するようにすることを有する。
一実施形態においては、電子パーソナルアシスタントが、運転者との間におけるやり取りを一時停止するようにすることは、電子パーソナルアシスタントが、運転者との間における口頭の又は視覚的な通信のうちの少なくとも１つを遅延させるようにすることを有する。
ＶＩ．結言
以上、本発明の様々な実施形態について説明したが、これらは、限定ではなく、例としてのみ、提示されていることを理解されたい。当業者は、添付の請求項において定義されている本発明の精神及び範囲を逸脱することなしに、形態及び詳細の様々な変更がこれらの実施形態において実施されうることを理解するであろう。従って、本発明の広さ及び範囲は、上述の例示用の実施形態のいずれによっても限定されず、且つ、添付の請求項及びその均等物によってのみ、定義されるものである。

Claims (16)

  1. 少なくとも１つの演算装置内における方法であって、
    発話された要求を受け取り、音声で応答することを含む音声通話を通じてユーザと対話するように構成されている電子パーソナルアシスタントであるアプリケーションを前記演算装置内で実行することと、
    前記ユーザから発話された要求に応答して前記電子パーソナルアシスタントにより生成された応答をインターセプトすることと、
    複数のセンサによって状況を検知してセンサデータを生成することと、
    前記センサデータに基づいて状況スコアを算出することと、
    前記算出された状況スコアに基づいて、前記電子パーソナルアシスタントから前記ユーザへ前記応答を提供することを保留することと、
    を含み、
    前記状況は、運転者が道路上において車両を運転している運転状況であり、
    前記センサデータは、前記運転者の発話パターンを含み、
    前記算出することは、前記センサデータに基づいて運転状況スコアを算出することを含み、
    前記保留することは、前記算出された運転状況スコアに基づいて、前記電子パーソナルアシスタントから前記運転者へ前記応答を提供することを保留することを含む、方法。
  2. 前記検知することは、
    前記運転者の少なくとも１つの態様を検知すること、
    を含む、請求項１に記載の方法。
  3. 前記検知することは、
    前記車両の少なくとも１つの態様を検知すること、
    を含む、請求項１に記載の方法。
  4. 前記検知することは、
    前記道路の環境の少なくとも１つの態様を検知すること、
    を含む、請求項１に記載の方法。
  5. 前記保留することは、
    前記電子パーソナルアシスタントによって前記運転者の気が散ることを防止するべく、前記運転状況スコアが既定の値を有する場合に、前記電子パーソナルアシスタントから前記運転者へ前記応答を提供することを保留すること、
    を含む、請求項１に記載の方法。
  6. 前記保留することは、
    前記運転者との間における口頭の又は視覚的な通信のうちの少なくとも１つを遅延させること、
    を含む、請求項５に記載の方法。
  7. 少なくとも１つの演算装置であって、
    発話された要求を受け取り、音声で応答することを含む音声通話を通じてユーザと対話するように構成されている電子パーソナルアシスタントであるアプリケーションと、
    状況を検知する複数のセンサから受け取られたセンサデータに基づいて状況スコアを算出し、前記ユーザから発話された要求に応答して前記電子パーソナルアシスタントにより生成された応答をインターセプトし、前記算出された状況スコアに基づいて、前記電子パーソナルアシスタントから前記ユーザへ前記応答を提供することを保留するように構成されている状況モニタと、
    を備え、
    前記状況は、運転者が道路上において車両を運転している運転状況であり、前記センサデータは、前記運転者の発話パターンを含み、前記状況モニタは、前記センサデータに基づいて運転状況スコアを算出するように構成された運転状況モニタを含む、少なくとも１つの演算装置。
  8. 前記センサは、
    前記運転者の少なくとも１つの態様を検知するように構成された第１センサ、
    前記車両の少なくとも１つの態様を検知するように構成された第２センサ、又は、
    前記道路の環境の少なくとも１つの態様を検知するように構成された第３センサ、
    のうちの少なくとも１つを備える、請求項７に記載の少なくとも１つの演算装置。
  9. 前記運転状況モニタは、前記運転状況スコアが既定の値を有する場合に、前記電子パーソナルアシスタントから前記運転者へ前記応答を提供することを保留し、これにより、前記電子パーソナルアシスタントによって前記運転者の気が散ることを回避するように構成されている、請求項７に記載の少なくとも１つの演算装置。
  10. 前記運転状況モニタ及び前記電子パーソナルアシスタントを実装するモバイルユーザー装置を更に備える、請求項７に記載の少なくとも１つの演算装置。
  11. 前記電子パーソナルアシスタントを実装するモバイルユーザー装置を更に有し、且つ、
    前記運転状況モニタは、前記車両のプロセッサ回路によって実装されている、請求項７に記載の少なくとも１つの演算装置。
  12. 前記運転状況モニタ及び前記電子パーソナルアシスタントを実装する前記車両のプロセッサを更に備える、請求項７に記載の少なくとも１つの演算装置。
  13. 演算装置であって、
    少なくとも一つのプロセッサ回路と、
    前記少なくとも一つのプロセッサ回路により実行されて動作を実行するプログラムコードを格納するメモリと、を備え、
    前記動作は、
    発話された要求を受け取り、音声で応答することを含む音声通話を通じてユーザと対話するように構成されている電子パーソナルアシスタントであるアプリケーションを実行することと、
    前記ユーザから発話された要求に応答して前記電子パーソナルアシスタントにより生成された応答をインターセプトすることと、
    状況を検知する複数のセンサから受け取られたセンサデータに基づいて状況スコアを算出することと、
    前記算出された状況スコアに基づいて、前記電子パーソナルアシスタントから前記ユーザへ前記応答を提供することを保留することと、
    を含み、
    前記状況は、運転者が道路上において車両を運転している運転状況であり、
    前記センサデータは、前記運転者の発話パターンを含み、
    前記算出することは、前記センサデータに基づいて運転状況スコアを算出することを含み、
    前記保留することは、前記算出された運転状況スコアに基づいて、前記電子パーソナルアシスタントから前記運転者へ前記応答を提供することを保留することを含む、演算装置。
  14. 前記検知することは、
    前記運転者の少なくとも１つの態様を検知すること、
    前記車両の少なくとも１つの態様を検知すること、又は
    前記道路の環境の少なくとも１つの態様を検知すること、
    の何れか一つを含む、請求項１３に記載の演算装置。
  15. 前記保留することは、
    前記電子パーソナルアシスタントによって前記運転者の気が散ることを防止するべく、前記運転状況スコアが既定の値を有する場合に前記電子パーソナルアシスタントから前記運転者へ前記応答を提供することを保留することを含む、請求項１３に記載の演算装置。
  16. 前記保留することは、
    前記運転者との間における口頭の又は視覚的な通信のうちの少なくとも１つを遅延させることを含む、請求項１５に記載の演算装置。

JP2018559276A 2016-06-24 2017-06-20 状況認知型のパーソナルアシスタント Active JP7195931B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/192,880 US10474946B2 (en) 2016-06-24 2016-06-24 Situation aware personal assistant
US15/192,880 2016-06-24
PCT/US2017/038213 WO2017223013A1 (en) 2016-06-24 2017-06-20 Situation aware personal assistant

Publications (3)

Publication Number Publication Date
JP2019527387A JP2019527387A (ja) 2019-09-26
JP2019527387A5 JP2019527387A5 (ja) 2020-07-09
JP7195931B2 true JP7195931B2 (ja) 2022-12-26

Family

ID=59276847

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018559276A Active JP7195931B2 (ja) 2016-06-24 2017-06-20 状況認知型のパーソナルアシスタント

Country Status (17)

Country Link
US (2) US10474946B2 (ja)
EP (1) EP3475136A1 (ja)
JP (1) JP7195931B2 (ja)
KR (1) KR102606026B1 (ja)
CN (1) CN109328155A (ja)
AU (1) AU2017281436B2 (ja)
BR (1) BR112018074326A2 (ja)
CA (1) CA3023275A1 (ja)
CL (1) CL2018003615A1 (ja)
CO (1) CO2018013675A2 (ja)
IL (1) IL263759B (ja)
MX (1) MX2018015623A (ja)
PH (1) PH12018550195A1 (ja)
RU (1) RU2018145529A (ja)
SG (1) SG11201810890RA (ja)
WO (1) WO2017223013A1 (ja)
ZA (1) ZA201807409B (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10474946B2 (en) * 2016-06-24 2019-11-12 Microsoft Technology Licensing, Llc Situation aware personal assistant
JP6558719B2 (ja) * 2017-03-29 2019-08-14 マツダ株式会社 車両運転支援システム及び車両運転支援方法
CN109995934A (zh) * 2019-02-27 2019-07-09 维沃移动通信有限公司 提示方法及终端设备
JP7145105B2 (ja) * 2019-03-04 2022-09-30 本田技研工業株式会社 車両制御システム、車両制御方法、およびプログラム
CN110059650A (zh) * 2019-04-24 2019-07-26 京东方科技集团股份有限公司 信息处理方法、装置、计算机存储介质及电子设备
EP3730332A1 (en) * 2019-04-26 2020-10-28 Zenuity AB Driver distraction determination
US10729368B1 (en) * 2019-07-25 2020-08-04 Facemetrics Limited Computer systems and computer-implemented methods for psychodiagnostics and psycho personality correction using electronic computing device
KR20210015428A (ko) 2019-08-02 2021-02-10 삼성전자주식회사 사용자 인터페이스를 제공하는 전자 장치 및 방법
KR20190099170A (ko) * 2019-08-06 2019-08-26 엘지전자 주식회사 지능형 단말의 주변 상황에 따른 알림 제공 방법 및 이를 위한 장치
US11157167B2 (en) 2019-09-09 2021-10-26 PAG Financial International LLC Systems and methods for operating a mobile application using a communication tool
US10992605B2 (en) * 2019-09-09 2021-04-27 PAG Financial International LLC Systems and methods for operating a mobile application using a conversation interface
TWI815019B (zh) * 2019-10-04 2023-09-11 仁寶電腦工業股份有限公司 資訊推送系統、方法與紀錄媒體
JP2021144321A (ja) * 2020-03-10 2021-09-24 株式会社東海理化電機製作所 エージェントシステム、制御装置、およびコンピュータプログラム
CN112698872A (zh) * 2020-12-21 2021-04-23 北京百度网讯科技有限公司 语音数据处理的方法、装置、设备及存储介质
JP7447039B2 (ja) * 2021-03-10 2024-03-11 矢崎総業株式会社 車両用表示装置
US20230063708A1 (en) * 2021-08-27 2023-03-02 Nissan North America, Inc. Systems and methods for testing driver awareness within a vehicle and/or intervening during a possible crisis
DE102021126901A1 (de) 2021-10-17 2023-04-20 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zur Steuerung einer Sprachinteraktion in einem Fahrzeug

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001191871A (ja) 2000-01-11 2001-07-17 Toyota Central Res & Dev Lab Inc 車載情報提示制御装置
JP2002120656A (ja) 2000-10-16 2002-04-23 Mitsubishi Motors Corp 情報表示装置
JP2004050975A (ja) 2002-07-19 2004-02-19 Equos Research Co Ltd 車載装置、データ作成装置、及びデータ作成プログラム
JP2004512609A (ja) 2000-10-14 2004-04-22 モトローラ・インコーポレイテッド 車両運転手の能力評価及び向上のための方法及び装置
JP2008191074A (ja) 2007-02-07 2008-08-21 Fujitsu Ltd 出力調停プログラム及び装置
JP2008233678A (ja) 2007-03-22 2008-10-02 Honda Motor Co Ltd 音声対話装置、音声対話方法、及び音声対話用プログラム
CN101295013A (zh) 2007-04-28 2008-10-29 佛山市顺德区顺达电脑厂有限公司 运用全球定位系统控制影音播放之系统及其方法
US20100128863A1 (en) 2008-11-21 2010-05-27 Robert Bosch Gmbh Context aware voice communication proxy
US20130127614A1 (en) 2011-11-22 2013-05-23 Verizon Corporate Services Group Inc. Method and system for providing notifications of a mobile device in motion to determine call treatment
US20160014062A1 (en) 2014-07-08 2016-01-14 Rinkesh Patel System and method for blocking or delaying notifications on a mobile device while simultaneously allowing approved integrated functionality
WO2016081326A1 (en) 2014-11-20 2016-05-26 Microsoft Technology Licensing, Llc Vehicle-based multi-modal interface

Family Cites Families (68)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1852836A3 (en) 1999-05-26 2011-03-30 Johnson Controls Technology Company Wireless communications system and method
JP4400951B2 (ja) * 1999-05-27 2010-01-20 富士通テン株式会社 車載用音声認識装置、及び車載用音声認識制御方法
DE19934105A1 (de) * 1999-07-21 2001-01-25 Nokia Mobile Phones Ltd Bedienbares Gerät
US6580973B2 (en) 2000-10-14 2003-06-17 Robert H. Leivian Method of response synthesis in a driver assistance system
US20020151297A1 (en) 2000-10-14 2002-10-17 Donald Remboski Context aware wireless communication device and method
US6774795B2 (en) 2001-06-30 2004-08-10 Koninklijke Philips Electroncs N.V. Electronic assistant incorporated in personal objects
US20030167167A1 (en) * 2002-02-26 2003-09-04 Li Gong Intelligent personal assistants
DE10316477A1 (de) 2003-04-09 2004-10-28 Daimlerchrysler Ag Benutzerschnittstelle und Kommunikationssystem für ein Kraftfahrzeug und zugehörige Betriebsverfahren
BRPI0411056A (pt) * 2003-06-06 2007-04-17 Volvo Technology Corp método e disposição para controlar subsistemas veiculares baseados na atividade interpretativa do condutor
US7188012B2 (en) 2004-08-24 2007-03-06 Ford Global Technologies, Llc Adaptive voice control and vehicle collision warning and countermeasure system
US8560041B2 (en) 2004-10-04 2013-10-15 Braingate Co., Llc Biological interface system
US20060149544A1 (en) * 2005-01-05 2006-07-06 At&T Corp. Error prediction in spoken dialog systems
US20070032738A1 (en) 2005-01-06 2007-02-08 Flaherty J C Adaptive patient training routine for biological interface system
EP1941411B1 (en) 2005-09-30 2011-09-14 iRobot Corporation Companion robot for personal interaction
US8849501B2 (en) * 2009-01-26 2014-09-30 Lytx, Inc. Driver risk assessment system and method employing selectively automatic event scoring
JP4716371B2 (ja) * 2006-05-19 2011-07-06 富士通株式会社 移動体用運転支援装置
US9318108B2 (en) * 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US9587958B2 (en) 2007-01-23 2017-03-07 Visteon Global Technologies, Inc. Mobile device gateway systems and methods
CN100449577C (zh) 2007-02-01 2009-01-07 上海交通大学 交通协管辅助电子控制装置
ATE555433T1 (de) * 2007-04-26 2012-05-15 Ford Global Tech Llc Emotives beratungssystem und verfahren
CA2689757A1 (en) 2007-07-18 2009-01-18 Steven C. Kays Adaptive electronic design
TWI314115B (en) 2007-09-27 2009-09-01 Ind Tech Res Inst Method and apparatus for predicting/alarming the moving of hidden objects
US10496753B2 (en) * 2010-01-18 2019-12-03 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US8253564B2 (en) * 2009-02-19 2012-08-28 Panasonic Corporation Predicting a future location of a moving object observed by a surveillance device
US9615213B2 (en) * 2009-07-21 2017-04-04 Katasi Llc Method and system for controlling and modifying driving behaviors
US9688286B2 (en) * 2009-09-29 2017-06-27 Omnitracs, Llc System and method for integrating smartphone technology into a safety management platform to improve driver safety
US10679605B2 (en) * 2010-01-18 2020-06-09 Apple Inc. Hands-free list-reading by intelligent automated assistant
US10553209B2 (en) * 2010-01-18 2020-02-04 Apple Inc. Systems and methods for hands-free notification summaries
US8924218B2 (en) 2010-11-29 2014-12-30 Greg L. Corpier Automated personal assistance system
JP2014529467A (ja) 2011-08-29 2014-11-13 オートモーティブ コアリション フォー トラフィック セーフティ， インコーポレイテッド 自動車運転者において被分析物を非侵襲的に測定するためのシステムおよび方法
BR102012024861B1 (pt) 2011-09-30 2021-02-09 Apple Inc. sistema para desambiguar entrada de usuário para realizar uma tarefa
US8744492B2 (en) * 2011-11-30 2014-06-03 Mitac International Corp. Method of responding to incoming calls and messages while driving
US20130204813A1 (en) 2012-01-20 2013-08-08 Fluential, Llc Self-learning, context aware virtual assistants, systems and methods
US9171085B2 (en) * 2012-03-07 2015-10-27 Ut-Battelle, Llc Personalized professional content recommendation
WO2014172369A2 (en) 2013-04-15 2014-10-23 Flextronics Ap, Llc Intelligent vehicle for assisting vehicle occupants and incorporating vehicle crate for blade processors
KR101711027B1 (ko) * 2012-04-25 2017-03-13 한국전자통신연구원 차량용 운전자 맞춤형 서비스 제공 방법 및 장치
US10417037B2 (en) * 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US20130325878A1 (en) * 2012-06-05 2013-12-05 Daniel de Lichana Community planning system with sensors and social media
EP2690847A1 (en) 2012-07-27 2014-01-29 Constantin Medien AG Virtual assistant for a telecommunication system
US9015099B2 (en) * 2012-08-14 2015-04-21 Sri International Method, system and device for inferring a mobile user's current context and proactively providing assistance
US9576574B2 (en) * 2012-09-10 2017-02-21 Apple Inc. Context-sensitive handling of interruptions by intelligent digital assistant
US9085303B2 (en) 2012-11-15 2015-07-21 Sri International Vehicle personal assistant
WO2014088588A1 (en) * 2012-12-07 2014-06-12 Empire Technology Development Llc Personal assistant context building
US20140188920A1 (en) * 2012-12-27 2014-07-03 Sangita Sharma Systems and methods for customized content
US9149236B2 (en) * 2013-02-04 2015-10-06 Intel Corporation Assessment and management of emotional state of a vehicle operator
BR112015018905B1 (pt) 2013-02-07 2022-02-22 Apple Inc Método de operação de recurso de ativação por voz, mídia de armazenamento legível por computador e dispositivo eletrônico
US9223837B2 (en) 2013-03-14 2015-12-29 Toyota Motor Engineering & Manufacturing North America, Inc. Computer-based method and system for providing active and automatic personal assistance using an automobile or a portable electronic device
KR102057795B1 (ko) 2013-03-15 2019-12-19 애플 인크. 콘텍스트-민감성 방해 처리
US9729592B2 (en) * 2013-08-27 2017-08-08 Persais, Llc System and method for distributed virtual assistant platforms
US9266536B2 (en) 2014-01-17 2016-02-23 Fca Us Llc Adaptive cruise control system and method
US20150217188A1 (en) * 2014-02-06 2015-08-06 Physical Apps, Llc Physical interaction device for personal electronics and method for use
US9135803B1 (en) * 2014-04-17 2015-09-15 State Farm Mutual Automobile Insurance Company Advanced vehicle operator intelligence system
US9283847B2 (en) * 2014-05-05 2016-03-15 State Farm Mutual Automobile Insurance Company System and method to monitor and alert vehicle operator of impairment
US9734425B2 (en) * 2015-02-11 2017-08-15 Qualcomm Incorporated Environmental scene condition detection
US9715875B2 (en) * 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
TW201602891A (zh) * 2014-07-01 2016-01-16 緯創資通股份有限公司 切換方法與電腦系統
FR3026542B1 (fr) * 2014-09-30 2017-12-29 Xbrainsoft Reconnaissance vocale perfectionnee
KR102383791B1 (ko) 2014-12-11 2022-04-08 삼성전자주식회사 전자 장치에서의 개인 비서 서비스 제공
EP3245093B1 (en) * 2015-01-12 2021-09-01 Harman International Industries, Incorporated Cognitive load driving assistant
US11887164B2 (en) * 2015-05-26 2024-01-30 Microsoft Technology Licensing, Llc Personalized information from venues of interest
US9605970B1 (en) * 2015-09-03 2017-03-28 Harman International Industries, Incorporated Methods and systems for driver assistance
US10769189B2 (en) * 2015-11-13 2020-09-08 Microsoft Technology Licensing, Llc Computer speech recognition and semantic understanding from activity patterns
US10664741B2 (en) * 2016-01-14 2020-05-26 Samsung Electronics Co., Ltd. Selecting a behavior of a virtual agent
US10189479B2 (en) * 2016-04-06 2019-01-29 At&T Intellectual Property I, L.P. Methods and apparatus for vehicle operation analysis
US10409876B2 (en) * 2016-05-26 2019-09-10 Microsoft Technology Licensing, Llc. Intelligent capture, storage, and retrieval of information for task completion
US10474946B2 (en) * 2016-06-24 2019-11-12 Microsoft Technology Licensing, Llc Situation aware personal assistant
US20180285827A1 (en) * 2017-03-28 2018-10-04 Microsoft Technology Licensing, Llc Distinguishing events of users for efficient service content distribution
US10783149B2 (en) * 2017-08-02 2020-09-22 Microsoft Technology Licensing, Llc Dynamic productivity content rendering based upon user interaction patterns

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001191871A (ja) 2000-01-11 2001-07-17 Toyota Central Res & Dev Lab Inc 車載情報提示制御装置
JP2004512609A (ja) 2000-10-14 2004-04-22 モトローラ・インコーポレイテッド 車両運転手の能力評価及び向上のための方法及び装置
JP2002120656A (ja) 2000-10-16 2002-04-23 Mitsubishi Motors Corp 情報表示装置
JP2004050975A (ja) 2002-07-19 2004-02-19 Equos Research Co Ltd 車載装置、データ作成装置、及びデータ作成プログラム
JP2008191074A (ja) 2007-02-07 2008-08-21 Fujitsu Ltd 出力調停プログラム及び装置
JP2008233678A (ja) 2007-03-22 2008-10-02 Honda Motor Co Ltd 音声対話装置、音声対話方法、及び音声対話用プログラム
CN101295013A (zh) 2007-04-28 2008-10-29 佛山市顺德区顺达电脑厂有限公司 运用全球定位系统控制影音播放之系统及其方法
US20100128863A1 (en) 2008-11-21 2010-05-27 Robert Bosch Gmbh Context aware voice communication proxy
US20130127614A1 (en) 2011-11-22 2013-05-23 Verizon Corporate Services Group Inc. Method and system for providing notifications of a mobile device in motion to determine call treatment
US20160014062A1 (en) 2014-07-08 2016-01-14 Rinkesh Patel System and method for blocking or delaying notifications on a mobile device while simultaneously allowing approved integrated functionality
WO2016081326A1 (en) 2014-11-20 2016-05-26 Microsoft Technology Licensing, Llc Vehicle-based multi-modal interface

Also Published As

Publication number Publication date
CN109328155A (zh) 2019-02-12
MX2018015623A (es) 2019-03-06
US20200034683A1 (en) 2020-01-30
CL2018003615A1 (es) 2019-03-22
SG11201810890RA (en) 2019-01-30
IL263759B (en) 2022-05-01
BR112018074326A2 (pt) 2019-07-16
CA3023275A1 (en) 2017-12-28
ZA201807409B (en) 2020-01-29
KR20190022553A (ko) 2019-03-06
RU2018145529A (ru) 2020-06-22
WO2017223013A1 (en) 2017-12-28
US11636305B2 (en) 2023-04-25
EP3475136A1 (en) 2019-05-01
CO2018013675A2 (es) 2018-12-28
AU2017281436A1 (en) 2018-11-22
KR102606026B1 (ko) 2023-11-23
JP2019527387A (ja) 2019-09-26
PH12018550195A1 (en) 2019-09-30
US20170372189A1 (en) 2017-12-28
AU2017281436B2 (en) 2022-12-15
US10474946B2 (en) 2019-11-12
IL263759A (en) 2019-01-31

Similar Documents

Publication Publication Date Title
JP7195931B2 (ja) 状況認知型のパーソナルアシスタント
CN108369767B (zh) 基于用户认知状态和/或情境状态的会话调整系统和方法
US10399575B2 (en) Cognitive load driving assistant
US10137902B2 (en) Adaptive interactive voice system
US10377303B2 (en) Management of driver and vehicle modes for semi-autonomous driving systems
EP3675121B1 (en) Computer-implemented interaction with a user
US10462281B2 (en) Technologies for user notification suppression
EP3334626A1 (en) Autonomous vehicle human driver takeover mechanism using electrodes
CN110843798A (zh) 协调通知到车辆驾驶员的递送以减少注意力分散
JP2017536600A (ja) 複数モードでの会話的対話における話された言語の理解のための凝視
IL271855A (en) Continuous stimulation based on cognitive state
US10591885B2 (en) Device control based on a user's physical setting
US11912267B2 (en) Collision avoidance system for vehicle interactions
NZ747868A (en) Situation aware personal assistant
CN114253392A (zh) 用于控制多个车载智能虚拟助手的虚拟对话代理
JP6874456B2 (ja) 衝突防止装置、通信システム、衝突防止方法、およびコンピュータプログラム
US20190351915A1 (en) Vehicle content based symbiosis for vehicle occupants
WO2019206833A1 (en) Method and apparatus monitoring a space
US20240059307A1 (en) Automated inference of a customer support request in an autonomous vehicle
CN113822449A (zh) 碰撞检测方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200527

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200527

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210331

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210408

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210707

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220224

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220629

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221027

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20221027

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20221107

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20221108

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221121

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221214

R150 Certificate of patent or registration of utility model

Ref document number: 7195931

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150