JP7093181B2 - 車両ベースのマルチモーダルインターフェース - Google Patents

Description

[0001] 今日に至るまで多くの車載情報／エンターテインメントシステムは、システムの使用に関連した難しさがあり、また車両ごとにシステム間で整合が取れていないという理由から、運転手および他のユーザに不満を感じさせている。そのため、ユーザエクスペリエンスは、可能であり得る最良なものにはなっておらず、安全で一貫した望ましいユーザエクスペリエンスを提供する改良型の車載システムが引き続き求められている。

[0002] この発明の概要は、発明を実施するための形態において以下にさらに述べる概念の選択を簡略化した形態で紹介するために提供される。この発明の概要は、特許請求される主題の重要な特徴または本質的な特徴を特定することを意図するものでも、特許請求される主題の範囲を定める際の助けとして使用されることを意図するものでもない。

[0003] 様々な実施形態は、電話機などのモバイルデバイスが、車載情報／エンターテインメントシステムと統合して、ユーザが、モバイルフォンを介して車載情報／エンターテインメントシステムを制御できるようにすることを可能にする。ユーザは、モバイルフォンの機能を活用して、ユーザまたは車両のコンテキストに合わせてコンテキスト的に（ｃｏｎｔｅｘｔｕａｌｌｙ）調整可能である車内エクスペリエンスを促進することができる。さらなる他の実施形態は、クラウドベースのサービスを通じて車内エクスペリエンスを提供することができる。

[0004] 少なくともいくつかの実施形態においては、ユーザは、複数の相異なるモダリティを使用して、様々なタスクをモダリティ間の滑らかな連続モーダルハンドオフにより完了することができる。モダリティには、音声、タッチ、ジェスチャ、ＮＵＩジェスチャ、凝視、およびジョグダイヤルなどのコントロールが含まれ得る。滑らかなモーダルハンドオフにより、ユーザは、自分のコンテキストに応じて、自分の入力モダリティを容易に変更することが可能になる。

[0005] 他の実施形態は、運転シナリオおよびユーザの認知的負荷に基づいて、音声のみのエクスペリエンスを調整することができる。さらなる他の実施形態は、ジョグダイヤル、ジェスチャ、凝視、およびタッチ画面のモダリティについてユーザエクスペリエンスを調整することができる。さらなる実施形態は、複数の相異なるタイプの画面、たとえば、電話機画面、クラスタ画面、コンソール画面、およびヘッドアップディスプレイ（heads up display: HUD）画面などと関係して動作することが可能な適応型ユーザインターフェースを含めて、適応型ユーザインターフェースを提供することができる。さらなる実施形態は、ボタンジョグ、容量性ダイヤル、ハードキー、およびパッドなどを含む複数のタイプの物理的入力に、ユニバーサルコマンド／コントロールモデルを提供する。

[0006] 詳細な説明は、添付の図を参照して説明される。図においては、参照番号の最左桁は、参照番号が最初に現れる図を特定する。説明および図の中の相異なる事例における同じ参照番号の使用は、類似または同一の項目を示すことができる。

[0007]１つまたは複数の実施形態による例示的な動作環境を示す図である。 [0008]１つまたは複数の実施形態によるシステムを示す図である。 [0009]１つまたは複数の実施形態によるシステムを示す図である。 [0010]１つまたは複数の実施形態によるシステムを示す図である。 [0011]１つまたは複数の実施形態によるシステムを示す図である。 [0012]１つまたは複数の実施形態によるシステムを示す図である。 [0013]１つまたは複数の実施形態によるシステムを示す図である。 [0014]１つまたは複数の実施形態によるシステムを示す図である。 [0015]１つまたは複数の実施形態によるシステムを示す図である。 [0016]１つまたは複数の実施形態による方法におけるステップを説明する流れ図である。 [0017]１つまたは複数の実施形態によるユーザと車載システムとの間の言葉による会話を示す略図である。 [0018]１つまたは複数の実施形態によるユーザと車載システムとの間の言葉による会話を示す略図である。 [0019]１つまたは複数の実施形態による方法におけるステップを説明する流れ図である。 [0020]１つまたは複数の実施形態による方法におけるステップを説明する流れ図である。 [0021]１つまたは複数の実施形態によるシステムを示す図である。 [0022]１つまたは複数の実施形態による方法におけるステップを説明する流れ図である。 [0023]１つまたは複数の実施形態によるシステムを示す図である。 [0024]１つまたは複数の実施形態によるシステムの態様を示す図である。 [0025]１つまたは複数の実施形態によるシステムを示す図である。 [0026]１つまたは複数の実施形態によるシステムを示す図である。 [0027]１つまたは複数の実施形態による方法におけるステップを説明する流れ図である。 [0028]１つまたは複数の実施形態によるシステムを示す図である。 [0029]１つまたは複数の実施形態によるシステムを示す図である。 [0030]１つまたは複数の実施形態によるシステムを示す図である。 [0031]１つまたは複数の実施形態による方法におけるステップを説明する流れ図である。 [0032]１つまたは複数の実施形態によるシステムを示す図である。 [0033]１つまたは複数の実施形態によるシステムを示す図である。 [0034]１つまたは複数の実施形態による方法におけるステップを説明する流れ図である。 [0035]１つまたは複数の実施形態によるシステムを示す図である。 [0036]１つまたは複数の実施形態による方法におけるステップを説明する流れ図である。 [0037]本明細書に記載の様々な実施形態を実装するのに利用され得る例示的なコンピューティングデバイスを示す図である。

概観
[0038] 様々な実施形態は、電話機などのモバイルデバイスが、車載情報／エンターテインメントシステムと統合して、ユーザが、モバイルフォンを介して車載情報／エンターテインメントシステムを制御できるようにすることを可能にする。ユーザは、モバイルフォンの機能を活用して、ユーザまたは車両のコンテキストに合わせてコンテキスト的に調整可能である車内エクスペリエンスを促進することができる。さらなる他の実施形態は、クラウドベースのサービスを通じて車内エクスペリエンスを提供することができる。

[0039] 少なくともいくつかの実施形態においては、ユーザは、複数の相異なるモダリティを使用して、様々なタスクをモダリティ間の滑らかな連続モーダルハンドオフにより完了することができる。モダリティには、音声、タッチ、ジェスチャ、ＮＵＩジェスチャ、凝視、およびジョグダイヤルなどのコントロールが含まれ得る。滑らかなモーダルハンドオフにより、ユーザは、自分のコンテキストに応じて、自分の入力モダリティを容易に変更することが可能になる。

[0040] 他の実施形態は、運転シナリオおよびユーザの認知的負荷に基づいて音声のみのエクスペリエンスを調整することができる。さらなる他の実施形態は、ジョグダイヤルおよびタッチ画面のモダリティについてユーザエクスペリエンスを調整することができる。さらなる実施形態は、複数の相異なるタイプの画面、たとえば、電話機画面、クラスタ画面、コンソール画面、およびヘッドアップディスプレイ（HUD）画面と関係して動作することが可能な適応型ユーザインターフェースを含めて、適応型ユーザインターフェースを提供することができる。さらなる実施形態は、ボタンジョグ、容量性ダイヤル、ハードキー、およびパッドなどを含む複数のタイプの物理的入力に、ユニバーサルコマンド／コントロールモデルを提供する。

[0041] 以下の論考においては、まず、本明細書に記載の技法を採用するように動作可能な例示的な環境について説明する。技法は、例示的な環境においても、ならびに他の環境においても採用され得る。

例示的な環境
[0042] 図１は、本明細書に記載の技法を採用するように動作可能な、例示的な実装形態での例示的な環境１００を示している。示されている環境１００は、車両１０２と、電話機１０４の形態でのモバイルコンピューティングデバイスと、ディスプレイデバイス１０８を有する車両コンソール１０６とを含む。コンソール１０６は、続く説明のため、車両１０２から取り外されて示されている。コンソール１０６は、通常は、運転席と助手席との間のダッシュボード上に、またはダッシュボードの少し下に存在する。コンソールのディスプレイデバイス１０８は、タッチ対応式である、またはタッチ対応式とすることができ、それにより、ディスプレイデバイス１０８は、タッチ入力を受信して、たとえば、ユーザがコンテンツ選択できるようにすることが可能になる。コンソール１０６の下には、いくつかのボタンが設けられ、大まかには１１０に示されている。追加として、車両１０２は、コンソール１０６に対する入力デバイスとして働くことができるジョグダイヤル１１２を含むことができる。ジョグダイヤル１１２は、ディスプレイデバイス１０８上に表示されるコンテンツについてナビゲートし、コンテンツ選択をするのに使用され得る。ジョグダイヤルは、２つの円弧の矢印によって示されているように、ジョグダイヤルが載っているページ面の中へおよび外へと、時計回りの方向および反時計回りの方向に回転可能である。この方式でジョグダイヤルを回転させると、ユーザは、ディスプレイデバイス１０８に表示されるコンテンツをナビゲートすることが可能になる。追加として、ジョグダイヤルはまた、選択をするために下向きの矢印の方向に押し下げ可能な機構も含む。

[0043] 下記の説明においては、本発明の実施形態のコンテキストを説明するために、電話機の形態でのモバイルデバイスが使用されるが、他のモバイルデバイスが、特許請求される主題の趣旨および範囲から逸脱することなく使用され得ることを認識し、理解されたい。

[0044] したがって、タイル、アイコン、およびオブジェクトなどのコンテンツの表示された構成については、ジョグダイヤルを回転させることにより、表示されたコンテンツのナビゲーションが可能になり、ジョグダイヤルを押し下げると、特定のあるコンテンツが選択される。したがって、たとえば、ディスプレイデバイス１０８がいくつかの異なる歌曲を有するプレイリストを表示する場合、ユーザは、ジョグダイヤルを使用して歌曲をナビゲートすることができ、関心のある特定の歌曲が見つかったとき、ユーザは、ジョグダイヤルを押圧することによって、再生する歌曲を選択することができる。

[0045] 操作に際して、電話機１０４は、コンソール１０６に接続して、ユーザが、コンソールを介してコンテンツと対話することを可能にすることができる。任意の適したタイプの接続が使用可能である。示され、説明されている実施形態においては、電話機１０４は、Ｗｉ－ＦｉまたはＢｌｕｅｔｏｏｔｈ接続などのワイヤレス接続を通じてコンソール１０６に接続することができる。代わりにまたは加えて、電話機１０４は、図に示されているように、ＵＳＢ接続を通じてコンソール１０６に接続することもできる。

[0046] コンソール１０６に接続されると、モバイルフォンは、車両の情報／エンターテインメントシステムと統合して、ユーザが、モバイルフォンを介して車載情報／エンターテインメントシステムを制御できるようにすることが可能である。後で明らかになるように、ユーザは、モバイルフォンの機能を活用して、ユーザまたは車両のコンテキストに合わせてコンテキスト的に調整可能である車内エクスペリエンスを促進することができる。図２は、車両１０２（図示せず）およびその関連のコンソール１０６を含むことができるコンピューティング環境２００における電話機１０４を示している。コンピューティング環境２００はまた、１つまたは複数のサーバ２０２と、電話機１０４、コンソール１０６、およびサーバ２０２がそれを通じて通信することができるネットワーク２０４（「クラウド」と示されている）とを含む。たとえば、ネットワークは、コンテンツ提供サービスをホストする企業、ＯＥＭ、およびＩｎｔｅｒｎｅｔを介して接続される任意の他のエンティティなどの様々なエンティティとの通信を容易にすることができる。

[0047] 示され、説明されている例においては、電話機１０４は、構成要素の中でもとりわけ、１つまたは複数のプロセッサ２０６、１つまたは複数のコンピュータ可読記憶媒体２０８、対話モジュール２１０、様々なアプリケーション２１２、およびディスプレイドライバモジュール２１４を含む。

[0048] 示され、説明されている例においては、対話モジュール２１０は、ユーザの音声認識およびオーディオ音声プロンプトを可能にする機能を含む。対話モジュールは、ユーザがタスクを達成する際に支援するパーソナルアシスタントを提供する。したがって、たとえば、対話モジュール２１０は、コマンド、およびクエリなど、ユーザによって発話される単語を認識することができる。追加として、対話モジュール２１０は、それが受け取る通信の項目に関して、アクションを取ることができるようにする機能を含む。たとえば、ユーザは、「本日予定されている会議があるかどうか教えて。」と尋ねることによって、電話機にプロンプトを出すことができる。この要求の受信に応答して、対話モジュール２１０は、たとえば、カレンダーアプリケーションと協働して、本日予定されている会議があるかどうかを確かめ、「本日予定されている会議はありません。」と、ユーザに対して言葉で応答することができる。

[0049] アプリケーション２１２は、電話機１０４に常駐することができる任意の適したタイプのアプリケーションを含むことができる。そのようなアプリケーションには、限定ではなく、例として、ソーシャルネットワーキングアプリケーション、電子メールアプリケーション、テキストアプリケーション、カレンダーアプリケーション、メディアプレーヤアプリケーション、ニュース、スポーツ、および気象アプリケーションなどが含まれる。

[0050] ディスプレイドライバモジュール２１４は、電話機１０４において、ならびにコンソールのディスプレイデバイス１０８において、ディスプレイをレンダリングできるようにする機能を含む。操作に際して、ディスプレイドライバモジュール２１４は、下で明らかになるように、コンソールのディスプレイデバイス１０８に関連するプロパティ（たとえば、ディスプレイデバイス寸法）を確かめ、確かめられたプロパティに基づいてレンダリング決定をすることができる。

[0051] サーバ２０２は、ウェブサービス２１８のためのプラットフォーム２１６を含んでいるように示されている。ウェブサービス２１８は、任意の適したタイプのウェブサービスを含むことができる。サーバ２０２およびそれらの関連のウェブサービス２１８は、ネットワーク２０４を介して電話機１０４に提供される通信を生成することができる。通信が受信されると、通信は、電話機１０４および／または電話機において実行する関連のアプリケーションによって処理され、ユーザは、通信について通知され得る。

[0052] プラットフォーム２１６は、クラウドのハードウェア（たとえば、サーバ）リソースおよびソフトウェアリソースの基本機能を抽象化し、したがって、「クラウドオペレーティングシステム」として働くことができる。たとえば、プラットフォーム２１６は、リソースを抽象化して、様々なコンピューティングデバイス間の通信を可能にすることができる。プラットフォーム２１６はまた、リソースのスケーリングを抽象化して、プラットフォーム２１６を経由して実装されるウェブサービス２１８に、直面した需要に対する対応するスケールレベルを提供するように機能することができる。サーバファームにおけるサーバのロードバランシング、ならびに悪意のあるパーティ（たとえば、スパム、ウィルス、および他のマルウェア）に対する保護など、種々の他の例もまた、企図される。

[0053] したがって、クラウドは、Ｉｎｔｅｒｎｅｔまたは他のネットワークを経由してコンピューティングデバイスに利用可能にされるソフトウェアリソースおよびハードウェアリソースに付随する方策の一部として含まれる。

[0054] 概して、本明細書に記載の機能のうちのいずれも、ソフトウェア、ファームウェア、ハードウェア（たとえば、固定ロジック回路機構）、手動処理、またはこれらの実装形態の組合せを使用して実装可能である。本明細書に使用される「モジュール（module）」、「機能（functionality）」、および「ロジック（logic）」という用語は、概して、ソフトウェア、ファームウェア、ハードウェア、またはそれらの組合せを表す。ソフトウェア実装形態の場合においては、モジュール、機能、またはロジックは、プロセッサ（たとえば、ＣＰＵ）において、またはプロセッサによって実行されるとき、指定されたタスクを実施するプログラムコードを表す。プログラムコードは、１つまたは複数のコンピュータ可読メモリデバイスにおいて記憶され得る。

[0055] たとえば、電話機はまた、コンピューティングデバイスのハードウェアまたは仮想マシンに、動作、たとえば、プロセッサ、および機能ブロックなどを行わせるエンティティ（たとえば、ソフトウェア）を含むことができる。たとえば、コンピューティングデバイスは、コンピューティングデバイス、より具体的には、コンピューティングデバイスのオペレーティングシステムおよび関連のハードウェアに、動作を行わせる命令を維持するように構成され得るコンピュータ可読媒体を含むことができる。したがって、命令は、動作を行うように、オペレーティングシステムおよび関連のハードウェアを構成するように機能を果たし、このようにして結果的には、機能を実施するように、オペレーティングシステムおよび関連のハードウェアの変換をもたらす。命令は、種々の異なる構成を通じて、コンピューティングデバイスに、コンピュータ可読媒体によって提供され得る。

[0056] コンピュータ可読媒体の１つのそのような構成は、信号担持媒体であり、したがって、たとえばネットワークを経由して、命令を（たとえば、搬送波として）コンピューティングデバイスに送信するように構成されている。コンピュータ可読媒体はまた、コンピュータ可読記憶媒体として構成されてもよく、したがって、信号担持媒体ではない。コンピュータ可読記憶媒体の例には、磁気、光学、および他の技法を使用して、命令および他のデータを記憶することができる、ランダムアクセスメモリ（RAM）、読取り専用メモリ（ROM）、光ディスク、フラッシュメモリ、ハードディスクメモリ、ならびに他のメモリデバイスが含まれる、

[0057] 続く論考においては、「マルチモーダル入力を通じたタスクの完了」と題された項に、１つまたは複数の実施形態による、相異なるタイプのモーダル入力を使用して、タスクがどのように滑らかに達成され得るかを説明する。これに続いて、「音声のみのエクスペリエンスの調整」と題された項に、１つまたは複数の実施形態による、音声のみのエクスペリエンスがどのように提供され得るかを説明する。次に、「ジョグダイヤルおよびタッチ画面のためのユーザエクスペリエンスの調整」と題された項に、ユーザエクスペリエンスがどのように、相異なるタイプのモーダル入力に対して調整され得るか、またはそうでなければ適応され得るかを説明する。これに続いて、「適応型ユーザインターフェース」と題された項に、１つまたは複数の実施形態による、適応型ユーザインターフェースを説明する。次に、「複数の画面を使用する適応型ユーザインターフェース」と題された項に、ユーザインターフェースがどのように、複数の画面により適応され得るかを説明する。これに続いて、「ユニバーサルコマンド／コントロールモデル」と題された項に、１つまたは複数の実施形態による、ユニバーサルコマンドおよびコントロールを利用するモデルを説明する。最後に、「例示的なデバイス」と題された項に、１つまたは複数の実施形態を実装するのに利用され得る例示的なデバイスの態様を説明する。

[0058] 例示的な動作環境を検討したので、次に、１つまたは複数の実施形態による、タスクを完了するためのマルチモーダル入力の見解を検討する。

マルチモーダル入力を通じたタスクの完了
[0059] 上述したように、少なくともいくつかの実施形態においては、ユーザは、複数の相異なるモダリティを使用して、様々なタスクをモダリティ間の滑らかな連続モーダルハンドオフにより完了することができる。モダリティには、音声、タッチ、ジェスチャ、ＮＵＩジェスチャ、凝視、およびジョグダイヤルなどのコントロールが含まれ得る。滑らかなモーダルハンドオフにより、ユーザは、自分のコンテキストに応じて、自分の入力モダリティを容易に変更することが可能になる。つまり、ユーザは、任意の適した組合せにおけるこれらの相異なる入力モダリティ間を自然に移動することができる。たとえば、ユーザは、（１）音声およびタッチ、（２）音声およびジョグダイヤル、（３）音声、タッチ、およびジョグダイヤル、またはこれらのおよび他のモダリティの任意の組合せ間を滑らかに移動することができる。

[0060] 特定のタスクに関連付けられるアクションが、ユーザのコンテキストに応じて相異なるモダリティを使用して行われ得ることを認識し、理解されたい。たとえば、１つのタスクは、ある種のアクションを伴う場合がある。このアクションは、音声モダリティ、たとえば、「次の音楽トラックを再生する」を使用して行われる得ることになる。代わりにまたは加えて、このアクションは、コンソールのディスプレイデバイス上に表示される次の音楽トラックをユーザがタッチ選択することによるように、タッチ入力を使用して行われ得ることになる。代わりにまたは加えて、このアクションは、ユーザが、ジョグダイヤルを用いて次の音楽トラックにナビゲートし、次いで、ジョグダイヤルを押圧して、次の音楽トラックを選択することによって行われ得ることになる。ユーザのコンテキストに応じて、ユーザは、どのモダリティを使用すべきであるかを自由に選ぶことができる。したがって、たとえば、交通量が多い際には、ユーザは、音声モダリティを使用して、簡単に自分選択をすることができる。一方、ユーザが、信号停止している、または駐車場の中にいる場合、ユーザは、タッチ入力またはジョグダイヤルを使用することを選んで、同じアクションをする、または行うことができる。

音声およびタッチ
[0061] 一例として、同様の数字が、同様の構成要素を描くのに利用されている図３を検討する。この例においては、ユーザは、車に入り、ＵＳＢ接続を介して電話機１０４をコンソール１０６に接続している。そうすると、いわゆる「運転モード」手段（instrumentality）３００が、円の形態で現れる。運転モード手段は、ユーザが、コンソールのディスプレイデバイスをタッチ選択して、運転モード機能と対話できるようにする。開始画面もまた、コンソールのディスプレイデバイスに現れ、この例においては、タイルを含むいくつかのオブジェクトを含んでいる。任意の適したタイプのオブジェクトが、コンソールのディスプレイデバイス上に表示され得ることを認識し、理解されたい。そのため、タイルは、そのようなオブジェクトのほんの一例に相当するにすぎない。

[0062] この例においては、ユーザは、自分の音声を使用して、「Ｍｉｋｅ Ｊｏｈｎｓｏｎに電話をかける。」と言う。このオーディオ入力は、電話機１０４上の対話モジュール２１０（図２）によって受信される。その結果、対話モジュールは、電話機１０４上の「連絡先（Contacts）」アプリケーションと対話して、Ｍｉｋｅ Ｊｏｈｎｓｏｎの連絡先情報を読み出す。そうする間に、対話モジュールは、ユーザのＣｏｎｔａｃｔｓの中に２つのＭｉｋｅ Ｊｏｈｎｓｏｎエントリがあることに気付く。次いで、対話モジュール２１０は、「２人のＭｉｋｅ Ｊｏｈｎｓｏｎがおります。あなたが電話をかけたいのはどちらですか？」と言うことによって、ユーザにプロンプトを出す。このオーディオプロンプトに関係して、電話機１０４のディスプレイドライバモジュール２１４は、ユーザインターフェースをコンソールのデバイスディスプレイ上に表示して、ユーザに、所望の被呼者を選択させることができるようにすることが可能である。一例として、「最近（recent）」、「内輪のサークル（inner circle）」、「友人（friends）」、「仕事（work）」、および「すべて（all）」を含む、いくつかのタッチ選択可能な選択肢を含む「人（People）」カテゴリを含むユーザインターフェースを示す図４を検討する。追加として、ディスプレイ部分４００は、２つの選択可能な「Ｍｉｋｅ Ｊｏｈｎｓｏｎ」エントリをリストする。追加として、ディスプレイ部分４００は、２つの選択可能な「Ｍｉｋｅ Ｊｏｈｎｓｏｎ」エントリをリストに載せる。したがって、ユーザは、呼エクスペリエンスを開始するために、正しいＭｉｋｅ Ｊｏｈｎｓｏｎをタッチ選択することができる。これは、ユーザが、モバイルフォン、仕事用電話機、ボイスオーバーＩＰ（VoIP）番号のいずれかに電話をかけるのにタッチ選択できるようにするためのユーザインターフェースの後続の提示を含み得る。

[0063] したがって、この特定の例においては、ユーザは、電話機１０４によって検索を実施させるのに音声入力を使用している。電話機におけるユーザの連絡先の検索により、結果的には、曖昧さがもたらされた。次いで、電話機１０４は、ユーザインターフェースをコンソールのディスプレイデバイスに表示して、タッチ入力を通じてユーザに曖昧さを解消させるようにすることができた。この方式においては、相異なる入力モダリティが、タスクを完了するのに一緒に利用されている。

音声およびジョグダイヤル
[0064] 上述のものと類似する機能は、タッチ入力の代わりに、ジョグダイヤルに関係して提供され得る。一例として、同様の数字が、同様の構成要素を描くのに利用されている図５を検討する。

[0065] 上記の例と同様に、ユーザは、自分の音声を使用して、「Ｍｉｋｅ Ｊｏｈｎｓｏｎに電話をかける。」と言う。このオーディオ入力は、電話機１０４上の対話モジュール２１０（図２）によって受信される。その結果、対話モジュールは、電話機１０４上の「Ｃｏｎｔａｃｔｓ」アプリケーションと対話して、Ｍｉｋｅ Ｊｏｈｎｓｏｎの連絡先情報を読み出す。そうする間に、対話モジュールは、ユーザのＣｏｎｔａｃｔｓの中に２つのＭｉｋｅ Ｊｏｈｎｓｏｎエントリがあることに気付く。次いで、対話モジュール２１０は、「２人のＭｉｋｅ Ｊｏｈｎｓｏｎがおります。あなたが電話をかけたいのはどちらですか？」と言うことによって、ユーザにプロンプトを出す。このオーディオプロンプトに関係して、電話機１０４のディスプレイドライバモジュール２１４は、ユーザインターフェースをコンソールのデバイスディスプレイに表示して、ユーザに、図５に示す所望の被呼者を選択させることができるようにすることが可能である。この特定の例においては、リストの中に現れる最初の「Ｍｉｋｅ Ｊｏｈｎｓｏｎ」には、選択可能であることを示すユーザインターフェース手段、ここでは長方形を用いて囲まれている。ジョグダイヤルを回転させることによって、ユーザは、第１のリストの「Ｍｉｋｅ Ｊｏｈｎｓｏｎ」（破線の長方形によって示されている）から第２のリストの「Ｍｉｋｅ Ｊｏｈｎｓｏｎ」（実線の長方形によって示されている）に、ユーザインターフェース手段をナビゲートしている。ここで、ユーザは、ジョグダイヤルを下向きの矢印の方向に押圧することによって、第２のリストの「Ｍｉｋｅ Ｊｏｈｎｓｏｎ」を簡単に選択することができる。これにより、意図された被呼者への呼を開始することができる。代わりにまたは加えて、ユーザが、モバイルフォン、仕事用電話機、ボイスオーバーＩＰ（VoIP）番号のいずれかに電話をかけるのにタッチ選択できるようにするためのユーザインターフェースの後続の提示を含み得る後続のユーザエクスペリエンスが提供され得る。

[0066] したがって、この特定の例においては、ユーザは、電話機１０４によって検索を実施させるのに音声入力を使用している。電話機におけるユーザの連絡先の検索により、結果的には、曖昧さがもたらされた。次いで、電話機１０４は、ユーザインターフェースをコンソールのディスプレイデバイスに表示して、ジョグダイヤルの使用を通じてユーザに曖昧さを解消させるようにすることができた。この方式においては、相異なる入力モダリティが、タスクを完了するのに一緒に利用されている。

音声、タッチ、およびジョグダイヤル
[0067] 少なくともいくつかの実施形態においては、ユーザは音声、タッチ、およびジョグダイヤルを含む入力モダリティ間を自由に移動することができる。一例として、ユーザが、運転モードに入るために、運転モードユーザ手段３００をタッチ選択している図６を検討する。運転モードに入ると同時に、ユーザには、図７に示されているように、「どのようなご用件でしょうか？」と、システムによって言葉でプロンプトが出される。

[0068] 運転手は、「Ｃｏｌｄｐｌａｙのような何らかの音楽を再生する」と応答する。対話モジュール２１０は、この入力を受信し、電話機１０４上のメディア再生アプリケーションと協働して、関連のクエリにおいて返されていたいくつかの歌曲を識別する。一例として、図８を検討する。

[0069] そこでは、３つの異なる歌曲が見つかり、示されているようにリストされている。次いで、ユーザは、ジョグダイヤルを使用して、選択物を下方へと移動し、上述したジョグダイヤルを使用して強調された歌曲を選択し、または図に示されているように画面にタッチすることによってタッチ選択をすることができる。ここで、歌曲は、車両のサウンドシステムにおいて再生されることになる、

[0070] その後、システムは、ユーザの経路に沿った事故について知る。システムは、クラウド２０４（図２）を通じたクラウドサービスとの通信を介してこれをすることができる。システムが事故について知ると、システムは、ユーザが経路変更を望んでいるかどうかを確かめるために、ユーザに言葉でプロンプトを出すことができる。一例として、図９を検討する。そこでは、システムは、ユーザに言葉でプロンプトを出し、ユーザによって選択され得るユーザ手段を提供する。この特定の事例においては、ユーザは、「経路変更」選択をタッチ選択しており、それにより、ユーザは、事故を避けて経路変更され得る。次いで、ユーザは、可聴案内、ならびにコンソールのディスプレイデバイス上に表示される地図上に提供される可視案内の両方を受け取ることができる。この方式においては、１つの特定のタスクに関連付けられるアクションは、異なるタスクに含まれる実行可能なアクションが実行のために使用可能である（ａｖａｉｌａｂｌｅ ｆｏｒ ｐｅｒｆｏｒｍａｎｃｅ）ことをユーザのコンテキストが示すとき、中断され得る。

[0071] 次に、ユーザが、自分が聴いている音楽トラックを変更したいと望んでいることを想定する。ユーザは、ユーザインターフェース手段３００を簡単にタッチ選択することによってそうすることができ、図７に記載のものに類似する方式においては、ユーザには、システムによって、言葉でプロンプトが出されることになる。次いで、ユーザは、「次のトラックを再生する」ために音声入力を提供することができ、次いで、システムは、自動的に、次のトラックを再生することになる。

[0072] したがって、この特定の例においては、ユーザは、電話機を介して車両情報／エンターテインメントシステムに関わるのに３つの相異なる入力モダリティを使用している。

[0073] 図１０は、１つまたは複数の実施形態による方法におけるステップを説明する流れ図である。この方法は、任意の適したハードウェア、ソフトウェア、ファームウェア、またはそれらの組合せで行われ得る。流れ図においては、２つの列があり、１つは、「モバイルデバイス」と指定され、もう１つは、「車載情報／エンターテインメントシステム」と指定されている。これは、アクションのうちの一部が、モバイルデバイスによって行われ、他のアクションが、車両のエンターテインメントシステムによって行われることを示すためである。

[0074] ステップ１０００は、モバイルデバイスと車載情報／エンターテインメントシステムとの間の接続を確立する。限定ではなく、例として、モバイルフォンを含む任意の適したモバイルデバイスが利用可能である。追加として、任意の適したタイプの接続が、モバイルデバイスとエンターテインメントシステムとの間に確立され得る。追加として、このステップの態様は、モバイルデバイスとエンターテインメントシステムとの両方によって行われ得る。たとえば、デバイスおよびシステムは、適したハンドシェイクを通して、動作可能に一緒に結合されることになり得る。上記の例においては、モバイルデバイスとエンターテインメントシステムとの間の通信を確立するのにＵＳＢ接続が利用された。

[0075] ステップ１００２は、第１のモダリティタイプの入力を受信する。入力は、ユーザが達成することを望む特定のタスクに関連付けられる。特定のタスクは、タスクと達成するために行われるべき複数の相異なるアクションを有することができる。限定ではなく、例として、音声、タッチ、および／またはジョグダイヤルなどのコントロールを通じて受信される入力を含む任意の適したモダリティタイプが受信され得る。上記の示された例においては、ユーザエクスペリエンスを開始する入力は、音声入力を含む。第１のモダリティタイプの入力の受信に応答して、ステップ１００４は、エンターテインメントシステムと通信する。任意の適したタイプの通信が、行われ得る。たとえば、少なくともいくつかの実施形態においては、第１の入力は、モバイルデバイス、より具体的には、モバイルデバイスにおいて実行する１つまたは複数のモジュールに、モバイルデバイスにおいて常駐する１つまたは複数のアプリケーションと協調させることができる。アプリケーションは、任意の適したタイプのアプリケーションを含むことができる。たとえば、上記の例にあるように、ユーザが、特定のパーティと通信することを望む場合、モバイルデバイスにおいて実行するモジュールは、デバイスの連絡先アプリケーションから、意図された被呼者に関連する情報を確かめることができる。次いで、この情報は、ユーザインターフェースをレンダリングできるようにし、次いで、ユーザが呼を確立できるようにするための情報およびデータとともにエンターテインメントシステムに伝達され得る。

[0076] ステップ１００６は、モバイルデバイスから通信を受信する。通信は、エンターテインメントシステムの視覚コンソールまたはディスプレイデバイスにおいてユーザインターフェースをレンダリングできるようにするための情報およびデータを含むことができる。ステップ１００８は、タスクの通信および実行に関連付けられる１つまたは複数のアクションを実施する。限定ではなく、例として、ユーザインターフェースをレンダリングするように、モバイルデバイスによって提供されるデータおよび情報を処理して、１つまたは複数の相異なるモダリティタイプを使用してユーザがエンターテインメントシステムと対話することを可能にすることを含む、任意の適したアクションが行われ得る。

[0077] ステップ１０１０は、タスクの実行に関連付けられる第２のモダリティタイプの入力を受信する。示され、説明されている例においては、第２のモダリティタイプは、第１のモダリティタイプとは異なる。任意の適したモダリティタイプが利用されてもよく、その例は、上に与えられている。第２のモダリティタイプの入力の受信に応答して、ステップ１０１２は、受信された入力に関連付けられる１つまたは複数のアクションを実施する。任意の適したアクションが行われ得る。示され、説明されている例においては、これらのアクションは、ステップ１００８において行われるアクションによって開始されたタスクに関連付けられ得る。代わりにまたは加えて、ステップ１０１２によって行われるアクションは、ステップ１００８において行われるアクションに関連付けられるタスクとは異なるタスクに関連付けられ得る。

[0078] ステップ１０１６は、第３のモダリティタイプの入力を受信する。示され、説明されている例においては、第３のモダリティタイプは、第１のモダリティタイプと第２のモダリティタイプのいずれとも異なる。任意の適したモダリティタイプが利用されてもよく、その例は、上に与えられている。第３のモダリティタイプの入力の受信に応答して、ステップ１０１８は、受信された入力に関連付けられる１つまたは複数のアクションを実施する。任意の適したタイプのアクションが行われ得る。示され、説明されている例においては、これらのアクションは、ステップ１００８によって行われたアクション、およびステップ１０１２によって行われたアクションによって開始されたタスクに関連付けられ得る。代わりにまたは加えて、これらのアクションは、ステップ１００８および／または１０１２によって行われるアクションに関連付けられるタスクとは異なるタスクに関連付けられ得る。次いで、方法は、引き続き第１、第２、および／または第３のモダリティタイプの入力を受信し、同じまたは異なるタスクに関連付けられる追加のアクションを実施することができる。

[0079] この方式においては、ユーザは、複数の相異なるモダリティを使用して、単一のタスクまたは様々なタスクをモダリティ間の滑らかな連続モーダルハンドオフにより完了することができる。モダリティには、音声、タッチ、およびジョグダイヤルなどのコントロールが含まれ得る。滑らかなモーダルハンドオフにより、ユーザは、自分のコンテキストに応じて、自分の入力モダリティを容易に変更することが可能になる。したがって、たとえば、ユーザが音声モダリティを使用してタスクを開始し、自分が交通渋滞の中にいることに気付いた場合、ユーザが、たとえば信号停止において、または少ない交通量において、それほど運転に追われなくなるまで、ユーザは、引き続き、音声モダリティを使用して、タスクを実施することができる。つまり、ユーザは、任意の適した組合せで、これらの相異なる入力モダリティ間を自然に移動することができる。たとえば、ユーザは、（１）音声およびタッチ、（２）音声およびジョグダイヤル、（３）音声、タッチ、およびジョグダイヤル、またはそれらの任意の組合せ間を滑らかに移動することができる。

[0080] タスクがどのように、マルチモーダル入力を通して完了され得るかを検討したので、次に、音声のみのエクスペリエンスがどのように、ユーザのコンテキストに基づいて調整され得るかについての態様を検討する。

音声のみのエクスペリエンスの調整
[0081] １つまたは複数の実施形態においては、音声のみのエクスペリエンスは、ユーザのコンテキストに基づいて調整され得る。ユーザのコンテキストには、限定ではなく、例として、ユーザの運転シナリオおよび認知的負荷などが含まれ得る。したがって、音声エクスペリエンスは、運転の安全性を促進する方式で、ユーザのコンテキストに対応するように動的に適応され得る。追加として、音声対話を通じて、ユーザには、特定の応答タイプを利用するようにプロンプトが出され得る。この方式においては、ユーザは、自分の現在のコンテキストに最も適している応答タイプを自由に選ぶことができる。

[0082] 一例として、ユーザが自分の車を運転しており、自分の対話モジュールまたはパーソナルアシスタントとの会話に関わっていることを示す図１１を検討する。この例においては、ユーザは、車に入り、自分のモバイルデバイスを車両のエンターテインメントシステムと接続している。したがって、モバイルデバイスは、ユーザが運転中であることを知っている。

[0083] この例においては、対話モジュールは、同心円のアイコンによって表され、ユーザは、ユーザアイコンによって表される。車を始動した後、ユーザが、対話モジュールに関わると、対話モジュールは、「どのようなご用件ですか？（How can I help?）」と応答する。ユーザは、「私の今日一日はどういうものですか？（What's my day like?）」と応答する。この質問に応答して、対話モジュールは、ユーザのカレンダーアプリケーションから、ユーザに約束があるかどうかを確かめ、「１０時にあなたの銀行の役員との会議があります。もっと聞きたいですか？（You have a meeting at 10 with your banker. Hear more?）」と応答する。次に、ユーザは、「いいえ、結構です。（No thanks.）」と応答する。

[0084] その後しばらくして、ユーザは、テキストメッセージを受信し、対話モジュールは、「あなたの弟さんからのテキストがあります。それを聞きたいですか？（You have a text from your brother. Do you want to hear it?）」と言うことによって、ユーザに通知する。ユーザがテキストメッセージを聞きたいかどうかをユーザに尋ねることによって、かつモバイルデバイスは、ユーザが運転中であることを知っているので、対話モジュールは、モバイルデバイスの画面またはコンソールのディスプレイデバイスのいずれかにメッセージを表示するのではなく、より安全なモダリティの機会を提供している。ユーザは、「いいえ。（No.）」と応答する。

[0085] その後しばらくして、ユーザは、呼を受け取り、対話モジュールは、「あなたの奥様からの着信呼です。取りますか？（Incoming call from your wife. Answer it?）」と言うことによって、ユーザに通知する。ユーザは、「はい。（Yes.）」と応答し、妻と短い話をする。話の途中で、ユーザは、弟が自分に連絡しようとしていたことを知る。次いで、ユーザは、対話モジュールに関わり、対話モジュールは、「どのようなご用件ですか？（How can I help?）」と応答する。ユーザは、対話モジュールに、「弟からの最新のメッセージを読み上げる」ように告げる。対話モジュールは、「「よお、兄貴。今夜、夕食しよう。（Hey Bro-let's have dinner tonight.）」返信しますか、折り返し電話をかけますか、それともご用はないですか？（Reply, callback, or are you done?）」と応答する。この特定の事例においては、対話モジュールは、ユーザが特定の応答タイプ、すなわち、テキスト返信または電話呼を使用することを望んでいるかどうかについて、ユーザにプロンプトを出す。したがって、対話モジュールは、ユーザの特定の運転コンテキストを所与として、最も便利である通信媒体を選択する機会をユーザに与える。このプロンプトに応答して、ユーザは、「返信する。（Reply.）」と述べる。対話モジュールは、「あなたの返信はいかがでしょうか？（What's your reply?）」とユーザに尋ね、それに対して、ユーザは、「了解。８時。予約をして、知らせます。（Sure. Eight o'clock. I'll make reservations and let you know.）」と応答する。

[0086] 返信の内容を確認した後、対話モジュールは、「それを送信しますか、さらに追加しますか、それとももう一度やり直しますか？（Send it, add more, or try again?）」と尋ねる。ユーザが「送信する。（Send it.）」と応答すると同時に、対話モジュールは、「あなたのメッセージは送信されました。（Your message was sent.）」と確認する。

[0087] その後しばらくして運転の途中に、ユーザは、対話モジュールに関わり、対話モジュールは、「ご用件は何ですか？（How can I help?）」と応答する。ユーザは、「私が仕事に取りかかるとき、夕食の予約をするように念を押す。（Remind me to make a dinner reservation when I get to work.）」と返答する。対話モジュールは、「わかりました。あなたが仕事に取りかかるとき、夕食の予約をするようにあなたに念を押します。それでよろしいですか？（okay. I'll remind you to make a dinner reservation when you get to work. Is that right?）」と返答する。ユーザは、「はい。（Yes.）」と応答し、それに対して、対話モジュールは、「良かったです。リマインダに追加しました。」と応答する。

[0088] 別の例として、ユーザが自分の車を運転しており、自分の対話モジュールまたはパーソナルアシスタントとの会話に関わっていることを示す図１２を検討する。この特定の例においては、ユーザは、自分のパーソナルアシスタントまたは対話モジュールをアクティブ化している。対話モジュールは、「ご用件は何ですか？（How can I help?）」と応答する。ユーザは、「Ｃｏｌｄｐｌａｙのような何らかの音楽を再生する。（Play some music like Coldplay.）」と応答する。対話モジュールは、「わかりました。Ｘｂｏｘ音楽におけるあなたのＣｏｌｄｐｌａｙ音楽を再生します。（Okay. I'll play your Coldplay music on Xbox music.）」と応答する。

[0089] その後しばらくして、対話モジュールは、中断し、「この先、事故があり、大きな遅れが発生しています。ＳＲ－１２３に沿って迂回して、１５分節約したいですか？（There's an accident on your route causing major delays. Would you like to take a detour along SR-123 to save 15 minutes?）」とユーザに通知する。ユーザは、「はい。（Yes.）」と応答する。次いで、対話モジュールは、「良かった。案内を介して一緒に行きます。１マイル先の１６２Ｂと標識された出口ランプを利用して下さい。（Great. I'll walk you through the directions. Take the off ramp labeled 162B in one-mile.）」と応答する。

[0090] その後しばらくして、再度、対話モジュールは、アクティブ化され、「ご用件は何ですか？（How can I help?）」と応答する。ユーザは、「次に曲がるのはいつ？（"When's my next turn?）」と尋ねる。対話モジュールは、「２マイル先のＭｅｒｃｅｒ Ｓｔｒｅｅｔを右折して下さい。（In two miles take a right turn on Mercer Street.）」と応答する。その後しばらくして、再度、対話モジュールは、アクティブ化され、「ご用件は何ですか？（How can I help?）」と応答する。ユーザは、次の歌曲に変えるために、「次のトラック。（Next track.）」と言う。対話モジュールは、「わかりました。次のトラック。（Next track.）」と応答する。

[0091] 説明したばかりの例においては、対話モジュールは、先を見越した支援をユーザに提案する。具体的には、運転経路上に事故が起きていることをユーザに通知することによって、対話モジュールは、先を見越して、ユーザが、自分の運転経路に関して決定を下すことができるようにする。追加として、対話モジュールは、先を見越して、ユーザに推奨する迂回路を確定する。この例はまた、ユーザの運転の状況に対するモバイルデバイスのコンテキスト認識を示している。つまり、コンテキスト的に認識していることによって、対話モジュールは、知的な提言およびプロンプトを与えて、ユーザのエクスペリエンスを改善することができる。その上、この例は、ユーザのエクスペリエンスに対する後続の入力が正確に機能され得るようなユーザのエクスペリエンスのコンテキストに対する理解を維持するシステムの能力を示している。たとえば、ユーザは、音楽を再生することによって、エクスペリエンスを開始し、その後、事故に関する通知によりシステムによって中断される。経路変更情報の受信に関連付けられるユーザエクスペリエンスの間、ユーザは、次のトラックに変更するために、システムに関わる。したがって、システムは、ユーザのエクスペリエンスのコンテキストに対する理解を維持し、ユーザの音楽エクスペリエンスを、それが中止されたところから再開することができる。そのため、システムは、第１のアプリケーションに関連付けられる第１のタスク（たとえば、メディアプレーヤアプリケーションを使用して音楽を再生すること）の中断を、第２の異なるアプリケーションに関連付けられる第２の異なるタスク（たとえば、地図アプリケーションによって案内し直されること）によって可能にする。ユーザは、複数の相異なるモダリティを使用して、アプリケーションと関わることができ、現在のタスクと後続のタスクとの間をシームレスに変更し、戻すことができる。

[0092] コンテキスト認識の別の例として、以下を検討する。ユーザがラッシュアワー中に高速道路を下って走行していることを想定する。そのため、交通は、混雑している。ユーザが特定の時刻に特定の高速道路を走行していることを知ることによって、対話モジュールは、ユーザエクスペリエンスをどのように提示すべきであるかに関する決定を下すことができる。したがって、たとえば、ユーザがテキストメッセージを受信した場合、対話モジュールは、ユーザがラッシュアワーの交通の中を運転しなくなってしばらく経つまで、ユーザへの通知を遅らせることを決めることができる。いずれのタイプの通知またはプロンプトについても同じことが言える。この例はまた、パーソナルアシスタントエクスペリエンスがどのように、モバイルシナリオと非モバイルシナリオとの間で適応され得るかを示している。具体的には、非モバイルシナリオにおいては、事象が起きるや否や、たとえば、テキストメッセージを受信するや否や、通知が提供され得る。しかしながら、モバイルシナリオにおいては、そのような通知は、タイミングの観点から修正可能になる。

[0093] コンテキスト認識の別の例として、以下を検討する。ユーザが、ＰｉｋｅのＰｌａｃｅ Ｍａｒｋｅｔに近いＳｅａｔｔｌｅダウンタウンの中を運転し、駐車場所を探していることを想定する。システムは、ユーザのカレンダーを介して、ユーザが付近の場所に約束があることを知っている。ユーザもまた、ユーザが駐車場所を探そうとしていることをシステムに通知する。システムは、「おそらく、今、駐車することが最善でしょう。駐車すれば、より良い駐車場を見つけることになりますし、５分歩くだけだからです。でも、別の所を探そうとするには交通渋滞に巻き込まれて１５分かかります。」と提言する。

[0094] 別の例として、ユーザが、ガソリンが少ない状態で走行し、交通渋滞の中にいることを検討する。ユーザは、「Ｓｈｅｌｌ」ガソリンスタンドサービスを契約可能である。現在位置および車両のガソリンが少なくこと、ならびに「Ｓｈｅｌｌ」ガソリンスタンド契約を知っていることによって、対話モジュールは、「できるだけ早く、ガソリンを入れるべきです。次の出口に「Ｓｈｅｌｌ」スタンドがあります。」と提言することが可能になる。この方式においては、対話モジュールは、ユーザのモバイルフォンにおいて実行する他のアプリケーションおよび／またはリモートで、たとえば、「クラウド」で実行するアプリケーションと協働して動作することができ、これらの他のアプリケーションから集められた情報に基づいて、コンテキスト上適切な提言をすることができる。

[0095] 別の例として、システムは、ユーザが別の音楽を楽しんでいることに気付くことができる。ユーザが南カリフォルニア中を運転するとき、システムは、「ねえ、別の音楽に夢中になって、南カリフォルニアを運転していますね。あなたが知りたがるかもしれない素晴らしい地元バンドがいくつかあります。彼らについて聞きたいですか？」とユーザに通知することが可能になる。

[0096] 図１３は、１つまたは複数の実施形態による方法におけるステップを説明する流れ図である。この方法は、任意の適したハードウェア、ソフトウェア、ファームウェア、またはそれらの組合せで行われ得る。示され、説明されている実施形態においては、方法は、モバイルフォンなどの適切に構成設定されたモバイルデバイスによって行われる。

[0097] ステップ１３００は、モバイルフォンが車両に載って移動していることを確かめる。このステップは、任意の適したやり方で行われ得る。たとえば、少なくともいくつかの実施形態においては、このステップは、動作可能な接続がモバイルフォンと車両のエンターテインメントシステムとの間に確立されるとき、行われ得る。モバイルフォンが車両に載って移動していることを確かめたことに応答して、ステップ１３０２は、モバイルフォンに関連付けられるパーソナルアシスタントエクスペリエンスを修正する。これは、任意の適したやり方で行われ得る。たとえば、このステップは、電話機のディスプレイ画面などの他のモダリティではなく、音声モダリティを使用して通知することによって行われ得る。たとえば、非モバイルシナリオにおいては、単に、通知を電話機のディスプレイ画面に表示することによって、またはおそらくはバッジもしくはアイコンを使用することによって、通知が提供され得る。しかしながら、モバイルシナリオにおいては、運転の安全性を促進するために、通知を表示することの代わりにまたはそれに加えて、音声通知が使用可能になる。この方式においては、ユーザは、通知を受け取るのに電話機画面を見る必要がない。このステップはまた、運転のシナリオに対して、より安全に自ら役立つ応答タイプを提言することによって行われ得る。たとえば、テキストメッセージの受信、およびユーザへの通知に応答して、パーソナルアシスタントは、ユーザが道路から視線をそらす必要がない応答タイプ、たとえば、テキスト返信、電話呼、およびボイスオーバーＩＰ呼などを提言することが可能になる。さらには、ステップは、通知のタイミングを調節することによって行われ得る。具体的には、上記の例にあるように、ユーザがラッシュアワーの交通の中にいる場合、ユーザがラッシュアワーの交通の中にいなくなるようなときまで、通知は遅延可能になる。

[0098] 図１４は、１つまたは複数の実施形態による方法におけるステップを説明する流れ図である。この方法は、任意の適したハードウェア、ソフトウェア、ファームウェア、またはそれらの組合せで行われ得る。示され、説明されている実施形態においては、方法は、モバイルフォンなどの適切に構成設定されたモバイルデバイスによって行われる。

[0099] ステップ１４００は、モバイルフォンが車両に載って移動していることを確かめる。これがどのように、され得るかについての例は、上に与えられている。ステップ１４０２は、現在の運転コンテキストを確かめる。このステップは、任意の適したやり方で行われ得る。たとえば、少なくともいくつかの実施形態においては、モバイルフォンは、ウェブサービスなどのリモートソースとの通信に基づいて、現在の運転コンテキスト（たとえば、現在位置、交通状態、気象状態、および道路工事など）を確かめることができる。現在の運転コンテキストを確かめたことに応答して、ステップ１４０４は、現在の運転コンテキストに関連付けられる、先を見越した通知を提供する。したがって、たとえば、現在位置および交通状態に基づいて、電話機デバイスのパーソナルアシスタントは、代わりの経路を推奨することができる。代わりにまたは加えて、現在の気象状態に基づいて、パーソナルアシスタントは、気象関連の警報、たとえば、「あなたの現在位置に竜巻警報が出されています。高架など、安全な場所を見つけて、道路脇に車を止めることを検討して下さい。」を発することができる。

[00100] 音声のみのエクスペリエンスの調整に関連する様々な実施形態を検討したので、次に、ジョグダイヤルおよびタッチ画面のためにユーザインターフェースがどのように、調整され得るかについての論考を検討する。

ジョグダイヤルおよびタッチ画面のためのユーザインターフェースの調整
[00101] ジョグダイヤルとタッチ画面の両方についての入力機構を設計するとき、考慮に入れられる検討事項のうちの１つは、その触覚的性質の理由で、ジョグダイヤルは、通常、設計することがより困難であることである。同時に、タッチ入力がジョグダイヤル入力に加えて検討されることになる場合、入力対象は、両方に対応するように設計されるべきである。つまり、タッチ入力についてのタッチし易さ、ならびにジョグダイヤル入力についてのナビゲーションし易さを促進するように設計されるべきである。示され、説明されている実施形態においては、対象は、ジョグダイヤル入力のためにタブ付けされるとともにタッチ入力に対応するようにサイズ決めされ得る、オブジェクトを含む。任意の適したタイプのオブジェクトが利用されてもよく、その例には、タイルまたはアイコンが含まれる。

[00102] 一例として、同様の数字が、同様の構成要素を描くのに使用されている図３からのコンソール１０６を示している図１５を検討する。そこでは、コンソール１０６によって表示されている個々のタイルが示されている。タイルは、ユーザによって容易にタッチ選択されるようにサイズ決めされる。同時に、タイルを通じたナビゲーションは、タブ付けを通じた方式で、ジョグダイヤル１１２を用いて容易にされ得る。具体的には、ナビゲーションは、左上におけるタイルから開始することができ、ジョグダイヤルを時計回りの方向に回転させることによって、列における次の最右タイルが、ナビゲートされ得る。これは、一行目の終わり（すなわち、一行目の最右タブ）に到達するまで続けることができ、それと同時に、ジョグダイヤルを時計回りの方向に継続的に回転させることにより、２行目における最左タイルにナビゲートすることになる、などである。ジョグダイヤルを用いたナビゲーションに単一の線形方向を使用することによって、ユーザは、予測可能な形でナビゲーションを制御することがより容易にできる。これは、ナビゲーションの対象を通る進行が、一連の順序付けされた予測可能なやり方で行われるからである。この特定の例においては、オブジェクトのナビゲーションは、左右、上下の方式で行われる。

[00103] 追加として、マルチモーダル入力に対処する項において上に説明したように、特定のタスクを完了するための入力は、予測可能なシームレスな形で、ジョグダイヤルとタッチとの間で切替え可能である。たとえば、ユーザが自分のナビゲーションを容易にするために地図をタッチ選択したことを想定する。ユーザは、自分の現在位置のより粒度の高い視覚性を得るために、地図においてズームインしたいと望む。地図上のユーザインターフェースの手段は、ユーザが、地図をズームするための複数のタッチ入力を実行することを可能にすることができるが、別法として、ジョグダイヤルが使用されてもよい。これにより、ユーザは、タッチズームを選択するたびに、自分の視線を道路から移す必要性が軽減される。具体的には、一旦、地図が選択されると、ユーザは、ズームインするには時計回りに、またはズームアウトするには反時計回りにジョグダイヤルを単に回すだけでよい。この方式においては、ユーザは、地図をズームするために、自分の視線を道路からそらす必要がない。

[00104] 少なくともいくつか実施形態においては、一旦、地図または他のアフォーダンスなどのズーム可能なコンテンツがコンソールディスプレイに提示されると、ズーム入力は、ユーザがズーム操作を実行することを望む場合には確実に、ユーザが、最も安全なモダリティ、すなわち、ユーザが自分の視線を道路からそらす必要がないものを使用してズーム操作を実行するように、ジョグダイヤルに対してロックされ得る。この方式においては、入力モダリティのうちの一方は、表示されたコンテンツ、たとえば、コンソール上に表示されるオブジェクトとのユーザの対話のコンテキストに基づいて、もう一方に有利にロックアウトされ得る。

[00105] 代わりにまたは加えて、ユーザは、表示されたコンテンツの存在下で、ジョグダイヤルを押し下げることによるように、ジョグダイヤルを使用して、選択されたズーム可能なコンテンツを有することができる。一旦、ズーム可能なコンテンツが表示されると、コンテンツは、２本の指のピンチジェスチャなど、タッチ入力を使用してズーム可能である。

[00106] 他の実施形態においては、一旦、ズーム可能なコンテンツが表示されると、ジョグダイヤルは、表示されたコントロールにわたってトグル切り替えして、ズームモダリティを選択し、それを押し、次いで、おそらくはタッチまたはジョグダイヤルによって調整され得るスライダコントロールを表示させるのに利用され得る。

[00107] 上に説明したばかりの実施形態による方法は、図１０に関係して説明したものと類似する方式で行われ得る。つまり、入力は、タスクを開始する、またはタスク内でアクションを実施するために、ジョグダイヤル以外のモダリティを介して受信され得る。次いで、ユーザは、ジョグダイヤルを切り替えて、適宜、入力を与えることができる。たとえば、いくつかの事例においては、入力は、タスクの実行中のいくつかの特定の時点において、入力が、ジョグダイヤルを介してのみ提供可能になるように、ロックされ得る。代わりにまたは加えて、ジョグダイヤルは、様々なコントロールをナビゲートするためのタスクの実行において利用可能であると同時に、他の入力モダリティを介した入力は、タスク内のアクションをさらに実行するのに利用可能である。

[00108] 図１５Ａは、１つまたは複数の実施形態による方法におけるステップを説明する流れ図である。この方法は、任意の適したハードウェア、ソフトウェア、ファームウェア、またはそれらの組合せで行われ得る。示され、説明されている実施形態においては、方法は、モバイルフォンなどの適切に構成設定されたモバイルデバイス、および車載情報／エンターテインメントシステムを含むシステムによって行われる。

[00109] ステップ１５００は、車載情報／エンターテインメントシステムのコンソール上にオブジェクトの配列を表示する。このステップは、任意の適したタイプのオブジェクトを使用して、任意の適したやり方で行われ得る。たとえば、コンソールのディスプレイは、コンテンツ、およびモバイルフォンにおいて常駐するアプリケーションによって駆動され得る。表示され得るオブジェクトは、任意の適したタイプのオブジェクトを含んでもよく、その例には、タイル、およびアイコンなどが含まれる。図１５の例においては、オブジェクトの配列は、行および列で表示されるタイルの集合を含む。ステップ１５０２は、ジョグダイヤルまたはタッチ入力を介したオブジェクトの配列との対話を可能にする。この方式においては、ユーザは、モダリティのいずれかを使用して、オブジェクトの配列に自由に関わることができる。ステップ１５０４は、ジョグダイヤルまたはタッチのうちの一方を用いて、タスクを達成するための入力を受信する。任意の適したタイプのタスクが、達成され得る。上記の例においては、タスクは、オブジェクトの配列を通じてナビゲートして、最終的には、選択をすることを含むことができる。ステップ１５０６は、受信された入力に関連付けられる少なくとも１つのアクションを実施する。ナビゲーションの例を使用すると、そのようなアクションは、オブジェクトを通じて視覚的にナビゲートして、ユーザが選択できるようにすることを含み得る。ステップ１５０８は、ジョグダイヤルまたはタッチのうちのもう一方を用いて、タスクを達成するための入力を受信する。この方式においては、ユーザは、同じタスクを達成するために、モダリティをシームレスに切り替えることができる。たとえば、第１の受信された入力が、ジョグダイヤルを介したものであった場合、ナビゲーションは、配列の個々のオブジェクトを通じてナビゲートするように行われることになる。関心のあるオブジェクトに到達すると、ユーザは、次いで、オブジェクトに触れて、それを選択することができる。ステップ１５１０は、もう一方の受信された入力に関連付けられる少なくとも１つの追加のアクションを実施する。これには、たとえば、選択されたオブジェクトに関連付けられるコンテンツの立ち上げが含まれ得る。

[00110] さらなる他の実施形態においては、コンソール上に表示されるユーザインターフェースは、ジョグダイヤルおよびタッチ画面を使用したナビゲーションおよびコンテンツ消費を容易にするように適応され得る。

[00111] １つのそのような適応化は、長さが長い場合があるリストに関係して利用され得る。一例として、ユーザの連絡先リストの一部分を表示している図１６を検討する。連絡先リストは、数多くのエントリを有し、ユーザが、運転しながら特定の連絡先に電話をかけたいと望む場合、ユーザは、関心のある特定の連絡先を見つけるために、連絡先リストの数多くのエントリをナビゲートするという問題に直面する。この例においては、ジョグダイヤルが、使用に向けて利用できないことを想定する。この場合においては、リストは、ユーザが文字によってジャンプできるようにするアフォーダンスを含むように構成されている。

[00112] この特定の例においては、文字によるジャンプ機能は、図に示されている特定の文字を選択することによってアクセスされる。そこでは、ユーザは、文字「ａ」をタッチ選択している。

[00113] 連絡先が表示されている間に、特定の文字をタッチ選択したことに応答して、選択可能な文字のグリッドが与えられて、ユーザが、特定の文字にジャンプできるようになる。一例として、スペースの制約の理由で、文字グリッドがコンソールとは分離して示されている図１７を検討する。この例においては、ユーザは、文字「ｍ」をタッチ選択している。文字「ｍ」のタッチ選択に応答して、図１８に示されているものなどの文字「ｍ」から始まる連絡先へのナビゲーションが行われる。そこでは、ユーザは、特定の連絡先、この場合は、連絡を取るべき先の「Ｍａｎｄｒａｋｅ Ｓｈｏｒｔ」を選択することができる。一旦、連絡先が選択されると、ユーザには、図１９に示されているものなどのいくつかの通信オプションが提示され得る。

[00114] 図１９Ａは、１つまたは複数の実施形態による方法におけるステップを説明する流れ図である。この方法は、任意の適したハードウェア、ソフトウェア、ファームウェア、またはそれらの組合せで行われ得る。示され、説明されている実施形態においては、方法は、モバイルフォンなどの適切に構成設定されたモバイルデバイス、および車載エンターテインメント／情報システムによって行われる。

[00115] ステップ１９００は、トラバース可能な（traversable）リストの一部分を表示する。トラバース可能なリストは、モバイルフォンからのコンテンツを含むことができる。具体的には、この特定の例においては、モバイルフォンは、上に説明した車載エンターテインメント／情報システムに動作可能に結合される。この方式においては、モバイルフォンのコンテンツは、車両のコンソール上に表示され得る。任意の適したタイプのトラバース可能なリストが提供されてもよく、その一例は、上に説明したユーザの連絡先リストである。

[00116] ステップ１９０２は、リストオブジェクトの選択を受信する。任意の適したタイプのリストオブジェクトは、受信された選択の主題とすることができる。たとえば、上記の連絡先リストの例においては、選択は、具体的に表示された文字に関して受信された。少なくともいくつかの実施形態においては、トラバース可能なリストは、リスト内の他の位置へのナビゲーションを可能にするリストオブジェクト、およびリストの内容を含むリストオブジェクトを含むことができる。連絡先リストの例においては、他の位置へのナビゲーションを可能にするリストオブジェクトは、表示された文字を含み、一方、リストの内容を含むオブジェクトは、ユーザの個々の連絡先を含む。リストオブジェクトの選択を受信したことに応答して、ステップ１９０４は、トラバース可能なリストの異なる部分にナビゲートする、または異なる部分へのナビゲーションを可能にする。このステップは、任意の適したやり方で行われ得る。たとえば、少なくともいくつかの実施形態においては、このステップは、トラバース可能なリストの相異なる部分に対するナビゲーションを可能にするオブジェクトの配列またはグリッドを表示することによって行われ得る。上記のコンテキストの例においては、リストの相異なる部分へのナビゲーションを可能にするオブジェクトの配列またはグリッドは、選択され得る個々の文字を含む。配列またはグリッドの表示されたオブジェクトのうちの１つの選択を受信したことに応答して、ステップ１９０４は、選択された文字に対応するリストの一部分に対するそのナビゲーションを完了する。ステップ１９０６は、リストオブジェクトの選択を受信する。このステップは、リストの内容を含むリストオブジェクトの選択を受信することによって行われ得る。たとえば、連絡先リストの例においては、このステップは、リスト内に現れる個々の連絡先の選択を受信することによって行われ得る。リストオブジェクトの選択を受信したことに応答して、ステップ１９０８は、リストに関連付けられる機能を実施する。任意の適したタイプの機能が行われ得る。上記の連絡先リストの例においては、そのような機能は、選択された連絡先と連絡を取るためにユーザによって選択され得るいくつかの相異なる通信オプションの提示を含むことができる。

[00117] 次に、ジョグダイヤルが利用可能であり、先の例にあるように、文字によるジャンプ機能に使用される文字を含むタイルが、より流れるようなエクスペリエンスを可能にするためにオフにされることを想定する。この場合においては、文字によってジャンプするためのアフォーダンスは、ユーザがジョグダイヤルを素早くスピンするとき、リストに取って代わる大きい単一の文字として現れる。

[00118] 一例として、図２０を検討する。そこでは、大きい文字「ｅ」が、表示されている。ジョグダイヤルを素早くスピンすることによって、文字は、素早くナビゲートされて、たとえば、図２１に示されている文字「ｈ」などの所望の文字に達することができる。次に、ジョグダイヤルを押すことによって、ユーザは、図２２に示されるような選択された文字に対応するリスト内の場所に戻される。

[00119] 類似する方式においては、一旦、ユーザが、リスト内の所望の文字に達すると、ユーザは、個々の文字に対してナビゲートする間にユーザが行ったのと大体同じやり方で、リストの中のエントリ内を素早くナビゲートすることができる。つまり、ユーザがジョグダイヤルを素早くスピンするとき、ユーザは、リストの中のエントリをずっと下に移動させることを望んでいるという想定がなされ、したがって、ユーザは、リストを下にジャンプすること、および数多くのエントリを越えてトラバースすることができる。代わりに、ジョグダイヤルをゆっくりと回すことによって、ユーザは、各表示された名前を通って下向きに順次、進むことができる。したがって、この例においては、ジョグダイヤルは、リストの中の最初の名前を選択することによって始まることができ、ジョグダイヤルをゆっくりと回すことによって、ユーザは、各表示された名前を通って順次、下に進むことができる。次に、ユーザがジョグダイヤルを素早くスピンすることを想定する。この方式においては、リストは、素早くトラバース可能であり、リストの中のいくつかのエントリの下に見えるエントリに到達するために、複数のリストエントリが、スキップされ得る。

[00120] 図２２Ａは、１つまたは複数の実施形態による方法におけるステップを説明する流れ図である。この方法は、任意の適したハードウェア、ソフトウェア、ファームウェア、またはそれらの組合せで行われ得る。示され、説明されている実施形態においては、方法は、モバイルフォンなどの適切に構成設定されたモバイルデバイス、および車載エンターテインメント／情報システムによって行われる。

[00121] ステップ２２００は、車両コンソール上に、１つまた複数の文字を表示する。このステップは、任意の適したやり方で行われ得る。たとえば、少なくともいくつかの実施形態においては、単一の文字が、表示され得る。代わりにまたは加えて、少なくともいくつかの実施形態においては、複数の文字が、たとえば一連の３つまたは４つの文字が、表示され得る。ステップ２２０２は、ジョグダイヤルを経由してユーザ入力を受信する。この入力は、ユーザが、特定の方向、たとえば、時計回り、または反時計回りにジョグダイヤルをスピンしたことの結果として受信され得る。ステップ２２０４は、ジョグダイヤルスピン速度に応じて文字を繰り返す（ｃｙｃｌｅ ｔｈｒｏｕｇｈ）。示され、説明されている例においては、文字を繰り返すことは、簡単な事例として、目標文字に到達するまで、連続的な形で個々の文字を表示することを含むことができる。ステップ２２０６は、ジョグダイヤルを経由して文字選択を受信する。このステップは、たとえば、文字を選択したいという要望を示す方式でジョグダイヤルを押圧する、または別の形でジョグダイヤルに関わるユーザ入力を受信することによって行われ得る。文字選択の受信に応答して、ステップ２２０８は、選択された文字に対応するエントリから始まるリスト部分を表示する。たとえば、図２２の例にあるように、選択された文字「Ｈ」から始まるエントリが表示され得る。これに続いて、ジョグダイヤルは、リスト部分を前後にナビゲートするのに使用されて、所望のエントリに到達することができる。一旦、所望のエントリが選択されると、通信５機能（ｃｏｍｍｕｎｉｃａｔｉｏｎ－ｆｉｖｅ ｆｕｎｃｔｉｏｎａｌｉｔｙ）を含む機能が、ユーザに対して曝されて、ユーザが、選択されたエントリと通信できるようにすることが可能である。

適応型ユーザインターフェース
[00122] モバイルデバイスとコンソールのディスプレイデバイスとの相違の本質そのものが理由で、この２者間のユーザインターフェースエクスペリエンスは、異なる場合がある。これは、いくつかの理由で、全く安全なことではない可能性がある。同様に、ユーザが車両のコンテキスト以外で自分のモバイルデバイスに関わっている場合、ユーザの全神経は、モバイルデバイスとの自分のユーザインターフェースエクスペリエンスに集中していることが想定される。一方、ユーザが、自分の車の中で自分のモバイルデバイスを使用して車両のコンソールとインターフェースを取っている場合、ユーザの全神経は、コンソールとのユーザインターフェースエクスペリエンスに集中しているとは言えない。

[00123] このことを念頭に置いて、様々な実施形態は、ユーザが、コンテンツをはっきりと見て、安全性を促進できる方式で、コンソールのディスプレイデバイス上にモバイルデバイスからのコンテンツを提示するために、モバイルデバイスのユーザインターフェースエクスペリエンスに対する適応化を行う。

[00124] 一例として、モバイルデバイスのユーザインターフェースエクスペリエンス対コンソールのディスプレイデバイスのユーザインターフェースエクスペリエンスの左右に並べた比較を示す図２３を検討する。

[00125] まず、大まかには２３００に示されているモバイルデバイス上のピボットコントロールを検討する。そこでは、ピボットコントロールは、ピボット項目、たとえば、「ｐｌａｙｌｉｓｔｓ（プレイリスト）」、および「ｇｅｎｒｅｓ（ジャンル）」などの水平にスクロール可能なリストの形態で存在する。ユーザが車両のコンテキスト以外で自分のモバイルデバイスに関わるとき、ユーザは、単に、様々なピボット項目を通してスクロールして、それらをディスプレイ上に持ってくることができる。

[00126] 次に、大まかには２３０２に示されている車両のコンソールと関係して使用するためのピボットコントロールの適応化を検討する。モバイルデバイスのコンテンツが、コンソールのディスプレイデバイス上に投影されるとき、ピボットコントロールは、ユーザがユーザインターフェースエクスペリエンスに、自分の全神経を注がないことが可能である環境に、より適した形で、コンテンツを提示するように適応され得る。具体的には、適応化のうちの第１は、ピボットコントロールが、一目で見ることができるすべてのビューによりレイアウトされるタブの垂直リストとして提示されることである。これは、この具体的な事例においては、ユーザは、ピボット項目のうちのすべてを見るために、入力モダリティを介した入力を何ら提供する必要がないので、モバイルデバイスの中のピボットコントロールとは異なる。ピボット項目はまた、モバイルデバイスにおいて利用されるものよりも大きいテキストサイズを用いて提示される。これは、ユーザによる一見しただけの消費を促進する。追加として、２３０４において示されているものなどのより大きいタッチ対象が提示されている。

[00127] 次に、大まかには２３０６に示されているモバイルデバイス上のリストコントロールを検討する。この事例においては、リストコントロールは、モバイルデバイスのディスプレイを埋めるのに十分な数のリスト項目を表示する。この具体的な事例においては、テキストのサイズに応じて、これは、８、９、または１０以上の項目を表示することを含むことがあり得る。ユーザが、車両のコンテキスト以外で自分のモバイルデバイスに関わるとき、表示されるリスト項目の数に対するユーザの安全性についての懸念は、実際に全くない。これは、ユーザが、自分のモバイルデバイスにおけるユーザインターフェースエクスペリエンスに自分の全神経を注いでいるという想定がなされるからである。追加として、モバイルデバイスに関しては、リストコントロールは、表示されていない、リストのさらに下に現れる項目にアクセスするために垂直方向にスクロール可能であることによるように、スクロール可能である。一方、モバイルデバイスのコンテンツが、コンソールのディスプレイデバイス上に投影されるとき、リストコントロールの適応化が行われる。

[00128] たとえば、リストコントロール２３０８を検討する。様々な実施形態は、モバイルデバイス上に表示されるリスト項目の数より少ない所定の数のリスト項目を表示する。したがって、たとえば、モバイルデバイスが１０項目を表示する場合、コンソールのディスプレイデバイスは、見ればすぐわかるように、また容易に消費できるようにするために、６項目しか表示することができない。追加として、少なくともいくつかの実施形態においては、コンソール上に表示されるリストコントロールは、連続的にスクロールできるのではなく、むしろ、ユーザが、一度に、複数のリスト項目を通してページングするために、ページングモデルを使用する。さらには、他の適応化には、コンソールのリストに現れる項目のより大きいテキストサイズおよびより大きい対象サイズを利用することが含まれ得る。また、ジョグダイヤル入力についての可視フォーカスが提供される。一例として、「ｐｌａｙｌｉｓｔ」項目は、ユーザが、ピボットコントロールの中の位置を容易に視覚的に確かめることができるように、およびジョグダイヤル入力を与えて、ピボットコントロールの中の項目を上下に移動させることができるように、強調され得る。

[00129] 他の適応化は、他のユーザインターフェースエクスペリエンスに関して行われ得る。一例として、モバイルデバイスにおいてメディア要素コントロール２４００、およびコンソールのディスプレイデバイスにおいてメディア要素コントロール２４０２を示している図２４を検討する。モバイルデバイスにおいては、メディア要素コントロールは、ユーザが、オーディオとビデオのコンテンツの両方を再生できるようにすることが可能であるのに対して、コンソールにおけるメディア要素コントロールは、オーディオのみを再生でき、ビデオコンテンツを再生できないように構成され得る。さらには、再生ボタンおよび一時停止ボタンなどのより大きいタッチ対象、ならびにジョグダイヤル入力のための可視フォーカスが提供される。やはり、そのような適応化は、消費し易さおよび安全性を促進する。

[00130] 他の適応化は、他のユーザインターフェースエクスペリエンスに関して行われ得る。たとえば、モバイルデバイスにおいては、パノラマコントロールが電話機に設けられて、ユーザが、コンテンツまたは項目を通してパンニングできるようにする。少なくともいくつかの実施形態においては、モバイルデバイスにおけるユーザインターフェースエクスペリエンスが、パノラマコントロールを有効にするような場合にはいつでも、パノラマコントロールは、コンソールにおいては許可解除され、代わりに、ピボットコントロールに置き換えられる。パノラマコントロールをピボットコントロールに置き換える１つの理由は、パノラマコントロールが、スワイプジェスチャおよびアニメーションの使用に非常に依存する傾向があるからである。パノラマコントロールをピボットコントロールに置き換えることによって、ユーザは、ピボットコントロールの中に現れるコンテンツにそれほど神経を向けずに、選択またはナビゲーションを行うことができる。

[00131] 他の適応化は、いわゆるグリッドコントロールに関して行われ得る。モバイルデバイスにおける特定のいくつかのアプリケーションは、コンテンツを提示するために、グリッドを利用する。グリッドの一例が、図３に示されている。グリッドコントロールは、ユーザが、ナビゲーションエクスペリエンスに自分の神経を向けることができるとき、モバイルデバイスのコンテキストにおいてよく働く傾向がある。グリッドコントロールのナビゲーションエクスペリエンスは、幾分、自由で、予測不可能で、動的である傾向があり得る。たとえば、グリッドのコンテンツにアクセスするには、ユーザは、通常、様々なタイプのスワイプジェスチャを通じて、予測不可能であるように思われるやり方でグリッドをトラバースすることができる。車両のコンソールのコンテキストにおいては、モバイルデバイスのグリッドコントロールのユーザエクスペリエンスは、図２３に示されているものなどのリストタイプのエクスペリエンスに置き換えられ得る。コンソールのディスプレイデバイスのコンテキストにおけるリストエクスペリエンスは、特にジョグダイヤル入力に関して、より予測可能な一貫したトラバースのエクスペリエンスを促進することができる。

[00132] 図２５は、１つまたは複数の実施形態による方法におけるステップを説明する流れ図である。このステップは、任意の適したハードウェア、ソフトウェア、ファームウェア、またはそれらの組合せに関係して実装され得る。少なくともいくつかの実施形態においては、方法は、モバイルデバイスなどの適切に構成設定されたシステム、および車載情報／エンターテインメントシステムによって実装され得る。

[00133] ステップ２５００は、モバイルデバイスを車載情報／エンターテインメントシステムに結合する。ステップ２５０２は、モバイルデバイスに関連付けられるユーザインターフェースエクスペリエンスを車載情報／エンターテインメントシステムに関連付けられるユーザインターフェースエクスペリエンスに適応させる。適応化は、任意の適したやり方で行われ得る。たとえば、モバイルデバイスにおけるピボットコントロールは、ピボット項目のスクロール可能なリストの使用から、すべてのビューが同時に見えるリストタイプの可視化の使用へ適応され得る。代わりにまたは加えて、モバイルデバイスにおけるリストコントロールは、スクロール可能なリストの使用から、ユーザが、一度に、複数の項目を通してページングするためのページングモデルの使用へ適応され得る。さらなる適応化には、限定ではなく、例として、メディア要素コントロールを、モバイルデバイスにおいてオーディオとビデオの両方を有効にすることから、車載情報／エンターテインメントシステムのコンソールにおいてオーディオのみを再生できるようにすることへと制限することが含まれ得る。代わりにまたは加えて、様々なグリッドコントロールの適応化は、グリッドコントロールのナビゲーションエクスペリエンスを、モバイルデバイスにおける幾分、自由で、予測不可能なエクスペリエンスから、上述した、より線形で、シリアル化され、予測可能なナビゲーションエクスペリエンスへと適応させるように行われ得る。

複数の画面を使用する適応型ユーザインターフェース
[00134] １つまたは複数の実施形態においては、モバイルデバイスは、車両のハードウェアの一部になり得る複数の相異なる画面タイプにレンダリングすることができる。たとえば、様々な画面タイプには、限定ではなく、例として、上に説明したものなどのコンソールに関連付けられる画面タイプ、１つまたは複数のサブ画面を含むことができる、いわゆるクラスタ、およびコンテンツが車両のフロントガラスにおいてレンダリングされるヘッドアップディスプレイ（head's up display: HUD）などが含まれ得る。一例として、図２６を検討する。

[00135] そこでは、１つまたは複数の実施形態によるシステムが、大まかには２６００に示されている。システム２６００は、モバイルデバイス２６０２を含み、このモバイルデバイス２６０２は、構成要素の中でもとりわけ、１つまたは複数のアプリケーション２６０４と、ルールエンジン２６０６と、ディスプレイドライバモジュール２６０８と、限定ではなく、例として、コンソール２６１０、クラスタ２６１２（通常、運転手のダッシュボードの中にあり、スピードメータおよび他の計器を含む）、クラスタ２６１２内のサブ画面２６１４、ならびにヘッドアップディスプレイ２６１６を含む様々な相異なる画面タイプとを含む。

[00136] この例においては、アプリケーション２６０４は、画面タイプにとらわれないように記述され得る。これにより、アプリケーション開発者が、自身のアプリケーションを、様々なタイプの機能を実行するように記述することができ、そのことは、結果的に、レンダリング可能なコンテンツが生み出されることを意味する。レンダリング可能なコンテンツは、画面に関連付けられるプロパティおよび特性により、複数の相異なるタイプの画面にレンダリングされ得る。

[00137] 操作に際して、ルールエンジン２６０６は、特定の車両内に存在する画面タイプに関連付けられる様々なルールを含むコンテナを提供する。個々のルールは、任意の１つの特定のタイプの画面においてレンダリングされることになるコンテンツに関連付けられるプロパティおよび特性を指定することができる。これには、限定ではなく、例として、コンテンツフォーマットルール、美的ルール、視覚的デザインルール、文化的関連のルール、地理的関連のルール、言語特有のルール、読取り方向ルール（たとえば、右から左へのルール、左から右へのルール）、運転席構成設定ルール（たとえば、左側／右側運転席）、および音声対話ルールなどが含まれ得る

[00138] メディアプレーヤアプリケーションなどのアプリケーションが車載情報／エンターテインメントシステムに接続されるとき、このアプリケーションは、複数の相異なるタイプの画面にレンダリングされ得るレンダリング可能コンテンツを生み出す。ルールエンジン２６０６は、アプリケーションが、複数の相異なる画面タイプに関してレンダリングするためのコンテンツをフォーマットするのに使用することができるルールのセットを提供することができる。代わりに、ディスプレイドライバモジュール２６０８は、アプリケーションからデータおよび情報を受信し、ルールエンジン２６０６と連携して動作して、特定の画面タイプのうちの１つまたは複数における表示を駆動する。

[00139] たとえば、メディアコンテンツは、コンソール２６１０のディスプレイデバイス上に表示され得、一方、通知、警告、プロンプトは、クラスタ２６１２に提供され、クラスタ２６１２によって表示され得る。ルールエンジン２６０６は、各特定の画面タイプのためのルールを含み、したがって、アプリケーションまたはディスプレイドライバモジュール２６０８に、相異なるタイプの画面上に表示される適切な方式で、データをフォーマットさせることができる。この方式においては、アプリケーション開発者は、コンテンツがレンダリングされることになる画面のタイプを考慮せずに、簡単にレンダリング可能なコンテンツを生み出すようにアプリケーションを記述することができる。ルールエンジン２６０６およびアプリケーションまたはディスプレイドライバモジュール２６０８は、連携して動作して、任意の１つの特定のアプリケーションによって生み出されたコンテンツが、その画面タイプに適切であるフォーマットで様々な画面に適切にレンダリングされ得ることを確実にする。

[00140] 複数の画面に関連付けられる適応型ユーザインターフェースを検討したので、次に、１つまたは複数の実施形態によるユニバーサルコマンド／コントロールモデルを検討する。

ユニバーサルコマンド／コントロールモデル
[00141] すぐ上の項においては、適応型ユーザインターフェースについての見解は、レンダリング可能なコンテンツに関係して説明された。適応型ユーザインターフェースは、いわゆるユニバーサルコントロールについての見解にさらに拡張され得る。つまり、適応型ユーザインターフェースモデルを使用すると、アプリケーション開発者は、コントロールがどのように、レンダリングされるかに関してとらわれない方式で、彼らのアプリケーションを開発することができる。つまり、コントロールは、ハードコントロールとソフトコントロールの両方を含むことができる。そのようなコントロールには、リスト、選択、メニュー、ボタン、パッド、およびダイヤルなどが含まれ得る。

[00142] モバイルデバイスが、車載情報／エンターテインメントシステムに結合され、アプリケーションが立ち上げられるとき、ルールエンジン２８０６からのルールは、アプリケーション制約に対して、様々な画面タイプに関してレンダリングされることになるコントロールのプロパティおよび特性を示す。たとえば、ルールは、レンダリングされることになるコントロールの数、コントロールのサイズ、およびフォントサイズなどを示すことができる。ルールエンジンから確かめられた情報を使用して、アプリケーションは、次いで、それが受け取るルールによって規定される画面サイズ内に収まるようにそのコントロールを適応させることができる。これは、アプリケーションが、特注で記述される必要がないこと、および上記の例にあるように、アプリケーションを記述する際のアプリケーション開発者の仕事を非常に容易にすることを意味する。つまり、アプリケーションは、電話機および車両のシステムの一部であるユニバーサル画面サイズに向けて記述することができる。コントロールの適応可能性の良い例は、図２３および図２４、ならびに上記の関連する論考に見られる。

[00143] この点におけるルールエンジンの使用はまた、車両ユーザインターフェースを管理する規制に対する変更に直面して、コントロールなど、ユーザインターフェース要素を適応させる際の柔軟性を促進する。たとえば、車両ユーザインターフェースの要件を修正する規制変更が行われる場合、ルールエンジン２６０６に見られるルールに対する簡単な変更は、いずれのアプリケーションも記述し直す必要なしに行われ得る。つまり、アプリケーション開発者は、この場合、自身のアプリケーションを、特定の適用可能な規制に対してではなく、「ユニバーサルコントロール」に対して記述することができる。

[00144] 図２７は、１つまたは複数の実施形態による方法におけるステップを説明する流れ図である。ステップは、任意の適したハードウェア、ソフトウェア、ファームウェア、またはそれらの組合せに関係して実装され得る。少なくともいくつかの実施形態においては、方法は、モバイルデバイスなどの適切に構成設定されたシステム、および車載情報／エンターテインメントシステムによって実装され得る。

[00145] ステップ２７００は、モバイルデバイスを車両の車載情報／エンターテインメントシステムに結合する。ステップ２７０２は、モバイルデバイスにおいてアプリケーションを立ち上げる。ステップ２７０４は、車両に関連付けられる１つまたは複数の画面タイプに関するコンテンツおよび／またはコントロールのレンダリングに関連付けられる１つまたは複数のルールを確かめる。このステップは、任意の適したやり方で行われ得る。たとえば、少なくともいくつかの実施形態においては、ステップは、モバイルデバイスにおいて実行するアプリケーションによって行われ得る。代わりにまたは加えて、このステップは、画面タイプに関してレンダリングされることになるコンテンツおよび／またはコントロールを提供するようにアプリケーションと連携して動作するディスプレイドライバモジュールによって行われ得る。ステップ２７０６は、ルールを使用して、画面タイプに関してレンダリングされることになるコンテンツおよび／またはコントロールを適応させる。ステップ２９０８は、適応されたコンテンツおよび／またはコントロールを画面タイプに関してレンダリングさせる。

[00146] 上に説明した様々な実施形態を検討したので、次に、上に説明した実施形態を実装するのに利用され得る例示的なデバイスの論考を検討する。説明されることになる様々な要素は、モバイルデバイスと、車載情報／エンターテインメントデバイスの態様との両方を実装するのに使用され得る。

例示的なデバイス
[00147] 図２８は、上に説明した実施形態に関係して使用され得る任意のタイプのコンピューティングデバイスとして実装可能な例示的なデバイス２８００の様々な構成要素を示している。

[00148] デバイス２８００は、デバイスデータ２８０４（たとえば、受信されたデータ、受信中のデータ、同報通信に予定されるデータ、データのデータパケットなど）のワイヤードおよび／またはワイヤレスの通信を可能にする通信デバイス２８０２を含む。デバイスデータ２８０４または他のデバイスコンテンツは、デバイスの構成設定、デバイスにおいて記憶されるメディアコンテンツ、および／またはデバイスのユーザに関連付けられる情報を含むことができる。デバイス２８００において記憶されるメディアコンテンツは、任意のタイプのオーディオ、ビデオ、および／または画像のデータを含むことができる。デバイス２８００は、ユーザ選択可能な入力、メッセージ、音楽、テレビメディアコンテンツ、記録されたビデオコンテンツ、および任意の他のタイプのオーディオ、ビデオ、ならびに／あるいは任意のコンテンツおよび／またはデータソースから受信した画像データなど、任意のタイプのデータ、メディアコンテンツ、および／または入力がそれを経由して受信可能な１つまたは複数のデータ入力部２８０６を含む。

[00149] デバイス２８００はまた、直列および／または並列のインターフェース、ワイヤレスインターフェース、任意のタイプのネットワークインターフェース、モデムのうちのいずれか１つまたは複数として、ならびに任意の他のタイプの通信インターフェースとして実装可能な通信インターフェース２８０８を含む。通信インターフェースおよび２８０８は、デバイス２８００と通信ネットワークとの間の接続および／または通信リンクを提供し、それによって、他の電子、コンピューティング、および通信デバイスが、デバイス２８００とデータをやりとりする。

[00150] デバイス２８００は、１つまたは複数のプロセッサ２８１０（たとえば、マイクロプロセッサ、およびコントローラなどのうちのいずれか）を含み、このプロセッサ２８１０は、様々なコンピュータ実行可能命令を処理して、デバイス２８００の動作を制御し、本明細書に記載の技法の実施形態を実装する。代替としてまたは追加として、デバイス２８００は、大まかには２８１２において識別される処理および制御回路と関係して実装されるハードウェア、ファームウェア、または固定されたロジック回路機構のうちのいずれか１つまたは組合せにより実装され得る。図示していないが、デバイス２８００は、デバイス内に様々な構成要素を結合するシステムバスまたはデータ転送システムを含むことができる。システムバスは、メモリバスもしくはメモリコントローラ、周辺バス、ユニバーサルシリアルバス、および／または種々のバスアーキテクチャのうちのいずれかを利用するプロセッサもしくはローカルバスなど、相異なるバス構造体のうちのいずれか１つまたは組合せを含むことができる。

[00151] デバイス２８００はまた、１つまたは複数のメモリ構成要素など、コンピュータ可読媒体２８１４を含み、その例には、ランダムアクセスメモリ（RAM）、不揮発性メモリ（たとえば、読取り専用メモリ（ROM）、フラッシュメモリ、ＥＰＲＯＭ、ＥＥＰＲＯＯＭなどのうちのいずれか１つまたは複数）、およびディスク記憶デバイスが含まれる。ディスク記憶デバイスは、ハードディスクドライブ、記録可能および／または書換え可能なコンパクトディスク（CD）など、任意のタイプの磁気または光学記憶デバイス、ならびに任意のタイプのデジタル多用途ディスク（DVD）などとして実装され得る。デバイス２８００はまた、大容量記憶媒体デバイス２８１６を含んでもよい。

[00152] コンピュータ可読媒体２８１４は、デバイスデータ２８０４、ならびに様々なデバイスアプリケーション２８１８およびデバイス２８００の動作上の態様に関係する任意の他のタイプの情報および／またはデータを記憶するためのデータ記憶機構を提供する。たとえば、オペレーティングシステム２８２０は、コンピュータ可読媒体２８１４によるコンピュータアプリケーションとして維持され、プロセッサ２８１０において実行され得る。デバイスアプリケーション２８１８は、デバイスマネージャ（たとえば、制御アプリケーション、ソフトウェアアプリケーション、信号処理および制御モジュール、特定のデバイスに固有のコード、特定のデバイスについてのハードウェア抽象化レイヤなど）を含むことができる。デバイスアプリケーション２８１８はまた、本明細書に記載の技法の実装形態を実装するための任意のシステム構成要素またはモジュールを含む。この例においては、デバイスアプリケーション２８１８は、ソフトウェアモジュールおよび／またはコンピュータアプリケーションとして示されているインターフェースアプリケーション２８２２およびジェスチャ取込みドライバ２８２４を含む。ジェスチャ取込みドライバ２８２４は、タッチ画面、トラックパッド、およびカメラなどのジェスチャを取り込むように構成されているデバイスをインターフェースに提供するのに使用されるソフトウェアを表す。代替としてまたは追加として、インターフェースアプリケーション２８２２およびジェスチャ取込みドライバ２８２４は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せとして実装され得る。加えて、コンピュータ可読媒体２８１４は、ブラウザ機能を提供するウェブプラットフォーム２８２５を含んでもよい。

[00153] デバイス２８００はまた、オーディオデータをオーディオシステム２８２８に、かつ／またはビデオデータをディスプレイシステム２８３０に提供するオーディオおよび／またはビデオ入出力システム２８２６を含む。オーディオシステム２８２８および／またはディスプレイシステム２８３０は、オーディオ、ビデオ、および画像のデータを処理し、表示し、かつ／またはそうでなければ、レンダリングする任意のデバイスを含むことができる。ビデオ信号およびオーディオ信号は、ＲＦ（無線周波数）リンク、Ｓビデオリンク、コンポジットビデオリンク、コンポーネントビデオリンク、ＤＶＩ（デジタルビデオインターフェース）、アナログオーディオ接続、または他の類似する通信リンクを経由して、デバイス２８００からオーディオデバイスおよび／またはディスプレイデバイスに伝達され得る。一実施形態においては、オーディオシステム２８２８および／またはディスプレイシステム２８３０は、デバイス２８００の外部構成要素として実装される。代替として、オーディオシステム２８２８および／またはディスプレイシステム２８３０は、例示的なデバイス２８００の一体型構成要素として実装される。

結論
[00154] 様々な実施形態は、電話機などのモバイルデバイスが、車載情報／エンターテインメントシステムと統合して、ユーザが、自分のモバイルフォンを介して車載情報／エンターテインメントシステムを制御できるようにすることを可能にする。ユーザは、モバイルフォンの機能を活用して、ユーザまたは車両のコンテキストに合わせてコンテキスト的に調整可能である車内エクスペリエンスを促進することができる。

[00155] 少なくともいくつかの実施形態においては、ユーザは、複数の相異なるモダリティを使用して、様々なタスクをモダリティ間の滑らかな連続モーダルハンドオフにより完了することができる。モダリティには、音声、タッチ、およびジョグダイヤルなどのコントロールが含まれ得る。滑らかなモーダルハンドオフにより、ユーザは、自分のコンテキストに応じて、自分の入力モダリティを容易に変更することが可能になる。

[00156] 他の実施形態は、運転シナリオおよびユーザの認知的負荷に基づいて音声のみのエクスペリエンスを調整することができる。さらなる他の実施形態は、ジョグダイヤル、およびタッチ画面のモダリティについてユーザエクスペリエンスを調整することができる。さらなる実施形態は、複数の相異なるタイプの画面、たとえば、電話機画面、クラスタ画面、コンソール画面、およびヘッドアップディスプレイ（HUD）画面などと関係して動作することが可能な適応型ユーザインターフェースを含めて、適応型ユーザインターフェースを提供することができる。さらなる実施形態は、ボタンジョグ、容量性ダイヤル、ハードキー、およびパッドなどを含む複数のタイプの物理的入力に、ユニバーサルコマンド／コントロールモデルを提供する。

[00157] 諸実施形態について、構造上の特徴および／または方法論的な行為に固有の文言で説明してきたが、添付の特許請求の範囲に規定される実施形態が、必ずしも説明された固有の特徴または行為に限定されるものではないことを理解されたい。むしろ、固有の特徴および行為は、特許請求される実施形態を実装する例示的な形態として開示される。

Claims (8)

1. モバイルデバイスと車載情報／エンターテインメントシステムとの間の接続を確立することと、
   前記モバイルデバイスから通信を受信することであって、前記通信が、前記モバイルデバイスによって受信された、音声通信を含む第１のモダリティタイプの入力に関連付けられ、前記入力が、クエリを含み、音楽再生のタスクを達成することに関連付けられる、受信することと、
   前記クエリを満たす複数の歌曲をリストすることと、
   前記第１のモダリティタイプとは異なる第２のモダリティタイプの入力を受信することであって、前記クエリを満たす複数の歌曲から歌曲を選択する前記第２のモダリティタイプの前記入力が、音楽再生の前記タスクを実施することに関連付けられる、受信することと、
   音楽再生の前記タスクを実施することであって、前記タスクは、前記歌曲を再生することを含む、音楽再生の前記タスクを実施することと、
   ユーザのコンテキストが異なるタスクに含まれる実行可能なアクションが実行のために使用可能であることを示すとき、音楽再生の前記タスクを実施中に当該タスクを中断し、前記異なるタスクに関連付けられる前記車載情報／エンターテインメントシステムの前記第１及び第２のモダリティタイプとは異なる、タッチを含む第３のモダリティタイプを介して選択可能なオプションを含むユーザインターフェースを提示することと、
   タッチを含む前記第３のモダリティタイプを介して前記オプションの選択を受信することに応答して、前記異なるタスクを実施することと、を含み、
   ３つの異なるモダリティタイプが、前記モバイルデバイスを介して前記車載情報／エンターテインメントシステムに関与するために使用され、前記３つの異なるモダリティタイプは、前記第１のモダリティタイプ、前記第２のモダリティタイプ、及び、前記第１及び第２のモダリティタイプとは異なる前記第３のモダリティタイプを含み、
   前記音楽再生の前記タスクを実施することは、前記異なるタスクが実施された後、前記音楽再生の前記タスクが中断されたところから当該タスクを再開することを含む、
   コンピュータ実装方法。
2. 前記第２のモダリティタイプの前記入力が、前記車載情報／エンターテインメントシステムのコンソールに関連付けられるジョグダイヤルを介して受信されるジョグダイヤル入力を含む、請求項１に記載のコンピュータ実装方法。
3. 少なくともいくつかのアクションが、前記第１のモダリティタイプ、あるいは前記第２のモダリティタイプまたは前記第３のモダリティタイプのうちの１つまたは複数を使用して行われ得る、請求項１に記載のコンピュータ実装方法。
4. 少なくともいくつかのアクションが、前記第１のモダリティタイプ、あるいは前記第２のモダリティタイプまたは前記第３のモダリティタイプのうちの１つまたは複数を使用して行われ得、前記第１のモダリティタイプが、音声入力を含む、請求項１に記載のコンピュータ実装方法。
5. 前記第１のモダリティタイプ、前記第２のモダリティタイプ、または前記第３のモダリティタイプのうちの少なくとも１つが、前記車載情報／エンターテインメントシステムのコンソールにおいてレンダリングされるオブジェクトのナビゲーションを可能にする、請求項１に記載のコンピュータ実装方法。
6. 前記第１のモダリティタイプ、前記第２のモダリティタイプ、または前記第３のモダリティタイプのうちの少なくとも１つが、前記車載情報／エンターテインメントシステムのコンソールにおいてレンダリングされるオブジェクトのナビゲーションを可能にし、前記オブジェクトが、タイルを含む、請求項１に記載のコンピュータ実装方法。
7. 前記第１のモダリティタイプの前記入力が、音声入力を含み、前記第２のモダリティタイプの前記入力が、前記第１のモダリティタイプの前記入力に関連付けられる曖昧さを解消するように構成されている、請求項１に記載のコンピュータ実装方法。
8. コンピュータ可読命令を記憶する１つまたは複数のコンピュータ可読記憶媒体であって、前記コンピュータ可読命令は、実行されるとき、請求項１から７のいずれか一項に記載の方法を含む動作を実施する、１つまたは複数のコンピュータ可読記憶媒体。
   

Images