JP6832847B2 - ユーザインタフェースのための対話方法 - Google Patents

Description

本開示は、一般に、ユーザとの対話処理に関し、より詳細には、ユーザインタフェースとの対話を可能にする対話方法および装置に関する。

現在のグラフィカルユーザインタフェース（UI）は、通常、ユーザが、2次元のメタファに従う平面上に配置された個々のグラフィカルアイコンおよび視覚インジケータの直接的な操作によって、電子デバイスと対話することを可能にする。3次元（3D）ユーザインタフェースは、3次元の同様のグラフィカルアイコンおよび視覚インジケータを示す。しかしながら、ユーザは、通常、平面上で操作し続ける。

グラフィカルユーザインタフェースの特定のセットアップに基づいて、ユーザは、個々のグラフィカルアイコンまたは視覚インジケータに向けて入力を提供して、グラフィカルアイコンまたは視覚インジケータによって表される機能を実行することができる。例えば、ユーザは、グラフィカルアイコンをタッチまたはクリックするか、グラフィカルアイコンに関連付けられたジェスチャを利用することによって、画面上のグラフィカルアイコンを直接操作することができる。例えば、ユーザは、グラフィカルアイコンまたは視覚インジケータをクリックもしくは他の方法で選択するためにポインティングデバイスを使用することができ、またはグラフィカルアイコンもしくは視覚インジケータに直接タッチするタッチセンシティブデバイスを使用することができる。

グラフィカルユーザインタフェースは、通常、サイズが限られている。したがって、ユーザインタフェースで表される要素および対応する機能の数には限りがある。3Dユーザインタフェースは拡大された対話空間を利用することができるが、対話はまだ平面（2次元）上で対話するという考えに基づいており、対話は、通常、ユーザインタフェースのアクティブ部分またはコンテキストにのみ関連する。ユーザインタフェースの残りの部分は、ユーザが直接操作することはできない。

上記を考慮して、本発明の目的は、ユーザインタフェースとの対話を改善し、特に、ユーザインタフェースによって提供される機能を拡張することである。上記およびその他の目的は、独立請求項の特徴によって達成される。さらなる実装態様は、従属請求項、明細書、および図面から明らかである。

第1の態様によれば、ユーザインタフェースを提供するよう構成されたディスプレイを備える装置が提供される。本装置は、少なくとも第1の対話型要素をユーザインタフェースのフォアグラウンドに提供し、ユーザインタフェースのバックグラウンドに配置される少なくとも第2の対話型要素を提供し、バックグラウンドにおいて第2の対話型要素とユーザとの対話の指示を受信し、第2の対話型要素との対話の指示に基づいて第2の対話型要素によって判断された機能をトリガするよう構成されるプロセッサをさらに備える。

本開示による態様および実装態様は、ユーザインタフェースの対話型要素のグラフィカルユーザインタフェースおよび視覚的表現に関することができるが、ユーザインタフェースは、対話型要素のみの視覚的表現に限定されず、追加的または代替的に、対話型要素の音響または体性感覚表現に基づくような、任意の組み合わせの異なるモダリティで表される対話型要素を定義することが理解されよう。例えば、ユーザインタフェースは、ユーザインタフェースを操作するユーザに提示される情報を増強するために、同じか、または他の対話型要素の力または振動触覚フィードバックを使用して触覚的感覚によって強調することができる、対話型要素のグラフィカル表現を含むことができる。

第1および第2の対話型要素などのユーザインタフェースの対話型要素は、ユーザインタフェース上に表現することができて、さらに、対話型要素に関連する特定の機能をユーザがトリガすることを可能にすることができる、ユーザインタフェースの任意の種類の機能要素とすることができる。対話型要素は、例えば、アイコン、ボタン、または他のグラフィカルオブジェクト、音または他の音響オブジェクト、ならびに力、振動、または動きによって表されるオブジェクト、または他の触覚オブジェクトのうちの1つまたは複数とすることができる。

ユーザは、ユーザインタフェース内の影響を受ける対話型要素を識別するために使用することができる、それぞれのユーザ入力を提供することによって、対話型要素と対話することができる。ユーザ入力および影響を受ける対話型要素に基づいて、プロセッサは、対話の指示を生成することができ、その情報をユーザインタフェースまたは下位の処理コンポーネントもしくはエンジンに提供することができる。典型的には、ユーザインタフェースのフォアグラウンドに提供される対話型要素のみをアクティブにすることができ、ユーザによる任意の対話は、フォアグラウンドの対話型要素を対象とすることができる。しかしながら、第2の対話型要素などのユーザインタフェースのバックグラウンドにおける対話型要素との対話は、バックグラウンドの対話型要素とのユーザの対話の各指示を生成し、バックグラウンドで対話型要素によって判断される機能をトリガするために処理することもできる。これは、ユーザインタフェースのフォアグラウンドにあるアクティブな対話型要素だけでなく、ユーザインタフェースのバックグラウンドにある非アクティブな対話型要素も、ユーザの対話によって影響を受けるため、ユーザインタフェースの機能を拡張する。したがって、利用可能な機能は、バックグラウンドの対話型要素によってさらに拡張される。

ユーザインタフェースは、3次元ユーザインタフェースとすることができることが好ましい。対話型要素を3次元オブジェクトとして視覚化すること、例えば3D音響を使用して空間内の対話型要素を表すサウンドを示すこと、および局所的触覚フィードバックもしくは触覚的フィードバックを提供することなどによって、ユーザインタフェースによって表される任意のモダリティの対話型要素を、空間的環境にリンクされた現実的な方法で表現することができる。

本明細書全体を通じて使用される場合、「または」という用語は、特に明記しない限り、包括的な関連または代替として理解される。したがって、表現「AまたはB」は、AまたはB、AおよびBのいずれかを意味し、「Aおよび／またはB」とも表すことができる。

第1の態様による装置の第1の可能な実装態様において、機能は、第2の対話型要素との対話の完了に応答してトリガされる。対話は、第2の対話型要素上をホバリングまたはドラッグする、または第2の対話型要素に関連する各ジェスチャを実行するなどの、ユーザによって実行または開始される1つまたは複数の動作を含む任意の種類のユーザ入力によって定義することができる。対話は、対話を完了させ、各機能をトリガするために、第2の対話型要素をクリックすること、第2の対話型要素をドロップすること、またはジェスチャを完了することなどによって、1つまたは複数の動作を完成することによって終了することができる。これには、第2の対話型要素との対話を開始することができ、初期ユーザ入力が意図された対話型要素に正しくリンクされているかどうかを判断するための追加時間をユーザに提供できるという利点がある。影響を受ける対話型要素が間違っているとユーザが判断した場合、対話を中断または中止し、意図した対話型要素に向けて新しい対話を開始することができる。

第1の態様による装置の第2の可能な実装態様において、ユーザインタフェースのフォアグラウンドは、ユーザインタフェースのアクティブなコンテキストであり、ユーザインタフェースのバックグラウンドは、ユーザインタフェースのさらなるコンテキストを定義する。ユーザインタフェースは、ユーザインタフェースのフォアグラウンドまたはバックグラウンドに、またはユーザインタフェースのフォアグラウンドに少なくとも部分的に、およびユーザインタフェースのバックグラウンドに少なくとも部分的に配置することができる、第1の対話型要素および第2の対話型要素などの、複数の対話型要素を備えることができる。ユーザインタフェースのフォアグラウンドは、ユーザが直接対話することができる対話型要素を含むユーザインタフェースのアクティブなコンテキストまたはユーザ空間を定義する。したがって、ユーザインタフェースのフォアグラウンドは、ユーザインタフェースの前面と呼ぶこともできる。ユーザインタフェースは、たとえユーザがそれらと対話することができるとしても、最初は非アクティブ状態とすることができる対話型要素をそれぞれ含む、1つまたは複数のコンテキストまたはユーザ空間における情報のさらなる階層を備えることができる。さらなるコンテキストまたはユーザ空間は、ユーザインタフェースのバックグラウンドと呼ぶことができる。したがって、ユーザインタフェースの機能に関連するさらなる情報を提供するために、ユーザインタフェースのバックグラウンドにおける対話型要素を知覚可能にすることができる。しかしながら、ユーザインタフェースのバックグラウンドにおける対話型要素は、フォアグラウンドの対話型要素によってオーバーレイされる可能性もあるため、ユーザインタフェース上で知覚できないか、部分的にしか知覚できない可能性がある。これは、ユーザインタフェースの直観的なユーザビリティを犠牲にすることなく、最大限の情報がユーザインタフェース内に提供されるように、ユーザインタフェースによって表される情報および対話を複数の階層で提供することができるという利点を有する。

第1の態様による装置の第3の可能な実装態様において、第1の対話型要素は、少なくとも部分的にフォアグラウンドにとどまり、第2の対話型要素は、ユーザと第2の対話型要素との対話の間、少なくとも部分的にバックグラウンドにとどまる。第2の対話型要素は、第2の対話型要素が少なくとも部分的にまたは完全にバックグラウンドにとどまっていても、第1の対話型要素が少なくとも部分的にまたは完全にフォアグラウンドにとどまっていても、対話することができる。これは、ユーザインタフェースの第2の対話型要素へのコンテキストの切り替えを少なくとも部分的に回避することができ、第1の対話型要素によって提供される機能は、さらなる対話のために依然として利用可能であり得るという利点を有する。

第1の態様による装置の第4の可能な実装態様において、第1の対話型要素は、第1の対話型要素との第1の対話に応答し、第2の対話型要素は、第1の対話と同時に行われる第2の対話型要素との第2の対話に応答する。プロセッサは、フォアグラウンドにおける第1の対話型要素とユーザとの第1の対話の第1の指示を受信し、バックグラウンドにおける第2の対話型要素とユーザとの第2の対話の第2の指示を受信するように構成することができる。第2の対話の第2の指示は、機能をトリガする第2の対話型要素とユーザとの対話の指示に対応することができる。プロセッサは、第1および第2の対話の少なくとも一部が同時に実行されるかどうかを判断することができる。例えば、ユーザは、第1の対話型要素との第1の対話を開始することができ、第1の対話を完了する前に、第2の対話型要素との第2の対話を開始することができる。同様に、第1および第2の対話は、実質的に同時に開始してもよいし、遅延内で開始してもよく、遅延はユーザインタフェースのタイプおよび設定に基づいて予め定義することができる。同時対話は、例えば、異なる入力装置を使用すること、タッチセンシティブディスプレイ上で複数の指を使用すること、または第1の対話型要素をポインティングまたはタッチする、および第2の対話型要素に向けてボイスコマンドを入力するなどの複数のモダリティを使用することによって、開始することができる。

第1の態様による装置の第5の可能な実装態様において、フォアグラウンド内の第1の対話型要素はハンドルを含む。ハンドルは、専用領域または追加の入れ子型の対話型要素などの対話型要素の一部とすることができ、個々の対話型要素のアクティブ化または非アクティブ化、またはユーザインタフェースの1つまたは複数の対話型要素のコンテキストのフォーカスもしくはコンテキストの変更などの、ユーザインタフェースの一般的機能にリンクすることができる。これには、対話型要素が、対話型要素によって最初に定義される機能に影響を与えることなく、ユーザインタフェースの一般的な機能を備えることができるという利点がある。特に、すでに構成されたユーザインタフェースは、各ハンドルを使用して一般的な機能で容易に拡張することができる。

第1の態様による装置の第6の可能な実装態様において、プロセッサは、ユーザとハンドルとの対話に応答して第1の対話型要素を少なくとも部分的にフォアグラウンドから移動または回転させるように構成され、第2の対話型要素が、少なくとも部分的に知覚可能となる。これは、ユーザインタフェースの初期セットアップにおいて、第1の対話型要素は、第2の対話型要素の全体または少なくとも部分的にオーバーレイすることができ、第2の対話型要素のさらなる詳細を示すためにハンドルを使用して操作できるという利点を有する。

第1の態様による装置の第7の可能な実装態様において、プロセッサは、ユーザとハンドルとの対話に応答して、第2の対話型要素を起動するようさらに構成される。したがって、ユーザとハンドルとの対話は、可能な実装態様による第1の対話型要素との第1の対話に対応することができ、第2の対話型要素をバックグラウンドで起動することができる。これは、ユーザインタフェースのフォアグラウンド内か、バックグラウンド内か、または他のコンテキスト内の利用可能な対話型要素でのユーザ入力のフォーカスの判断中に、バックグラウンド内の起動された対話型要素を優先させることができるので、ユーザインタフェースに向けたユーザ入力の処理をより効率的に扱うことができるという利点を有する。プロセッサは、任意のユーザ入力を受信し、受信したユーザ入力を利用して、影響を受ける1つまたは複数の対話型要素を判断することができることが好ましい。プロセッサは、フォアグラウンドの対話型要素を最初に考慮することができ、フォアグラウンドの対話型要素がユーザ入力の影響を受けない場合、ユーザインタフェースのバックグラウンドまたは別のコンテキストの対話型要素を評価することができる。バックグラウンドで第2の対話型要素をアクティブにすることによって、プロセッサは、バックグラウンドの第2の対話型要素をフォアグラウンドの対話型要素とともにすでに考慮することができ、またはユーザインタフェースのバックグラウンドまたは他の任意のコンテキストの他の任意の対話型要素の前に、起動した第2の対話型要素を確認することができる。

第1の態様による装置の第8の可能な実装態様において、第1の対話型要素は、ユーザインタフェースのフォアグラウンド内の幾何学的オブジェクトの第1の面上に配置され、第2の対話型要素は、バックグラウンド内の幾何学的オブジェクトの第2の面上に配置される。幾何学的オブジェクトは、ユーザインタフェースのメタオブジェクトとすることができる。幾何学的オブジェクトに加えて、ユーザインタフェースは、対話型要素を表すさらなるメタオブジェクトまたは幾何学的オブジェクトを含むことができる。幾何学的オブジェクトの表面またはメタオブジェクトの部分は、1つまたは複数の対話型要素を表すために使用することができる。第1の面および第2の面は、幾何学的オブジェクトの隣接する表面であることが好ましい。表面のうちの少なくとも1つは、ユーザインタフェースのフォアグラウンドを定義することができ、少なくとも部分的に知覚できない可能性がある他の表面は、ユーザインタフェースのバックグラウンドを定義することができる。これは、対話型要素をユーザインタフェース内のメタオブジェクト上に明確に配置することができ、それにより、ユーザインタフェースの明瞭性およびユーザビリティを向上させることができるという利点を有する。

第1の態様による装置の第9の可能な実装態様において、プロセッサは、ユーザと第1の面との対話に応答して幾何学的オブジェクトを回転させるようさらに構成され、第2の面が少なくとも部分的に知覚可能となる。プロセッサは、実装形態に従って、ユーザと第1の面上の第1の対話型要素のハンドルとの対話に応答して、幾何学的オブジェクトを回転させるよう構成することができることが好ましい。これは、ユーザがハンドルと対話することができ、例えば、現実の世界で予想される方法で幾何学的オブジェクトを回転させるためにハンドルをスワイプまたはドラッグすることができるので、より直観的なユーザインタフェースを提供する。第2の面は、例えば、回転の後または回転の間に、第2の対話型要素を含む第2の面を視覚化することによって、少なくとも部分的に知覚可能とすることができる。さらに、または代替として、第2の面は、異なるモダリティで知覚可能にしてもよい。例えば、幾何学的オブジェクトを回転させることによって、第2の面上の第2の対話型要素は、ユーザに音響的または触覚的に示すことができる。

第1の態様による装置の第10の可能な実装態様において、本装置は、第2の対話型要素との対話を表すボイスコマンドを検出するよう構成された音響センサをさらに備える。これにより、マルチモーダル表示が可能となり、ユーザは、ユーザインタフェースのグラフィカル表現を用いて対話することができ、ボイスコマンドをさらに提供することができる。ユーザは、第1の対話型要素と対話することができ、それにより、好ましくは、バックグラウンドで第2の対話型要素を起動し、実装形態による第2の対話などの第2の対話型要素との対話を表すことができるボイスコマンドを提供することができる。

本装置は、タッチセンサなどの他の任意のモダリティで、ディスプレイとともに、本装置のタッチセンシティブディスプレイを形成することができる、装置またはユーザインタフェースとユーザとの対話を検出するよう構成される、1つまたは複数の入力センサをさらに備えることができることが好ましい。第2の対話は、第2の対話型要素を示すボイスコマンド、第2の対話型要素上でのタップ、ダブルタップ、またはスワイプのうちの少なくとも1つとすることができることが好ましい。第1の対話は、実装形態による第1の対話型要素のハンドルをスワイプすることとすることができることが好ましい。

第1の態様による装置の第11の実装態様によれば、本装置は、ユーザインタフェースをレンダリングするよう構成されたレンダラをさらに備える。レンダラは、ディスプレイ上に第1および第2の対話型要素を含むユーザインタフェースをレンダリングするよう構成されたグラフィックスレンダとすることができ、またはそのようなグラフィックスレンダを含むことができる。さらに、または代案として、レンダラは、音響レンダラまたは各モダリティ内の対話型要素の表現を提供するよう構成された触覚レンダラなどの、他の任意のモダリティのレンダラとすることができ、またはそのようなレンダラを含むことができる。

第1の態様による装置の第12の実装態様によれば、第2の対話型要素によって判断される機能は、第1の対話型要素に関連する追加機能を定義する。第1の対話型要素は、第1の機能グループなどの1つまたは複数の機能と関連することができ、第2の対話型要素は、1つまたは複数の機能に関連するより詳細な機能または拡張機能を定義することができる。これは、ユーザインタフェースのフォアグラウンドを本質的または基本的な機能に集中させ、ユーザがバックグラウンドで第2の対話型要素によって定義されるようなより詳細なまたは拡張された機能に素早くアクセスして起動させることを可能にする利点を有する。

第1の態様による装置の第13の実装態様によれば、プロセッサは、実装形態による第1の対話型要素のハンドルなどにより、第1の対話型要素との対話の中断に応じて、フォアグラウンドに第1の対話型要素を自動的に復元するようさらに構成される。これは、ユーザが第1の対話型要素との対話を直接的に中断または中止することができ、それによって、ユーザインタフェースのフォアグラウンドを復元することができるので、ユーザインタフェースのユーザビリティを向上させるという利点を有する。

第1の態様による装置のさらに別の第14の可能な実装形態において、プロセッサは、第1の対話の中断に応答して、第2の対話型要素によって判断された機能をトリガした後、ユーザインタフェースの初期状態に復帰するようさらに構成される。これは、ユーザが、第1の対話型要素との対話を継続することによって、機能のトリガの制御を継続することができるという利点を有する。例えば、ユーザが第1の対話型要素と対話する限り、第2の対話型要素は、機能の実行中に変更されて、機能および関連するシステム情報の実行の現在状態を提供するなどの、機能の実行に関する情報を表示または提供することができる。

第1の態様による装置の第15の可能な実装形態において、前記復帰は連続的に実行することができ、プロセッサは、第1の対話型要素との対話のさらなる指示に応答してそのような復帰を中断するようさらに構成することができる。これには、ユーザに、ユーザ入力を修正するための追加時間が与えられるという利点がある。

好ましい実装形態において、ユーザインタフェースは、3次元ユーザインタフェースである。

第2の態様によれば、一実装形態による装置を備えるユーザ機器が提供される。特に、ユーザ機器は、ユーザインタフェースを提供するよう構成されるディスプレイを含む装置と、第1の対話型要素をユーザインタフェースのフォアグラウンドに提供し、ユーザインタフェースのバックグラウンドに配置される少なくとも第2の対話型要素を提供し、バックグラウンドにおいて第2の対話型要素とユーザとの対話の指示を受信し、第2の対話型要素との対話の指示に基づいて第2の対話型要素によって判断された機能をトリガするよう構成されるプロセッサとを備えることができる。第2の態様によるユーザ機器は、第1の態様の1つまたは複数の実装形態による装置の特徴の任意の組み合わせを含むことができることが理解されよう。

第2の態様によるユーザ機器の第1の可能な実装態様において、ユーザ機器は、ポータブルコンピューティングデバイス、ラップトップ、またはタブレットデバイスなどのモバイルデバイス、携帯電話またはスマートフォンなどの通信デバイス、またはセットトップボックス、メディアプレーヤ、もしくは他の家庭用エンターテイメントデバイスもしくは電子ガジェットなどの電子デバイスの1つである。

第3の態様において、ユーザインタフェースを操作する方法は、少なくとも第1の対話型要素をユーザインタフェースのフォアグラウンドに提供するステップと、少なくとも第2の対話型要素を提供するステップであって、第2の対話型要素がユーザインタフェースのバックグラウンドに配置される、ステップと、バックグラウンドにおいてユーザと第2の対話型要素との対話の指示を受信するステップと、第2の対話型要素との対話の指示に基づいて第2の対話型要素によって判断された機能をトリガするステップとを備えて提供される。本方法は、ユーザインタフェースのバックグラウンドにおける対話型要素との直接対話を可能にすることにより、拡張機能を有するユーザインタフェースとの効率的で直観的な対話を提供する。

第3の態様による方法の第1の可能な実装態様において、機能をトリガする前記ステップは、第2の対話型要素との対話の完了に応答して実行される。

第3の態様による方法の第2の可能な実装態様において、本方法は、ユーザとハンドルとの対話に応答して第1の対話型要素を少なくとも部分的にフォアグラウンドから移動または回転させるステップをさらに備え、その結果、第2の対話型要素は、少なくとも部分的に知覚可能となる。

第3の態様による方法の第3の可能な実装態様において、本方法は、ユーザと第1の対話型要素のハンドルとの対話に応答して、第2の対話型要素を起動するステップをさらに備える。

第3の態様による方法の第4の可能な実装態様において、本方法は、幾何学的オブジェクトの第2の面が少なくとも部分的に知覚可能となるように、幾何学的オブジェクトの第1の面とユーザとの対話に応答して幾何学的オブジェクトを回転させるステップをさらに備える。

第3の態様による方法のさらなる可能な実装形態において、本方法は、任意の組み合わせで、第1の態様による装置または第2の態様によるユーザ機器の1つまたは複数の実装形態の機能に関するステップを備えることができる。

第4の態様によれば、第3の態様の一実装形態による方法を実行するプログラムコードを有するコンピュータプログラムが提供され、本方法は、コンピュータプログラムがコンピュータで実行された場合に実行される。

第5の態様によれば、ユーザ機器が使用するためのプログラムコードを格納する読取り可能記憶媒体を備えるコンピュータプログラム製品が提供され、プログラムコードは、第3の態様による方法の可能な実装形態による個々の方法ステップを実行するための命令を備える。

さらに別の第6の態様によれば、ユーザインタフェースのデータ構造が提供され、データ構造は、第1および第2の対話型要素を含む複数の対話型要素を備え、データ構造に基づいて、ユーザインタフェースは、少なくとも第1の対話型要素がユーザインタフェースのフォアグラウンドで提供されて、少なくとも第2の対話型要素がユーザインタフェースのバックグラウンドに配置されるよう提供される。各対話型要素について、データ構造は、1つまたは複数の機能を定義し、第2の対話型要素の1つまたは複数の機能は、ユーザと第2の対話型要素との対話の指示に応答してトリガされる。

したがって、本発明の実装形態は、より大きな機能セットを可能にし、拡張機能とのより高速な対話を提供する、ユーザインタフェースと対話する効率的かつ直観的な方法を提供することができる。

本開示の特定の特徴、態様、および利点は、以下の説明および添付図面に関してよりよく理解されるであろう。

本発明の1つまたは複数の実施形態による複数の装置を含む高レベルシステム図である。 本発明の一実施形態による対話型要素を示す図である。 本発明の一実施形態によるさらなる対話型要素を示す図である。 本発明の一実施形態によるユーザインタフェースを示す図である。 本発明の一実施形態によるユーザインタフェースとの対話を示す図である。 本発明の一実施形態によるユーザインタフェースとの対話を示す図である。 本発明の1つまたは複数の実施形態による別のユーザインタフェースを示す図である。 本発明の1つまたは複数の実施形態によるユーザインタフェースを操作するための方法のフローチャートである。

図1は、本開示の1つまたは複数の実施形態による複数の装置を含む高レベルシステム図を示す。システム100において、装置102a、102bは、ネットワークを介してデータを送受信するために、アクセスポイント104を使用してネットワーク（図示せず）に接続することができる。装置102nとアクセスポイント104との間に点線で示すように、接続はオプションでも一時的なものでもよい。したがって、ネットワークへの接続を必要としないeBookリーダおよび他の電子デバイスなどのスタンドアロンおよびオフラインの電子デバイスもまた、本開示の実施形態によって完全に包含される。

装置102aは、ディスプレイ106、プロセッサ108、およびメモリ110のうちの1つまたは複数を備えることができる。メモリ110は、プログラムコードによって定義された動作を実行するよう装置102aを構成するために、プロセッサ108によって読み取られ、プロセッサ108上で実行することができるプログラムコードを格納することができる。例えば、プロセッサ108は、ユーザインタフェースを操作するための方法を実行するよう構成することができる。プロセッサ108は、メモリ110に格納することもできるプログラムコードまたは関連データを処理することができ、ディスプレイ106に表示されるユーザインタフェースを含む出力を生成することができる。ユーザインタフェースは、1つまたは複数の対話型要素（図示せず）を備えることができ、各対話型要素は、少なくとも部分的に、ユーザインタフェースのフォアグラウンドまたはバックグラウンドに提供することができる。例えば、ユーザインタフェースは、3次元のグラフィカルユーザインタフェースとすることができ、プロセッサ108は、ディスプレイ106上の対話型要素の3次元表現をレンダリングするためにレンダリングエンジン（図示せず）に出力を提供することができる。

装置102aは、1つまたは複数の入力センサ112、114をさらに備えることができ、入力センサ112、114は、ユーザによって生成された入力をプロセッサ108に提供するよう構成することができる。プロセッサ108は、ユーザ入力によって影響を受けるユーザインタフェースの対話型要素を識別し、識別された対話型要素に関連する機能を実行するためにユーザ入力を解析することができる。例えば、プロセッサ108は、ユーザインタフェースの動作を定義する機能コンポーネントまたはエンジンを実行し、ユーザインタフェースの機能コンポーネントまたはエンジンにユーザ入力を提供して、対話型要素を識別し、各機能を実行することができる。

入力センサ112は、タッチセンサとすることができ、タッチセンサは、ディスプレイ106の上部に配置してもよく、ディスプレイ106と結合してもよい。入力センサ112は、ユーザの指の直接接触またはユーザによって操作されるスタイラスを検出することを可能にすることができる。ユーザインタフェース112との接触の位置またはジェスチャなどの対話の各履歴に基づいて、プロセッサ108は、接触の現在の位置に関連して対応する対話型要素を識別することができ、識別された対話型要素に関連する機能を実行することができ、現在位置または対話の履歴を考慮に入れることができる。例えば、ユーザは、対話型要素にタッチし、その対話型要素をある方向にスワイプまたは移動させることができる。指を離すことによって、対話を完了することができ、対話型要素を最終位置にドロップすることができる。この対話は、関連する対話型要素、ユーザインタフェース、またはその処理コンポーネント、もしくはエンジンによって定義されるさらなる機能をトリガすることができる。

入力センサ114は、所望の対話型要素の指示を含む可能性があるボイスコマンドを検出することができる、マイクロフォンなどの、音響入力センサとすることができる。例えば、ユーザは、ラベルまたは他の任意の適切な識別要素を使用して所望の対話型要素を識別することができ、所望の対話型要素に関して実行されるべき所望の動作を表すこともできる。プロセッサ108は、ボイスコマンドを認識し、対話を特徴付けるデータをユーザインタフェースまたはその処理コンポーネントもしくはエンジンに送信することができる。

装置102aは、ディスプレイ106および2つの入力センサ112、114を含むいくつかの構成要素で示されているが、装置102b、．．．、102nのそれぞれは、任意の組み合わせで同じまたは類似の構成要素を含むことができることを理解されたい。装置102a、．．．、102nは、ラウドスピーカまたは振動触覚フィードバック層などの同じまたは他のモダリティのための他の出力装置を含むことができ、またはキーボード、カメラ、深度センサ、または外部入力装置に接続することを可能にすることができるインタフェースなどの、他の入力センサを含むことができる。

図2および図3は、本開示の実施形態によるユーザインタフェースで使用される対話型要素の例示的な表現を示す。対話型要素200、300は、対話型要素200、300の特定の機能をそれぞれ定義することができるボタン202a、．．．、202nのリストを含むことができ、ファイルに関連した対話型要素に対して、例示的なラベル「BUTTON1」、．．．、「BUTTON8」、または他の任意の適切なラベルなどの、基本的な機能を識別または特徴付けるテキストまたはアイコンを使用してラベル付けすることができる。

対話型要素300は、対話型要素300の周辺または中心に配置することができるハンドル302をさらに備えることができる。ハンドル302は、例えば、ハンドル要素または対話型要素の他の任意の指定された領域とすることができる。ハンドル302は、対話型要素300の動作に影響を及ぼす可能性があるユーザインタフェースの一般的な機能をトリガすることができる。例えば、ハンドル302は、対話型要素300を移動および／または回転、折り畳み、廃棄、起動、リフレッシュ、または他の任意の適切な方法で対話型要素300に影響を及ぼすために使用することができる。

図2および図3に示す対話型要素200および300は、それぞれ、複数のボタン202a、．．．、202nを含むものとして示されているが、個々のボタン202a、．．．、202nは、ユーザインタフェースの個々の対話型要素を定義することができる。したがって、ユーザインタフェースは、階層型および入れ子式でさらなる対話型要素のセットの中から対話型要素を構成することを可能にすることができる。

図4は、本開示の一実施形態による3次元ユーザインタフェースを示す。ユーザインタフェース400は、ユーザインタフェース400のフォアグラウンドの対話型要素402と、ユーザインタフェース400のバックグラウンドに配置することができる複数の対話型要素404a、404b、．．．、404nとを備えることができる。対話型要素402、404a、．．．、404nのそれぞれは、例えば、図2および図3に示す対話型要素200、300のうちの1つとすることができる。対話型要素402などのフォアグラウンドの現在の対話型要素は、対話型要素402との対話を簡単にするためにハンドルを備えるよう動的に構成することができる。対話型要素402がバックグラウンドに移動されるとすぐにハンドル（図示せず）を自動的に除去することができる。ハンドルまたは回転ハンドルは、対話型要素402の動作またはユーザインタフェース400の一般的な動作をトリガすることができるヘッドラインまたは他の任意の指定領域などにおいて、対話型要素402の上部に配置することができる。例えば、対話型要素402は、図3に示す対話型要素300のハンドル302を含むことができる。

対話型要素402、404a、．．．、404nは、円の中に配置されるか、または中心の周りに円筒形もしくは扇状に配置されるような3次元環境に配置される3次元または2次元オブジェクトとして表すことができる。しかし、対話型要素402、404a、．．．、404nは、3次元環境において他の任意の適切な方法で配置することができることが理解されるべきである。

3次元ユーザインタフェース400および対話型要素402のフォアグラウンドは、アクティブなコンテキストまたはユーザ空間を表すことができ、ユーザインタフェース400および対話型要素404a、．．．、404nのバックグラウンド上で優先順位を付けることができる。したがって、ユーザは、ユーザインタフェース400のフォアグラウンドにおいて、第1の対話型要素402と直接対話することができる。しかし、ユーザは、ユーザインタフェース400のバックグラウンドで他の対話型要素404a、．．．、404nに直接アクセスすることもできる。したがって、対話型要素402、404a、．．．、404nは、フォアグラウンドまたはバックグラウンドに関係なく起動することができる。したがって、ユーザインタフェース400は、何かが対話型要素として示された場合、それが対話型要素であるべきだというユーザの期待に応える。

ユーザは、ユーザが従来の2次元または3次元ユーザインタフェースよりも便利に拡張機能に迅速にアクセスすることを可能にするジェスチャのセットでユーザインタフェース400および対話型要素402、404a、．．．、404nを操作することができる。ユーザは、例えば、対話型要素402または対話型要素402の各ハンドル（図示せず）をタップすることによって、ならびにディスプレイ上で指をホールドおよびスライドすることによって、第1の対話型要素402と対話することによって、すべてまたは少なくともいくつかの対話型要素402、404a、．．．、404nを回転させることができる。

ハンドルは、ユーザインタフェース400の対話型要素404a、．．．、404nによって提供される追加情報を受け取るために、対話型要素402を回転させるために使用することができる。この情報は、第1の対話型要素402が完全にフォアグラウンドにある場合にすでに知覚可能である可能性があり、追加情報は、第2の対話型要素404aまたは404nを少なくとも部分的にユーザインタフェースのフォアグラウンドに移動し、対話型要素402を少なくとも部分的にユーザインタフェースのフォアグラウンド外に移動するなどにより、より良好に視認可能とすることができる。

図5aおよび図5bは、本開示の1つまたは複数の実施形態によるユーザインタフェースとの対話のシーケンスを示す。ユーザインタフェース500は、第1の対話型要素502と、第1の対話型要素502の背後に扇状に配置することができる第2の対話型要素504とを含むことができる。第1の対話型要素502は、ユーザインタフェース500のフォアグラウンドに提供することができ、第2の対話型要素504は、ユーザインタフェース500のバックグラウンドに提供することができる。第1および第2の対話型要素502、504は、図2から図4に示す対話型要素に対応することができ、基礎をなす対話型要素と同様であるか、または異なるセットアップおよび構成を有することができる。第1および第2の対話型要素502、504は、平面、パネル、またはユーザインタフェース500の3次元環境にレンダリングされた任意の適切な3次元オブジェクトとすることができる3次元オブジェクトの表面上に配置することができる。しかし、本開示は、対話型要素の特定のレイアウト、または対話型要素502、504内の個々のボタンおよび他の対話型要素の配置またはセットアップに限定されない。

図5aに示すように、ユーザは、図1の装置102aのディスプレイ106および入力センサ112などのタッチセンシティブディスプレイを操作することができ、指を用いて第1の対話型要素502のハンドル506と対話することができる。ユーザインタフェース500は、球508またはハンドル506の現在の位置にロックされ、対話の状態を示すために、色または他の任意の特性などの外観を変化させることもできる他の任意の適切な確認を表示することによって、第1の対話型要素502のハンドル506との対話を確認することができる。確認は視覚的確認である必要はなく、第1の対話型要素502との対話が良好である場合には、対応する振動触覚フィードバックまたは他の任意のモダリティにおける他のフィードバックをユーザに提供することができることを理解されたい。

最初に、対話型要素502は、第2の対話型要素504を完全にカバーしていてもよく、または第1の対話型要素502は、第2の対話型要素504を少なくとも部分的にカバーしていてもよい。第1の対話型要素502のハンドル506と対話することによって、第1の対話型要素502をユーザに向けて回転させることができ、それにより、第1の対話型要素502の背後の第2の対話型要素504のさらなる詳細を明らかにすることができる。

図5bに示すように、ユーザは、第2の指を使用して、第1の指を用いて第1の対話型要素502のハンドル506との対話の直後および／またはそのような対話と同時に第2の対話型要素504と対話することができる。例えば、ユーザは、第2の指を使用して第2の対話型要素504のボタンのうちの1つを選択することができる。したがって、第1の指が所定の位置に保持されている間に、第2の対話型要素504によって提供される機能を第2の指と対話させることができる。対話は、機能の実行前に指のうちの1つを離すことによって中止することができる。したがって、ユーザは、第1または第2の指を離すことによって正しい行動がいつ選択されたかを決定することができる。第2の指で機能を起動させるジェスチャは、タップ、ダブルタップ、スワイプ、および他の任意の適切なジェスチャを含むことができる。さらに、ユーザインタフェースは、各機能をトリガするために、ユーザインタフェース500のフォアグラウンドおよびバックグラウンドの両方における個々の対話型要素でのホバリングをサポートすることができる。

球508を使用する第1の対話型要素502のハンドル506との対話の確認と同様に、第2の指との対話は、球508に関して説明した別の球510または他の任意の確認アプローチを使用して確認することができる。

第2の対話型要素504によって表される所望の機能が起動されるとすぐに、ユーザは、画面の表面から両方の指を離すことによって、ユーザインタフェース500の以前の状態に戻ることができる。ドラッグされた第1の対話型要素502は、元の状態に戻ってもよく、所望の選択された機能を実行してもよい。

ユーザインタフェース500との対話は、一方の手の2本の指を用いて実行することができ、一方の手との迅速な対話を一般に可能にするタッチベースのモバイルデバイスで特に有益であり得る。同様に、第2の対話型要素504との対話は、第2の対話型要素504によって提供される拡張機能にアクセスしてトリガするために、ボイスコマンドまたは他の任意のモダリティを使用して実現することができる。したがって、本発明の実装形態は、特に、モバイルデバイスに適用することができる、より滑らかな対話モデルを提供する。さらに、よりインタラクティブなコンテンツをユーザに利用可能とすることができ、インタラクティブなコンテンツをより効率的に生成することができる。

図6は、本開示の一実施形態による別のユーザインタフェースおよび対話を示す。ユーザインタフェース600は、3次元グラフィカルユーザインタフェースとすることができ、幾何学的オブジェクトの隣接する表面上に配置することができる第1の対話型要素602および第2の対話型要素604を含むことができる。図5aおよび図5bの第1の対話型要素502との対話と同様に、ユーザは、第1の対話型要素602ホールドして下方にスライドすることができ、矢印606によって確認または指示することができる。矢印606または対応する球体は、ユーザインタフェース606上に重ねてもよく、および／または、例えば、図5aおよび図5bの確認球508、510に関して説明したように、他の任意のモダリティでの確認としてユーザに提供してもよい。3次元オブジェクトを回転させることで、第2の対話型要素604を露出させることができ、これによりさらなる機能が可能になる。ユーザは、例えば、第2の指を使用すること、ボイスコマンドを提供すること、または他の任意の対話技術を使用することによって、第2の対話型要素604と対話することができる。

図7は、本開示の一実施形態による方法のフローチャートである。方法700は、ユーザインタフェースを操作する方法とすることができる。方法700は、電子デバイスのディスプレイなどの装置の出力デバイスでユーザインタフェースを提供することによって、ステップ702で開始することができる。本方法は、それぞれ、第1の要素がユーザインタフェースのフォアグラウンドに提供され、第2の要素がユーザインタフェースのバックグラウンドに提供または配置される、ステップ704および706に続くことができる。最初に、フォアグラウンドの第1の要素は、バックグラウンドに配置された任意の要素を少なくとも部分的にオーバーレイすることができる。また、初期状態において、バックグラウンドの要素は、少なくとも部分的に可視とすることができる。第1および第2の要素は、本開示の実施形態による対話型要素とすることができる。

方法700は、ステップ708に続き、ユーザによる対話が行われたかどうかを判断することができる。対話がステップ708で検出された場合、方法700はステップ710に進むことができ、対話の影響を受けたユーザインタフェースの要素が判断される。ステップ712で、ユーザとバックグラウンドの第2の要素との対話が検出された場合、対話の指示を生成し、さらにユーザインタフェースに提供することができる。ステップ714において、第2の要素によって判断された機能は、第2の要素との対話の指示に基づいてトリガすることができる。

対話が別の要素に向けられた場合、方法700は、ステップ716において、他の要素の機能を処理することができる。方法700は、ステップ708に進み、ユーザインタフェースとの対話を監視し続けることができる。

方法700は、ユーザインタフェースのエンジンによって実行することができ、個々のステップを実行することができ、ならびに対話および影響を受ける要素の状態を維持することができる。ユーザインタフェースまたはユーザインタフェースのエンジンは、ステップ710において、フォアグラウンドの要素およびバックグラウンドの要素の両方との対話を可能にする優先順位付きアプローチを使用することによって影響を受ける要素を判断することができる。方法700は、影響を受ける要素を判断するために、フォアグラウンド内の要素を最初に考慮することができ、フォアグラウンド内に影響を受ける要素が見つからない場合、対話によって影響を受ける要素を判断するためにバックグラウンド内のさらなる要素を考慮することができる。さらに、方法700は、複数の対話を処理することもでき、少なくとも部分的に同時に実行することができ、バックグラウンドでの要素の処理の優先順位付けに使用することができる。例えば、第1の対話は、フォアグラウンドに位置する第1の要素に向けることができ、第2の対話は、バックグラウンド内の第2の要素に向けることができる。第1および第2の対話が同時に実行された場合、方法700は、ステップ710の間に第2の要素に優先順位を付けることができる。例えば、方法700は、バックグラウンドにおけるさらなる要素の検討の前に、ステップ710の間に、バックグラウンドにおける第2の要素と組み合わせてフォアグラウンドの要素を考慮することができる。したがって、第1の要素との第1の対話により、第2の要素の処理を起動または優先順位付けすることができる。

本発明およびその利点を詳細に説明したが、添付の特許請求の範囲によって規定される本発明の精神および範囲から逸脱することなく、本明細書において様々な変更、置換、および代替を行うことができることを理解されたい。

100 システム
102a 装置
102b 装置
102n 装置
104 アクセスポイント
106 ディスプレイ
108 プロセッサ
110 メモリ
112 入力センサ
114 入力センサ
200 対話型要素
202a ボタン
202n ボタン
300 対話型要素
302 ハンドル
400 ユーザインタフェース
402 対話型要素
404a 対話型要素
404b 対話型要素
404n 対話型要素
500 ユーザインタフェース
502 第1の対話型要素
504 第2の対話型要素
506 ハンドル
508 球
510 球
600 ユーザインタフェース
602 第1の対話型要素
604 第2の対話型要素

Claims (13)

1. ユーザインタフェース（500）を提供するよう構成されるディスプレイと、
   少なくとも第1の対話型要素（502）を前記ユーザインタフェース（500）のフォアグラウンドに提供し、前記ユーザインタフェース（500）のバックグラウンドに配置される少なくとも第2の対話型要素（504）を提供し、前記バックグラウンドにおいて前記第2の対話型要素（504）とユーザとの対話の指示を受信し、前記第2の対話型要素（504）との前記対話の前記指示に基づいて前記第2の対話型要素（504）によって判断された機能をトリガするよう構成されるプロセッサとを備え、
   前記第1の対話型要素（502）は、前記第1の対話型要素（502）との第1の対話に応答し、前記第2の対話型要素（504）は、前記第1の対話と同時に行われる前記第2の対話型要素（504）との第2の対話に応答し、
   前記プロセッサは、前記第1の対話の中断に応答して、前記第2の対話型要素（504）によって判断された前記機能をトリガした後、前記ユーザインタフェース（500）の初期状態に復帰するようさらに構成され、
   前記プロセッサは、前記第1の対話型要素（502）との対話のさらなる指示に応答して前記復帰を中断するようさらに構成される、
   装置。
2. 前記ユーザインタフェース（500）の前記フォアグラウンドは、前記ユーザインタフェース（500）のアクティブなコンテキストであり、前記ユーザインタフェース（500）の前記バックグラウンドは、前記ユーザインタフェース（500）のさらなるコンテキストを定義する、請求項1に記載の装置。
3. 前記第1の対話型要素（502）は、少なくとも部分的に前記フォアグラウンドにとどまり、前記第2の対話型要素（504）は、前記ユーザと前記第2の対話型要素（504）との前記対話の間、少なくとも部分的にバックグラウンドにとどまる、請求項1または2に記載の装置。
4. 前記フォアグラウンド内の前記第1の対話型要素（502）は、ハンドル（506）を含む、請求項1から3のいずれか一項に記載の装置。
5. 前記プロセッサは、前記ユーザと前記ハンドル（506）との対話に応答して前記第1の対話型要素（502）を少なくとも部分的に前記フォアグラウンドから移動または回転させるように構成され、前記第2の対話型要素（504）が、少なくとも部分的に知覚可能となる、請求項4に記載の装置。
6. 前記プロセッサは、前記ユーザと前記ハンドル（506）との対話に応答して、前記第2の対話型要素（504）を起動するよう構成される、請求項4または5に記載の装置。
7. 前記第1の対話型要素（502）は、前記ユーザインタフェース（500）の前記フォアグラウンド内の幾何学的オブジェクトの第1の面上に配置され、前記第2の対話型要素（504）は、前記バックグラウンド内の前記幾何学的オブジェクトの第2の面上に配置される、請求項1から6のいずれか一項に記載の装置。
8. 前記プロセッサは、ユーザと前記第1の面との対話に応答して前記幾何学的オブジェクトを回転させるようさらに構成され、前記第2の面が少なくとも部分的に知覚可能となる、請求項7に記載の装置。
9. 前記第2の対話型要素（504）との前記対話を表すボイスコマンドを検出するよう構成される音響センサをさらに備える、請求項1から8のいずれか一項に記載の装置。
10. 前記第2の対話型要素（504）によって判断される前記機能は、前記第1の対話型要素（502）に関連する追加機能を定義する、請求項1から9のいずれか一項に記載の装置。
11. 請求項1から10のいずれか一項に記載の装置（102a、102b、102n）を備えるユーザ機器。
12. ユーザインタフェースを操作する方法であって、
    少なくとも第1の対話型要素を前記ユーザインタフェースのフォアグラウンドに提供するステップ（704）と、
    少なくとも第2の対話型要素を提供するステップ（706）であって、前記第2の対話型要素が前記ユーザインタフェースのバックグラウンドに配置される、ステップ（706）と、
    前記フォアグラウンドにおける前記第1の対話型要素とユーザの第1の対話の指示と、前記バックグラウンドにおける前記第2の対話型要素と前記ユーザの第2との対話の指示を同時に受信するステップと、
    前記第1の対話の中断に応答して、前記第2の対話型要素との前記第2の対話の前記指示に基づいて前記第2の対話型要素によって判断された機能をトリガするステップ（714）と、
    前記機能をトリガした後、前記ユーザインタフェースを初期状態に復帰するステップと、
    前記第1の対話型要素との対話のさらなる指示に応答して前記復帰を中断するステップとを備える、
    方法。
13. コンピュータプログラムであって、前記コンピュータプログラムがコンピュータで実行される場合、請求項12に記載の方法を実行するためのプログラムコードを有するコンピュータプログラム。