JPWO2019241075A5

JPWO2019241075A5 -

Info

Publication number: JPWO2019241075A5
Application number: JP2020569036A
Authority: JP
Publication date: 2023-08-31
Anticipated expiration: 2039-06-07

Description

さらに別の例示的な態様は、ユーザインターフェースツリーを使用して、ハンズフリー操作のためにユーザインターフェースディスプレイ上にオーバレイされるユーザインターフェースラベルを生成する。接触ベースのデバイス上で初期化されたアプリケーションが問い合わされ、初期化されたアプリケーションによって生成されたユーザインターフェースツリーが検出され得る。少なくとも１つのＧＵＩ要素参照が、ユーザインターフェースツリーから抽出され得る。ユーザインターフェースラベルは、各ＧＵＩ要素参照について生成され得、たとえば、ハンズフリーオペレーティングシステムのディスプレイ上に表示され得る。ハンズフリーオペレーティングシステムのユーザは、接触ベースのアプリケーションを操作するために、ユーザインターフェースラベルに相関付けられた音声または移動コマンドを使用し得る。ここで図１に移って示すように、本開示のいくつかの実施形態が適用され得る例示的な動作環境１００を示すブロック図が提供される。本明細書に記載されるこの構成および他の構成は、例としてのみ記載されていることが理解されるべきである。図示されているものに加えて、またはその代わりに、他の構成および要素（たとえば、マシン、インターフェース、機能、順序、および機能のグループ化など）を使用することができ、明確化のために、ある要素は完全に省略され得る。さらに、本明細書に記載される要素の多くは、個別または分散された構成要素として、または他の構成要素と連携して、および、任意の適切な組合せおよび位置で実施され得る機能エンティティである。１つまたは複数のエンティティによって実行されるものとして本明細書に記載されている様々な機能は、ハードウェア、ファームウェア、および／またはソフトウェアによって実行され得る。たとえば、いくつかの機能は、メモリに記憶された命令を実行するプロセッサによって実行され得る。

実施形態では、ブロック１１０４において、初期化されたアプリケーションによって生成されたユーザインターフェースツリーが検出される。ユーザインターフェースツリーは、１つまたは複数のＧＵＩ要素参照を含み得る。各ＧＵＩ要素参照は、ＧＵＩ要素を表示するための接触ベースのオペレーティングシステムへの命令を提供する。ＧＵＩ要素は、ボタン、チェックボックス、または他の任意の接触選択可能なオブジェクトであり得る。

ユーザインターフェースツリーは、複数のＧＵＩ要素参照を含み得、したがって、所与の時点で複数のＧＵＩ要素の表示のための命令を提供し得る。
ブロック１１０６において、ＧＵＩ要素参照は、ユーザインターフェースツリーから抽出され得る。実施形態では、ＧＵＩ要素参照は、接触ベースのオペレーティングシステムの接触ベースのユーザインターフェースに、接触ベースのオブジェクトを表示するためのソースコードによる命令について、ユーザインターフェースツリーに問い合わせることによって得られる。

いくつかの実施形態では、ブロック１１０８において、ユーザインターフェースラベルは、ユーザインターフェースツリーから抽出された少なくとも１つのＧＵＩ要素参照のおのおのについて生成され得る。ユーザインターフェースのラベルは、数字でもテキストでもあり得る。ユーザインターフェースラベルは、自動的に決定されるか、カスタマイズされたインデクスの結果であり得る。自動的に決定されたユーザインターフェースラベルは、図８Ａおよび図１３Ｃに見られるように、各ＧＵＩ要素参照に順次増加する数値を割り当てることによって提供され得る。さらに、および／または代わりに、テキストベースのユーザインターフェースラベルは、図８Ｂおよび図１３Ｂに見られるように、ＧＵＩ要素参照から自動的に抽出され得る。

さらに、および／または代わりに、ＧＵＩ要素参照に対応する各ユーザインターフェースラベルは、カスタムユーザインターフェースラベルのセットを含むカスタマイズされたインデクスに基づいて生成される。いくつかの実施形態では、カスタマイズされたインデクスは、ＸＭＬファイル、テキストファイル、またはデータベースであり得、ヘッドマウントデバイスなどのハンズフリーデバイスに記憶され得るか、または接触ベースのアプリケーションを実行する接触ベースのオペレーティングシステムに記憶され得る。

図１１に戻って示すように、ブロック１１１０において、１つまたは複数のユーザインターフェースラベルが表示される。各ユーザインターフェースラベルは、１つのＧＵＩ要素参照に相関し得、各ＧＵＩ要素参照は、１つのユーザインターフェースラベルに相関し得る。１つまたは複数のユーザインターフェースラベルは、ＧＵＩ要素参照が対応する接触インタラクティブオブジェクトの近くのハンズフリーデバイスのディスプレイ上に表示され得る。いくつかの実施形態では、ユーザインターフェースラベルは、ハンズフリーデバイスのみに表示され得、他の実施形態では、ユーザインターフェースラベルは、接触ベースのオペレーティングシステムの接触ベースのユーザインターフェースに追加的および／または代替的に表示され得る。実施形態では、ユーザインターフェースラベルは、ハンズフリーデバイスの画面に表示されるオーバレイを介して表示され得、オーバレイは、接触ベースのオペレーティングシステムによって実行され、表示されたアプリケーションの上に配置され、表示されたアプリケーションは、本明細書に記載された様々な実施形態を適用することによって音声制御される。

ここで図１２に移って示すように、ＧＵＩ要素参照１２０２～１２０６の例示的なインスタンスを示す、例示的なユーザインターフェースツリー１２００が提供される。１つまたは複数のＧＵＩ要素参照のおのおのは、接触インタラクティブオブジェクト１２１４、１２１６、および１２１８を表示するための命令を含む。ユーザインターフェースツリーはまた、テキストベースのユーザインターフェースラベルを生成するために使用され得る情報１２０８～１２１２を含み得る。

Claims

接触ベースのアプリケーションのハンズフリー操作を容易にするためのコンピュータ実施方法であって、アプリケーションの操作を容易にするために接触ベースの入力を受信するように適合された前記アプリケーションを、コンピューティングデバイスによって初期化するステップと、少なくとも１つのグラフィカルユーザインターフェース（ＧＵＩ）要素を表示するために、前記初期化されたアプリケーションによって生成されるユーザインターフェースツリーを、前記コンピューティングデバイスによって検出するステップであって、前記ユーザインターフェースツリーは、おのおのが、前記少なくとも１つのＧＵＩ要素のうちの１つに対応する少なくとも１つのＧＵＩ要素参照を含む、検出するステップと、前記検出されたユーザインターフェースツリーに含まれる前記少なくとも１つのＧＵＩ要素参照を、前記コンピューティングデバイスによって抽出するステップと、前記抽出された少なくとも１つのＧＵＩ要素参照の各ＧＵＩ要素参照のための対応するユーザインターフェースラベルを、前記コンピューティングデバイスによって生成するステップと、少なくとも１つの各ＧＵＩ要素のために生成された、前記対応するユーザインターフェースラベルを、表示のために、前記コンピューティングデバイスによって提供するステップとを備え、
対応する各ユーザインターフェースラベルは、カスタムユーザインターフェースラベルのセットを含むカスタマイズされたインデクスに基づいて生成され、
前記カスタムユーザインターフェースラベルのセットに含まれる各カスタムユーザインターフェースラベルは、少なくとも１つの対応するカスタム単語または句を含み、
表示されている生成された各ユーザインターフェースラベルに基づいてスピーチデータを受信するために、前記コンピューティングデバイスに結合されたマイクロフォンを、前記コンピューティングデバイスによって初期化するステップをさらに備え、
前記受信したスピーチデータが、第１のカスタムユーザインターフェースラベルに対応する前記単語または句に対応するとの判定に基づいて、前記生成されたカスタマイズされたインデクスに含まれる前記第１のカスタムユーザインターフェースラベルに対応する接触入力をエミュレートするステップをさらに備え、
前記受信されたスピーチデータに少なくとも部分的に基づいて、エミュレートされた接触入力の履歴を、前記コンピューティングデバイスによって記憶するステップと、エミュレートされた接触入力の特定のシーケンスが少なくともしきい反復値を有していることを、前記コンピューティングデバイスによって決定するステップと、前記特定のシーケンスが少なくとも前記しきい反復値を有しているとの前記決定に少なくとも部分的に基づいて、前記特定のシーケンスに対応する第２のユーザインターフェースラベルを含めるように、前記生成されたカスタマイズされたインデクスを、前記コンピューティングデバイスによって変更するステップとをさらに備える、コンピュータ実施方法。
対応する各ユーザインターフェースラベルは、前記検出されたユーザインターフェースツリーに含まれる前記ＧＵＩ要素参照の順序に基づいて生成される、請求項１に記載のコンピュータ実施方法。
対応する各ユーザインターフェースラベルは、数字である、請求項２に記載のコンピュータ実施方法。
前記カスタマイズされたインデクスは、ＸＭＬファイル、テキストファイル、またはデータベースのうちの１つを含む、請求項１に記載のコンピュータ実施方法。
前記カスタマイズされたインデクスの生成を容易にするために、前記抽出された少なくとも１つのＧＵＩ要素参照を、表示のために、前記コンピューティングデバイスによって提供するステップと、前記カスタマイズされたインデクスを生成するために、前記表示された少なくとも１つの抽出されたＧＵＩ要素参照のうちの１つまたは複数に対する少なくとも１つのユーザ入力を、前記コンピューティングデバイスによって受信するステップとをさらに備える、請求項４に記載のコンピュータ実施方法。
前記受信されたスピーチデータが、第２のカスタムユーザインターフェースラベルに含まれる単語または句に対応するという別の判定に基づいて、エミュレートされた接触入力の前記特定のシーケンスを、前記コンピューティングデバイスによってエミュレートするステップをさらに備える、請求項１に記載のコンピュータ実施方法。
１つまたは複数のコンピューティングデバイスによって使用されると、前記１つまたは複数のコンピューティングデバイスに対して、アプリケーションの操作を容易にするために接触ベースの入力を受信するように適合された前記アプリケーションを、接触ベースのオペレーティングシステムにおいて初期化することと、少なくとも１つのグラフィカルユーザインターフェース（ＧＵＩ）要素を表示するために、前記初期化されたアプリケーションによって生成されるユーザインターフェースツリーを検出することであって、前記ユーザインターフェースツリーは、おのおのが、前記少なくとも１つのＧＵＩ要素のうちの１つに対応する少なくとも１つのＧＵＩ要素参照を含む、検出することと、前記検出されたユーザインターフェースツリーに含まれる前記少なくとも１つのＧＵＩ要素参照を抽出することと、前記抽出された少なくとも１つのＧＵＩ要素参照の各ＧＵＩ要素参照のための対応するユーザインターフェースラベルを生成することと、前記接触ベースのオペレーティングシステムのユーザインターフェースの第１のインスタンスを、第２のデバイスのディスプレイに表示することであって、前記第２のデバイスの前記ディスプレイは、少なくとも１つの各ＧＵＩ要素のために生成された前記対応するユーザインターフェースラベルを備える、表示することとを備える動作を実行させ、
前記第２のデバイスは、ヘッドマウントコンピューティングデバイスである、コンピュータ使用可能な命令を記憶する非一時的なコンピュータ記憶媒体。
前記動作はさらに、ユーザインターフェースの前記第１のインスタンスを、前記第２のデバイスの前記ディスプレイに表示した後、１つの対応するユーザインターフェースラベルに関連付けられた第１の非接触入力を受信することと、前記第１の非接触入力に応じて、前記第２のデバイスの前記ディスプレイ上に、前記接触ベースのデバイスの前記ユーザインターフェースの第２のインスタンスを表示することとを備える、請求項７に記載の非一時的なコンピュータ記憶媒体。
対応する各ユーザインターフェースラベルは、前記検出されたユーザインターフェースツリーに含まれる前記ＧＵＩ要素参照の順序に基づいて生成される、請求項７に記載の非一時的なコンピュータ記憶媒体。
対応する各ユーザインターフェースラベルは、数字である、請求項９に記載の非一時的なコンピュータ記憶媒体。
前記非接触入力は、前記第２のデバイスを操作するユーザの可聴入力および身体の移動のうちの少なくとも１つである、請求項８に記載の非一時的なコンピュータ記憶媒体。
接触ベースのアプリケーションのハンズフリー操作を容易にするためのシステムであって、１つまたは複数のプロセッサと、前記１つまたは複数のプロセッサによって実行されると、アプリケーションの操作を容易にするために接触ベースの入力を受信するように適合された前記アプリケーションを初期化することと、少なくとも１つのグラフィカルユーザインターフェース（ＧＵＩ）要素を表示するために、前記初期化されたアプリケーションによって生成されるユーザインターフェースツリーを、コンピューティングデバイスによって検出することであって、前記ユーザインターフェースツリーは、おのおのが、前記少なくとも１つのＧＵＩ要素のうちの１つに対応する少なくとも１つのＧＵＩ要素参照を含む、検出することと、前記検出されたユーザインターフェースツリーに含まれる前記少なくとも１つのＧＵＩ要素参照を抽出することと、前記抽出された少なくとも１つのＧＵＩ要素参照の各ＧＵＩ要素参照のための対応するユーザインターフェースラベルを生成することと、前記接触ベースのアプリケーションのユーザインターフェースの第１のインスタンスを、第２のデバイスのディスプレイに表示することであって、前記ディスプレイは、少なくとも１つの各ＧＵＩ要素のために生成された、前記対応するユーザインターフェースラベルを備える、表示することと、第１のハンズフリー入力を検出することであって、前記第１のハンズフリー入力は、前記少なくとも１つのＧＵＩ要素のうちの１つに対して生成された、前記対応するユーザインターフェースラベルに相関し、前記ハンズフリー入力は、前記第２のデバイスの、しきい角度変位を超える第１の角度変位と、前記ユーザインターフェースの前記第１のインスタンスに含まれる接触ベースの制御ダイアログに関連付けられた第１の可聴入力とのうちの１つまたは複数を備える、検出することとを備える方法を実施するコンピュータ使用可能な命令を記憶する１つまたは複数のコンピュータ記憶媒体とを備え、
前記第２のデバイスは、ヘッドマウントコンピューティングデバイスである、システム。
対応する各ユーザインターフェースラベルは、前記検出されたユーザインターフェースツリーに含まれる前記ＧＵＩ要素参照の順序に基づいて生成される、請求項１２に記載のシステム。