JP6081440B2 - スマートグラスに基づくプロンプティングのための方法及び装置 - Google Patents

Description

本発明は、データ処理の技術分野に関し、詳細には、スマートグラスに基づくプロンプティングのための方法及び装置に関する。

人々は、多くの場面で、シナリオ情報に従った即時情報を取得する必要がある。例えば、ＰＰＴを説明するとき、又は映画を見ている最中にある著名人について知りたいと思うとき、ＰＰＴの現在のページ又は映画の現在のフレームなど、そのシナリオについてある種の追加説明を実行することが必要になる場合が多い。

この種の即時情報を得ることは、通常は不便である。例えば、人々は、ＰＰＴを説明するときは、自分自身のコンピュータ画面を見る必要に迫られることが非常に多く、又は、例えば映画を見ているときに関連情報を取得できない場合もある。

本発明は、関連技術での技術的問題のうちの１つを、少なくともある程度解決するものである。

このために、本発明の１つの目的は、スマートグラスに基づくプロンプティングのための方法を提案することであり、この方法により、シナリオに対応する即時情報をユーザが取得することが容易になり得る。

本発明の別の目的は、ある形式のスマートグラスを提案することである。

上記目的を実現するために、本発明の第１の態様からの一実施形態によって提案される、スマートグラスに基づくプロンプティングのための方法は、現在のシナリオ情報を取得するステップと、事前構成された情報ベースに従って、現在のシナリオ情報に対応する即時情報を特定するステップであって、この情報ベースが、少なくとも１つの種類のシナリオ情報、及びそれぞれの種類のシナリオ情報に対応する即時情報を格納するものであるステップと、スマートグラスによって即時情報を表示するステップとを含む。

本発明の第１の態様からの実施形態によって提案される、スマートグラスに基づくプロンプティングのための方法は、現在のシナリオ情報に対応する即時情報を取得すること、及びスマートグラスによってそれらを表示することによって、現在のシナリオに対応する即時情報をユーザが見るのを容易にすることができ、ユーザエクスペリエンスを改善することができる。

上記目的を実現するために、本発明の第２の態様からの一実施形態によって提案される、スマートグラスに基づくプロンプティングのための装置は、現在のシナリオ情報を取得するための取得モジュールと、事前構成された情報ベースに従って、現在のシナリオ情報に対応する即時情報を特定するための特定モジュールであって、この情報ベースが、少なくとも１つの種類のシナリオ情報、及びそれぞれの種類のシナリオ情報に対応する即時情報を格納するものである特定モジュールと、スマートグラスによって即時情報を表示するための表示モジュールとを備える。

本発明の第２の態様からの実施形態によって提案される、スマートグラスに基づくプロンプティングのための装置は、現在のシナリオ情報に対応する即時情報を取得すること、及びスマートグラスによってそれらを表示することによって、現在のシナリオに対応する即時情報をユーザが見るのを容易にすることができ、ユーザエクスペリエンスを改善することができる。

上記目的を実現するために、本発明の第３の態様からの一実施形態によって提案されるスマートグラスは、ハウジングと、プロセッサと、メモリと、回路板と、電源回路とを備え、回路板が、ハウジングによって囲まれた空間の内部に配置され、プロセッサ及びメモリが、回路板上に配置され、電源回路を使用して、スマートグラスの様々な回路又はデバイスに電力を供給し、メモリを使用して、実行可能なプログラムコードを格納し、プロセッサが、メモリに格納された実行可能なプログラムコードを読み取って、現在のシナリオ情報を取得するステップと、事前構成された情報ベースに従って、現在のシナリオ情報に対応する即時情報を特定するステップであって、この情報ベースが、少なくとも１つの種類のシナリオ情報、及びそれぞれの種類のシナリオ情報に対応する即時情報を格納するものであるステップと、スマートグラスによって即時情報を表示するステップとを実行することにより、実行可能なプログラムコードに対応するプログラムを動作させる。

本発明の第３の態様からの実施形態によって提案されるスマートグラスは、現在のシナリオ情報に対応する即時情報を取得すること、及びスマートグラスによってそれらを表示することによって、現在のシナリオに対応する即時情報をユーザが見るのを容易にすることができ、ユーザエクスペリエンスを改善することができる。

本発明の更なる態様及び利点は、以下の説明で部分的に提示されることになり、以下の説明から部分的に明らかになり、又は本発明を実施することによって理解されよう。

本発明の前述及び／又は追加の態様並びに利点は、添付図面と関連する各実施形態の以下の説明から明らかになり、容易に理解されよう。

本発明の一実施形態によって提案される、スマートグラスに基づくプロンプティングのための方法の概略フローチャート 本発明の別の実施形態によって提案される、スマートグラスに基づくプロンプティングのための方法の概略フローチャート 本発明の別の実施形態によって提案される、スマートグラスに基づくプロンプティングのための装置の構造概略図 本発明の別の実施形態によって提案される、スマートグラスに基づくプロンプティングのための装置の構造概略図

本発明の実施形態が、これより以下で詳細に説明され、各実施形態の例が添付図面に示してある。この添付図面では、同じ又は同様の参照番号は、全体を通して、同じ又は同様の機能を有する、同じ又は同様の要素を表す。添付図面を参照することによって以下に述べる実施形態は、例示的なものであって、本発明を限定するものとして理解するのではなく、単に本発明を説明するために使用されるものである。むしろ、本発明の実施形態は、添付の特許請求の範囲の精神及び原理の範囲に該当する全ての変更、修正、及び均等物を含む。

図１は、本発明の一実施形態によって提案される、スマートグラスに基づくプロンプティングのための方法の概略フローチャートであり、この方法は以下のステップを含む。
Ｓ１１：スマートグラスが現在のシナリオ情報を取得する。

スマートグラスとは、新たに登場してきた、頭部に着用可能なスマートデバイスである。スマートグラスは、スマートフォンのように独立したオペレーティングシステムを有し、ソフトウェア及びゲームのようなプログラムをユーザがインストールしてもよく、操作及び制御して、予定追加、地図ナビゲーション、友人との交流、写真取込み及びビデオ取込み、友人とのビデオチャットなどの機能を実装してもよく、移動体通信網を介して無線ネットワークアクセスを実現してもよい。

現在のシナリオ情報は、画像によって、又はデバイスの相互接続によって取得してもよい。

画像によってという意味は、現在のシナリオを取り込んで、現在のシナリオの画像を取得することであり、デバイスの相互接続によってという意味は、現在のシナリオが存在するデバイスが、現在のシナリオ情報をスマートグラスに送信することである。

更に、現在のシナリオを取り込むことは、連続的な取込みでもよく、又はイベントトリガ命令を受信した後での取込みでもよい。例えば、連続的な取込みは、ＰＰＴが使用可能になるときや映画の再生開始時に、現在のシナリオの画像を取得するように開始する。或いは、現在のシナリオが取り込まれるとき、タッチ命令又は音声制御命令などのイベントトリガ命令を使用して、現在のシナリオの取込みを開始する。トリガ命令又は音声制御命令はユーザが送信してもよく、更にユーザはまた、別のデバイスによってトリガ命令をスマートグラスに送信して、現在のシナリオの取込みを開始してもよい。

例えば、デバイスの相互接続により、コンピュータなどによって現在再生されているＰＰＴのページ番号をスマートデバイスに送信してもよい。

Ｓ１２：スマートグラスが、事前構成された情報ベースに従って、現在のシナリオ情報に対応する即時情報を特定し、この情報ベースが、少なくとも１つの種類のシナリオ情報、及びそれぞれの種類のシナリオ情報に対応する即時情報を格納する。
ここで、情報ベースは、シナリオ情報と即時情報との間の関連付けの関係を記録し、それを介して、現在のシナリオ情報に対応する即時情報を見つけることができる。

現在のシナリオ情報は、例えば、現在再生されているＰＰＴページの画像であり、情報ベースは、このＰＰＴページの画像と、例えば現在のＰＰＴページで拡張する必要のある内容を示す、対応した即時情報とを保存する。或いは、現在のシナリオ情報は、現在再生されているビデオフレームであり、このビデオフレームは、ある１人又は複数人の著名人の１つ若しくは複数の顔を含んでおり、情報ベースは、著名人の顔と、その著名人に関連する情報、例えば、名前や経歴などの情報間の相関とを保存し、ここでは、顔認識技術を使用して、現在のビデオフレームから顔を取得してもよい。

Ｓ１３：スマートグラスは、このスマートグラスによって即時情報を表示する。

例えば、ＰＰＴを説明しているときは、拡張する必要があり、且つプロジェクタ上に表示されない内容を表示してもよく、又は、著名人が見えると、その著名人に関連するデータを表示してもよい。

この実施形態により、現在のシナリオ情報に対応する即時情報を取得すること、及びスマートグラスによってそれらを表示することによって、現在のシナリオに対応する即時情報をユーザが見るのを容易にすることができ、ユーザエクスペリエンスを改善することができる。

図２は、本発明の別の実施形態によって提案される、スマートグラスに基づくプロンプティングのための方法の概略フローチャートであり、この方法は以下のステップを含む。
Ｓ２１：情報ベースを確立する。

この情報ベースは、少なくとも１つの種類のシナリオ情報、及びそれぞれの種類のシナリオ情報に対応する即時情報を保存する。情報ベースを確立することによって、シナリオ情報と即時情報を関連付けてもよい。

シナリオ情報及び対応する即時情報は、ユーザ自身が設定した情報でもよく、公的リソースから取得された情報でもよい。

例えば、ＰＰＴを説明するとき、ユーザは事前に、ＰＰＴ画像の各ページ及びユーザ自身が設定した対応する即時情報を情報ベースに入力してもよく、若しくはＰＰＴのページ番号及び対応する即時情報を設定してもよい。又は、
ユーザは、公的リソースから取得されたシナリオ情報及び対応する即時情報を、情報ベースに入力してもよい。例えば著名人に関しては、これら著名人の顔、及び対応する著名人情報を、公的リソースから取得してもよい。

Ｓ２２：現在のシナリオ情報を取得する。

現在のシナリオ情報は、画像によって、又はデバイスの相互接続によって取得してもよい。

画像によってという意味は、現在のシナリオを取り込んで、現在のシナリオの画像を取得することであり、デバイスの相互接続によってという意味は、現在のシナリオが存在するデバイスが、現在のシナリオ情報をスマートグラスに送信することである。

更に、現在のシナリオを取り込むことは、連続的な取込みでもよく、又はイベントトリガ命令を受信した後での取込みでもよい。例えば、連続的な取込みは、ＰＰＴが使用可能になるときや映画の再生開始時に、現在のシナリオの画像を取得するように開始する。或いは、現在のシナリオが取り込まれるとき、タッチ命令又は音声制御命令などのイベントトリガ命令を使用して、現在のシナリオの取込みを開始する。トリガ命令又は音声制御命令はユーザが送信してもよく、更にユーザはまた、別のデバイスによってトリガ命令をスマートグラスに送信して、現在のシナリオの取込みを開始してもよい。

例えば、デバイスの相互接続により、コンピュータなどによって現在再生されているＰＰＴのページ番号をスマートデバイスに送信してもよい。

Ｓ２３：現在のシナリオ情報に対応する即時情報が、情報ベースにおいて特定される。

例えば、現在のシナリオ情報は、現在再生されているＰＰＴページの画像であり、情報ベースは、このＰＰＴページの画像と、例えば現在のＰＰＴページで拡張する必要のある内容を示す、対応した即時情報とを保存する。或いは、現在のシナリオ情報は、現在再生されているビデオフレームであり、このビデオフレームは、ある１人又は複数人の著名人の１つ若しくは複数の顔を含んでおり、情報ベースは、著名人の顔と、その著名人に関連する情報、例えば、名前や経歴などの情報間の相関とを保存し、ここでは、顔認識技術を使用して、現在のビデオフレームから顔を取得してもよい。

Ｓ２４：即時情報は、リアルタイムでスマートグラスによって表示される。

例えば、ＰＰＴを説明しているとき、拡張する必要があり、且つプロジェクタ上に表示されない内容を表示してもよく、又は、著名人が見えると、その著名人に関連するデータを表示してもよい。

前述の即時情報は、スマートグラスの右目の上方の位置に表示してもよい。

更に、即時情報を表示する前に、即時情報を表示する必要があるかどうかを判定して、必要なときのみその情報を表示してもよい。あらかじめボタンを設けてもよく、このボタンは、全ての即時情報を有効又は無効にするために使用され、ボタンが有効になると、現在のシナリオ情報及び対応する即時情報が、取得された後に表示される。或いは、即時情報の一部を有効又は無効にしてもよく、例えば、現在のシナリオがある設定条件を満たすときには対応する即時情報を表示し、そうでないときにはそれらを表示しない。この設定条件は、ユーザがシナリオを見る時間でもよく、この時間が設定閾値を超えるときのみ、対応する即時情報が表示される。例えば、ユーザの眼球が見つめる位置が、配置されたセンサによって取り込まれ、見る時間が設定閾値を超えるとき、ある著名人の顔など、対応する即時情報がその位置に表示される。

更に、即時情報のリアルタイム表示が上記の例と考えられ、また非リアルタイム表示も実行してよい。

この実施形態により、情報ベースを確立することによって、現在のシナリオ情報に対応する即時情報をこの情報ベース内に見つけることができ、この即時情報をスマートグラス上に示すことによって、別のデバイスからその情報を取得することなく、直接ユーザがその即時情報を見ることができ、これにより、ユーザによる即時情報の取得が容易になり、この即時情報をリアルタイムに表示することにより、現在のシナリオに従ってリアルタイムに、対応する即時情報をユーザが取得できるようになり、ユーザエクスペリエンスを改善できる。スマートグラス上に表示することにより、デバイスの機能を高めることができる。

図３は、本発明の別の実施形態によって提案される、スマートグラスに基づくプロンプティングのための装置の構造概略図である。装置３０は、取得モジュール３１、特定モジュール３２、及び表示モジュール３３を備える。

取得モジュール３１を使用して、現在のシナリオ情報を取得する。
現在のシナリオ情報は、画像によって、又はデバイスの相互接続によって取得してもよい。

画像によってという意味は、現在のシナリオを取り込んで、現在のシナリオの画像を取得することであり、デバイスの相互接続によってという意味は、現在のシナリオが存在するデバイスが、現在のシナリオ情報をスマートグラスに送信することである。

更に、現在のシナリオを取り込むことは、連続的な取込みでもよく、又はイベントトリガ命令を受信した後に実行される取込みでもよい。例えば、連続的な取込みは、ＰＰＴが使用可能になるときや映画の再生開始時に、現在のシナリオの画像を取得するように開始する。或いは、現在のシナリオが取り込まれ、タッチ命令又は音声制御命令などのイベントトリガ命令を使用して、現在のシナリオの取込みを開始する。トリガ命令又は音声制御命令はユーザが送信してもよく、更にユーザはまた、別のデバイスによってトリガ命令をスマートグラスに送信して、現在のシナリオの取込みを開始してもよい。

例えば、デバイスの相互接続により、コンピュータなどによって現在再生されているＰＰＴのページ番号をスマートデバイスに送信してもよい。

特定モジュール３２を使用して、事前構成された情報ベースに従って、現在のシナリオ情報に対応する即時情報を特定し、この情報ベースが、少なくとも１つの種類のシナリオ情報、及びそれぞれの種類のシナリオ情報に対応する即時情報を格納する。
ここで、情報ベースは、シナリオ情報と即時情報との間の関連付けの関係を記録し、それを介して、現在のシナリオ情報に対応する即時情報を見つけることができる。

現在のシナリオ情報は、例えば、現在再生されているＰＰＴページの画像であり、情報ベースは、このＰＰＴページの画像と、例えば現在のＰＰＴページで拡張する必要のある内容を示す、対応した即時情報とを保存する。或いは、現在のシナリオ情報は、現在再生されているビデオフレームであり、このビデオフレームは、ある１人又は複数人の著名人の１つ若しくは複数の顔を含んでおり、情報ベースは、著名人の顔と、その著名人に関連する情報、例えば、名前や経歴などの情報間の相関とを保存し、ここでは、顔認識技術を使用して、現在のビデオフレームから顔を取得してもよい。

表示モジュール３３を使用して、スマートグラスによって即時情報を表示する。

例えば、ＰＰＴを説明しているとき、拡張する必要があり、且つプロジェクタ上に表示されない内容を表示してもよく、又は、著名人が見えると、その著名人に関連するデータを表示してもよい。

この実施形態により、現在のシナリオ情報に対応する即時情報を取得すること、及びスマートグラスによってそれらを表示することによって、現在のシナリオに対応する即時情報をユーザが見るのを容易にすることができ、ユーザエクスペリエンスを改善することができる。

図４は、本発明の別の実施形態によって提案される、スマートグラスに基づくプロンプティングのための装置の構造概略図である。装置３０は更に、情報ベースを確立するのに使用される確立モジュール３４を備える。

確立モジュール３４は、具体的には、ユーザが設定したシナリオ情報及びこのシナリオ情報に対応する即時情報を情報ベースに保存するため、又は公的リソースからユーザが取得したシナリオ情報及びこのシナリオ情報に対応する即時情報を情報ベースに保存するために使用される。

この情報ベースは、少なくとも１つの種類のシナリオ情報、及びそれぞれの種類のシナリオ情報に対応する即時情報を保存する。情報ベースを確立することによって、シナリオ情報と即時情報を関連付けてもよい。

シナリオ情報及び対応する即時情報は、ユーザ自身が設定した情報でもよく、公的リソースから取得された情報でもよい。

例えば、ＰＰＴを説明するとき、ユーザは事前に、ＰＰＴ画像の各ページ及びユーザ自身が設定した対応する即時情報を情報ベースに入力してもよく、若しくはＰＰＴのページ番号及び対応する即時情報を設定してもよい。又は、
ユーザは、公的リソースから取得されたシナリオ情報及び対応する即時情報を、情報ベースに入力してもよい。例えば著名人に関しては、これら著名人の顔、及び対応する著名人情報を、公的リソースから取得してもよい。

別の実施形態では、取得モジュール３１が、具体的には、現在のシナリオを取り込んで、この現在のシナリオの画像を取得するために使用される。

別の実施形態では、取得モジュールは更に、シナリオを連続的に取り込んで、現在のシナリオの画像を取得するため、又はイベントトリガ命令に従って現在のシナリオを取り込むために特に使用される。

別の実施形態では、取得モジュールが使用するイベントトリガ命令は、ユーザが与えるタッチ命令若しくは音声制御命令、又は別のデバイスを介してユーザが送信するトリガ命令を含む。

別の実施形態では、取得モジュールは、具体的には、現在のシナリオが存在するデバイスが送信する現在のシナリオ情報を受信するために使用される。

現在のシナリオ情報は、画像によって、又はデバイスの相互接続によって取得してもよい。

画像によってという意味は、現在のシナリオを取り込んで、現在のシナリオの画像を取得することであり、デバイスの相互接続によってという意味は、現在のシナリオが存在するデバイスが、現在のシナリオ情報をスマートグラスに送信することである。

更に、現在のシナリオを取り込むことは、連続的な取込みでもよく、又はイベントトリガ命令を受信した後での取込みでもよい。例えば、連続的な取込みは、ＰＰＴが使用可能になるときや映画の再生開始時に、現在のシナリオの画像を取得するように開始する。或いは、現在のシナリオが取り込まれるとき、タッチ命令又は音声制御命令などのイベントトリガ命令を使用して、現在のシナリオの取込みを開始する。トリガ命令又は音声制御命令はユーザが送信してもよく、更にユーザはまた、別のデバイスによってトリガ命令をスマートグラスに送信して、現在のシナリオの取込みを開始してもよい。

例えば、デバイスの相互接続により、コンピュータなどによって現在再生されているＰＰＴのページ番号をスマートデバイスに送信してもよい。

別の実施形態では、装置３０は更に、判定モジュール３５を備える。

判定モジュール３５は、現在のシナリオ情報に対応する即時情報を表示する必要があるかどうか判定して、この即時情報を表示する必要があると判定されると、スマートグラスによって即時情報を表示するために使用される。

別の実施形態では、判定モジュール３５は、具体的には、全ての即時情報を有効にすることをユーザが選択する場合は、その情報を表示する必要があると判定し、又は、現在のシナリオに対応する即時情報を有効にすることをユーザが選択する場合には、その情報を表示する必要があると判定するために使用される。

あらかじめボタンを設けてもよく、このボタンは、全ての即時情報を有効又は無効にするために使用され、ボタンが有効になると、現在のシナリオ情報及び対応する即時情報が、取得された後に表示される。或いは、即時情報の一部を有効又は無効にしてもよく、例えば、現在のシナリオがある設定条件を満たすときには対応する即時情報を表示し、そうでないときにはそれらを表示しない。この設定条件は、ユーザがシナリオを見る時間でもよく、この時間が設定閾値を超えるときのみ、対応する即時情報が表示される。例えば、ユーザの眼球が見つめる位置が、配置されたセンサによって取り込まれ、見る時間が設定閾値を超えるとき、ある著名人の顔など、対応する即時情報がその位置に表示される。

更に、前述の即時情報をリアルタイムに表示してもよく、非リアルタイムに表示してもよい。

この実施形態により、情報ベースを確立することによって、現在のシナリオ情報に対応する即時情報をこの情報ベース内に見つけることができ、この即時情報をスマートグラス上に示すことによって、別のデバイスからその情報を取得することなく、直接ユーザがその即時情報を見ることができ、これにより、ユーザによる即時情報の取得が容易になり、この即時情報をリアルタイムに表示することにより、現在のシナリオに従ってリアルタイムに、対応する即時情報をユーザが取得できるようになり、ユーザエクスペリエンスを改善できる。スマートグラス上に表示することにより、デバイスの機能を高めることができる。

本発明の実施形態は更に、ハウジングと、プロセッサと、メモリと、回路板と、電源回路とを備えるクライアントデバイスであって、回路板が、ハウジングに囲まれた空間の内部に取り付けられ、プロセッサ及びメモリが回路板上に配置され、電源回路を使用して、クライアントデバイスの様々な回路又はデバイスに電力を供給し、メモリを使用して、実行可能なプログラムコードを格納し、プロセッサが、以下のステップを実行するためにメモリ内に格納された実行可能なプログラムコードを読み取ることによって、実行可能なプログラムコードに対応するプログラムを動作させる、クライアントデバイスを実現する。
Ｓ１１’：スマートグラスが現在のシナリオ情報を取得する。

スマートグラスとは、新たに登場してきた、頭部に着用可能なスマートデバイスである。スマートグラスは、スマートフォンのように独立したオペレーティングシステムを有し、ソフトウェア及びゲームのようなプログラムをユーザがインストールしてもよく、操作及び制御して、予定追加、地図ナビゲーション、友人との交流、写真取込み及びビデオ取込み、友人とのビデオチャットなどの機能を実装してもよく、移動体通信網を介して無線ネットワークアクセスを実現してもよい。

現在のシナリオ情報は、画像によって、又はデバイスの相互接続によって取得してもよい。

画像によってという意味は、現在のシナリオを取り込んで、現在のシナリオの画像を取得することであり、デバイスの相互接続によってという意味は、現在のシナリオが存在するデバイスが、現在のシナリオ情報をスマートグラスに送信することである。

更に、現在のシナリオを取り込むことは、連続的な取込みでもよく、又はイベントトリガ命令を受信した後での取込みでもよい。例えば、連続的な取込みは、ＰＰＴが使用可能になるときや映画の再生開始時に、現在のシナリオの画像を取得するように開始する。或いは、現在のシナリオが取り込まれるとき、タッチ命令又は音声制御命令などのイベントトリガ命令を使用して、現在のシナリオの取込みを開始する。トリガ命令又は音声制御命令はユーザが送信してもよく、更にユーザはまた、別のデバイスによってトリガ命令をスマートグラスに送信して、現在のシナリオの取込みを開始してもよい。

例えば、デバイスの相互接続により、コンピュータなどによって現在再生されているＰＰＴのページ番号をスマートデバイスに送信してもよい。

Ｓ１２’：スマートグラスが、事前構成された情報ベースに従って、現在のシナリオ情報に対応する即時情報を特定し、この情報ベースが、少なくとも１つの種類のシナリオ情報、及びそれぞれの種類のシナリオ情報に対応する即時情報を格納する。
ここで、情報ベースは、シナリオ情報と即時情報の間の関連付けの関係を記録し、それを介して、現在のシナリオ情報に対応する即時情報を見つけることができる。

現在のシナリオ情報は、例えば、現在再生されているＰＰＴページの画像であり、情報ベースは、このＰＰＴページの画像と、例えば現在のＰＰＴページで拡張する必要のある内容を示す、対応した即時情報とを保存する。或いは、現在のシナリオ情報は、現在再生されているビデオフレームであり、このビデオフレームは、ある１人又は複数人の著名人の１つ若しくは複数の顔を含んでおり、情報ベースは、著名人の顔と、その著名人に関連する情報、例えば、名前や経歴などの情報間の相関とを保存し、ここでは、顔認識技術を使用して、現在のビデオフレームから顔を取得してもよい。

Ｓ１３’：スマートグラスは、このスマートグラスによって即時情報を表示する。

例えば、ＰＰＴを説明しているときは、拡張する必要があり、且つプロジェクタ上に表示されない内容を表示してもよく、又は、著名人が見えると、その著名人に関連するデータを表示してもよい。

この実施形態により、現在のシナリオ情報に対応する即時情報を取得すること、及びスマートグラスによってそれらを表示することによって、現在のシナリオに対応する即時情報をユーザが見るのを容易にすることができ、ユーザエクスペリエンスを改善することができる。

別の実施形態では、プロセッサは、以下のステップを実行するためにメモリ内に格納された実行可能なプログラムコードを読み取ることによって、実行可能なプログラムコードに対応するプログラムを動作させる。
Ｓ２１’：情報ベースを確立する。

この情報ベースは、少なくとも１つの種類のシナリオ情報、及びそれぞれの種類のシナリオ情報に対応する即時情報を保存する。情報ベースを確立することによって、シナリオ情報と即時情報を関連付けてもよい。

シナリオ情報及び対応する即時情報は、ユーザ自身が設定した情報でもよく、公的リソースから取得された情報でもよい。

例えば、ＰＰＴを説明するとき、ユーザは事前に、ＰＰＴ画像の各ページ及びユーザ自身が設定した対応する即時情報を情報ベースに入力してもよく、若しくはＰＰＴのページ番号及び対応する即時情報を設定してもよく、又は、
ユーザは、公的リソースから取得されたシナリオ情報及び対応する即時情報を、情報ベースに入力してもよい。例えば著名人に関しては、これら著名人の顔、及び対応する著名人情報を、公的リソースから取得してもよい。

Ｓ２２’：現在のシナリオ情報を取得する。

現在のシナリオ情報は、画像によって、又はデバイスの相互接続によって取得してもよい。

画像によってという意味は、現在のシナリオを取り込んで、現在のシナリオの画像を取得することであり、デバイスの相互接続によってという意味は、現在のシナリオが存在するデバイスが、現在のシナリオ情報をスマートグラスに送信することである。

更に、現在のシナリオを取り込むことは、連続的な取込みでもよく、又はイベントトリガ命令を受信した後での取込みでもよい。例えば、連続的な取込みは、ＰＰＴが使用可能になるときや映画の再生開始時に、現在のシナリオの画像を取得するように開始する。或いは、現在のシナリオが取り込まれるとき、タッチ命令又は音声制御命令などのイベントトリガ命令を使用して、現在のシナリオの取込みを開始する。トリガ命令又は音声制御命令はユーザが送信してもよく、更にユーザはまた、別のデバイスによってトリガ命令をスマートグラスに送信して、現在のシナリオの取込みを開始してもよい。

例えば、デバイスの相互接続により、コンピュータなどによって現在再生されているＰＰＴのページ番号をスマートデバイスに送信してもよい。

Ｓ２３’：現在のシナリオ情報に対応する即時情報が、情報ベースにおいて特定される。

例えば、現在のシナリオ情報は、現在再生されているＰＰＴページの画像であり、情報ベースは、このＰＰＴページの画像と、例えば現在のＰＰＴページで拡張する必要のある内容を示す、対応した即時情報とを保存する。或いは、現在のシナリオ情報は、現在再生されているビデオフレームであり、このビデオフレームは、ある１人又は複数人の著名人の１つ若しくは複数の顔を含んでおり、情報ベースは、著名人の顔と、その著名人に関連する情報、例えば、名前や経歴などの情報間の相関とを保存し、ここでは、顔認識技術を使用して、現在のビデオフレームから顔を取得してもよい。

Ｓ２４’：即時情報は、リアルタイムでスマートグラスによって表示される。

例えば、ＰＰＴを説明しているとき、拡張する必要があり、且つプロジェクタ上に表示されない内容を表示してもよく、又は、著名人が見えると、その著名人に関連するデータを表示してもよい。

前述の即時情報は、スマートグラスの右目の上方の位置に表示してもよい。

更に、即時情報を表示する前に、即時情報を表示する必要があるかどうかを判定して、必要なときのみその情報を表示してもよい。あらかじめボタンを設けてもよく、このボタンは、全ての即時情報を有効又は無効にするために使用され、ボタンが有効になると、現在のシナリオ情報及び対応する即時情報が、取得された後に表示される。或いは、即時情報の一部を有効又は無効にしてもよく、例えば、現在のシナリオがある設定条件を満たすときには対応する即時情報を表示し、そうでないときにはそれらを表示しない。この設定条件は、ユーザがシナリオを見る時間でもよく、この時間が設定閾値を超えるときのみ、対応する即時情報が表示される。例えば、ユーザの眼球が見つめる位置が、配置されたセンサによって取り込まれ、見る時間が設定閾値を超えるとき、ある著名人の顔など、対応する即時情報がその位置に表示される。

更に、即時情報のリアルタイム表示が上記の例と考えられ、また非リアルタイム表示も実行してよい。

この実施形態により、情報ベースを確立することによって、現在のシナリオ情報に対応する即時情報をこの情報ベース内に見つけることができ、この即時情報をスマートグラス上に示すことによって、別のデバイスからその情報を取得することなく、直接ユーザがその即時情報を見ることができ、これにより、ユーザによる即時情報の取得が容易になり、この即時情報をリアルタイムに表示することにより、現在のシナリオに従ってリアルタイムに、対応する即時情報をユーザが取得できるようになり、ユーザエクスペリエンスを改善できる。スマートグラス上に表示することにより、デバイスの機能を高めることができる。

本発明の説明において、「第１の」及び「第２の」という用語は、相対的な重要度を示し、又は暗示するものと理解するのではなく、単に説明するためのものであることに留意されたい。更に、本発明の説明において別段の指定がない限り、「複数」の意味は、２つ又は３つ以上である。

本明細書に記載のフローチャート又は他の方法での、任意のプロセス又は方法の説明は、特定の論理機能又はプロセスステップを実装するために使用される実行可能な命令の１つ又は複数のコードを含むモジュール、セグメント、又はセクションを表すものと理解してもよい。本発明の好ましい実施形態の範囲は更に、関連した機能による基本的に同期する方式又は逆の順序に従う態様を含め、示した順序又は議論した順序に従うことなく各機能を実行できる実装形態を含み、このことは、本発明の実施形態が属する分野の当業者には理解できよう。

本発明の様々な部分は、ハードウェア、ソフトウェア、ファームウェア、又はそれらの組合せによって実装してもよいことを理解されたい。前述の実施形態では、メモリに格納され、適切な命令実行システムによって実行されるソフトウェア又はファームウェアによって、複数のステップ又は方法を実装してもよい。例えば、別の実施形態で同様にハードウェアによって実装される場合、これは、当技術分野で普通知られている以下の技法、すなわち、データ信号用の論理機能を実装するのに使用される論理ゲート回路を有する離散論理回路、適切な組合せ論理ゲート回路を有する特定用途向け集積回路、プログラマブルゲートアレイ（ＰＧＡ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）などのうち任意の１つ又はその組合せによって実装することができる。

前述の実施形態の方法において実行されるステップの全て又は一部の実装は、関連するハードウェアをプログラムで命令することによって実現できることを当業者は理解されよう。プログラムは、コンピュータ可読記憶媒体に格納してもよく、実行されるとき、このプログラムは、方法の実施形態におけるステップのうちの１つ、又はその組合せを含む。

更に、本発明の様々な実施形態での様々な機能ユニットは、処理モジュールに統合してもよく、又は各ユニットのそれぞれは、物理的に単独で存在してもよく、又は２つ若しくは３つ以上のユニットをモジュールに統合してもよい。前述の統合モジュールは、ハードウェアの形で実装してもよく、ソフトウェアの機能モジュールの形で実装してもよい。ソフトウェアの機能モジュールの形で実装され、独立した製品として販売又は使用されるとき、統合モジュールはまた、コンピュータ可読記憶媒体に格納してもよい。

前述の記憶媒体は、読取り専用メモリ、磁気ディスク、又は光ディスクなどでもよい。

本明細書の説明において、「一実施形態」、「幾つかの実施形態」、「例」、「特定の例」、又は「幾つかの例」などの指示語の説明は、その実施形態又は例とともに説明される特定の機能、構造、材料、又は特性が、本発明の少なくとも１つの実施形態又は例に含まれることを意味するものである。この場合、前述の用語の例示的な表現は、同じ実施形態又は例を必ずしも指すものではない。更に、説明される特定の機能、構造、材料、又は特性は、任意の１つ若しくは複数の実施形態又は例に、適切な形で組み込まれてもよい。

これまで本発明の各実施形態を示して説明してきたが、前述の実施形態は、例示的なものであり、本発明を限定するものと理解すべきではないことを理解されたい。当業者は、本発明の範囲内で、前述の実施形態に変更、修正、置換え、及び変形を加えてもよい。

３０ 装置
３１ 取得モジュール
３２ 特定モジュール
３３ 表示モジュール
３４ 確立モジュール
３５ 判定モジュール

Claims (8)

1. スマートグラスに基づくプロンプティングのための方法であって、
   現在のシナリオ情報を取得するステップと、
   事前構成された情報ベースに従って、前記現在のシナリオ情報に対応する即時情報を特定するステップであって、前記情報ベースが、少なくとも１つの種類のシナリオ情報、及びそれぞれの種類のシナリオ情報に対応する即時情報を格納するものであるステップと、
   前記スマートグラスによって前記即時情報を表示するステップと
   を含み、
   現在のシナリオ情報を取得する前記ステップが、前記現在のシナリオが存在するデバイスが送信する前記現在のシナリオ情報を受信するステップを含む、
   ことを特徴とする、方法。
2. 前記情報ベースを確立するステップを更に含み、前記情報ベースを確立する前記ステップが、
   ユーザが設定したシナリオ情報及び前記シナリオ情報に対応する即時情報を前記情報ベースに保存するステップ、又は
   公的リソースからユーザが取得したシナリオ情報及び前記シナリオ情報に対応する即時情報を前記情報ベースに保存するステップ
   を含むことを特徴とする、請求項１に記載の方法。
3. 前記スマートグラスによって前記即時情報を表示する前に、
   前記現在のシナリオ情報に対応する前記即時情報を表示する必要があるかどうか判定して、前記即時情報を表示する必要があると判定されると、前記スマートグラスによって前記即時情報を表示するステップ
   を更に含むことを特徴とする、請求項１または２に記載の方法。
4. 前記現在のシナリオ情報に対応する前記即時情報を表示する必要があるかどうか判定する前記ステップが、
   全ての即時情報を有効にすることをユーザが選択する場合は、その情報を表示する必要があると判定するステップ、又は
   前記現在のシナリオに対応する前記即時情報を有効にすることをユーザが選択する場合には、その情報を表示する必要があると判定するステップ
   を含むことを特徴とする、請求項３に記載の方法。
5. スマートグラスに基づくプロンプティングのための装置であって、
   現在のシナリオ情報を取得するための取得モジュールと、
   事前構成された情報ベースに従って、前記現在のシナリオ情報に対応する即時情報を特定するための特定モジュールであって、前記情報ベースが、少なくとも１つの種類のシナリオ情報、及びそれぞれの種類のシナリオ情報に対応する即時情報を格納するものである特定モジュールと、
   前記スマートグラスによって前記即時情報を表示するための表示モジュールと
   を備え、
   前記取得モジュールが、前記現在のシナリオが存在するデバイスが送信する前記現在のシナリオ情報を受信するために使用される、
   ことを特徴とする、装置。
6. 前記情報ベースを確立するための確立モジュールを更に含み、前記確立モジュールが、
   ユーザが設定したシナリオ情報及び前記シナリオ情報に対応する即時情報を前記情報ベースに保存するため、又は
   公的リソースからユーザが取得したシナリオ情報及び前記シナリオ情報に対応する前記即時情報を前記情報ベースに保存するため
   に使用されることを特徴とする、請求項５に記載の装置。
7. 前記現在のシナリオ情報に対応する前記即時情報を表示する必要があるかどうか判定して、前記即時情報を表示する必要があると判定されると、前記スマートグラスによって前記即時情報を表示するための判定モジュールを更に備えることを特徴とする、請求項５または６に記載の装置。
8. 前記判定モジュールが、
   全ての即時情報を有効にすることをユーザが選択する場合は、その情報を表示する必要があると判定し、又は
   前記現在のシナリオに対応する前記即時情報を有効にすることを前記ユーザが選択する場合には、その情報を表示する必要があると判定するために使用されることを特徴とする、請求項７に記載の装置。

Images