JP4691136B2 - モバイルデバイスとスクリーンとの間でインタラクションを行う方法及び装置 - Google Patents

Description

本発明は、モバイルデバイスとスクリーンとの間でインタラクションを行う方法及び装置に関する。

ＮＦＣ（Near Field Communication：近距離無線通信）、ＲＦＩＤ（Radio Frequency Identification）及びビジュアルタグ（visual tag）などの多数の短距離無線通信技術により、任意の物理的なオブジェクト（physical object）にデジタル情報を関連付ける方法が提供されている。一般にタッチレスと呼ばれているこれらの技術は、モバイルデバイスのオペレータに新たな機会を提供する。その理由は、これらの技術はモバイルデバイスのユーザが環境内の任意のオブジェクトを通してサービスにアクセスしてサービスとインタラクションすることを可能にするからである。しかしながら、ただ一つの具体的なユーザのインタラクション、すなわち１つのタグの選択しかサポートされていないため、タグが付いたオブジェクトとユーザがインタラクションすることは、今までのところ制限されている。さらに、オブジェクト自体はユーザの入力に対していかなるフィードバックも提供しないため、ある意味では「静的」である。

本願と同じ出願人による欧州特許出願第０６１２２６５３．６号は、引用することによって本願の一部をなすものであるが、インターネット・オブ・シングス（Internet of Things）の任意の未知のオブジェクトとの通常のインタラクションをサポートする仕組みを開示している。この仕組みでは、特定のサービスクライアントは前もってロードされていない。この場合、サービスクライアントは、オブジェクトとのＰＭＩ（Physical Mobile Interaction）を通してオンザフライで作られる。しかしながら、モバイルデバイス上で自動的なサービスの呼出し及びユーザインタフェースの生成を可能とする一方で、上記の仕組みは動的な物理オブジェクト（Dynamic Physical Object）を扱うものではない。さらに、この仕組みでは、モバイルデバイスのユーザがオブジェクト上でアイテムを選択するために種々の直接的な操作のジェスチャを行うことはできない。

従って、タグの付いたオブジェクトとインタラクションするための改良された仕組みを提供することが求められている。

一実施形態によれば、モバイルデバイスと、該モバイルデバイスがインタラクションすることができるタグマトリックスを備えたスクリーンとの間でインタラクションを行う方法であって、
あるサービスのユーザインタフェースを前記スクリーン上に表示するステップと、
前記モバイルデバイスが１つ以上のタグの選択を受け付けるステップと、
タグを選択する前記ステップに基づいて、前記サービスの前記ユーザインタフェースの更新を計算して、更新されたユーザインタフェースを前記スクリーン上に表示するステップと
を含み、
ここで、前記モバイルデバイスが１つ以上のタグの選択を受け付ける前記ステップが、
前記タグを選択してそのデータを読み取るために、前記モバイルデバイスにより前記スクリーンのあるタグとのインタラクションジェスチャを実行するサブステップと、
前記モバイルデバイスの近距離無線通信インタフェースが前記インタラクションジェスチャに対応するタグを読み取るサブステップと
を含むものである、方法が提供される。

これにより、ユーザが自己のモバイルデバイスだけではなく、動的な方法でインタラクションするための地図などの実世界のオブジェクトとインタラクションできることとなる。ユーザは、スクリーン上のタグとインタラクションすることによって、例えばモバイルデバイスをタグの近くに移動させることによって、インタラクションジェスチャによりタグを選択することができ、次にタグのデータが読み取られてサービスインタフェースの更新を計算するために使用され、更新されたインタフェースがスクリーン上に表示される。

一実施形態によれば、スクリーンはキャンバスであり、ユーザインタフェースはプロジェクタによりスクリーン上に投影される。

一実施形態によれば、投影を受け取るプロジェクタ、ユーザインタフェースを表示する電子ペーパ装置、あるいはユーザインタフェースを表示し、それによりＮＦＣ信号を伝搬させることができる任意の物理的なオブジェクトによって、スクリーンを実現することができる。ユーザインタフェース用スクリーンは、その表示する機能に加えて、タグマトリックスを備えている。

一実施形態によれば、モバイルデバイスは、ＮＦＣリーダが付いた携帯電話機又はＰＤＡなどの、タグリーダを有する電子装置である。タグは、ＲＦＩＤなどの近距離無線通信（ＮＦＣ）によって、このようなタグリーダに情報を伝えることができる。

インタラクションジェスチャを行うことは、（ボタンなどの）トリガと組み合わせてＮＦＣリーダによって実現されるため、ユーザがスクリーンのタグの近くに移動してボタンを押すと、タグのデータがＮＦＣリーダによって読み取られる。別の方法では、データを読み取ることができるように、ユーザがモバイルデバイスをスクリーン上のタグの十分近くに移動させることによって、ボタンを押さずに読取りを行うことができる。

一実施形態によれば、この方法は、
選択を受け付けるステップにおいて選択された１つ以上のタグのデータをサーバへ送信するステップと、
前記サーバへ送信されたタグのデータに基づいて、前記サーバがサービスデータを決定するステップと、
送信されたタグのデータに基づいて決定されたサービスデータに基づいて、前記ユーザインタフェースの更新を計算するステップと
をさらに含む。

これにより、モバイルデバイス、タグベースのスクリーン、キャンバス又は他の実世界のオブジェクト、及びインターネット又はその他任意のネットワークなどのネットワークによってＭＤと接続されたサーバ上で実行されるサービスとのインタラクションが可能となる。

一実施形態によれば、前記インタラクションジェスチャが、
単一の選択と、
ある経路を形成する隣接した一連のタグを選択する経路選択と、
矩形を形成する一連のタグを選択するバウンデッドボックス選択と
のうちの１つ以上を含む。

一実施形態によれば、モバイルデバイスと、該モバイルデバイスがインタラクションすることができるタグマトリックスを備えたスクリーンとの間でインタラクションするためのシステムであって、
あるサービスのユーザインタフェースを前記スクリーン上に表示するモジュールと、
前記モバイルデバイスが１つ以上のタグの選択を受け付けるモジュールと、
タグの選択に基づいて、前記サービスの前記ユーザインタフェースの更新を計算して、更新されたユーザインタフェースを前記スクリーンに表示するモジュールと
を含み、
ここで、前記モバイルデバイスによる１つ以上のタグの選択の受付が、
タグを選択してそのデータを読み取るために、前記モバイルデバイスにより前記スクリーンのあるタグとのインタラクションジェスチャを実行することと、
前記モバイルデバイスの近距離無線通信用インタフェースが前記インタラクションジェスチャに対応するタグを読み取ることと
を含むものである、システムが提供される。

表示するモジュールは、例えば画像をスクリーンに投影するプロジェクタによって実現することができる。

インタラクションジェスチャを行うことによって選択するためのモジュールは、（ボタンなどの）トリガと組み合わせたＮＦＣリーダによって実現することができ、ユーザがスクリーンのタグの近くに移動してボタンを押すと、タグのデータがＮＦＣリーダによって読み取られる。別の方法では、ユーザがモバイルデバイスをスクリーンのタグの十分近くに移動することによって、ボタンを押さずに読取りを行うことができる。

更新するためのモジュールは、タグから読み取られたデータを受信し、これまでスクリーン上で表示されていたユーザインタフェースに基づいて更新し、読み取られたタグデータに基づいてユーザインタフェースの更新を計算して、更新されたインタフェースをスクリーンに投影するためにプロジェクタなどを制御するサーバコンピュータとすることができる。

一実施形態によれば、このシステムは、
選択された１つ以上のタグのデータをサーバへ送信するモジュールと、
前記タグのデータに基づいて、前記サーバがサービスデータを決定するモジュールと、
前記タグのデータに基づいて決定されたサービスデータに基づいて、前記ユーザインタフェースの更新を計算するモジュールと
をさらに含む。

一実施形態では、スクリーン又はキャンバスは、スクリーン上のタグの位置及びその周囲のグラフィック表示を表示することができる。これにより、対応するタグの位置へ動かすことによるインタラクションジェスチャを通して、ユーザがタグを容易に選択できるようになる。

一実施形態では、更新されたユーザインタフェースが、タグマトリックスが配置された別のスクリーンと同一又は類似の方法で前記モバイルデバイスの画面に表示される。

これによりユーザは、スクリーンとインタラクションすること又はさらなるデータを自己のモバイルデバイスに入力することによって、サービスを使い続けることができる。

一実施形態によれば、前記インタラクションジェスチャは、
単一の選択と、
ある経路を形成する隣接した一連のタグを選択する経路選択と、
矩形を形成する一連のタグを選択するバウンデッドボックス選択と
とのうちの１つ以上を含む。

一実施形態によれば、本発明の一実施形態に基づく方法をコンピュータに実行させるコンピュータプログラムコードを含むコンピュータプログラムが提供される。一実施形態では、サーバ上で動作するコンピュータプログラム及びモバイルデバイス上で動作するコンピュータプログラムが存在し、両方が一体となって本発明を実現可能とする。

一実施形態によれば、タグのデータを読み取るモジュールを有するモバイルデバイスがインタラクションすることができるタグマトリックスを備えたスクリーンにおける表示を制御するサーバであって、
サービスのユーザインタフェースに関する前記スクリーン上の表示を制御するモジュールと、
前記モバイルデバイスが１つ以上のタグの選択を受け付けることによって得られたデータを受け取るモジュールと、
タグの選択に基づいて、前記サービスの前記ユーザインタフェースの更新を計算して、更新されたユーザインタフェースに関する前記スクリーン上の表示を制御するモジュールと
を備え、
ここで、前記モバイルデバイスによる１つ以上のタグの選択の受付が、
タグを選択してそのデータを読み取るために、前記モバイルデバイスにより前記スクリーンのあるタグとのインタラクションジェスチャを実行することと、
前記モバイルデバイスの近距離無線通信用インタフェースが前記インタラクションジェスチャに対応するタグを読み取ることと
を含むものである、サーバが提供される。

一実施形態によれば、タグのデータを読み取るモジュールを有するモバイルデバイスがインタラクションすることができるタグマトリックスを備えたスクリーンにおける表示とインタラクションするモバイルデバイスであって、
サービスのユーザインタフェースが表示される前記スクリーンの１つ以上の前記タグを、前記モバイルデバイスが選択を受け付けることにより得られるデータを受け取るモジュールと、
前記スクリーン上に表示されたユーザインタフェースに対応するサービスが動作しているサーバに向けて選択されたタグを送信するモジュールと、
選択されたタグに基づいて得られたデータを前記サーバから受信し、前記サービスの前記ユーザインタフェースの更新を計算して、更新されたユーザインタフェースを前記スクリーン上に表示するモジュールと
を備え、
ここで、前記モバイルデバイスによる１つ以上のタグの選択の受付が、
タグを選択してそのデータを読み取るために、前記モバイルデバイスにより前記スクリーンのあるタグとのインタラクションジェスチャを実行することと、
前記モバイルデバイスの近距離無線通信用インタフェースが前記インタラクションジェスチャに対応するタグを読み取ることと
を含むものである、モバイルデバイスが提供される。

一実施形態によれば、モバイルデバイス又はサーバのいずれか又は両方は、本発明のいずれかの実施形態に基づいて動作するモジュールを備えている。

本発明の実施形態を説明する前に、下記で使用する幾つかの用語を最初に説明する。

・ＩｏＴ：インターネット・オブ・シングス（Internet of Things）
・ＮＦＣ：近距離無線通信（Near Field Communication）
・ＲＦＩＤ：Radio Frequency IDentification
・ＭＤ：モバイルデバイス
・ＵＩ：ユーザインタフェース
・ＰＭＩ：物理モバイルインタラクション（Physical Mobile Interaction）

以下、モバイルデバイスが「動的な物理オブジェクト（dynamic physical object）」とインタラクションするために使用される設定及び仕組みを説明する。この動的な物理オブジェクトは、動的かつ事前に設定されないやり方で最新の情報を提供することによって、ユーザの入力にフィードバックを与えることができる。本明細書で用いる「動的な物理オブジェクト」又は「スクリーン（screen）」という用語は、例えばユーザインタフェースを表示できるか又はユーザインタフェースの投影（projection）を受け取ることができる実世界（real world）のオブジェクトを意味するものと理解されたい。電子ペーパ及びプロジェクタスクリーンはこのようなオブジェクトの例である。

一実施形態によれば、サービスがサーバ上で実行され、タグマトリックスが動的な物理オブジェクトの後方に配置される装置及び方法が提供される。この動的な物理オブジェクトは、サービス用ユーザインタフェースの投影を表示又は受信することができるスクリーン又はキャンバスとすることができる。図１は、動的な物理オブジェクトの後方に配置されたタグマトリックスを概略的に示している。この動的な物理オブジェクトは、一実施形態では、プロジェクタがユーザインタフェースの画像を投影するキャンバスである。この動的な物理オブジェクトは、ユーザインタフェースを表示することができ、かつユーザが自身のモバイルデバイスを用いてタグマトリックスを通してユーザインタラクションを実行できるようにする任意のインタラクション型キャンバス又はインタラクション型スクリーンを通して実行される。ここで、タグマトリックスは、スクリーンの背後又は内部、あるいはキャンバスの背後又は内部に配置されて、スクリーンあるいはキャンバスをインタラクション型のものとする。

モバイルデバイスを使用し、タグ付きのスクリーン又はキャンバスを通して、スクリーン上に表示されるユーザインタフェースに対応するサービス（ウェブサービス又はモバイルデバイスを通して提供されるサービス）とインタラクションすることができる。１つ以上のタグが選択される直接的な操作ジェスチャ（direct manipulation gesture）及びこれらのタグに関連した内容に基づいて、サービス用ユーザインタフェース（ＵＩ）の更新がモバイルデバイス及び／又はサーバで計算される。最終的に、更新されたサービス用ユーザインタフェースＵＩが動的な物理オブジェクト及びモバイルデバイス上で表示される。

この方法では、モバイルデバイスを介したタグとのユーザインタラクションに基づいて、「動的な物理オブジェクト」が内容の変化を動的に表示するという意味では、キャンバス又はスクリーンは動的な物理オブジェクトとなる。

図２は、タグマトリックスがバウンデッドボックス（bounded box）の形をとっており、かつユーザインタフェースＵＩの投影が商店の位置を示す幾つかの記号が付いた市街地図である実施形態を示している。この実施形態の動作は、後で詳細に説明する。

説明した仕組みは、２つの重要な研究トピック、すなわちユビキタスコンピューティング（ubiquitous computing）と直接的な操作とを橋渡しする。この仕組みの本質は、タグベースの動的なオブジェクトを有する物理モバイルインタラクション（Physical Mobile Interaction）（ＰＭＩ）をサポートする設定及び処理にある。このような解決策により、タグベースの動的なオブジェクト上に表示されるサービス項目を選択するための幾つかの直接的な操作ジェスチャが、モバイルデバイスのユーザに与えられる。最後に、与えられた解決策のさらに別の利点は、一連のインタラクションの間に動的な実世界のオブジェクトに与えられるシステムフィードバックである。

ユーザにシステムフィードバックを提供できる動的な実世界のオブジェクトを有する物理モバイルインタラクション（ＰＭＩ）をサポートすることによって、上述の欧州特許出願第０６１２２６５３．６号に記載された仕組みに関連して、この解決策を使用することができる。提案された仕組みは、幾つかの実施例を後で説明するが、直接的な操作ジェスチャなどの複雑なインタラクション技術を実現するためにも使用できる。

現実のオブジェクト及びこのような動的オブジェクトを有する直接的な操作ジェスチャに関するシステムフィードバックは、ＰＭＩに対するユーザの経験を著しく改善することができる。ある意味では、提案された解決策は、デジタルの利点と実世界とを結び付ける。この解決策により、ユーザは自身のモバイルデバイスを用いて自然な方法で、（スクリーンに投影された地図などの）見慣れた実世界のオブジェクトとインタラクションすることが可能になる。これらのオブジェクトは、デジタル情報へのアクセスを提供するためにタグを用いて高度化（enhance）される。動的であるため、これらのオブジェクトは、インタラクションのためのユーザインタフェースの投影を表示又は受信することができ、これによりモバイルデバイスのユーザに対して新しい動的なインタラクションパラダイムを可能とする。

仮想環境（virtual environment）（例えば、デスクトップ及びマウス）における直接操作と比較すると、提案された解決策は、実世界のオブジェクトが画面上のアイコンよりも遙かに見やすいため、当該オブジェクトの直接操作を改善する。さらに、アイコンは誤認を招く可能性がある。

モバイルデバイスにおける直接操作は、画面が小さいため適当でないものの、提案された解決策はモバイルデバイス上のサービス情報をさらに視覚化できるようにし、また他の技術（例えば、メニュー選択）を用いて、モバイルデバイス上のそのようなサービスとインタラクションすることを可能にする。しかしながら、それに加えて、対応するサービスに関するユーザインタフェースを表示するタグベースの動的オブジェクトを有するＰＭＩを通して、ユーザはさらに直接的な操作ジェスチャを行うことができる。物理オブジェクトとインタラクションしつつ、引き続きフィードバックを提供するモバイルデバイスを見る必要がある場合には、通常、注意を移動するため、実際に認識の仕事量を減少させる。

以下に、本発明のさらに別の実施形態を説明する。

一実施形態の解決策を実現するための構成には、サービスにアクセスするためのサーバと、このサーバに接続されるプロジェクタと、物理オブジェクト（例えば、壁、キャンバス又はスクリーン）に配置されるタグマトリックスと、タグリーダ（例えば、ＮＦＣリーダ）を備えたモバイルデバイスとが含まれる。タグは、ＭＤが読み取ることができる例えばＲＦＩＤタグなどの近距離無線通信用タグとして動作する任意の種類のタグとすることができる。マトリックス上の各タグの位置は識別子として記憶され、モバイルデバイス内のＮＦＣリーダが読み取ることができる。

図３は、このような構成を概略的に示している。プロジェクタ３００は、モバイルデバイスがインタラクションできるタグマトリックス３２０を備えたスクリーン３１０上にユーザインタフェースを投影する。タグとモバイルデバイスとの間のインタラクションによって、スクリーン上の表示に影響するサービスとのインタラクションを行うことができる。そのために、選択された１つ以上のタグからのデータはモバイルデバイスによって読み取られ、（例えば、インターネット又はブルートゥースを介して）、（ウェブサービスとすることができる）サービスが動作しているサーバへと送られる。この方法でウェブサービスに入力されたデータは次に、サーバ上で動作しているサービスによりサーバにおいて処理され、処理結果に基づいてＵＩが更新され、これによりスクリーン上の表示が更新される。プロジェクタは、キャンバス上にサービス用ＵＩ（例えば、市街地図）を表示する。このため、プロジェクタはサーバからサービスデータを取得する。タグがうまくスキャンされると、一実施形態に基づいて、投影されたＵＩ及びモバイルデバイスＭＤにおいてマーク（例えば、赤で強調表示）されて、ユーザに対してフィードバックが提供される。

以下、一実施形態による処理について、下記の処理手順により詳細に説明する。この処理手順は、図４に示すシーケンス図に概略的に示されている。図４の右側にはサーバ及び／又はプロジェクタによって行われる動作を示しており、左側にはモバイルデバイス及び／又はユーザによって実行される動作を示している。

一実施形態では、手順１５において、ＵＩがプロジェクタからの投影によりキャンバス上に表示される。しかしながら、一実施形態ではモバイルデバイス上にも表示される。一実施形態によれば、これはモバイルディスプレイの分解能に依存する。一実施形態では、例えば、ユーザがどのタグがスキャンされたかを直接知ることができる程度に細部が削減されたタグマトリックスが表示される。このような実施形態では、分解能及びディスプレイサイズに応じて、物理オブジェクトでは細部が高いレベルで示され、モバイルデバイスでは低いレベルで細部が示される。一実施形態では、ユーザインタフェースは、（外部又は別の）投影スクリーン上で表示されるのと同一又は類似の方法でモバイルデバイス上に表示されるため、ユーザはインタラクションジェスチャによりタグを選択すること又は自身のモバイルデバイスに入力することによって、インタラクションを継続するかどうかを選択できる。類似の方法で表示することは、一実施形態では、より低い分解能を用いて表示すること、又は投影スクリーン上に表示されたユーザインタフェースの一部のみ、例えば選択されたタグの周辺のある領域を表示することを意味する。一実施形態では、モバイルデバイス上にＵＩを表示することで、ユーザは自身のモバイルデバイスに入力することにより、サービスとのインタラクションを続けることができる。

さらに図５は、本発明の実施形態に基づいて、システムの個々の構成要素間のメッセージの流れを示している。このことを詳細に説明する。

一実施形態によれば、特定の操作ジェスチャ（manipulation gesture）を計算するための１つ以上のアルゴリズムが提供される。

このような操作ジェスチャの例を以下に示す。
・単一の選択
・経路選択
・バウンデッドボックス選択

タグマトリックスとオブジェクト上に投影されたサービス用ユーザインタフェースとの間のマッチングが行われ、タグとＵＩの対応する要素との間の対応を確立することによってこのようなジェスチャが可能となる。このために、例えばTagIDx,y(graphical elements)と表されるマッチングテーブルが提供される。これは、タグマトリックスの座標ｘ，ｙに位置するタグに対応するTagIDx,yを有するタグが、(graphical elements)と表された１つ以上のグラフィカル要素に対応することを意味する。

プロジェクタは、サーバから配信されたサービスのＵＩを表示する。このサービスＵＩは、図５でプロジェクタから動的な物理タグオブジェクトへと向かう矢印によって示されているように、キャンバス又はスクリーンなどの物理オブジェクトに配置されたタグマトリックスに実際に投影される。一実施形態では、ＭＤもこのようなサービスＵＩをその画面上に表示するが、物理オブジェクト上に配置されたタグとインタラクションするために、さらに１つ以上のインタラクションジェスチャ（例えば、単一の選択、経路選択又はバウンデッドボックス選択）をユーザが選択できるようにする。これは、インタラクションジェスチャを選択するための、ユーザからモバイルデバイスへと向かう矢印によって示されている。ユーザがこのようなインタラクションジェスチャ（例えば、単一のタグを選択するための「単一」型のインタラクションジェスチャ）を選択すると、「インタラクションジェスチャ」とラベル付けされた、モバイルデバイスからサーバへと向かう矢印で示されているように、サーバは選択されたインタラクションジェスチャをＭＤから取得する。ここでＭＤはタグの読み取りを待ち、他方サーバはタグＩＤを待っている。選択されたインタラクションジェスチャに対応するタグを選択するために、ユーザはタグリーダを備えたＭＤをタグマトリックス上にかざす。ＭＤはタグＩＤ（インタラクションの種類が「単一」の場合は、１つのタグＩＤだけ）を読み取り、図５の対応する矢印で示されているように、それらをサーバへ送る。次にＭＤは、これらの選択されたタグに関連したサービスデータがサーバから送られるのを待つ。サーバは次に、サーバからＭＤへと向かう矢印で示されているように、対応するサービスデータをＭＤへ送る。ＭＤがサービスデータをサーバから取得すると、選択されたインタラクションジェスチャ、タグＩＤ及びサーバが提供したサービスデータに基づいてサービスの更新を計算する。さらにサーバは、サービスデータ並びにＭＤから与えられた、選択されたインタラクションジェスチャ及びタグＩＤに基づいてサーバ側でもサービスの更新を計算する。最後にプロジェクタ及びＭＤは、それぞれ、サーバからプロジェクタへ送られたサービスデータに基づいて、更新されたサービスＵＩを表示する。

以下、本発明の実施形態に対するアプリケーションの具体的な実施例を説明する。この実施例において、動的な物理オブジェクトは、画像がプロジェクタによって投影されるスクリーンである。ユーザが自己の携帯電話を介してインタラクションすることができるサービスは、ある基準を満たす位置、例えば観光地又は商店を表示できる地図サービスである。この実施形態のインタラクションジェスチャは、例えば、ユーザが１つの位置に対応する１つのタグを選択することを意味する「単一の選択」型とすることができる。

まず、サービスはスクリーンに地図を表示する。スクリーンは、例えば都市の公共の場所に設置することができる。スクリーンを見るユーザがそのスクリーンとインタラクションしようとして、例えば自己のモバイルデバイスを「インタラクション開始」と名付けられた特定のタグの上に移動させることによりインタラクションを開始する。ユーザは次に、「単一の選択」というインタラクションジェスチャを選択し、さらに例えば「ある基準」、言い換えると、例えば観光地などの、ユーザが関心のあるロケーションの種類を選択する。この基本的な選択が携帯電話のインタフェースを介して行われると、ユーザは携帯電話機をスクリーンの地図の上に移動させて、地図上の位置を選択する。これが行われると、サービス（これは、この実施形態において、選択された基準に適合する地図上の場所を表す種類のサービスである）データを計算する。このサービスデータは、この場合にはユーザが選択した位置の周りの観光地の座標である。次に、サービスはユーザインタフェースを更新して、ユーザが自己の携帯電話機を介して選択した位置の周囲にある観光地の位置も示す更新された地図を表示する。

この実施形態では、選択されたインタラクションジェスチャは、ユーザが地図上の明確な単一の位置のみを選択することを意味する「単一の選択」型である。

別の実施形態又は実施例において、ユーザは「バウンデッドボックス」型のインタラクションジェスチャを選択することができる。これは、ユーザが例えば自己のＭＤとタグマトリックスとのインタラクションによりあるボックスの場所（corner）を選択することによってそのボックスを選択することを意味する。ここで、サービスによって計算されるサービスデータは、例えば上記のように定められたボックスによって与えられる境界内の商店の位置とすることができる。この場合、更新された表示は、このボックス内に位置する商店を表示する。

さらに別の実施形態によれば、ユーザは「経路選択」型のインタラクションジェスチャを選択することもできる。この場合、ユーザは、例えば地図中に示された特定の道路に沿って自己のＭＤを動かすことによって、「経路」を選択することができる。これは実際には、自己のモバイルデバイスを一連のタグの上で移動させていると考えることができる。この場合に計算されるサービスデータは、この道路の商店の位置、又はこの道路の観光地又はその他同様なものとなる。

図６Ａ、図６Ｂ及び図６Ｃは、様々なインタラクションジェスチャを示している。図６Ａは、ユーザが単一のタグを選択することに対応する「単一」の選択に相当する。図６Ｂは、互いに隣接して位置していて、それにより「経路」を形成する連結した一連のタグを選択することに対応する「経路」の選択に相当する。図６Ｃは、矩形を形成する一連のタグを選択することに対応する「バウンデッドボックス」の選択に相当する。

以下、幾つかの実施形態に基づいて、様々なインタラクションジェスチャによって選択されたタグがどのように決定されるかについて説明する。

「単一の」選択に関しては、ユーザによって１つのタグしか選択されないために比較的容易であり、詳細に説明する必要はない。

次に、一実施形態に基づいて、バウンデッドボックス選択アルゴリズムによりどのようにバウンデッドボックスを決定することができるかを説明する。このために図７を参照する。図７に示されているように、タグマトリックス上の各タグの位置は、その座標（ｘ，ｙ）によって定まる。

ユーザにより読み取られたタグに基づいてバウンデッドボックスを計算するアルゴリズムそのものを下記の擬似コードによって表現することができる。具体的に言うと、バウンデッドボックスは、左上角（ＵＬＣ）の座標及び右下角（ＬＲＣ）の座標によって定められる。下記のアルゴリズムは、ユーザにより読み取られたタグに従ってＵＬＣ及びＬＲＣを移動させている。より詳細には、このアルゴリズムは、終了タグの読み取りにより無限ループが停止するものとして定められている（下記の第６行〜第８行）。終了タグの実施形態として、どのような情報をバウンデッドボックスの中で表示するかなどのタスクの終了の仕方を表すタグがある。バウンデッドボックスの計算は、異なる２つの段階に従う。最初の段階においてはＵＬＣ＝ＬＲＣであり、ユーザにより読み取られた最初のタグによって占有されたスペースのみから成る最小のバウンデッドボックスが定められる（第１４行〜第１６行）。第２の段階においてＵＬＣ及びＬＲＣは、ユーザの操作に対応して移動する。具体的に言うと、第２０行〜第２８行はバウンデッドボックスの左右方向の移動を制御し、第２９行〜第３７行は上下方向の移動を制御する。下記の部分的な擬似コードにおいては、変数ulc_x及びulc_yが左上角のｘ座標及びｙ座標に対応し、lrc_x及びlrc_yが右下角のｘ座標及びｙ座標に対応する。最終的には変数ｘ及びｙが最後に読み取られたタグの座標に対応する。

サービスの更新が決定されると、それに応じてＵＩ表示が更新される。これは、下記の擬似コードに基づいて行うことができる。

上記のコードシーケンスは、バウンデッドボックスの全ての要素をカバーする２つのインターリーブループ（interleaved loop）から成る。これらの全ての要素に対して、ディスプレイ上で選択された領域を示すタグ（又は表示画面上の対応する画素）が強調される。

以下、経路選択のアルゴリズムに対して、言い換えると、インタラクションジェスチャが「経路選択」である場合に、どのようにタグの決定が実行されるかについて説明する。

ユーザが、自己のＭＤをタグ上で移動させることによってタグを選択する。次に、これにより、サービス更新の計算（言い換えると、サービスデータの計算）がトリガされる。これは、無限ループ（第３行〜第１４行）を定める下記の擬似コードによって表すことができる。この無限ループにおいて、ユーザのＭＤによって読み取られたタグは、ユーザが変数の収集を終えるまで（第７行〜第９行）、変数tags_listに保存される（第１０行〜第１３行）。

経路の選択が完了すると、受け取ったデータについてのサービス計算の結果であるＵＩの更新が、投影する物理オブジェクトとＭＤの両方で行われる。このＵＩの更新は、下記の擬似コードによって表すことができる。

前の実施例と同様に、選択された全ての要素について、ディスプレイ上の対応する位置が強調されて、それによりスクリーン上に経路が表示される。

当業者であれば、上記実施形態のさらなる修正に想到することができる。例えば、あるユーザがスクリーンとのインタラクションを開始すると、他のユーザに対してはスクリーンを用いたサービスとのインタラクションをロックすることができる。

別の実施形態によれば、スクリーンを２つ（又はそれ以上）の部分に分割して、一方を、インタフェースを使用するユーザ用として、他方を新たにアプローチしてきたユーザ用として使用することができる。

上述した実施形態はハードウェア、ソフトウェア、又はソフトウェアとハードウェアとの組合せによって実行できることは、当業者は理解されよう。本発明の実施形態に関連して説明したモジュール及び機能は、本発明の実施形態に関連して説明した方法に基づいて動作するように適切にプログラミングされかつ適切なインタフェース及び周辺装置（タグリーダなど）を有するマイクロプロセッサ又はコンピュータによって全体的又は部分的に実行することができる。

本発明の実施形態によれば、記憶媒体又は送信リンクなどの何らかの物理的な手段によって具体化されるデータキャリア又は他の方法のいずれかにより記憶される、上述した本発明の実施形態に基づいてコンピュータを動作させることができるコンピュータプログラムが提供される。これらは本発明の実施形態を実行するために一緒に動作する携帯端末用及びサーバ用として、別のコンピュータプログラムとすることができる。

本発明の実施形態に関連して使用するタグマトリックスを概略的に示す図である。 インタラクションのためにスクリーン上に表示されたＵＩの例を概略的に示す図である。 本発明の実施形態に基づく構成を概略的に示す図である。 本発明の実施形態の動作のシーケンスを概略的に示す図である。 本発明の実施形態によるシステムの構成要素間のメッセージの流れを概略的に示す図である。 様々なインタラクションジェスチャを概略的に示す図である。 本発明の実施形態に基づくバウンデッドボックス型のインタラクションジェスチャでタグを決定することを概略的に示す図である。

Claims (10)

1. モバイルデバイスと、該モバイルデバイスがインタラクションすることができるタグマトリックスを備えたスクリーンとの間でインタラクションを行う方法であって、
   あるサービスのユーザインタフェースを前記スクリーン上に表示するステップと、
   前記モバイルデバイスが１つ以上のタグの選択を受け付けるステップと、
   タグの選択に基づいて、前記サービスの前記ユーザインタフェースの更新を計算して、更新されたユーザインタフェースを前記スクリーン上に表示するステップと
   を含み、
   ここで、前記モバイルデバイスが１つ以上のタグの選択を受け付ける前記ステップが、
   タグを選択してそのデータを読み取るために、前記モバイルデバイスが前記スクリーンのあるタグとのインタラクションジェスチャを実行するサブステップと、
   前記モバイルデバイスの近距離無線通信インタフェースが前記インタラクションジェスチャに対応するタグを読み取るサブステップと
   を含むものであり、
   前記インタラクションジェスチャが、
   単一の選択と、
   ある経路を形成する隣接した一連のタグを選択する経路選択と、
   矩形を形成する一連のタグを選択するバウンデッドボックス選択と
   のうちの１つ以上を含むものである、方法。
2. 前記スクリーンはキャンバスであって、前記ユーザインタフェースがプロジェクタによって前記スクリーン上に投影されるか、又は、前記スクリーンはユーザインタフェースが表示される電子ペーパであり、
   ここで、前記スクリーン又はキャンバスが、スクリーン上のタグの位置及び周囲のグラフィック表示を表示することができるものである、請求項１に記載の方法。
3. 更新されたユーザインタフェースが、タグマトリックスが配置された別のスクリーンと同一又は類似の方法で前記モバイルデバイスの画面に表示されるものである、請求項１又は２に記載の方法。
4. 選択を受け付ける前記ステップにおいて選択された１つ以上のタグのデータをサーバへ送信するステップと、
   前記サーバへ送信されたタグのデータに基づいて、前記サーバがサービスデータを決定するステップと、
   前記タグから送信されたデータに基づいて決定されたサービスデータに基づいて、前記ユーザインタフェースの更新を計算するステップと
   をさらに含む請求項１〜３のいずれか一項に記載の方法。
5. モバイルデバイスと、該モバイルデバイスがインタラクションすることができるタグマトリックスを備えたスクリーンとの間でインタラクションするためのシステムであって、
   あるサービスのユーザインタフェースを前記スクリーン上に表示するモジュールと、
   前記モバイルデバイスが１つ以上のタグの選択を受け付けるモジュールと、
   タグの選択に基づいて、前記サービスの前記ユーザインタフェースの更新を計算して、更新されたユーザインタフェースを前記スクリーンに表示するモジュールと
   を含み、
   ここで、前記モバイルデバイスによる１つ以上のタグの選択の受付が、
   タグを選択してそのデータを読み取るために、前記モバイルデバイスが前記スクリーンのあるタグとのインタラクションジェスチャを実行することと、
   前記モバイルデバイスの近距離無線通信用インタフェースが前記インタラクションジェスチャに対応するタグを読み取ることと
   を含むものであり、
   前記インタラクションジェスチャが、
   単一の選択と、
   ある経路を形成する隣接した一連のタグを選択する経路選択と、
   矩形を形成する一連のタグを選択するバウンデッドボックス選択と
   のうちの１つ以上を含むものである、システム。
6. 前記スクリーンがキャンバスであって、前記ユーザインタフェースがプロジェクタにより前記スクリーン上に投影されるものであるか、又は、前記スクリーンが同じユーザインタフェースを表示する電子ペーパであり、
   ここで、前記スクリーン又はキャンバスが、スクリーン上のタグの位置及び周囲のグラフィック表示を表示することができるものである、請求項５に記載のシステム。
7. 選択された１つ以上のタグのデータをサーバへ送信するモジュールと、
   前記タグのデータに基づいて、前記サーバがサービスデータを決定するモジュールと、
   前記タグのデータに基づいて決定されたサービスデータに基づいて、前記ユーザインタフェースの更新を計算するモジュールと
   をさらに含む請求項５又は６に記載のシステム。
8. 請求項１〜４のいずれか一項に記載の方法をコンピュータに実行させるコンピュータプログラムコードを含むコンピュータプログラム。
9. タグのデータを読み取るモジュールを有するモバイルデバイスがインタラクションすることができるタグマトリックスを備えたスクリーンにおける表示を制御するサーバであって、
   サービスのユーザインタフェースに関する前記スクリーン上の表示を制御するモジュールと、
   前記モバイルデバイスが１つ以上のタグの選択を受け付けることによって得られたデータを受け取るモジュールと、
   タグの選択に基づいて、前記サービスの前記ユーザインタフェースの更新を計算して、更新されたユーザインタフェースに関する前記スクリーン上の表示を制御するモジュールと
   を備え、
   ここで、前記モバイルデバイスによる１つ以上のタグの選択の受付が、
   タグを選択してそのデータを読み取るために、前記モバイルデバイスが前記スクリーンのあるタグとのインタラクションジェスチャを実行することと、
   前記モバイルデバイスの近距離無線通信用インタフェースが前記インタラクションジェスチャに対応するタグを読み取ることと
   を含むものであり、
   前記インタラクションジェスチャが、
   単一の選択と、
   ある経路を形成する隣接した一連のタグを選択する経路選択と、
   矩形を形成する一連のタグを選択するバウンデッドボックス選択と
   のうちの１つ以上を含むものである、サーバ。
10. タグのデータを読み取るモジュールを有するモバイルデバイスがインタラクションすることができるタグマトリックスを備えるスクリーンにおける表示とインタラクションするモバイルデバイスであって、
    サービスのユーザインタフェースが表示される前記スクリーンの１つ以上の前記タグを、前記モバイルデバイスが選択を受け付けることにより得られるデータを受け取るモジュールと、
    前記スクリーン上に表示されたユーザインタフェースに対応するサービスが動作しているサーバに向けて選択されたタグを送信するモジュールと、
    選択されたタグに基づいて得られたデータを前記サーバから受信し、前記サービスの前記ユーザインタフェースの更新を計算して、更新されたユーザインタフェースを前記スクリーン上に表示するモジュールと
    を備え、
    ここで、前記モバイルデバイスによる１つ以上のタグの選択の受付が、
    タグを選択してそのデータを読み取るために、前記モバイルデバイスにより前記スクリーンのあるタグとのインタラクションジェスチャを実行することと、
    前記モバイルデバイスの近距離無線通信用インタフェースが前記インタラクションジェスチャに対応するタグを読み取ることと
    を含むものであり、
    前記インタラクションジェスチャが、
    単一の選択と、
    ある経路を形成する隣接した一連のタグを選択する経路選択と、
    矩形を形成する一連のタグを選択するバウンデッドボックス選択と
    のうちの１つ以上を含むものである、モバイルデバイス。