JP4906960B2 - 携帯機器とスクリーンとの間でインタラクションをする方法および装置 - Google Patents

携帯機器とスクリーンとの間でインタラクションをする方法および装置 Download PDF

Info

Publication number
JP4906960B2
JP4906960B2 JP2010281655A JP2010281655A JP4906960B2 JP 4906960 B2 JP4906960 B2 JP 4906960B2 JP 2010281655 A JP2010281655 A JP 2010281655A JP 2010281655 A JP2010281655 A JP 2010281655A JP 4906960 B2 JP4906960 B2 JP 4906960B2
Authority
JP
Japan
Prior art keywords
option
graphical
user
options
screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010281655A
Other languages
English (en)
Other versions
JP2011129127A (ja
Inventor
パウル・ホライス
マティアス・ヴァーグナー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Docomo Inc
Original Assignee
NTT Docomo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Docomo Inc filed Critical NTT Docomo Inc
Publication of JP2011129127A publication Critical patent/JP2011129127A/ja
Application granted granted Critical
Publication of JP4906960B2 publication Critical patent/JP4906960B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/12Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion

Description

本発明は、携帯機器とスクリーンとの間でインタラクションをする方法および装置に関する。
具体的には、本発明は、静的な広告(poster)及び動的な広告と組み合わせて用いられる携帯通信端末の間のNFCタグに基づいたインタラクションを可能にするユーザインターフェイスを提供することに関する。
「MULTITAG」は、ランカスター大学とNTTドコモ社との共同開発プロジェクトである。これは、NFC(near-field communication:近距離無線通信)のリーダを有する携帯電話機とインタラクションをすることのできるNFCタグのマトリックスを備えたスクリーンを用いるものである。このようなスクリーンを、NFCリーダを有する携帯電話機とインタラクションをすることのできるNFCタグ110のn×mのグリッドを持ったスクリーン100を描いた図1Aに概略的に示している。
アプリケーションの実行中に、画像がスクリーン上に表示される。そして、選択されるべき選択肢(オプション)が表示されている場所に位置している対応するタグに携帯電話機を近づけることにより、入力対象の選択に対応した前記画像の一部分をNFCインタラクションにより選択することができる。例えば、都市の地図が表示されていて、地図上のレストランの所在地に何らかの表示をすることができる。そして、ある場所のレストランに関するより多くの情報に関心をもっているユーザは、自己の携帯電話機を、レストランの場所を示す表示(indicator)に近づけることができる。携帯電話機と表示の裏側に位置しているNFCタグとの間のインタラクションを通じて、アプリケーションが、選択されたレストランに関する追加の情報が表示されるようにスクリーン上の表示を変更させるためのトリガを受けることができる。
換言すると、Multitagシステムは、携帯電話機とNFCのグリッドによりタグが付けられたスクリーンとの間のNFCインタラクションを通じて選択を可能とする。その結果、スクリーンは、インタラクションに応じてスクリーンに表示される画像が変化しうるという意味で動的であり、結果として、アプリケーションの状況に伴ってタグの情報の意味も変化しうる。タグは、あるレストランを選択するという意味を持つことができるが、次のステップでは(表示が変化した後では)、そのタグは、前のステップで選択されたレストランについての「開店時間」または「メニュー」といった他の情報を選択する意味を持つことができる。
したがって、MULTITAGの技術を使用する静的または動的なディスプレイを持つ携帯電話機とのインタラクションは、たいてい、より多くの情報がほしいレストランを地図上で選択するなどの、いくつかの選択肢からの選択を含んでいる。このような選択は、特に、いくつかの選択肢(たとえば、複数のレストラン)が1つのマーカー上に表示され、そのため、MULTITAGマーカーだけを用いて選択をすることができない場合に、問題となりうる。選択肢の粒状度(あるいは選択肢間のとりうる距離の小ささ)(granularity)がNFCグリッドの粒状度(あるいはNFCグリッドの小ささ)よりも高いからである。このシナリオを図1Bに示している。図1Bの左側に示したスクリーンの左半分には、地図(ここではミュンヘン市の地図)がNFC要素のグリッド上に表示されており、スクリーンの右半分には、地図が表示されておらず、NFC要素のグリッドが示されている。もちろん、実際には地図がスクリーン全体に表示されており、地図を右半分に示していないのは、NFCのグリッドを示すためである。そして、いくつかのマーカー(例えば、レストランなどの関心のあるポイントを示すマーカー)が物理的に同じNFCタグに表示されることが頻繁に起こりうる。図1Bの右側にはスクリーンを拡大したものを示しており、NFCタグの1つのエリアに2つのマーカーが位置していることを示している。この場合、NFCインタラクションにより電話機を用いて特定の1つのマーカーを選択することができない。
この問題を解決するため、以下の解決策が考えられる。
1.選択肢のリストを電話機に表示し、電話機上のこのリストをスクロールすることにより選択する。
2.メインディスプレイ(main display)を変更して、ある番号を各選択肢に関連付け、電話機の対応するキーをユーザに押下させることにより1つを選ばせる。
3.メインディスプレイまたは電話機のいずれかにおいて一度に1つの選択肢を表示または強調表示し、電話機のキーを使用して複数の選択肢を一巡させる。
4.選択肢のリストを表示するためにディスプレイを変更し、メインディスプレイ上で電話機により1つを選択するためにMULTITAGの技術を使用する。
これらの解決策はすべて、選択をするためにユーザが電話機のキーボードを使用することを必要とする。キーボードを用いたインタラクションは、ユーザが大型スクリーンから携帯電話機の小型スクリーンに自己の注意を向けることを必要とするので、ユーザが(大型)スクリーンとの間で既にインタラクションを行っているアプリケーションにおいて不利である。上記解決策2および3では、ディスプレイの一部分が隠され、さらにユーザが電話機ディスプレイとメインディスプレイとの双方に注意を向けなければならない。
さらに、NFCによるインタラクションと比較すると、キーボードによるインタラクションは遙かに直観的ではない。
上記解決策4は、メインディスプレイ上の物理的に同じエリアが異なった目的のため使用されるので、ディスプレイの一部分が隠れてしまい、ユーザを混乱させる恐れがある。さらに解決策4は、タグサイズが大型であるために、メインディスプレイの領域の大部分を使用しなければならない。
したがって、携帯電話機の小型ディスプレイに注意を払うことを要することなく容易に選択を行うことができるインターフェイスをユーザに提供することが望ましい。さらに、電話機のキーボードを使用することによらずに選択を行うアプリケーションとインタラクションをするためのより直観的かつ簡単な方法を提供することが望ましい。
一実施形態によれば、携帯機器と、当該携帯機器のNFCリーダを介して前記携帯機器が読み取ることのできるデータを有する複数のNFCタグを備えたスクリーンとの間でインタラクションを行う方法であって、あるアプリケーションサービスの一部分である画像が前記スクリーン上に表示されることにより、ユーザが前記アプリケーションサービスを使用するときに自己の携帯電話機を用いて選択することのできるマーカーによって、前記スクリーンの1つ以上のタグがそれぞれの入力対象または選択肢(オプション)の表示(indication)に対応するものとなり、前記スクリーン上に表示されている前記画像は、前記アプリケーションサービスを実行しているサーバによって制御されるものであり、前記サーバはネットワークリンクを介して前記ユーザの携帯電話機と接続されるものであって、前記ユーザの携帯電話機によってNFCタグの1つを選択するステップと、前記アプリケーションサービスを実行しているサーバへ選択肢を送信するステップと、前記選択肢に応じて前記スクリーン上の表示を制御し、ある入力対象をユーザが選択できるようにするグラフィカル・ユーザ・インターフェイスを前記スクリーン上に表示するステップと、前記携帯機器のジェスチャ検出モジュールによって検出される当該携帯機器の動きに応じて生成され、前記ユーザによる入力対象の選択を可能とするために前記グラフィカル・ユーザ・インターフェイスへの入力として処理されるデータを、前記ジェスチャ検出モジュールから受信するステップとを含む方法が提供される。
このようにして、ユーザは、異なる2つのスクリーンとインタラクションすること、または、自己の意識を携帯電話機の小型スクリーンへ向けることといった不便を回避した、選択を行うための簡単かつ直観的なインターフェイスの提供を受けることができる。
ジェスチャ検出モジュールは、ユーザインターフェイスへデータを入力するためのユーザによるジェスチャを検出する任意のセンサモジュールとすることができる。センサモジュールは、たとえば加速度を検出する加速度モジュールであり、または、動きを検出するモーションセンサである。センサモジュールは、さらに(または付加的に)、ジャイロスコープまたはコンパスといった方向(orientation)センサを備えていてもよい。センサモジュールが、カメラ画像に基づいて携帯機器の動きまたは向き(orientation)を検出するカメラを備えた別の形態もあり得る。さらに、ジェスチャ検出モジュールは、その上、上述のセンサモジュールのような異なったセンサモジュールの組み合わせを備えていてもよい。検出されたデータに基づいて、ジェスチャ検出モジュールは、携帯機器の向き、
動きまたは加速度といったユーザのジェスチャを検出し、当該ユーザによる入力対象の選択を可能とするために該グラフィカル・ユーザ・インターフェイスへの入力としてこのジェスチャを処理する。
一実施形態によれば、携帯機器を動かすことによりある入力対象をユーザが選択できるようにするグラフィカル・ユーザ・インターフェイスは、そのうちの1つが選択されるさらなる一連の選択肢をトリガするタグの選択に応じて表示される。
このように、ユーザインターフェイスは、簡単かつ直観的なやり方でアプリケーションサービスによって提供される選択肢の選択を可能とする。
一実施形態によれば、携帯機器を動かすことによりある入力対象をユーザが選択できるようにする該グラフィカル・ユーザ・インターフェイスは、そのエリア内で選択されうる2つ以上の選択肢が存在するタグの選択に応じて表示されるため、タグを選択しても選択肢の選択を一意に特定することができない。
選択可能な2つ以上の選択肢が1つのタグ内のエリアに表示されるという問題を解決することができる。
一実施形態によれば、前記グラフィカル・ユーザ・インターフェイスは、前記ユーザによって選択されうる複数の選択肢(オプション)を示すグラフィカル・オプション・インジケータと、前記複数の選択肢のうち、現在選択されている選択肢を示すグラフィカル選択インジケータとを含んでおり、前記ユーザが自己の携帯機器を動かすと、前記ジェスチャ検出モジュールは、その動きを検出し、得られたデータを処理することにより、前記ユーザによる携帯機器の動きが、前記グラフィカル・オプション・インジケータによって示される、選択されている選択肢とは異なるものに前記グラフィカル選択インジケータを移動させる。
これにより、ユーザが後で確認することができる現在選択されている項目をユーザが見ることができる。
一実施形態によれば、該グラフィカル・オプション・インジケータは、選択される異なった選択肢に属する異なる部分の円弧と、該スクリーンの異なる場所に位置している複数のアイコンとのうちの1つ以上を有しており、および/または、該グラフィカル選択インジケータは、該グラフィカル・オプション・インジケータ内の選択肢のうち、現在選択されている選択肢を指し示す矢印と、該グラフィカル・オプション・インジケータによって示されている該複数の選択肢のうち、現在選択されている選択肢を指し示すかまたはマーキングするボール、影付きセクション、十字形、任意のマークのいずれかとのうちの少なくとも1つを含む。
このようにして、いくつかの異なるグラフィカル・オプション・インジケータを用いることができる。
一実施形態によれば、前記方法は、ユーザが該携帯機器を使用して行った以下のジェスチャのうちの1つを通じて、該グラフィカル・オプション・インジケータによって示された複数の選択肢のうち、現在選択されている選択肢を変更することを可能にするステップをさらに含む。ここで、ジェスチャとは、該携帯機器を傾斜させることと、該携帯機器を回転させることとを含む。
このように、(現在の)選択を変更するいくつかの方式を用いることができる。
一実施形態によれば、現在選択されている選択肢の最終的な選択は、携帯機器を傾斜させること、回転させること、検出できるジェスチャを行うことのいずれかと、携帯機器を素早く振ることと、携帯機器上のキーを押下することとのうちのいずれかによって行われる。
現在の選択を確認するためのいくつかの形態がある。
一実施形態によれば、NFCタグの粒状度が十分ではない(すなわち、タグの大きさが比較的に大き過ぎる)のでNFCタグの1つがスクリーン上で選択可能な2つ以上の入力対象に対応する場合において、グラフィカル・ユーザ・インターフェイスはスクリーンに表示される。その後、グラフィカル・ユーザ・インターフェイスは、ユーザが選択可能な2つ以上の入力対象から選択することが可能になるように表示される。
これによって、NFCグリッドの粒状度(グリッド(格子)の大きさ)が選択可能な選択肢(オプション)に対応するには不十分であるという問題を解決できる。
一実施形態によれば、該グラフィカル・オプション・インジケータは、異なった選択肢に対応するセクションに分割された円弧または円であるか、または、該グラフィカル・オプション・インジケータは、異なった選択肢に対応する異なった色を有する円弧または円である。
選択可能な選択肢を直観的に可視化するための形態がある。
一実施形態によれば、該グラフィカル・オプション・インジケータは該携帯機器の動きに応じて動く円弧または円であり、現在選択されている選択肢を指し示すグラフィカル選択インジケータが、該円弧または円が動くときに選択された異なる選択肢を指し示す。
これは、選択可能な選択肢を直観的に可視化するためにさらに考えられる形態である。
一実施形態によれば、円弧または円が回転または移動すると、移動中の円弧または円のある位置に対応する選択肢が新しい選択肢を示すために変化し、新しい選択肢が該円弧または円の上に表示される。
このように、無制限の数の選択可能な選択肢を表示することができる。
一実施形態によれば、該グラフィカル・オプション・インジケータは円弧または円であり、表示可能な選択肢の数を増加させるために複数の円弧または円が設けられ、ユーザは表示された選択肢のうち、現在アクティブな円弧を選択することができる。
これは、表示することができる選択可能な選択肢の数を増加させるためのさらなる実施形態である。
一実施形態によれば、携帯機器と、当該携帯機器のNFCリーダを介して前記携帯機器が読み取ることのできるデータを有する複数のNFCタグを備えたスクリーンとの間でインタラクションを行う装置であって、あるアプリケーションサービスの一部分である画像が前記スクリーン上に表示されることにより、前記スクリーンの1つ以上のタグが、ユーザが前記アプリケーションサービスを使用するときに自己の携帯電話機を用いて選択することのできるそれぞれの入力対象または選択の表示(indication)に対応するものとなり、前記スクリーン上に表示されている前記画像は、前記アプリケーションサービスを実行しているサーバによって制御されるものであり、前記サーバはネットワークリンクを介して前記ユーザの携帯電話機と接続されるものであって、前記ユーザの携帯電話機によりNFCタグの1つを選択するモジュールと、前記アプリケーションサービスを実行しているサーバへ選択肢を送信するモジュールと、前記選択肢に応じて前記スクリーン上の表示を制御し、ある入力対象をユーザが選択できるようにするグラフィカル・ユーザ・インターフェイスを前記スクリーン上に表示するモジュールと、前記携帯機器のジェスチャ検出モジュールによって検出される当該携帯機器の動きに応じて生成され、前記ユーザによる入力対象の選択を可能とするために前記グラフィカル・ユーザ・インターフェイスへの入力として処理されるデータを、前記ジェスチャ検出モジュールから受信するモジュールとを備えた装置が提供される。
このように、本発明の一実施形態として装置またはシステムを実施することができる。
一実施形態によれば、携帯機器と、当該携帯機器のNFCリーダを介して前記携帯機器が読み取ることのできるデータを有する複数のNFCタグを備えたスクリーンとの間でインタラクションが行われる際に、アプリケーションを実行するコンピュータであって、あるアプリケーションサービスの一部分である画像が前記スクリーン上に表示されることにより、前記スクリーンの1つ以上のタグが、ユーザが前記アプリケーションサービスを使用するときに自己の携帯電話機を用いて選択することのできるそれぞれの入力対象または選択肢の表示(indication)に対応するものとなり、前記スクリーン上に表示されている前記画像は、前記アプリケーションサービスを実行している前記コンピュータによって制御されるものであり、前記コンピュータはネットワークリンクを介して前記ユーザの携帯電話機と接続されるものであって、前記ユーザの携帯電話機により選択される1つのNFCタグの選択を受信するモジュールと、前記選択に応じて前記スクリーン上の表示を制御し、ある入力対象をユーザが選択できるようにするグラフィカル・ユーザ・インターフェイスを前記スクリーン上に表示するモジュールと、前記携帯機器のジェスチャ検出モジュールによって検出される当該携帯機器の動きに応じて生成され、前記ユーザによる入力対象の選択を可能とするために前記グラフィカル・ユーザ・インターフェイスへの入力として処理されるデータを、前記ジェスチャ検出モジュールから受信するモジュールとを備えたコンピュータが提供される。
このように、本発明の実施形態として、アプリケーションサービスを実行するコンピュータまたはホストを実施することができる。
一実施形態によれば、前記装置は、本発明の他の実施形態として説明されている処理を実行する少なくとも1つのモジュールをさらに備えている。
一実施形態によれば、本発明の実施形態のうちの1つに基づく方法をコンピュータに実行させるコンピュータ・プログラム・コードを含むコンピュータ・プログラムが提供される。
本発明の実施形態におけるタグを備えたスクリーンを概略的に示す説明図である。 本発明の実施形態によって解決できる問題を含んだシナリオを概略的に示す説明図である。 本発明の実施形態に基づくユーザインターフェイスを概略的に示す説明図である。 本発明の別の実施形態に基づくユーザインターフェイスを概略的に示す説明図である。 本発明の別の実施形態に基づくユーザインターフェイスを概略的に示す説明図である。 本発明の別の実施形態に基づくユーザインターフェイスを概略的に示す説明図である。 本発明の別の実施形態に基づくユーザインターフェイスを概略的に示す説明図である。 本発明の別の実施形態に基づくユーザインターフェイスを概略的に示す説明図である。
本発明の実施形態について説明する前に、以下に使用するいくつかの用語を説明する。
NFC:近距離無線通信(Near Field Communication)のことである。
ジェスチャ検出モジュール:空間内での機器の(3次元の)位置を測定するために(さもなければ、これが取り付けられている機器を用いて行われるジェスチャを検出するために)、使用されるセンサである。一例は加速度計であるが、他も可能である。
メインディスプレイ(main display):ユーザの携帯機器のディスプレイとは対照的に、多くの情報が表示される(大型であることが多く、一般人がアクセスでき、かつ見ることができる)ディスプレイである。
一実施形態によれば、メインディスプレイと、制御要素として使用される携帯機器とによって構成されているユーザインターフェイスを動作させる方法が提供される。携帯機器は、ユーザがメインディスプレイに表示された一連の選択肢から簡単に選択することを可能にするために、加速度計のような内蔵式または外付けのジェスチャ検出モジュールを使用する。この目的のため、いくつかの選択肢を表示し、携帯機器を回転および傾斜させることにより1つの選択肢を選択できる可能性をユーザに提供するために使用することのできる一連のグラフィックウィジェット(graphical widget)を設けることができる。別々の選択肢の他に、たとえば、温度値の入力のための連続的な目盛を使用することもできる。
図2に、この一般的な考え方の実施形態を示している。特定の方向に電話機を傾斜させることによりユーザに選択肢を選ばせる追加のグラフィックウィジェットが示されている。フィードバックは、アプリケーションが動いているホストへ直接的に提供される。
図2に示した実施例では、3つの選択肢(例えば3軒のレストラン)が存在しており、これらが、それぞれの色が1つの選択肢に対応する3つの異なった色(赤、白、黄)を持つ円弧によって示されている。マーカー(図2では矢印)は現在の選択を示しており、自己の携帯電話機を回転させることにより、ユーザは、ジェスチャ検出モジュール(たとえば加速度計)に回転を検出させ、このようにして生成されたデータがその後処理され、マーカーの動きに変換される。このように、ユーザは、複数の選択肢の中から選択を表すマーカーを動かすように、自己の携帯電話機を回転させることにより選択を行うことができる。その後、選択は、たとえば、ジェスチャ検出モジュール(たとえば加速度計)によって検出することのできる携帯電話機の振動により、最終的に確認されることがある。あるいは、電話機のキーを使用することにより確認を行うこともできる。
提案されたアプローチは、ユーザの注意をメインディスプレイに留めることができることと、メインディスプレイの小さな一部のみを、選択のプロセスが開始する前に動作モードと混同されることのない追加の情報を表示するために使用することと、選択の方法が迅速かつ直観的であることとを可能にする。一実施形態では、選択のウィジェットは、これら選択のウィジェットが特定のケースで使用されるアプリケーションのタイプと無関係なので、標準化及びユーザの習熟が高まる。
以下では、本発明の別の実施形態を説明する。
ある実施形態によれば、NFCタグリーダと加速度計(または、機器の位置及び位置の変化を検出することができるジェスチャ検出モジュールを実現する類似の機器)とを組み合わせた装置が使用される。この装置は、(Nokia N96, iPhoneなどで見受けられるように)内蔵式とすることができ、あるいは外付けのセンサとすることもできる。
ある実施形態では、一連の選択肢から選択を行うために(たとえば、加速度計のような)ジェスチャ検出モジュールが読み取った値と共に使用することができる一連のウィジェットが提供される。この選択方法は、(たとえば、1つのタグのエリアに2つ以上の選択肢が存在するため、または、1つのタグの選択により、選ばれた1つの選択肢からさらなる一連の選択肢をトリガするため)MULTITAGのマーカーだけを使用して選択を行うことが不可能であるか、または不都合であるときに用いられる。利点は、メインディスプレイと携帯機器のディスプレイとの間で注意及び意識の分散、移動がない点である。
次に、このようなウィジェットを実現するいくつかの実施形態を図面と共に示す。
一実施形態におけるウィジェットは、一般的に、(たとえば、選択対象の様々な数の選択肢または順序のあるデータ、間隔のあるデータもしくは連続的なデータを伴う)様々な場面で適用できるように作られている。
図3Aは、様々な色によって視覚化されている、既に説明した選択肢を示している。
図3Bは、異なるエリアによって視覚化されている選択肢を示している。
図3Cは、大型の「デフォルト」選択エリアを使用した、異なるエリアによって視覚化されている選択肢を示している。
図3Dは、選択可能な選択肢に対応するエリアのサイズ及び位置が、予想される用途または確率に応じて選ばれるウィジェットを示している。当業者は、このことが過去の選択に関するある種の情報を必要とし、次に、過去の選択に関する情報に基づいて、次の選択に関する確率が得られ、次に、たとえば、エリアのサイズは、最大の確率をもつ選択に対応するエリアが最大であり、他のエリアのサイズが、それぞれの選択の可能性に応じてより小さなものであることを理解されたい。
ウィジェットのさらなる実施形態を図4A〜図4Dに示している。
図4Aは、一般的な2つの選択肢からの選択を示している。
図4Bは、一般的な3つの選択肢からの選択を示している。
図4Cは、デフォルトの選択肢を1つ含んだ3つの一般的な選択肢からの選択を示している。
図4Dは、具体的なアイコンを用いた3つの特定の選択肢からの選択を示している。
図5A〜図5Dは、選ばれる選択肢の視覚化が様々なやり方で行われる実施形態を示している。図示しているように、現在選択されている項目は、矢印、ボール、あるいは、影付きのセクションによって示すことができる。別のやり方は、矢印を回転させて、選択された項目を一番上に置くことである。
図5Aは、矢印が選択された選択肢を示す実施形態を示している。
図5Bは、円弧が回転し、(灰色で示している)選択記号が固定した実施形態を示している。
図5Cは、「グリッドをスナップする機能(snap to grid)」の有無にかかわらず、選択が、選択肢の間を移動するボールにより示される実施形態を示している。
図5Dは、「グリッドをスナップする機能(snap to grid)」を用いて、選択が、現在選択されているエリアを強調表示することによって示される実施形態を示している。
上述の実施形態によれば、ユーザへ提示できる選択肢の数は依然として制限される。図6及び図7は、円弧の数を増加させることにより(図6)、または、より多くの項目を保持できるように円弧を視覚的に延長することにより(図7)、選択肢の数を増加させた実施形態を示している。
図6に示したように、それぞれが選択肢を示した2つの円弧が設けられている。第1の軸方向に携帯電話機を回転させることにより、ユーザは円弧の内部にある選択肢を選ぶことができ、第2の軸方向に携帯電話機を回転させることにより、ユーザは2つまたはそれ以上の円弧のうちの1つを選択することができる。
図7は、表示することができる選択肢の数を増加させた別の実施形態を示している。この円弧は、無制限の数の項目を収容することができる。矢印が一方の端にある場合、円弧は、より多くの選択可能な選択肢を表示するために回転する。速度制御を使用することにより(すなわち、左へ傾斜させると、その傾斜をやめるまで、時計回りに回転する)、無制限の数の選択肢を表示できる。現在の選択の確認は、(上述の実施形態と同様に)その後に再び、(たとえば、ジェスチャ検出モジュール、加速度計によって検出することができるように、)別の軸方向に携帯電話機を回転させることにより、または、携帯電話機を素早く振ることにより、または、キーボードのキーを押下することにより行われる。
当業者は、上述の実施形態と共に記載されているような機能が可能となるように、既存のNFCタグを備えたスクリーン、ホスト上で動く対応するアプリケーション、および、スクリーンとインタラクションをする携帯機器を適切にプログラミングすることにより本発明の形態を実施できることを理解されたい。したがって、本発明の実施形態は、ハードウェアによって、適切にプログラムされたソフトウェアによって、または、両者の組み合わせによって実施できる。一実施形態によれば、アプリケーションサービスが動き、本発明の実施形態に基づくユーザインターフェイスを可能とするサーバが提供される。さらなる実施形態によれば、上述の実施形態と共に記載されているような動作を実行する携帯電話機が提供される。さらなる実施形態によれば、NFCタグを備えたスクリーンと、携帯機器と、アプリケーションサービスが動いているサーバコンピュータとを備えたシステムが提供される。

Claims (8)

  1. 携帯機器と、当該携帯機器のNFCリーダを介して前記携帯機器が読み取るデータを有する複数のNFCタグを備えたスクリーンとの間でインタラクションを行う方法であって、
    あるアプリケーションサービスの一部分である画像が前記スクリーン上に表示されることにより、ユーザが前記アプリケーションサービスを使用するときに自己の携帯電話機を用いて選択することのできるマーカーによって、前記スクリーンの1つ以上のタグがそれぞれの入力対象または選択肢の表示に対応するものとなり、
    前記スクリーン上に表示されている前記画像は、前記アプリケーションサービスを実行しているサーバによって制御されるものであり、
    前記サーバはネットワークリンクを介して前記ユーザの携帯電話機と接続されるものであって、
    前記ユーザの携帯電話機によってNFCタグの1つを選択するステップと、
    前記アプリケーションサービスを実行しているサーバへ選択肢を送信するステップと、
    前記選択肢に応じて前記スクリーン上の表示を制御し、ある入力対象をユーザが選択できるようにするグラフィカル・ユーザ・インターフェイスを前記スクリーン上に表示するステップと、
    前記携帯機器のジェスチャ検出モジュールによって検出される当該携帯機器の動きに応じて生成され、前記ユーザに入力対象の選択を行わせるために前記グラフィカル・ユーザ・インターフェイスへの入力として処理されるデータを、前記ジェスチャ検出モジュールから受信するステップと
    を含み、
    前記NFCタグの粒状度が十分ではない場合には、前記グラフィカル・ユーザ・インターフェイスは、1つのNFCタグが前記スクリーン上にあって選択可能な2つ以上の入力対象に対応するように前記スクリーン上に表示されるものであり、
    前記携帯機器を動かすことにより入力対象をユーザが選択できるようにする前記グラフィカル・ユーザ・インターフェイスは、2つ以上の選択可能な選択肢がそのタグのエリアにあるようなタグを選択することにより表示されるものであって、このとき、当該タグは、それを選択しても選択肢の選択を一意に特定できないものであり、
    前記グラフィカル・ユーザ・インターフェイスは、
    前記ユーザによって選択されうる複数の選択肢を示すグラフィカル・オプション・インジケータと、
    前記複数の選択肢のうち、現在選択されている選択肢を示すグラフィカル選択インジケータと
    を含んでおり、
    前記ユーザが自己の携帯機器を動かすと、前記ジェスチャ検出モジュールは、その動きを検出し、得られたデータを処理することにより、前記ユーザによる携帯機器の動きが、前記グラフィカル・オプション・インジケータによって、選択されたものとして示されている選択肢とは異なるものに前記グラフィカル選択インジケータを移動させ、
    前記携帯機器によって行われる前記ジェスチャは、前記携帯機器を回転させることを含むものである、方法。
  2. 前記グラフィカル・オプション・インジケータは、異なる選択肢に対応するセクションに分割された円弧もしくは円であるか、または、異なる選択肢に対応する異なる色を有する円弧もしくは円であり、
    前記グラフィカル・オプション・インジケータは、前記携帯機器の動きに応じて前記円弧または前記円が移動するときに、現在選択されている選択肢を示すグラフィカル選択インジケータが、選択された異なる選択肢を指し示すような円または円弧であり、
    前記グラフィカル選択インジケータは、
    前記グラフィカル・オプション・インジケータの選択肢のうち、前記現在選択されている選択肢を指し示す矢印と、
    前記グラフィカル・オプション・インジケータによって示されている前記複数の選択肢のうち、現在選択されている選択肢を指し示すかまたはマーキングするボール、影付きセクション、十字形、任意のマークのいずれかと
    のうちの少なくとも1つを含むものである、請求項1に記載の方法。
  3. 前記現在選択されている選択肢の最終的な選択が、
    前記携帯機器を傾斜もしくは回転させるか、または検出可能なジェスチャを行うことと、
    前記携帯機器を素早く振ることと、
    前記携帯機器上のキーを押下することと
    のうちのいずれかによって行われる、請求項1または2に記載の方法。
  4. 前記円弧または円が回転または移動すると、新しい選択肢が前記円弧上または円上に現れ、それにより、前記移動している円弧または円のある位置に対応する選択肢が変化して新しい選択肢を表すものとなる、請求項2または3に記載の方法。
  5. 前記グラフィカル・オプション・インジケータが円弧または円であり、
    複数の円弧または複数の円が、表示可能な選択肢の数を増加させるため設けられ、前記ユーザが、表示されているもののうち、現在アクティブな円弧を選択することができる、請求項1から4のいずれか一項に記載の方法。
  6. 携帯機器と、当該携帯機器のNFCリーダを介して前記携帯機器が読み取るデータを有する複数のNFCタグを備えたスクリーンとの間でインタラクションを行う装置であって、
    あるアプリケーションサービスの一部分である画像が前記スクリーン上に表示されることにより、ユーザが前記アプリケーションサービスを使用するときに自己の携帯機器を用いて選択することのできるマーカーによって、前記スクリーンの1つ以上のタグがそれぞれの入力対象または選択肢の表示に対応するものとなり、
    前記スクリーン上に表示されている前記画像は、前記アプリケーションサービスを実行しているサーバによって制御されるものであり、
    前記サーバはネットワークリンクを介して前記ユーザの携帯機器と接続されるものであって、
    前記ユーザの携帯電話機によりNFCタグの1つを選択するモジュールと、
    前記アプリケーションサービスを実行しているサーバへ選択肢を送信するモジュールと、
    前記選択肢に応じて前記スクリーン上の表示を制御し、ある入力対象をユーザが選択できるようにするグラフィカル・ユーザ・インターフェイスを前記スクリーン上に表示するモジュールと、
    前記携帯機器のジェスチャ検出モジュールによって検出される当該携帯機器の動きに応じて生成され、前記ユーザに入力対象の選択を行わせるために前記グラフィカル・ユーザ・インターフェイスへの入力として処理されるデータを、前記ジェスチャ検出モジュールから受信するモジュールと
    を備えており、
    前記NFCタグの粒状度が十分ではない場合には、前記グラフィカル・ユーザ・インターフェイスは、1つのNFCタグが前記スクリーン上にあって選択可能な2つ以上の入力対象に対応するように前記スクリーン上に表示されるものであり、
    前記携帯機器を動かすことにより入力対象をユーザが選択できるようにする前記グラフィカル・ユーザ・インターフェイスは、2つ以上の選択可能な選択肢がそのタグのエリアにあるようなタグを選択することにより表示されるものであって、このとき、当該タグは、それを選択しても選択肢の選択を一意に特定できないものであり、
    前記グラフィカル・ユーザ・インターフェイスは、
    前記ユーザによって選択されうる複数の選択肢を示すグラフィカル・オプション・インジケータと、
    前記複数の選択肢のうち、現在選択されている選択肢を示すグラフィカル選択インジケータと
    を含んでおり、
    前記ユーザが自己の携帯機器を動かすと、前記ジェスチャ検出モジュールは、その動きを検出し、得られたデータを処理することにより、前記ユーザによる携帯機器の動きが、前記グラフィカル・オプション・インジケータによって、選択されたものとして示されている選択肢とは異なるものに前記グラフィカル選択インジケータを移動させ、
    前記携帯機器によって行われる前記ジェスチャは、前記携帯機器を回転させることを含むものである、装置。
  7. 前記グラフィカル・オプション・インジケータは、異なる選択肢に対応するセクションに分割された円弧もしくは円であるか、または、異なる選択肢に対応する異なる色を有する円弧もしくは円であり、
    前記グラフィカル・オプション・インジケータは、前記携帯機器の動きに応じて前記円弧または前記円が移動するときに、現在選択されている選択肢を示すグラフィカル選択インジケータが、選択された異なる選択肢を指し示すような円または円弧であり、
    前記グラフィカル選択インジケータは、
    前記グラフィカル・オプション・インジケータの選択肢のうち、前記現在選択されている選択肢を指し示す矢印と、
    前記グラフィカル・オプション・インジケータによって示されている前記複数の選択肢のうち、現在選択されている選択肢を指し示すかまたはマーキングするボール、影付きセクション、十字形、任意のマークのいずれかと
    のうちの少なくとも1つを含むものである、請求項6に記載の装置。
  8. 請求項1から5のいずれか一項に記載の方法をコンピュータに実行させるコンピュータ・プログラム・コードを含むコンピュータ・プログラム。
JP2010281655A 2009-12-17 2010-12-17 携帯機器とスクリーンとの間でインタラクションをする方法および装置 Expired - Fee Related JP4906960B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP09179599A EP2337323A1 (en) 2009-12-17 2009-12-17 Method and an apparatus for performing interaction between a mobile device and a screen
EP09179599.7 2009-12-17

Publications (2)

Publication Number Publication Date
JP2011129127A JP2011129127A (ja) 2011-06-30
JP4906960B2 true JP4906960B2 (ja) 2012-03-28

Family

ID=42105841

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010281655A Expired - Fee Related JP4906960B2 (ja) 2009-12-17 2010-12-17 携帯機器とスクリーンとの間でインタラクションをする方法および装置

Country Status (4)

Country Link
US (1) US20110169729A1 (ja)
EP (1) EP2337323A1 (ja)
JP (1) JP4906960B2 (ja)
CN (1) CN102130991B (ja)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9153028B2 (en) 2012-01-17 2015-10-06 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US9285893B2 (en) 2012-11-08 2016-03-15 Leap Motion, Inc. Object detection and tracking with variable-field illumination devices
US9465461B2 (en) 2013-01-08 2016-10-11 Leap Motion, Inc. Object detection and tracking with audio and optical signals
US9495613B2 (en) 2012-01-17 2016-11-15 Leap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging using formed difference images
US9613262B2 (en) 2014-01-15 2017-04-04 Leap Motion, Inc. Object detection and tracking for providing a virtual device experience
US9679215B2 (en) 2012-01-17 2017-06-13 Leap Motion, Inc. Systems and methods for machine control
US9916009B2 (en) 2013-04-26 2018-03-13 Leap Motion, Inc. Non-tactile interface systems and methods
US9945660B2 (en) 2012-01-17 2018-04-17 Leap Motion, Inc. Systems and methods of locating a control object appendage in three dimensional (3D) space
US10585193B2 (en) 2013-03-15 2020-03-10 Ultrahaptics IP Two Limited Determining positional information of an object in space
US10609285B2 (en) 2013-01-07 2020-03-31 Ultrahaptics IP Two Limited Power consumption in motion-capture systems
US10691219B2 (en) 2012-01-17 2020-06-23 Ultrahaptics IP Two Limited Systems and methods for machine control
US10739862B2 (en) 2013-01-15 2020-08-11 Ultrahaptics IP Two Limited Free-space user interface and control using virtual constructs
US10846942B1 (en) 2013-08-29 2020-11-24 Ultrahaptics IP Two Limited Predictive information for free space gesture control and communication
US11720180B2 (en) 2012-01-17 2023-08-08 Ultrahaptics IP Two Limited Systems and methods for machine control
US11740705B2 (en) 2013-01-15 2023-08-29 Ultrahaptics IP Two Limited Method and system for controlling a machine according to a characteristic of a control object
US11775033B2 (en) 2013-10-03 2023-10-03 Ultrahaptics IP Two Limited Enhanced field of view to augment three-dimensional (3D) sensory space for free-space gesture interpretation
US11778159B2 (en) 2014-08-08 2023-10-03 Ultrahaptics IP Two Limited Augmented reality with motion sensing
US11868687B2 (en) 2013-10-31 2024-01-09 Ultrahaptics IP Two Limited Predictive information for free space gesture control and communication

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9008574B2 (en) 2009-09-14 2015-04-14 Qualcomm Incorporated Focused antenna, multi-purpose antenna, and methods related thereto
US8737914B2 (en) * 2011-02-28 2014-05-27 Blackberry Limited Communication system with NFC transfer of different data sets based upon keyboard mode and related methods
US9088862B2 (en) * 2011-10-08 2015-07-21 Thinglink Oy Use of multiple NFC tags
JP5971926B2 (ja) * 2011-11-28 2016-08-17 京セラ株式会社 装置、方法及びプログラム
KR101950998B1 (ko) * 2012-01-03 2019-02-21 삼성전자주식회사 엔에프씨 태그를 이용한 서비스 제공 시스템 및 방법
US8909139B2 (en) 2012-01-27 2014-12-09 Blackberry Limited Mobile wireless communications system including selectively coupled pair of discontinuous NFC circuit segments and related methods
KR101343827B1 (ko) 2012-02-07 2013-12-20 최치영 Html기반의 웹페이지 원격 제어방법 및 그 제어 시스템
US8929810B2 (en) 2012-04-23 2015-01-06 Qualcomm Incorporated Methods and apparatus for improving NFC connection through device positioning
EP2658292B1 (en) * 2012-04-27 2015-01-14 Ntt Docomo, Inc. Method and apparatus to detect interaction between devices
US9923587B2 (en) 2012-05-18 2018-03-20 Blackberry Limited Mobile wireless communications system including NFC carrying case and related methods
KR102010431B1 (ko) 2012-12-17 2019-08-13 텔레콤 이탈리아 소시에떼 퍼 아찌오니 인터액티브 디스플레이용 선택 시스템
US8914863B2 (en) 2013-03-29 2014-12-16 Here Global B.V. Enhancing the security of near-field communication
CN103260257B (zh) * 2013-04-10 2016-06-29 广东欧珀移动通信有限公司 自动建立Wi-Fi Display连接实现屏幕共享的方法和系统
US9485607B2 (en) 2013-05-14 2016-11-01 Nokia Technologies Oy Enhancing the security of short-range communication in connection with an access control device
US10332083B2 (en) * 2013-10-10 2019-06-25 Gilbarco Inc. System and method providing improved user experience in a fuel dispensing environment
CN104735536B (zh) * 2013-12-23 2018-07-06 鸿合科技股份有限公司 显示屏信号显示切换方法及其装置
CN104735537B (zh) * 2013-12-23 2018-10-02 鸿合科技股份有限公司 显示屏信号显示切换方法及其装置
JP6264198B2 (ja) * 2014-05-30 2018-01-24 京セラドキュメントソリューションズ株式会社 携帯端末、選択処理方法
EP3035156A1 (en) * 2014-12-15 2016-06-22 Thomson Licensing Method and apparatus for remotely controlling an electronic device
CN106231090A (zh) * 2016-07-28 2016-12-14 宇龙计算机通信科技(深圳)有限公司 一种nfc移动终端的模拟卡切换方法及装置
CN106648094B (zh) * 2016-12-20 2019-10-01 同方计算机有限公司 一种移动设备身份和位置识别系统及方法
CN113612504A (zh) * 2021-08-02 2021-11-05 大连理工大学 显示屏后置近场通信设备的人机交互装置

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1049290A (ja) * 1996-08-05 1998-02-20 Sony Corp 情報処理装置および方法
JPH10254614A (ja) * 1997-03-06 1998-09-25 Hitachi Ltd 携帯型電子処理装置及びその操作方法
US7445550B2 (en) * 2000-02-22 2008-11-04 Creative Kingdoms, Llc Magical wand and interactive play experience
US6761637B2 (en) * 2000-02-22 2004-07-13 Creative Kingdoms, Llc Method of game play using RFID tracking device
JP2002082773A (ja) * 2001-08-22 2002-03-22 Sony Corp 入力装置および方法
US7233316B2 (en) * 2003-05-01 2007-06-19 Thomson Licensing Multimedia user interface
JP4479952B2 (ja) * 2003-08-28 2010-06-09 ソニー株式会社 情報処理装置,情報処理方法,情報処理プログラムを記憶させた記憶媒体、情報処理プログラム
US7280096B2 (en) * 2004-03-23 2007-10-09 Fujitsu Limited Motion sensor engagement for a handheld device
JP4603465B2 (ja) * 2004-11-29 2010-12-22 オリンパスイメージング株式会社 画像表示装置、表示方法及び画像表示装置の表示プログラム並びに該プログラムを記録した記録媒体
US7589616B2 (en) * 2005-01-20 2009-09-15 Avaya Inc. Mobile devices including RFID tag readers
US20090075592A1 (en) * 2005-12-16 2009-03-19 Sebastian Nystrom Method and device for controlling and providing indications of communication events
US9489109B2 (en) * 2006-03-30 2016-11-08 Sony Ericsson Mobile Communication Ab Data communication in an electronic device
US7907896B2 (en) * 2006-04-28 2011-03-15 Motorola Mobility, Inc. Mobile commerce method and device
US7769345B2 (en) * 2006-09-29 2010-08-03 Sony Ericsson Mobile Communications Ab Device and method for guiding a user to a communication position
US7756467B2 (en) * 2006-12-01 2010-07-13 Sony Ericsson Mobile Communications Ab Multimedia distribution using a near field communication capable wireless communication device
US8386259B2 (en) * 2006-12-28 2013-02-26 Intel Corporation Voice interface to NFC applications
GB0700968D0 (en) * 2007-01-18 2007-02-28 Glue4 Technologles Ltd Communication system
KR101336223B1 (ko) * 2007-01-26 2013-12-16 삼성전자주식회사 포인터를 이용하여 조작가능한 키패드를 구비한 방송채널선택용 gui 제공방법 및 이를 적용한 방송수신장치
US8107879B2 (en) * 2007-12-31 2012-01-31 Intel Corporation Device, system, and method of establishing multiple wireless connections
US20090184922A1 (en) * 2008-01-18 2009-07-23 Imu Solutions, Inc. Display indicator controlled by changing an angular orientation of a remote wireless-display controller
US8116680B2 (en) * 2008-10-15 2012-02-14 Sony Ericsson Mobile Communications Ab Near field communication search for mobile communication devices
GB2467759A (en) * 2009-02-12 2010-08-18 Sony Espana Sa User interface which scrolls items to select in a direction based on the orientation of a control unit
KR101572843B1 (ko) * 2009-06-03 2015-11-30 엘지전자 주식회사 영상 표시 장치 및 그 동작 방법
US9769300B2 (en) * 2009-09-24 2017-09-19 Blackberry Limited System and associated NFC tag using plurality of NFC tags associated with location or devices to communicate with communications device

Cited By (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10565784B2 (en) 2012-01-17 2020-02-18 Ultrahaptics IP Two Limited Systems and methods for authenticating a user according to a hand of the user moving in a three-dimensional (3D) space
US9652668B2 (en) 2012-01-17 2017-05-16 Leap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging based on differences between images
US11782516B2 (en) 2012-01-17 2023-10-10 Ultrahaptics IP Two Limited Differentiating a detected object from a background using a gaussian brightness falloff pattern
US11720180B2 (en) 2012-01-17 2023-08-08 Ultrahaptics IP Two Limited Systems and methods for machine control
US9495613B2 (en) 2012-01-17 2016-11-15 Leap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging using formed difference images
US11308711B2 (en) 2012-01-17 2022-04-19 Ultrahaptics IP Two Limited Enhanced contrast for object detection and characterization by optical imaging based on differences between images
US9626591B2 (en) 2012-01-17 2017-04-18 Leap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging
US10767982B2 (en) 2012-01-17 2020-09-08 Ultrahaptics IP Two Limited Systems and methods of locating a control object appendage in three dimensional (3D) space
US9672441B2 (en) 2012-01-17 2017-06-06 Leap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging based on differences between images
US9679215B2 (en) 2012-01-17 2017-06-13 Leap Motion, Inc. Systems and methods for machine control
US9697643B2 (en) 2012-01-17 2017-07-04 Leap Motion, Inc. Systems and methods of object shape and position determination in three-dimensional (3D) space
US9741136B2 (en) 2012-01-17 2017-08-22 Leap Motion, Inc. Systems and methods of object shape and position determination in three-dimensional (3D) space
US9153028B2 (en) 2012-01-17 2015-10-06 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US9778752B2 (en) 2012-01-17 2017-10-03 Leap Motion, Inc. Systems and methods for machine control
US10699155B2 (en) 2012-01-17 2020-06-30 Ultrahaptics IP Two Limited Enhanced contrast for object detection and characterization by optical imaging based on differences between images
US9934580B2 (en) 2012-01-17 2018-04-03 Leap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging based on differences between images
US9945660B2 (en) 2012-01-17 2018-04-17 Leap Motion, Inc. Systems and methods of locating a control object appendage in three dimensional (3D) space
US10691219B2 (en) 2012-01-17 2020-06-23 Ultrahaptics IP Two Limited Systems and methods for machine control
US10366308B2 (en) 2012-01-17 2019-07-30 Leap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging based on differences between images
US10410411B2 (en) 2012-01-17 2019-09-10 Leap Motion, Inc. Systems and methods of object shape and position determination in three-dimensional (3D) space
US9767345B2 (en) 2012-01-17 2017-09-19 Leap Motion, Inc. Systems and methods of constructing three-dimensional (3D) model of an object using image cross-sections
US9436998B2 (en) 2012-01-17 2016-09-06 Leap Motion, Inc. Systems and methods of constructing three-dimensional (3D) model of an object using image cross-sections
US9285893B2 (en) 2012-11-08 2016-03-15 Leap Motion, Inc. Object detection and tracking with variable-field illumination devices
US10609285B2 (en) 2013-01-07 2020-03-31 Ultrahaptics IP Two Limited Power consumption in motion-capture systems
US9465461B2 (en) 2013-01-08 2016-10-11 Leap Motion, Inc. Object detection and tracking with audio and optical signals
US10097754B2 (en) 2013-01-08 2018-10-09 Leap Motion, Inc. Power consumption in motion-capture systems with audio and optical signals
US11353962B2 (en) 2013-01-15 2022-06-07 Ultrahaptics IP Two Limited Free-space user interface and control using virtual constructs
US11874970B2 (en) 2013-01-15 2024-01-16 Ultrahaptics IP Two Limited Free-space user interface and control using virtual constructs
US11740705B2 (en) 2013-01-15 2023-08-29 Ultrahaptics IP Two Limited Method and system for controlling a machine according to a characteristic of a control object
US10739862B2 (en) 2013-01-15 2020-08-11 Ultrahaptics IP Two Limited Free-space user interface and control using virtual constructs
US11693115B2 (en) 2013-03-15 2023-07-04 Ultrahaptics IP Two Limited Determining positional information of an object in space
US10585193B2 (en) 2013-03-15 2020-03-10 Ultrahaptics IP Two Limited Determining positional information of an object in space
US11099653B2 (en) 2013-04-26 2021-08-24 Ultrahaptics IP Two Limited Machine responsiveness to dynamic user movements and gestures
US9916009B2 (en) 2013-04-26 2018-03-13 Leap Motion, Inc. Non-tactile interface systems and methods
US10846942B1 (en) 2013-08-29 2020-11-24 Ultrahaptics IP Two Limited Predictive information for free space gesture control and communication
US11776208B2 (en) 2013-08-29 2023-10-03 Ultrahaptics IP Two Limited Predictive information for free space gesture control and communication
US11282273B2 (en) 2013-08-29 2022-03-22 Ultrahaptics IP Two Limited Predictive information for free space gesture control and communication
US11461966B1 (en) 2013-08-29 2022-10-04 Ultrahaptics IP Two Limited Determining spans and span lengths of a control object in a free space gesture control environment
US11775033B2 (en) 2013-10-03 2023-10-03 Ultrahaptics IP Two Limited Enhanced field of view to augment three-dimensional (3D) sensory space for free-space gesture interpretation
US11868687B2 (en) 2013-10-31 2024-01-09 Ultrahaptics IP Two Limited Predictive information for free space gesture control and communication
US9613262B2 (en) 2014-01-15 2017-04-04 Leap Motion, Inc. Object detection and tracking for providing a virtual device experience
US11778159B2 (en) 2014-08-08 2023-10-03 Ultrahaptics IP Two Limited Augmented reality with motion sensing

Also Published As

Publication number Publication date
JP2011129127A (ja) 2011-06-30
CN102130991B (zh) 2014-01-15
CN102130991A (zh) 2011-07-20
EP2337323A1 (en) 2011-06-22
US20110169729A1 (en) 2011-07-14

Similar Documents

Publication Publication Date Title
JP4906960B2 (ja) 携帯機器とスクリーンとの間でインタラクションをする方法および装置
Rohs et al. A conceptual framework for camera phone-based interaction techniques
JP5315111B2 (ja) 端末装置、情報提示システム及び端末画面表示方法
EP2192471B1 (en) Improved graphical user interface for mobile communications terminal
KR101146042B1 (ko) 회전형 메뉴 기능을 갖는 이동 통신 단말기 및 그 메뉴제어 방법
US8351989B2 (en) Method of displaying menu in a mobile communication terminal
US8819569B2 (en) Single-handed approach for navigation of application tiles using panning and zooming
US8884986B2 (en) Method and terminal for providing different image information in accordance with the angle of a terminal, and computer-readable recording medium
US20140237378A1 (en) Systems and method for implementing multiple personas on mobile technology platforms
US20100088597A1 (en) Method and apparatus for configuring idle screen of portable terminal
CN101589354A (zh) 方向敏感的信号输出
EP2282259A2 (en) User interface method used in web browsing, electronic device for performing the same and computer readable recording medium thereof
KR20140017429A (ko) 화면 동작 방법 및 그 전자 장치
JP2007251920A (ja) 移動通信端末機における高速アプリケーションアクセス方法及び装置
KR20160128739A (ko) 디스플레이 장치 및 그의 유저 인터페이스 제공 방법
US10452760B2 (en) Rule based method and apparatus for controlling page switching capacity on mobile devices
KR100800889B1 (ko) 이동 통신 단말기의 기능 항목이 표시되는 화면의 구성을변경하기 위한 방법 및 이를 위한 단말기
KR20060112471A (ko) 이동통신 단말기와 포인팅 디바이스를 이용한 지향성 인터페이스 방법
WO2010060502A1 (en) Item and view specific options
CA2931042A1 (en) Interactive reticle for a tactical battle management system user interface
US20180188940A1 (en) Control input method and device for executing the same
KR101370210B1 (ko) 터치스크린을 구비한 이동통신단말기 및 애플리케이션컨텐츠 표시방법
Deller et al. ModControl–mobile phones as a versatile interaction device for large screen applications
US10895955B2 (en) Apparatus and method for grouping and displaying icons on a screen
WO2014197528A1 (en) Application bar flyouts

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111202

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111216

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120110

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150120

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees