JP6083072B2 - スマートエアマウス - Google Patents

Description

本発明は、命令を電子装置に対して送信する能力を有するマンマシンインターフェイスに関する。更に詳しくは、本発明によれば、この目的のために本来設計されてはいない様々なタイプのスマートモバイル装置を、前記スマートモバイル装置において益々一般的になりつつあるエルゴノミクスを活用しつつ、まさにエアマウス及び／又はリモコンのように使用することができる特定の装置に、一時的に変化させることができる。

スマートモバイル装置には、パーソナルデジタルアシスタント、スマートフォン、特に、ｉ−Ｐｈｏｎｅ（商標）、及びｉ−Ｔｏｕｃｈ（商標）、ｉ−Ｐａｄ（商標）、並びに、恐らくは、なんらかのその他のマルチメディアストレージ及び再生装置が含まれる。いまや、これらの装置は、通常、モーションセンサ（加速度計、並びに、恐らくは、ジャイロスコープ及び／又は磁力計）、測位センサ（ＧＰＳ受信機）、デジタルカメラ、Ｂｌｕｅｔｏｏｔｈ、及び／又はＷｉｆｉリンク、タッチスクリーン、ローカル処理能力などを含む。専門家と、広くは一般的な大衆と、によるこのような装置の使用は、非常に一般的なものになっており、且つ、その使用法は、非常に集約的なものになっている。ユーザーは、通常、自身のスマートモバイル装置を常に携帯している。前記装置上においてコードをアプリケーションストアからダウンロードすることにより、ユーザーは、略無限の量のアプリケーション及びコンテンツに対してアクセスすることができる。これらのアプリケーションのいくつかは、スマートモバイル装置のモーション及び／又は位置キャプチャ能力を活用してはいるが、これまでのところ、これらのスマートモバイル装置のユーザーが、自身の携帯型コンピュータのタッチパッドマウスを置換するための外部マウスのような特定の目的に自身が使用を必要としているその他の装置をなくしてしまい、これにより、ユーザーが、自身のスマートモバイル装置に加えて、そのようなマウスの携帯を回避することができるというレベルにまでは至っていない。これは、自宅にいる際にも当て嵌まり、我々は、自身のテレビ鑑賞に伴って、少なくとも、もう１つのインターフェイスを使用しなければならない（その結果、我々は、テレビ自体用のものとセットトップボックス用の別のものという少なくとも２つのインターフェイスを使用しなければならなくなる可能性が高い）。すべてのこれらのインターフェイスは、その独自の重量、電力消費量、エルゴノミクス、ソフトウェア構成、業者などを有する。通常はデスク表面上において使用されているＰＣのマウスは、テレビ受像機と共に使用することはできず、且つ、通常は自由空間内において使用されるテレビのリモコンは、ＰＣと共に使用することができない。

従って、スマートモバイル装置が提供しているすべての可能性を使用するすべての種類の電子装置のリモコンとして使用することができるユニバーサルなマンマシンインターフェイスに対するニーズが存在している。これを目的として、いくつかの装置が開発されているが、それらの装置は、統合された表面及び自由空間制御モードを実現してはいない。又、それらの装置は、現在のセンサの能力と、スマートモバイル装置上においていまや利用可能である新しい機能と、を十分に活用してもいない。本発明は、これらの制限を克服する。

これを目的として、本発明は、少なくとも１つのモーションセンサと、タッチスクリーンと、を有するハンドヘルド装置を提供し、前記装置は、信号を前記センサからモーション信号処理能力を有するホスト装置に伝達する能力を有し、前記ハンドヘルド装置の前記タッチスクリーンは、いくつかの接触ゾーンを有し、これらの接触ゾーンは、ユーザーの選択により、表面上又は自由空間内における前記ハンドヘルド装置の運動によって前記ホスト装置上において稼働している少なくとも１つのアプリケーションを制御するように機能することができる。

又、本発明は、前記ハンドヘルド装置を使用する方法及びコンピュータプログラムをも提供する。

好適な実施形態においては、スマートモバイル装置は、正確なポインティング動作及びユーザーのジェスチャの認識を許容する少なくとも１つの２軸のジャイロスコープを有する。様々な実施形態においては、接触ゾーンは、マウスの通常のボタン（左、右、スクロールホイール）をエミュレートしている。更に詳しくは、スクロールホイールは、タッチスクリーンの表面全体に延在してもよいゾーンによってエミュレートされるようになっている。又、接触ゾーンのうちの１つを使用することにより、２Ｄマウスを、ホスト装置のディスプレイ上のカーソルの運動を直接的に制御する能力又はハンドヘルド装置のユーザーによって実行されるジェスチャに関する情報を送信する能力を有する３Ｄマウス又はリモコンに変えることが可能であり、これらのジェスチャは、次いで、ホスト装置により、いくつかの予め設定された機能の命令として解釈される。更には、ハンドヘルド装置の画面上の接触ゾーンは、ホスト装置のフォアグラウンドにおいて稼働しているアプリケーションに対する依存性を有するようにすることが可能であり、これにより、広範な多様性が本発明の装置に対して付与される。

様々な実施形態及び添付図面に関する以下の説明を参照することにより、本発明について良く理解することが可能であり、且つ、その様々な特徴及び利点が明らかとなろう。

本発明を実装するための機能的アーキテクチャを示す。 本発明の様々な実施形態によるマウスのボタンをエミュレートするハンドヘルド装置の画面の接触ゾーンを示す。 本発明の様々な実施形態によるマウスのスクロールホイールをエミュレートするハンドヘルド装置の画面の接触ゾーンの異なる図を示す。 本発明の様々な実施形態によるタッチスクリーン上において起動されたタッチキーボードを伴わない及び伴うハンドヘルド装置を示す。 本発明の様々な実施形態による異なるアプリケーションコンテキストにおける本発明のハンドヘルド装置のタッチスクリーンの３つの異なる図を示す。 本発明の様々な実施形態による装置の３Ｄモードを示すための本発明のハンドヘルド装置のタッチスクリーンの３つの異なる図を示す。 特定のコンテキストにおけるスワイプジェスチャの意味を有するヘルプ画面を示す。

図１は、本発明を実装するための機能的アーキテクチャを示している。

本発明によれば、スマートモバイル装置１０１を使用することにより、ホスト装置１０２上において稼働するアプリケーションを制御しており、ホスト装置１０２は、ディスプレイ１０２１を有し、このディスプレイ１０２１上において、カーソルを使用し、アイコン上又はテキストスクロールリスト内においてポイント／クリックすることにより、アプリケーション／機能を選択することができる。又、アプリケーションは、図６ａ〜図６ｃとの関係において後述するように、ユーザーの予め規定されたジェスチャによって制御してもよい。

スマートモバイル装置は、一般に、タッチスクリーン１０１１を有する。スマートモバイル装置は、ｉ−Ｐｈｏｎｅ（商標）などのスマートフォンであってもよい。このケースにおいては、本発明を実装するのに適したソフトウェアアプリケーションは、ソフトウェア要素１０１２として装置１０１上にインストールされるように、Ａｐｐ Ｓｔｏｒｅ（商標）からユーザーがダウンロードすることができる。但し、アプリケーションは、任意のストレージ媒体から装置上に複写してもよい。本発明は、前記装置が、タッチスクリーンと、空間内におけるスマートモバイル装置の運動を計測するための少なくとも１つのモーションセンサ１０１３と、を有する場合には、任意の種類のスマートモバイル装置上において実装することができる。

モーションセンサ１０１３は、好ましくは、加速度計又はジャイロスコープなどの慣性センサであるが、磁力計であってもよい。動きは、少なくとも２つの軸に沿って計測される。ＭＥＭＳ（Ｍｉｃｒｏ Ｅｌｅｃｔｒｉｃａｌ Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍ）センサは、益々、一般的になっており、且つ、益々、安価になっている。ピッチ角（又は仰角、即ち、垂直プレーン内における水平プレーンとの間のポインティング装置１０１の角度）及びヨー角（又は方位角、即ち、水平プレーン内における垂直プレーンとの間のポインティング装置１０１の角度）を計測するための２軸のジャイロスコープと、これらの計測値を（一般的には、装置を担持するユーザーの手のユーザーの手首を中心とした）ロール運動について補正するための２軸の加速度計と、を有することが有用であろう。次いで、プレーン（２Ｄ）内又は自由空間（３Ｄ）内におけるスマートモバイル装置１０１の運動をホスト装置１０２の画面上のカーソルの位置に変換することができる。又、更に後述するように、アイコン又はリスト内のテキストをクリックすることにより、カーソルの前記位置において実行を要するホスト装置１０２の機能を制御するための命令信号をスマートモバイル装置１０１に入力することもできる。

センサからのモーション信号及びスマートモバイル装置に入力された命令信号は、無線ＲＦ搬送波（ＢｌｕｅＴｏｏｔｈ又はＷｉＦｉ）を使用することにより、或いは、好ましくは、ホスト装置のＵＳＢポートに対する有線接続を使用することにより、ホスト装置１０２に対して送信される。

ホスト装置１０２は、パーソナルコンピュータ（デスクトップ又はラップトップ）又はテレビ画面１０２１との接続状態にあるセットトップボックスであってよい。ホスト装置は、マルチメディアアプリケーション（放送又はケーブルテレビ又はビデオフィルムの視聴やラジオ又は音楽の聴取など）、インターネットのブラウジング、電子メールの処理、プレゼンテーションの供給などのアプリケーション１０２３を実行することになる。又、ホスト装置は、本発明の実装に適した特定のソフトウェア１０２２を装備することにもなる。このようなソフトウェアの１つが、Ｍｏｖｅａ（商標）のＭｏｔｉｏｎＴｏｏｌｓである。ＭｏｔｉｏｎＴｏｏｌｓは、モーション及び命令信号を処理すると共にそれらの信号が表している運動及び制御をホスト装置上におけるアプリケーションの機能の位置及び実行に対してマッピングするためのルーチンを含む。制御対象のアプリケーションは、ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を通じて、ユーザーが予めプログラムすることができる。

ＭｏｔｉｏｎＴｏｏｌｓは、Ｍｏｖｅａ製の周辺装置及びマウスのすべてと互換性を有するソフトウェア製品である。ＭｏｔｉｏｎＴｏｏｌｓは、空中にある際にマウスを十分に活用できるようにするツールの組により、ユーザーの能力を拡張する。画面から遠く離れている際には、ユーザーは、ＭｏｔｉｏｎＴｏｏｌｓにより、ズームインすることができる。キーボードから遠く離れている際には、ユーザーは、ほとんどの状況において、タイプ入力することができなくなるが、究極的に、ワンクリックでオンスクリーンキーボードを表示することができるようになる。ＭｏｔｉｏｎＴｏｏｌｓによれば、ユーザーは、任意の動作（ズームやオンスクリーン描画ツールなど）を任意のマウスイベント（ボタンのクリックやマウスの動き）に対してリンクさせることができる。ＭｏｔｉｏｎＴｏｏｌｓが操作することができるアプリケーションは、以下のようなカテゴリ又は「コンテキスト」に分類される：
−「一般」：特定のコンテキストを有していないもの（ディスク上におけるナビゲーションやその他のコンテキストにおいてはリストアップされないすべてのその他のアプリケーション）。
−「インターネット」：ウェブブラウジングアプリケーションを意味している（Ｆｉｒｅｆｏｘ（商標）、Ｇｏｏｇｌｅ Ｃｈｒｏｍｅ（商標）、Ｓａｆａｒｉ（商標）、ｉｎｔｅｒｎｅｔ Ｅｘｐｌｏｒｅｒ（商標）など）。
−「マルチメディア」：Ｗｉｎｄｏｗｓ Ｍｅｄｉａ Ｃｅｎｔｅｒ（商標）やｉＴｕｎｅｓ（商標）のようなホスト装置１０２上にインストールされたメディアプレーヤーを意味している。
−「プレゼンテーション」：Ｐｏｗｅｒｐｏｉｎｔ（商標）やＫｅｙｎｏｔｅｓ（商標）などのような文書プレゼンテーションソフトウェアを意味している。

その他のコンテキストを追加することができる。スマートモバイル装置１０１は、いくつかの更なるメディアボタンを装備しており、且つ、認識されたジェスチャイベントを生成することができる。ＭｏｔｉｏｎＴｏｏｌｓは、ユーザーによる高度な構成が可能である。構成を実行するためのプロファイルを規定している。ユーザーは、これらのプロファイル内に、ユーザーフレンドリーなＧＵＩを通じて、それぞれのコンテキストごとに、特定のマウス入力又はジェスチャイベントとリンクされた動作のリストを保存することができる。

図２は、本発明の様々な実施形態によるマウスのボタンをエミュレートするハンドヘルド装置の画面の接触ゾーンを示している。

本発明の仮想マウスは、本発明のアプリケーションがインストールされているスマートモバイル装置１０１の標準的な命令ボタン／アイコンを使用することにより、起動される。

本発明によるスマートモバイル装置１０１のタッチスクリーンは、４つのメインゾーンに分割されている。
−左側ゾーンは、あまり変化しない機能を表示又は制御するためのアイコン（２０１、２０２、２０３、２０４、２０５）を含む。
−上部ゾーンは、スマートモバイル装置のシステム機能の状態（２０６）を表示している。
−中央ゾーンは、クリック命令を入力するためのその左及び右ボタン（２０７）と、スマートモバイル装置が３Ｄ制御モードにある際にホスト装置の画面上のカーソルの運動を制御すると共にジェスチャ認識モードの起動をトリガするためのスクロールホイール（２０８）及び特定のボタン（２０９）と、を有するマウスを表示している。
−下部ゾーンは、ＭｏｔｉｏｎＴｏｏｌｓ内においてプログラムされているコンテキストに応じて、ホスト装置１０２上において実行されているアプリケーションを制御するためのアイコン（２０Ａ）を表示している。

アイコン２０１及び２０Ａは、コンテキスト依存性を有しており、これらは、ホスト装置のフォアグラウンドにおいて実行されているアプリケーションに伴って変化する。左側バー内に存在しているアイコンは、ＭｏｔｉｏｎＴｏｏｌｓ内においてプログラムしてもよい。このゾーン２０２内には、更に多くのアイコンを表示してもよい。アイコン２０３は、図４ａ及び図４ｂとの関係において後述するように、スマートモバイル装置の下部ゾーン内におけるキーボードの表示を命令する。アイコン２０４は、装置の設定に対してアクセスできるようにする。アイコン２０５は、ヘルプ機能に対してアクセスできるようにする。

仮想マウス２０７、２０８、２０９によれば、このマウスが２Ｄモードにおいて使用されているのか又は３Ｄモードにおいて使用されているのかを問わず、物理マウスによって入力できるものと同一の命令を入力することができる。この仮想マウスは、ユーザーが移動中に自身のラップトップのボタン又はタッチパッドマウスの携帯を所望しない場合に、更なる物理マウスを置換することが可能であり、これにより、ユーザーは、追加の物理マウスをなしで済ますことができる。マウスとして同時に機能しつつ、その電池が充電されるように、スマートモバイル装置をラップトップのＵＳＢ接続に対してプラグ接続してもよいため、これは、有利である。

仮想マウスの設計は、ユーザーがスマートモバイル装置を通常保持する方式に適合するように規定されている。特定のユーザー要件（例えば、左利きのユーザー）に適するように、いくつかの異なる設計を提供することが可能であり、望ましい設計の選択は、「設定」において実行される。

左及び右ボタン（２０７）によって実行される機能は、通常、従来のマウスにおけるものと同一である（選択及びコンテキストメニュー）。スクロールホイール２０８の動作については、以下、図３ａ、図３ｂ、及び図３ｃとの関係において説明する。制御ボタン２０９の動作については、図６ａ、図６ｂ、及び図６ｃとの関係において後述することとする。

図３ａ〜図３ｃは、本発明の様々な実施形態によるマウスのスクロールホイールをエミュレートするハンドヘルド装置の画面の接触ゾーンの異なる図を示している。

図３ａは、（図２に表示されているものなどの）既定／スチールモードにおける本発明のスマートモバイル装置の画面の図である。これは、表示されている一般的なコンテキストとは異なるアプリケーションコンテキストにも当て嵌まることになろう。

図３ｂは、ユーザーが自身の物理マウスのスクロールホイールに伴って実行するように、ユーザーが指で図２の仮想マウスの接触ゾーン２０８に接触する状況を例示している。スクロールホイールが有効であることを確認するために、第１矢印が前記ゾーン内に表示されている。

図３ｃは、第２矢印を表しており、この第２矢印は、１０分の数秒の後に第１矢印を置換することにより、現在有効であるホスト装置のアプリケーションにおいてスクロールを制御するためにユーザーが自身の指を摺動させなければならない方向を示している。

スクロール機能は、ユーザーが自身の指をタッチスクリーンから持ち上げた際に無効になる。スマートモバイル装置は、既定／スチールモードにある際には、図３ａに戻る。

図４ａ及び図４ｂは、本発明の様々な実施形態によるタッチスクリーン上において起動された接触キーボードを伴わない及び伴うハンドヘルド装置を示している。

スマートモバイル装置上のキーボードを起動するための標準的なモードは、テキストの入力を要するゾーンをタップするというものである。本発明のコンテキストにおいては、アイコン４０１ｂをタップすることによって更に簡単にキーボードを起動できることが望ましい。この結果、仮想キーボード４０２ｂがスマートモバイル装置のタッチスクリーンの下部接触ゾーン上に表示されることになる。但し、表示された際に仮想キーボードによって占有される場所は、制御ボタン２０９に対する任意の動作を妨げないように規定されている。同時に、依然として可視状態に留まるように、左側の「キーボード」アイコンがスクリーンの上部部分に押し上げられる。キーボードが有効である際にアイコン４０１ｂを再度タップすることにより、キーボードは、消えることになる。又、ユーザーが画面１０２１のテキスト入力ゾーン上においてクリックした際にキーボード４０２ｂが起動されるように、マウス命令をプログラムすることもできよう。

図５ａ〜図５ｃは、本発明の様々な実施形態による異なるアプリケーションコンテキストにおける本発明のハンドヘルド装置のタッチスクリーンの３つの異なる図を示している。

ＭｏｔｉｏｎＴｏｏｌｓを使用することにより、更なるコンテキストを追加することができる。

図５ａは、（図２に表示されているものなどの）既定／スチールモードにおける本発明のスマートモバイル装置の画面の図である。アイコン５０１ａは、ホスト装置１０２上において有効なコンテキストが「一般」コンテキストであることを示している。アイコン５０２ａは、一般的なコンテキストにおいて利用可能な機能のうちの以下の３つのものを示しているが、これらは、非限定的な例に過ぎない。
−「スタンプ」機能によれば、その他のアプリケーションがフォアグラウンドプロセスにおいて稼働している間に、ユーザーは、ホスト装置１０２の画面上において、いくつかの画像を永久表示状態において維持することが可能であり、スタンプモードにおいて、スクロール動作により、１つのスタンプされた画像から別のものに変化することができるように、スクロールホイールをプログラムしてもよい。
−「電子メール」アイコンを使用することにより、ホスト装置にインストールされている既定の電子メールアプリケーションを起動する。
−「閉じる」アイコンを使用することにより、ホスト装置のフォアグラウンドにおいて現在有効であるアプリケーションを終了させる。

下部ゾーンにおいて指を右側に／左側に摺動させることにより、３つを上回る数のボタンに対してアクセスしてもよく、この簡単な方法により、更に多くの機能にアクセスすることができる。これらの一般的な機能は、複数のカテゴリ（例えば、「表示」、「起動」、「編集」、「文書ブラウザ」）に分類してもよい。これは、ユーザー自身によって特別生成可能な命令の組合せを使用することにより、リモコンを格段に上回るものに対する、具体的には、非常に柔軟且つ直観的な方法によってホスト装置のすべての機能を制御するために使用可能なスマートエアマウスに対する、ユーザーアクセスを付与する本発明の利点を示している。

図５ｂは、「プレゼンテーション」コンテキストを表しており、ホスト装置のフォアグラウンドにおいてなにが有効であるのかをユーザーに通知するためのアイコン５０１ｂと、このコンテキストに固有のものであるアイコン５０２ｂ（「スライドショーの起動」、「次のスライド」、「前のスライド」）と、を有する。

図５ｃは、「メディア」コンテキストを表しており、こちらも、コンテキストを通知するアイコン５０１ｃと、「再生／休止」、「次のトラック」、及び「音量／消音」をそれぞれ命令するためのボタンであるアイコン５０２ｃと、を有する。

図６ａ〜図６ｃは、本発明の様々な実施形態による装置の３Ｄモードを示すための本発明のハンドヘルド装置のタッチスクリーンの３つの異なる図を示している。

ボタン２０９を使用することにより、仮想マウスの２つの特定の機能を制御している。第１に、このボタンを使用することにより、３Ｄモードが起動された際にホスト装置の画面上のカーソルを制御する。本発明の仮想マウスは、２Ｄモードにおいて（ｘ、ｙプレーン内における装置の従来の位置決め）、或いは、装置のピッチ（又は、ヨー）運動が画面１０２１上におけるカーソルの垂直（又は、水平）運動に対してマッピングされる３Ｄモードにおいて、動作することができる。装置が表面上に載置されている際には、装置のカメラの光学センサ（好ましくは、装置の裏面上に存在している）が、装置が前記載置された位置にあることを検出することになり、且つ、２Ｄモードを自動的に動作状態にすることができる。プレーン内におけるｄｘ、ｄｙの計測は、好ましくは、光学センサを使用した光学マウスにおけるものと同一である。装置がテーブル又はデスクトップから持ち上げられ、且つ、ユーザーがｃｔｒｌボタンに接触した際に、３Ｄモードが起動される。

カーソルは、接触ゾーン２０９上にユーザーが接触している間は、スマートモバイル装置１０１の制御下におかれることになる。次いで、カーソルの運動は、上述のように、装置１０１のヨー及びピッチ角によって判定され、恐らくは、ユーザーの意図しないロール運動について補正されることになる。ユーザーが自身の指をボタン２０９から持ち上げた際に、カーソルは運動を停止する。或いは、この代わりに、ボタン２０９が２回タップされたらカーソル制御機能が永久的に有効になるように（無効状態は、単一のタップによってトリガされるように）、仮想マウス制御装置をプログラムすることもできる。

又、ボタン２０９を使用することにより、特定のジェスチャ認識モードをトリガする。ユーザーが接触ゾーン２０９をタップした際に、水平の有色ストライプが出現する。このストライプに沿って指（好ましくは、親指）をスワイプすることにより、ジェスチャ認識モードが起動され、且つ、親指がタッチスクリーンとの接触状態にある間、装置は、このモードにおいてロックされることになる。親指がこのボタンを離れたら、ジェスチャ認識モードは、アンロックされる。スワイプは、図７との関係において後述するように、コンテキスト依存性を有するようにされた命令に対してマッピングされている。

又、数字、文字、又は任意のタイプの符号などの更に複雑なジェスチャを認識することもできる。過剰な数の偽陽性又は偽陰性が存在しないことを保証するために、例えば、Ｄｙｎａｍｉｃ Ｔｉｍｅ Ｗａｒｐｉｎｇ又はＨｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌｓアルゴリズムを使用することにより、認識のためにジェスチャを比較する対象である基準ジェスチャのグループを有するデータベースを含むことが必要となろう。運動ベクトルの単純な処理により、十分な信頼性を有するスワイプの検証が可能となろう。

又、スマートモバイル装置のロール及び／又はヨー及び／又はピッチ角をホスト装置の画面上における仮想ボタンの回転及び／又はスライダの線形運動に変換することもできる。

図７は、特定のコンテキストにおけるスワイプジェスチャの意味を有するヘルプ画面を示している。

スワイプの意味は、ホスト装置のフォアグラウンドにおいて稼働しているコンテキストへの依存性を有するようにすることができる。図７に示されているコンテキストは、インターネットブラウンジングである。一例に過ぎないが、最上部から最下部にわたって、以下のスワイプが８つの矢印によって表されている。
−左向き矢印：前
−右向き矢印：次
−上向き矢印：ページアップ
−下向き矢印：ページダウン
−北東向き矢印：ズーム
−南東向き矢印：キーボード
−南西向き矢印：カスタムキー
−北西向き矢印：スポットライト

仮想マウス機能とスマートモバイル装置のその他の機能の間に有害な相互作用が存在しないことを確実にするために、いくつかの機能をプログラムしなければならない。装置が仮想マウスとして使用されているのと同時に実行可能であるオーディオの聴取などのように、いくつかの機能は、問題をもたらさない。電話通話は、仮想マウスが動作可能状態にある際に、到来するようにしておいてもよく、或いは、そうでなくてもよい。既定モードにおいては、電話が着信した際には、マウスは休止することになる。通常のスマートフォンにおいては、この種の通知に対して高優先順位が付与されている。通話が終了した際に、スマートフォンは、以前に休止されていたアプリケーションの実行を再開することになる。航空機モードを使用することは可能ではなく、その理由は、これにより、装置のすべての無線能力が無効になるためであり、ホストと通信するためには、通常、ＷｉＦｉ／Ｂｌｕｅｔｏｔｈが必要である。

又、ｉ−Ｐｈｏｎｅが回転した際に表示のフォーマットを適合させる能力を無効にすることが必要な場合もある。これは、アプリケーションをプログラムする際に実行する必要がある。

本明細書に開示されている例は、本発明のいくつかの実施形態を例示するものに過ぎない。これらの例は、なんらの方式においても、添付の請求項によって規定されている本発明の範囲を限定するものではない。

Claims (15)

1. 加速度計とジャイロスコープと磁力計とを含むグループから選択された少なくとも１つのモーションセンサと、タッチスクリーンと、を有するハンドヘルド装置であって、前記ハンドヘルド装置は、前記センサの少なくとも１つと前記タッチスクリーンとから、モーション信号処理能力を有するホスト装置に対して信号を伝達する能力を有し、前記ハンドヘルド装置の前記タッチスクリーンは、ユーザーの選択による表面上又は自由空間内における前記ハンドヘルド装置の運動と結合して前記ホスト装置上において稼働している少なくとも１つのアプリケーションを制御するように動作可能である少なくとも２つの接触ゾーンを有し、前記少なくとも２つの接触ゾーンのうちの１つは、ホストアプリケーションの動作を制御する少なくとも２つの接触サブゾーンを有し、前記ホストアプリケーションの制御は、前記ハンドヘルド装置のコンテキストに依存し、少なくとも前記２つの接触ゾーンとジェスチャ認識とにより実行され、前記コンテキストは、前記ホスト装置のフォアグラウンドで実行されている少なくとも１つのアプリケーションが属しているアプリケーションのグループにより定義され、前記ホスト装置のフォアグラウンドで実行されている少なくとも１つのアプリケーションは、前記ホスト装置から前記ハンドヘルド装置に伝達される、装置。
2. 前記少なくとも１つのモーションセンサは、少なくとも２つの軸を有するジャイロスコープである請求項１に記載のハンドヘルド装置。
3. 前記ジャイロスコープからのピッチ及びヨー方向または変位信号は、前記ホスト装置上において稼働しているアプリケーション内において画面上のカーソルの２軸変位に変換されるように、前記ホスト装置に対して送信される請求項２に記載のハンドヘルド装置。
4. 入力を前記モーション信号処理能力に供給して前記ハンドヘルド装置のロールを少なくとも部分的に補正する２軸加速度計を更に有する請求項３に記載のハンドヘルド装置。
5. 前記ハンドヘルド装置が表面上に載置されていることが検出された後に表面モーションキャプチャモードにおける前記ハンドヘルド装置の動作をトリガするように構成された光学センサを更に有する請求項１に記載のハンドヘルド装置。
6. 前記光学センサからの２軸位置又は変位信号は、前記ホスト装置上において稼働しているアプリケーション内において画面上のカーソルの２軸変位に変換されるように、前記ホスト装置に対して送信される請求項５に記載のハンドヘルド装置。
7. 前記少なくとも２つの接触ゾーンのうちの１つは、少なくとも３つの接触サブゾーンを有し、その第１のものは、表面モーションキャプチャモードと自由空間モーションキャプチャモードの間における切り替えに適しており、第２のものは、前記ホストアプリケーション内におけるスクロール命令の実行に適しており、第３のものは、前記ホストアプリケーション内における選択命令の実行に適している請求項１に記載のハンドヘルド装置。
8. 前記ホストアプリケーション内における前記スクロール及び選択命令は、グラフィカルユーザーインターフェイスによってプログラム可能である請求項７に記載のハンドヘルド装置。
9. 前記接触サブゾーンのうちの１つは、ジェスチャ認識モードとの間の切り替えのためにも適している請求項７に記載のハンドヘルド装置。
10. コンテキストに依存した命令を前記ホストアプリケーションに入力するように構成された第４接触サブゾーンを更に有する請求項７に記載のハンドヘルド装置。
11. 前記４つの接触サブゾーンの相対的な位置決めは、右利き又は左利きユーザーによる使用に適するように変更することができる請求項１０に記載のハンドヘルド装置。
12. 前記ハンドヘルド装置の前記コンテキストに依存したホストアプリケーションの動作を制御する前記少なくとも２つの接触サブゾーンは、グラフィカルユーザーインターフェイスによってプログラム可能である請求項１に記載のハンドヘルド装置。
13. 前記少なくとも２つの接触ゾーンのうちの１つは、前記ハンドヘルド装置のアプリケーションの動作を制御する少なくとも２つの接触サブゾーンを有する請求項１に記載のハンドヘルド装置。
14. 前記ハンドヘルド装置が表面又は自由空間モーション検出モードにある際に無効になるように構成された電話送信機及び受信機を更に有する請求項１に記載のハンドヘルド装置。
15. ハンドヘルド装置からホスト装置上において稼働している少なくとも１つのアプリケーションを制御する方法であって、前記ハンドヘルド装置は、加速度計とジャイロスコープと磁力計とを含むグループから選択された少なくとも１つのモーションセンサと、タッチスクリーンと、を有し、且つ、前記センサの少なくとも１つと前記タッチスクリーンとから、モーション信号処理能力を有するホスト装置に対して信号を伝達する能力を有し、前記制御方法は、ユーザーの選択により、表面上又は自由空間内における前記ハンドヘルド装置の動きを使用するステップと、前記タッチスクリーンのユーザー接触ゾーンによって前記アプリケーションの機能に対して命令するステップと、前記ユーザー接触ゾーンの少なくとも２つの接触サブゾーンとジェスチャ認識とによりホストアプリケーションの制御を実行するステップとを有し、前記制御は、前記ハンドヘルド装置のコンテキストに依存し、前記コンテキストは、前記ホスト装置のフォアグラウンドで実行されている少なくとも１つのアプリケーションが属しているアプリケーションのグループにより定義され、前記ホスト装置のフォアグラウンドで実行されている少なくとも１つのアプリケーションからの通信を前記ハンドヘルド装置で受信するステップをさらに有する、方法。

Images