JP4149574B2 - ユーザインターフェースサポートデバイス、及び情報入力方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、広くは手により、又は接触により操作されるユーザインターフェースをサポートする方法に関し、より詳細には物理的操作に基づくユーザインターフェースを解釈するための方法に関する。
【０００２】
【従来の技術】
小さいポータブル（携帯用）コンピュータに複雑なコマンドを確実に、速く、且つ直観的に伝送することは難しいであろう。小型コンピュータデバイスは一般に、音声又は手書き（ペンベースの）によるコマンドに確実に応答する十分なコンピュータ処理能力を有しない。キーボードはしばしば存在しないか、正確な指入力のためにはあまりに小さく、更に従来のボタンはあまりに大きいか、あまりに限られたコマンド命令セットのみをサポートする。大きな外部モジュール（例えば、フルサイズの赤外線によりリンクされたキーボード、線でつながれたデータグローブ又はカメラベースのジェスチャー認識装置等）に依存するユーザーインターフェース手法は高価であり、多くの場合選ばれたサイト以外では容易には利用できず、また消費者レベルのポータブルコンピューティングデバイスと併せての使用の普及にはあまりに不適切であろう。
【０００３】
ポータブルコンピュータ用のユーザーインターフェースの設計者は、これらの問題の幾つかを、手動で又は自動的にデバイスにおける様々なモードの起動を可能にする様々な空間的、位置的、又は環境的なキュー（合図）に頼るデバイスを作ることで補おうとしている。例えば、幾つかのラップトップコンピュータは、ユーザから一切追加的な信号入力（例えば、キーボード上の「開始」ボタンの押下又はタイプ入力「ｌ＿ｏ＿ｇ＿ｏ＿ｎ」等）を必要とすることなく、蓋の開閉の動作をコンピュータの自動立ち上げ／電源切断を開始するために使用する。或いは、位置、方向又は余剰空間位置に従って自動的に制御モードを切替える小型ポータブルコンピュータの使用が研究されている。ポータブルコンピュータを傾けること等のユーザによる故意の動作を介したポータブルコンピュータのボタンレスの（ボタンを使用しない）手動制御についても検討されている。
【０００４】
【発明が解決しようとする課題】
小型ポータブルコンピュータとのインターフェースのためのこれら全ての解決策は一般的に、有効範囲および機能性において制限されている。必要とされるのは、効果的であり、ほとんどトレーニングを受けていない一般ユーザにより直観的に操作されることが可能であり、尚且つそのユーザにより変更又は拡張が容易に成される、非常に小さいポータブルコンピュータ（約１立方センチメートルの体積寸法を有する）にさえ適したユーザーインターフェースシステムである。本発明は、ユーザがコンピュータを捻じる、折り畳む、曲げる、圧搾（スクイズ）する、振る、傾ける、回転させる、持ち上げる又は他の物理的操作に応じる巧みなユーザインターフェースを提供することによりこれらの要求事項を満たす。
【０００５】
本発明の巧みに操作可能なユーザインタフェースシステムにおける、最も基礎的なレベルの操作は「センシーム：senseme 」として知られている。センシームは、単一の分割できないタイプの物理的操作として定義される。センシームのカテゴリーの一部を示すリストは、圧搾、捻じり、引っ張り等の材料変形と、平行移動、回転、旋回等の局所空間変化と、温度、明るさ、又は振動に基づく環境的変化とを含む。例えば、小型ポータブルコンピュータは、ユーザにより変形可能な部品が折り畳まれた、捻じられた又は曲げられたことを検知する多数の埋設されたセンサを有する変形可能な部品をサポートすることが可能である。このコンピュータは、また、相対的な空間情報を検知する多くの加速度計と、絶対位置を決定するためのジャイロスコープ、無線又は赤外線による位置センサと、温度及び明るさの変化を其々検知する様々な熱又は光センサを含むことができる。これらのセンサシステムの内の１つ又は複数により検知される意図的な又は意図的でない変更は、効果的なユーザーインターフェース策のための基礎を提供することが可能である。
【０００６】
理解されるように、各センシームカテゴリは多くの個々に区別可能な構成要素（部材）を含む。例えば、ユーザが人差し指と親指との間で変形可能な部品を圧搾することにより通常完了する構造的変形である「ピンチ：摘まむ」として知られているセンシームのカテゴリを考える。ピンチは、各変更がコンピュータ制御コマンドにマッピングされることが可能なセンシームとして区別可能である、ピンチの速度（速いピンチか遅いピンチ）、大きさ／強さ（軽いピンチか強いピンチ）、変形可能な部品の摘ままれる部位（摘ままれた変形可能部品の上部、下部又は中央）、或いは摘まむために使用される体の部位（右手によるピンチ又は左手によるピンチ）を変化させることによっても、変更されることが可能である。
【０００７】
多種多様な容易に区別可能なセンシームのみでもコンピュータに有効なユーザインターフェースを提供するであろうが、本発明は「形態素」入力に基づいてコンピュータ制御をサポートすることにより、センシームベースのユーザインターフェースのフレキシビリティを更に拡張する。形態素は、１つ又は複数のセンシームの一時的に同期の（又は、部分的に一致する非同期の）タプル（組／集合）である。形態素が複数のセンシームを含むことができる（そして、しばしば含むであろう）点に注意すべきである。形態素に結合されたセンシームは、同じカテゴリ（ユーザが左手の指で軽く叩くと同時に右手で摘まむ）、及び異なるカテゴリ（ポータブルコンピュータを前に傾けることによってその空間位置を変更すると同時に、ユーザは変形可能な部品を右手で摘まむ）のいずれかから派生することが可能である。
【０００８】
いかなる形態素も、「センテンス（文）」への関与により拡張されることが可能である。センテンスは、一連の一時的に分離される１つ又は複数の形態素として定義される。センテンスのレベルは、形態素シーケンスの適切な選択による物理的な操作文法による定義、及び例えば能動的な（動詞のような）形態素、命名（名詞）形態素又は接続詞の使用を支配する付随規則の定義を可能にする。センテンスで使用される他の可能な文法構成概念は、「ホーム」システムに基づくものを含むであろう。ホームシステムは、汎用のジェスチャー言語であり、その文法及び構文がどんな形であれホスト言語から借用されない。これらの言語の例は、American Sign Language（ASL:米国手話）に触れることのなかった健聴者を親に持つ耳の聞こえない子供達により開発されたジェスチャーによる言語及び通商語として使用された北米インディアン／先住民の「平原インディアン言語（plains talk)」である。
【０００９】
従って、本発明は操作されることが可能な変形可能部品、及び任意ではあるが様々な位置センサ（相対及び絶対の両方）、圧力センサ、熱センサ又は光センサにさえも接続されるコンピュータに情報を入力するための方法を提供する。この方法は、コンピュータに第一の形態素入力を行なうために変形可能な部品を操作するステップを含み、この第一の形態素入力は通常、コンピュータによる最初のデフォルト動作を起動する。また、変形可能な部品はコンピュータに第二の形態素入力を行なうために操作されることが可能であり、この第二の形態素入力は、通常起動された第一のデフォルト動作を第二の動作に変換する。第一及び第二の形態素（及び後に続く如何なる形態素）は連携して、電子制御のドアの錠を開けること、コンピュータディスプレイ上に図形画像を表示すること、或いはコンピュータネットワークへのログオンを開始することであれ、コンピュータ制御された動作を実行するためのコマンドとして解釈されうるセンテンスを形成する。好都合なことに、このようなユーザインタフェースシステムは、小型コンピュータデバイスとの対話に適しており、また圧搾又は摘まむ能力は普遍的な人間の特性であるため、限定される範囲においては異文化間でさえ通用しうる。
【００１０】
本発明は、手のひらに保持することが可能なポータブルコンピュータに特に有効である。もしポータブルコンピュータが、埋設された又は接触型の圧力／変形センサを有する変形可能な材料により一部又は全体を囲まれている場合、ユーザは或る所望の結果を得るためにコンピュータ全体で或るジェスチャーをすること、又はコンピュータ全体を操作することが可能である。材料変形は、様々な規模で実行が可能である。例えば、コンピュータ及びフレキシブルチューブの内側に取り付けられコンピュータに接続された変形センサは、チューブを直角に曲げること、又はチューブを複雑に結ぶことや、輪にすることにさえも反答することが可能である。しかし実際には、押圧する、摘まむ又は折り曲げるタイプの操作に対して触知可能なフィードバックをもたらすのに十分であるような、些細な表面変形のみが必要とされる。しかし、いずれの場合にせよ、表面に加えられる圧力及びその位置の測定は、対話のモードを特徴づける（ピンチを突きと区別する）のに十分である。
【００１１】
【課題を解決するための手段】
本発明に従う物理的な操作文法に反答する手で持てるポータブルコンピュータの望ましい特定の実施の一形態は、コンピュータと、ユーザに視覚的、聴覚的又は触覚的なフィードバックを提供するフィードバックモジュール（例えば、プロセッサが連結されたＬＣＤ（液晶表示装置）ディスプレイ、オーディオスピーカ、又は点字或いは他の従来のタッチインターフェースを提供するための触覚的ディスプレイ）と、部分的に又は全体的にフィードバックモジュールを囲んでいる、共に取り付けられた掴むことが可能で、且つ変形可能な部品とを含む。更に、デバイスを保持する手は一般的にそのユーザにとっての利き手でない手であることから、様々な熱又は圧力センサがユーザの利き手を検知するために取り付けられる。ユーザの利き手（これは形態素とみなされることができる）に応じて、表示されるデータ構成が変更される。例えば、ＬＣＤディスプレイスクリーンに表示されるテキストは、それにより左利きのユーザを補助するように、ペンベースの注釈（コメント）がスクリーンの左側にくることを可能にするように、スクリーン上で自動的に右方向へシフトされうる。
【００１２】
物理的に操作可能なユーザインターフェースは、更に、複数のデバイスがユーザフレンドリーな（誰でも使い易い）方法で対話する機会を提供する。例えば、ディスプレイを囲んでいる接触に感応する変形可能な部品を有する多数のディスプレイを持つタイリング（tileable: タイル状に並べること）可能なディスプレイシステムは、各ディスプレイの接点の相対位置に基づき文書を編成するために使用されることが可能である。例えば、異なるデータ構造（例えば、２つの異なる電子ブックからの２つの異なるページ）を初めに示している２つのディスプレイが接触して並べられると、表示された視覚情報は変化しうる（例えば、単一の電子ブックの隣接ページを表示することにより）。理解されるように、物理的に操作可能な制御要素に接続された複数のコンピュータを、データ構造を編成するための複雑なコマンドを作るためにも使用することが可能である。
【００１３】
【発明の実施の形態】
図１は、形態素によるユーザーインターフェース文法をサポートするのに適した本発明の実施の一形態を表す。文法をサポートすることは、ユーザによるデバイスの物理的操作の検知、デバイスの相対的又は絶対的空間位置の検知、デバイスに働く様々な環境的要素の検知、更に複数のデバイス又は外部コンピュータネットワークによる検知及びそれらとの対話さえも要求しうる。図示されるように、デバイス１０は変形可能表面２０の複数の小領域をまたがって又はそれらの領域内での表面変形を検知するために、変形センサメッシュ２２を下に持つ変形表面２０を有する。変形センサメッシュ２２は、連結されたメモリシステム２６を有する内部に保有されるプロセッサ２４に接続される。様々な位置的に又は環境的に変化するもの（変数）を検知するために、感知システム２８も備えられる。図示されるデバイスは更に、外部から見ることが可能な状況ディスプレイ３０又は非視覚的フィードバックモジュール３１（通常聴覚的又は触覚的フィードバックを伝える）を含むであろうフィードバックモジュール３３を含む。図示されるデバイスには、他の電子又はコンピューティングデバイスとの情報の受発信のための通信システム３２も備えられる。これら全ての構成要素は電源２５により電力を供給されることが可能であり、電源は通常内部に取り付けられた従来構造の充電式バッテリーである。
【００１４】
デバイス１０はほぼ回転楕円面状且つ単一の集合体として図示されるが、様々な他の形状も本発明の範囲内であると考えられる。例えば、総合的な形状は、様々な直角プリズムに類似することが可能であるか、或いは楕円形、環状、平面であること、又はユーザが定義した広範囲に亘る不規則な形状をサポートするのに十分な可鍛性があることさえ可能である。更に、多数の形状要素の連動（例えば、ボールとソケット、錠と鍵、或いはスライド可能な又は回転可能な連動する部品の使用）を可能にする従来設計を使用することにより、多数の協力し合う形状要素が考えられる。
【００１５】
デバイス１０の形状が何であれ、本発明の実施のためにはデバイス１０は全体を又は一部を変形可能表面２０により覆われる。本発明は、必要とされる可塑性、耐久性、耐用寿命及び当然価格制約に従って、変形可能表面２０の多種多様な設計及び材質の使用をサポートする。例えば、変形可能表面２０のために考えられる設計は以下のものを含むが、これらに限定はされない。
１．数ミリメータ乃至数センチメートルの壁の厚みを有する独立セル又は連続セルから成る高分子発泡材料であって、より薄い壁で囲まれた実施の形態は内側の硬いシェル（高分子材料又は金属材料から作られる）により支えられており（例えば、接着連結による）、より厚い壁で囲まれた実施の形態はプロセッサ２４等の内部構成要素を直接支える（例えば、ブラケット（腕木／取付金具）又は支持具による）。適切な発泡は、ポリクロロプレン（ネオプレン）、ポリスチレン、ゴム又はニトリルゴム・ラテックス発泡、ポリシロキサン、スチレンブタジエン、又はスチレンイソプレン、或いは適切な弾性及び変形可能性を有する他の一般材料を含むブロックポリマー等の広く利用可能な合成ゴムから全体又は一部が構成される物を含むであろう。
２．内側の硬いシェル（高分子材料又は金属材料から作られている硬いシェル）の周りを緩く包む薄い単層のポリマー表面。例えば、ナイロン又は綿の織物、単層ポリエチレン、合成ゴム（ほとんど又は全く発泡セルを有しない）、或いはポリスチレンのケースの周りを包む皮革等の自然高分子材料が使用されることが可能である。
３．発泡内層により支えられる耐久性のある高分子の外層を有する複合層状表面。
４．極端な変形をサポートするために使用されることが可能な粘性又は揺変性材料の中間流体又はゲル層を有する高分子二重層さえも含む。中間層は比較的厚い（約数センチメータ）ことが可能であり、又は特定の実施の形態においてはミクロン乃至ミリメータ尺度で測定される薄さを持つことが可能である。そのような極端に薄い層は複雑な捻じる、折り畳む、巻きつける、又は皺くちゃにする動作を可能にし、またそのような層に関してはその開示が参考文献としてここに明確に組み入れられるゼロックス社（Xerox Corp.)に譲渡された米国特許第5,389,945 号と併せて説明される。
【００１６】
変形センサメッシュ２２は、変形可能表面２０内に埋設されるか、又は変形可能表面２０と接触するように配置されることが可能である。変形センサメッシュ２２は個々の圧縮又は張力歪みセンサのアレイ（配列）、或いはそれに代って埋設された又は取り付けられた位置センサを含むことが可能である。いくつかの用途のためには、連続的なセンサ（例えば、キャパシタンス（静電容量）センサの二重層シート）が採用されうる。或る特に有効な連続的センサのタイプは、加えられる変形圧力に対応して位置を局所化可能なアナログ信号に帰結するような変形圧力と共に複数のキャパシタンス又は抵抗ストリップを使用する。単純なキャパシタンスセンサ、抵抗の歪みセンサ、アナログ又はデジタル圧力スイッチ、誘導性センサ、或いは流量センサさえも含む様々なセンサタイプが使用可能である。使用されるセンサタイプに従って、センサデータは直接プロセッサ２４にデジタル形式で取り込まれるか、或いは通常４又は８ビット範囲（様々な用途により、少ない場合では１ビット、多い場合では３２ビットが必要とされうるが、）を提供する汎用アナログ／デジタル変換器によりデジタルフォーマットに変換されることが可能である。アナログからデジタルへの変換器は、プロセッサ２４の内部にあってもよいし、外部モジュールとしても提供されうる。理解されるように、センサメッシュ２２は複数のセンサ及びセンサタイプの組み合わせを含むように意図され、それは変形可能表面２０の全体又は一部に亘って使用されることが可能である。
【００１７】
また、位置又は環境センサシステム２８は、デバイス１０によってサポートされうる。ジャイロセンサ、加速度計、或いは音響又は赤外線測距手法により決定される絶対又は相対位置情報を含む、様々なセンサモードがサポートされうる。従来の光、画像、熱、電磁、振動、又は音響センサを含む環境センサもまた提供される。望ましい用途に従って、示差ＧＰＳ（地球投影位置決定システム）位置決定、画像分析又は認識、音響又は音声識別、或いは作動熱センサ等を組み入れた高価な環境又は位置センサさえも形態素入力として使用されることが可能である。センサメッシュ２２により検知される形態素入力と共に用いられるこれらの形態素入力は、ユーザによるデバイス１０の制御の精度およびフレキシビリティを高めることができる。
【００１８】
図示されるように、センサシステム２８及びセンサメッシュ２２の双方は、プロセッサ２４及び連結されたメモリ２６に接続される。プロセッサ２４及びメモリ２６は通常、変形可能表面２０に直接取り付けられるか、又は変形可能表面２０内に位置される硬いケースに取り付けられるかにより変形可能表面２０内に取り付けられる。図示される実施の形態では、従来のＣＩＳＣ又はＲＩＳＣプロセッサが使用できるが、シグネティックス（Signetics ）社の８７ｃ７５２又は８７ｃ７５１、モトローラ社の６８ＨＣ１１又は６８５８２、或いはＡＲＭ社の７１０等の低消費電力プロセッサと共に使用されることが好ましい。都合が好いならば、アナログデジタル変換器又はデジタル信号プロセッサのようなコプロセッサが単独で、或いはメインプロセッサと共に使われることが可能である。特定の用途のためには、より高価な組込み式ＤＲＡＭも使用されうるが、本発明では従来のフラッシュ、スタティック又はダイナミックＲＡＭ（ランダムアクセスメモリ）が使用可能である。ある種の記憶装置強化型の用途では、メモリ２６が、デバイス１０内に配置されるか、又は外部接続を介して利用可能な追加のハードディスク記憶装置を含むことが可能である。理解されるように、多くの用途では、選択的な外部通信の使用が少なくとも部分的に内部プロセッサ及びメモリの使用に取って代わる（必要とされるセンサ又は通信バッファリング（緩衝記憶）及び信号送信をサポートするために必要なものを除く）ことが可能である。
【００１９】
本発明は、任意ではあるが、内部通信システム３２及び連結された送受信機３４を使用することにより、外部コンピューターシステム４０との通信をサポートする。また、外部コンピューターシステム４０は、送受信機４２とパーソナルコンピュータ又はワークステーション４４を含み、ローカルエリアネットワーク又は広域ネットワークコンピュータシステム４６に接続される。送受信機３４及び４２は、シリアル回線３６の使用（例えば、ＲＳ−２３２Ｃインターフェースプロトコルを使用）、広く利用されるＩＲＤＡ（赤外線データ結合）通信規格に基づく赤外線信号３８の使用、又は無線周波信号３７（例えば、携帯電話、９００ＭＨｚ無線、又はデジタルＰＣＳ電話通信でありうる）の使用を含む様々な通信プロトコル及び設計をサポートすることが可能である。代替の通信規格、又は光又は音響の技術に基づくような更なる代替通信伝達手段も、当然採用されることが可能である。
【００２０】
理解されるように、外部コンピューターシステム４０との直接通信に加えて、デバイス１０はタブレットコンピュータ１１０、又はデザイン面及び機能面でデバイス１０に類似の物理的に操作可能なポータブルコンピュータ１１さえも含む多くの適切に装備された電子デバイスとの連続的又は断続的な通信状態を、直接又は間接的に維持されることが可能である。通信は目標デバイスへ直接、或いはコンピュータシステム４０等の仲介リトランスミッタを介してやりとりされることができる。他の可能な通信ターゲットは自動制御システム、セキュリティ許可装置、パーソナルデジタルアシスタント、ノート型パソコン、或いは他の如何なる適切に装備された電子システムも含む。
【００２１】
外部デバイスとの通信の結果、デバイスに格納された情報の表示又はデバイス状況の更新は全て、フィードバックモジュール３３の更新を制御するプロセッサ２４によりユーザに提供されることが可能である。ユーザへのフィードバックは、視覚ディスプレイ３０と連携して発生しうるような、主として視覚的なものでありうる。様々な電気光学又は精密機械技術に基づく、より洗練された（且つ高価な）ディスプレイの使用も当然可能ではあるが、一般的にディスプレイ３０は従来の受動的又は能動的なマトリックスの液晶ディスプレイでありうる。更に、特定のデバイスにとっては、少数の状況ライト（例えば、赤か緑のＬＥＤ）により形成されうるような非画像形成ディスプレイ、又は局所化された又は分散された色彩の変化（適切なエレクトロクロミック(electrochromic)材料で作られた変形可能な表面２２との連携による）のみが、ユーザへの視覚的フィードバックとして必要でありうる。
【００２２】
本発明の幾つかの実施の形態において、ディスプレイ３０を介しての視覚出力は非視覚ディスプレイ３１により増やされる（又は交換されさえする）ことが可能である。非視覚ディスプレイ３１は内部アクチュエータに基づく触覚ディスプレイ、聴覚フィードバック、又はデバイスの外観に一致する変化に基づくディスプレイさえも含むことが可能である。例えば、或る考えられるフィードバックディスプレイは、ユーザフィードバックを提供するために内部聴覚スピーカ（利用可能なプロセッサの速度及び機能に応じて、単純な「ビープ音」から適切に形成されたスピーチに亘る範囲の音を発する）に基づく。理解されるように、非視覚ディスプレイ３１及びそれに連結されるアクチュエータ又はエレクトロニクスは、例えば内部アクチュエータを介してのユーザへの力フィードバック、触覚ベースのフィードバック（例えば、手話又は他の従来の触覚ユーザインターフェースの表現のための多数の表面突起物）、デバイスの表面組織における変化、又はユーザに情報を提供するための他の如何なる従来の方法も含む代替のフィードバックモードをサポートすることが可能である。
【００２３】
本発明の作用のよりよい理解のために、デバイス１０の物理的操作の幾つかの選択されたモードが、図１に概略的に示される。図１に示されるように、デバイス１０は、直交する力の矢印５０、５１及び５２で示されるように３次元空間を並行移動することが可能である。並行移動に加えて、デバイス１０は矢印５３、５４及び５５により表されるような３次元空間の何れか又は全ての方向に回転移動されうる。センサシステム２８の使用（単体で、又は通信システム３２と連携して）により、３次元における相対又は絶対位置及び方向が決定されることが可能である。
【００２４】
センサ２８の使用による空間位置及び方向の決定に加えて、デバイス１０は、力ベクトル及び関連する時間情報が決定及び解釈されることにより、一時的に又は連続的に加えられる力を測定するため、及び位置を限定するためにセンサメッシュ２２を任意ではあるが使用することが可能である。幾つかの可能な力作用（変形モード）は図１に概略的に示され、矢印６０及び６１は表面２０の凹み（その組み合わせで圧搾を表す）を示し、矢印６２及び６３は滑らせる又は擦ることによる変形（その組み合わせで捻じれを表す）を示し、そして滑らせる矢印６５及び６６と外側への引張り６７とは共に摘まむ動作及び外側へ引張る動作を示す。加えられる力の強さが測定されることが可能であり（例えば、強い又は軽い圧搾は区別される）、その空間的な広がりが判断されることが可能であり（例えば、指先又は親指の腹による突きは区別される）、そしてタイミングが決定されうる（例えば、表面の速い押下又は遅い押下は区別される）。こうしてもたらされる変形は恒久的なもの又は一時的なものでありうる。
【００２５】
当業者には理解されるように、矢印により表される前述の力作用の其々はセンシームと考えられる。幾つかの一時的に区別可能なセンシーム（又は前述の摘まむ／引張る動作の組み合わせ等のセンシームの組み合わせ）は更に、本発明に一致する形態素文法の基礎として使用される形態素を表す。以下に説明される全ての形態素は、加えられる圧力、利用される力、使用される付属肢、体の部位或いは力を加えるために使用される外来の仲介オブジェクトにおける様々な変化により変更されることが可能である。更に、様々なオブジェクトの操作時間（速い、遅い、又は速い動作と遅い動作の交互であれ）は形態素の解釈を変更可能にする。例えば、もし「圧搾」が典型的な形態素として利用される場合には、速い圧搾、遅い圧搾、強い圧搾、軽い圧搾、浅い圧搾、深い圧搾、両手による圧搾、片手とユーザの胸又は頭の間での圧搾、片手と机又は壁の間での圧搾、２本のペン又は２冊の本の間で成される圧搾、或いは更にユーザの舌と口内の上壁の間での圧搾等の様々な圧搾実施方法が認識されうる。本発明の目的のためには、「家猫」が広くライオン、トラ、及びボブキャットを含む「ネコ科」の特定のメンバーと考えられるのと同じように、個々の変化は可能な変更要素又は選択されたケースとして動作し、全ての圧搾形態素が「圧搾」クラスのメンバーと考えられる。
【００２６】
考えられる物理的な操作形態素の多様性の理解を助けるために、図２は形態素の利用を可能にするために必要とされるデバイスの可塑性の増加する順、及び特定のクラスのデバイスに適用される形態素を形成するため又は解釈するために必要とされる利用可能なセンシームタプルの複雑さの増加する順に位置付けられた選択された形態素を表す。可能な物理的操作の定義及び図１に関連して説明されたデバイスに類似した（但し当然、より複雑でありうる）デバイスのその操作により呼び出される典型的な機能が、形態素を形成するために最も可塑性の低いデバイス及び最も単純なセンシームセットから示される。
【００２７】
凹ませる
定義：圧力を加えることにより、デバイスの１つ又は複数の小領域を凹ませること。
例：図３に見られるように、ディスプレイ１２３を有するデバイス１２２を考える。デバイス１２２は、ユーザが幾何学形状又はユーザ定義された図形オブジェクトを配置することを可能にする図形イラストレーションソフトウェアアプリケーションをサポートする。デバイスは、各辺に１つずつ計４つのパッド１２４をその周囲に有することが可能である。特定の辺を変形することにより、ユーザは現在選択されている幾何学形状１２５をその位置から新しい位置１２６へ「そっと動かす（nudge)」という要求を表す。
【００２８】
圧搾（スクイズ）する
定義：幾つかの成分が互いに近づくように方向づけられ、その力がデバイスの形態構造を圧縮する力のベクトルを加えることにより、デバイスの１つ又は複数の小領域を変形すること。
例：図４に示されるように、１つ又は複数の文書をアイコン表示（閉じた状態）及びテキスト表示（開いた状態）モードの何れかの状態で表示することが可能なデバイス１３２を考える。開いている文書１３５を選択し、次にデバイス１３２の変形可能エッジ１３４を圧搾することにより、ユーザはこの場合はアイコン１３６としてアイコン化することを意味する、文書の「小型化」要求を表す。
【００２９】
折り畳む
定義：部分的に又は完全に第二の小領域と重なるように第一の小領域を曲げることにより第二の小領域を変形すること。更なる変形がその新しい形態構造の他の小領域に適用されることが可能である。
例：図５に示されるように、文書を表示可能なデバイス１４２を考える。このデバイス１４２が、デバイス１４２の上部のエッジ上の変形可能な水平な「フラップ」が部分的にディスプレイ１４３を覆い隠すように折り畳まれることが可能なほど大きいと仮定する。ユーザがこの折り畳むジェスチャーをしたら、ユーザは現在表示されている文書をパスワード保護する（「隠す」）要求を表す。
【００３０】
丸める
定義：互いに対してデバイスの複数の小領域を円筒形又は円形の形態構造になるように、渦巻き状に構成することにより、デバイスの１つ又は複数の小領域を変形すること。
例：図６に示されるように、様々な言語（英語、仏語等）で文書を表示可能なデバイス１５０を考える。ユーザがこのようなデバイス１５０を利用する際には、矢印１５７で示される方向に筒状に丸め、続いてそれを平らに戻すこの魔法をかけるようなジェスチャーが、現在開いている文書を他の言語で表示するようにデバイス１５０に指示する。
【００３１】
引張る
定義：力のベクトルの幾つかの成分が互いから離れるように方向づけられ、デバイスの対向端部に加えられるような力のベクトルを適用することにより、デバイスの１つ又は複数の小領域を変形すること。
例：図７に示されるように、ユーザが幾何学形状を操作することを可能にする図形ソフトウェアアプリケーションを有するデバイス１６０を考える。デバイス１６０を引張ることにより、ユーザは現在表示されている形状１６５をより大きなサイズ１６６に「リサイズ（サイズ変更）」又は「リスケール（サイズ再調整）」する要求を表し、リサイズの程度は変形される量の関数である。圧搾は現在の表示サイズをより小さいサイズにリサイズすることを示すことが可能であることに留意すべきである。
【００３２】
ピンチ（摘まむ）
定義：１つ又は複数の小領域の内の影響が及ぼされる小領域の両面に、互いに対して直接的に一直線に揃えられる力のベクトルを加えることにより小領域を操作すること。これは、必ずではないが、一般的には２本指による触覚力を用いて達成される。ピンチ動作は圧搾の特殊なケースである。
例：図８に示されるように、文書をコピー可能なデバイス１７０を考える。「ピンチする」動作１７５を実行することにより、ユーザは次のセットのコピーがステープルで綴じられた形式で排紙されることを希望することを表す。
【００３３】
耳折り（ＤＯＧＥＡＲ：隅を折る）
定義：後に参照されるようにマーカ又は検索位置（例えば、ブックマーク）を示すために、第二の小領域の論理角又はエッジで第一の小領域を折り畳むことにより、第二の小領域を変形すること。
例：図９に示されるように、多数ページから成る文書から複数ページのサブセットを表示するデバイス１８０を考える。デバイス１８０の右上隅１８５を「耳折りする」ことにより、ユーザは現在表示されているページ（単数又は複数）に関してブックマークを希望することを表す。
【００３４】
捻じる
定義：或る中心軸回りに非ゼロ差だけ互いからオフセットされた２つの反対方向に回転する力を加えることにより、デバイスの１つ又は複数の小領域を変形すること。
例：図１０に示されるように、時間を経る内にそのパフォーマンス（性能）が或る点で劣化する（ディスクが断片化される、メモリが不要部分の整理(garbage-collection)を必要とする等）デバイス１９０を考える。「捻じる」ジェスチャー１９５を実行することで、ユーザはそのデバイスが例えば不要部分の整理を実行すること、「それ自体を絞り出す」ことを希望することを表す。
【００３５】
レリーフマップ（立体模型）の作成（ＲＥＬＩＥＦ−ＭＡＰ）
定義：空間変形及び材料の追加／除去の何れかの方法でデバイスの１つ又は複数の小領域を高くする及び／又は低くすることにより、小領域を変形する。
例：図１１に示されるように、１頁及び２頁の何れかのフォーマットで文書を表示可能なデバイス２００を考える。そのデバイスが単一ページ２０６を表示している間に、デバイスの中心軸に関して垂直な凹みを形成することによりユーザがデバイスに「切れ目をつける」と、デバイス２００はページ２０７及び２０８の２頁フォーマットによる文書の表示を要求する形態素を解釈する。
【００３６】
切り裂く（ＲＩＰ）
定義：デバイスからデバイスの１つ又は複数の小領域を部分的に又は完全に切り離すように力のベクトルを加えることによる空間的な不連続性の導入により、小領域を変形すること。
例：図１２に示されるように、その情報の一部又は全部をコピーすることが可能なデバイス２１０を考える。ユーザが１つ又は複数の小領域を移動させる「切り裂く」ジェスチャー２１５を実行すると、デバイス２１０は現在選択されているデータセットを小領域２１６及び２１７上にコピーする。
【００３７】
穿孔する（ＰＥＲＦＯＲＡＴＥ）
定義：デバイスに穴が導入される（一時的又は恒久に）ようなデバイスの１つ又は複数の小領域の空間連結に変化をもたらす方法により、小領域を変形すること。
例：図１３に示されるように、メッセージをデバイスネットワークの様々な装置間をルーティングするために使用され、またメッセージの経路を表す線２２２によりユーザに対してこの機能性を表示するデバイス２２０を考える。ユーザが指又はオブジェクト２２４でこれらの経路２２２の内の１つに穴をもたらすようにデバイス２２０を穿孔すると、システムはその経路に沿ってのメッセージのルーティングを停止する。
【００３８】
類似性
定義：或る予め定義された他のオブジェクトを表すように既に構成されているデバイスの１つ又は複数の小領域を変形する。通常、この方法で操作される場合、デバイスは現実のオブジェクトの動きと一致するように動作する。
例：図１４に示されるように、テキストからのスピーチ(text-to-speech)及び音声入力能力を有し、解剖学的に正確な人間の頭部の形状でユーザに提示されるデバイス２３０を考える。ユーザがその人間の頭部の唇２３２を開くと、内部センサが唇の開口を検知し、テキストからのスピーチ能力を起動する。
【００３９】
３次元マップ
定義：センサメッシュが外部オブジェクトのサイズ及び形状を同時に決定することを可能にするために外部オブジェクトの周りにモールド形成されることが可能なデバイスのモーフィングである。可能な外部オブジェクトの範囲は広いが、デバイスの固い内部ハウジングのサイズ及び外部ハウジングのモールド形成可能な材料の体積により制限される。このシステムにおいて、デバイスはモールド形成可能な材料の内部表面から外部エッジの材料の量を正確に検知する（例：水中のソナー（水中探知機）に似た超音波測深を介す）能力を有し、従ってモールド形成された外枠の形状のための精密な電子モデルを決定する。
例：図１５に示されるように、外部オブジェクト（例えば、コグ（ネジ）２４２）の表面の周りにモールド形成可能な材料２４４が付着されたデバイスを押すことにより、デバイス２４０は自動的にそのオブジェクトのＣＡＤモデルを生成し、それをメモリに格納することができる。
【００４０】
擬態
定義：結果として生じる形態構造が既知の現実のオブジェクトと似るようにデバイスの１つ又は複数の小領域を変形し、また小領域のこの関連によりデバイスがそれと似たオブジェクトと一致するように動作する。
例：図１６に示されるように、テキストからのスピーチ及び音声入力能力を持つコンピュータを有し、モールド形成可能なパテ又は粘土の軟度及び可塑性を有する不恰好な小塊としてユーザに提示されるデバイス２５０を考える。ユーザがデバイス２５０の一部を耳に似るように形作ることにより「擬態」動作を実行すると、音声入力能力が作動する。
【００４１】
物理的操作に基づく形態素に加えて、相対又は絶対空間位置決定の程度の変化に基づく様々な形態素が本発明の実施に役立つように考慮される。考えられる様々な空間形態素の理解を助けるために、図１７は形態素の利用を可能にするために必要とされる空間位置の認識の増加する順、及び特定のクラスのデバイスに適用される形態素を形成するため又は解釈するために必要とされる利用可能なセンシームタプルの複雑さの増加する順に配置される選択された空間形態素を表す。可能な空間操作の定義及び図１に関連して説明されたのと同様のデバイス（但し当然、より複雑でありうる）の操作により呼び出される典型的な機能が、単純な空間センシームをサポートするための基本的な相対位置決め機能性のみを有するデバイスから始まり、地球上の如何なる場所でも数センチ範囲内に確実に位置決め可能なデバイスまで示される。
【００４２】
平行移動（デバイスに関する）
定義：空間内の一位置から他の位置へのデバイスの質量の中心の直線移動である。
例：従来のグラフィカルユーザインターフェースにおいて、マウスにより制御された図の「スライダ」に代って使用される。物理的にリストの僅かな部分のみ表示可能である場合に、平行移動形態素に応じて表示ウィンドウを「スクロール」することにより、大きなリストも検索することが可能である。
【００４３】
振り動かす
定義：純粋な平行移動が無視される程の、対向する方向への繰り返し運動によりデバイスの全ての小領域を空間的に平行移動すること。
例：図１８に示されるように、計算装置として使用されるデバイス２６０を考える。ユーザが「振り動かす」ジェスチャーを実行すると、デバイス２６０はその累算器をクリアする。
【００４４】
回転（ＲＥＶＯＬＶＥ）
定義：デバイスの内部の一点回りに、また如何なる任意の平面回りに小領域を回転することにより、デバイスの全ての小領域を回転すること。
例：図１９に示されるように、一連のＣＡＴ（Ｘ線体軸断層写真）スキャンからの医療データ等の体積測定データの画像形成スライスを表示するデバイス２７０を考える。デバイス２７０の内部にあたる中心点２７２回りにデバイスを新たな位置２７４へ回転することにより、画像形成スライスを指定する平面がそれに応じて変更される。
【００４５】
傾ける
定義：回転力の１つ又は複数の成分が重力方向であり、回転量が約−１８０度と＋１８０度との間であるように小領域を回転することにより、デバイスの１つ又は複数の小領域を回転すること。
例：ユーザに面している面に一連のアニメーションからフレームを表示するデバイスを考える。ガスペダルの操作に類似して、デバイスが向こう側へ傾けられるとアニメーションの速度が増し、ユーザ側に傾けられるとアニメーション速度は遅くなる。
【００４６】
軽く振る（ＦＬＩＣＫ）
定義：前方への傾け動作が、対向する戻りの傾け動作により直ちに追随されること。
例：図２０に示されるように、他のデバイスにデータの或るサブセットを送信することが可能なデバイス２８０を考える。ユーザが素早く矢印２８２の方向へ傾け、次に矢印２８２に沿って反対方向に傾けることにより「軽く振る」ジェスチャーを実行すると、デバイス２８０は円弧ジェスチャーにより示されたデバイス（図示せず）に向けて送信を実行する。
【００４７】
スピン
定義：回転面がデバイスの表面の１つの面であるように、デバイスの内部の一点回りにデバイスの１つ又は複数の小領域を回転することにより、小領域を回転すること。スピンは回転の特殊な例である。
例：図２１に示されるように、ビデオシーケンスからビデオフレーム２９５を表示することが可能なデバイス２９０を考える。ユーザが反時計回り方向に「スピン」ジェスチャーを実行すると、デバイスはそのシーケンスの前のフレームを表示し、その動作が時計回り方向（矢印２９２）に実行されると、デバイス２９０はそのシーケンスの後のフレーム２９６（フィルムストリップ２９４により表される）を表示する。
【００４８】
配向（オリエント：ＯＲＩＥＮＴ）
定義：回転面がデバイスの表面の１つの面であるように、そして回転量が９０度の倍数である（即ち、デバイスをコンパス主要方位点間で回転する）ように、デバイスの中心回りにデバイスの１つ又は複数の小領域を回転することにより小領域を回転すること。配向はスピンの特殊な例、即ち回転の特殊な例であると考えられうる。
例：図２２に示されるように、文書を１頁、２頁、及び４頁のフォーマット（「１頁表示」、「２頁表示」又は「４頁表示」）の何れかで表示可能なデバイス３００を考える。ユーザが時計回り方向（矢印３０２）への配向のジェスチャーを実行すると、デバイス３００は表示する文書頁数を１頁３０５から２頁３０６及び３０７に増加する。更なる配向のジェスチャーは、表示頁数を増加させるであろう。反時計回り方向に実行されると、デバイス３００は表示している頁数を減少させる。
【００４９】
向ける
定義：第一のセットの小領域が最早一番底ではなく、第二の別なセットの小領域が第一の小領域の前の位置を引き継ぐようにデバイスの１つ又は複数の小領域を操作すること。
例：図２３に示されるように、文書を表示し、ユーザがそれらの文書を編集可能なデバイス３１０を考える。更に、そのデバイスがユーザに６つの異なる面上に６つの異なる文書が表示される立方体の形状で提示される例を考える。ユーザが特定の面を一番上にすることにより「向ける」ジェスチャーを実行すると、この時点で一番上の面の文書がユーザにより編集可能になり、最早一番上の面でない文書は編集可能でなくなる。
【００５０】
持上げる
定義：デバイスに作用している現在の重力に反する方向への、デバイスの質量の中心の移動である。
例：コンピュータのファイルシステムの１つ上の階層を表示するようにデバイスに命令する。
【００５１】
左右に回転する（ＰＡＮ）
定義：実質的に一定の高さでユーザの体の正面に平行して移動されるような、デバイスへの平行移動の適用である。
例：スプレッドシートの非常に小さな１つのセルのみが表示可能な小型ディスプレイを有するデバイス上でスプレッドシートを眺める。デバイスを左右に回転することにより、回転の速度又は量に従って現在の行の内容が順に表示されることが可能である。しかし、もし左右に回転中に現在の向きから外れるように回転されると、新しい１つの行が選択されうる。行の選択は、元の向きからの逸脱度に依存しうる。
【００５２】
押す−引く（ＰＵＳＨ−ＰＵＬＬ）
定義：デバイスの中心からユーザの体の垂直軸への投射線に沿って移動されるように空間的に平行移動することにより、デバイスの１つ又は複数の小領域を操作すること。
例：音声出力能力を有するデバイスを考える。デバイスが体から遠くへ「押される」と、その音声出力レベルが上がる。デバイスが体の方向へ「引かれる」と、そのレベルは下がる。
【００５３】
強打する
定義：小領域が外部オブジェクトに接触するか又は外部オブジェクトにより接触されて同等且つ反対方向の力を引き起こすように、デバイスの１つ又は複数の小領域に対して加速的な又は非加速的な力を加えること。
例：図２４に示されるように、長く且つ予測不可能なデータベース検索を実行することが可能なデバイス３２０を考える。ユーザが強打するジェスチャー（例えば、テーブル３２２に）を実行すると、現在の検索は中断される。
【００５４】
配向（環境に関する）
定義：２つの小領域の其々の中心点の間に引かれた線が周囲環境に関するデバイスの配向を変更するように、デバイスの２つの小領域を操作すること。
例：機械部品のＣＡＤ図面を可動（モバイル）デバイスのディスプレイ上に３次元で表示する。デバイスの配向が変化すると、表示される画像の視角及び位置も変化する。
【００５５】
旋回する
定義：デバイスの物理的境界の外に位置する或る点回りに、また如何なる任意の軸回りに１つ又は複数の小領域及び／又はデバイスの質量の中心を回転することにより、小領域を回転すること。
例：図２５に示されるように、情報を得るためにWorld Wide Web（ワールドワイドウェブ）等のネットワークデータベースを検索することが可能なデバイス３３０を考える。ユーザが「旋回」ジェスチャーを実行すると、そのような検索が開始される。回転３３４の半径３３２は検索の幅を指定し、より大きな円はより広い検索を指定する。ジェスチャーの速度は検索に課せられる制限時間を指定し、ジェスチャーが速ければ速いほど、検索はより粗略になる。
【００５６】
ユーザに関する旋回
定義：ユーザの身体機能の近くに位置し、デバイスの物理的境界の外に位置する或る点に関して１つ又は複数の小領域及び／又はデバイスの質量の中心を回転することにより小領域を回転すること。これは、旋回の特殊な例である。
例：図２６に示されるように、音声出力を実行することが可能なデバイス３４０を考える。ユーザの耳３４５に関して旋回ジェスチャー（矢印３４４により示される方向へ）を実行すると、音声出力が起動される。
【００５７】
室内での移動
定義：取り囲まれた部屋の中に見出される基準点に相対するデバイスの３次元位置の局所的検知である。測定された位置に関する差異は、動作をトリガするために使用される。
例：ユーザが室内におけるデバイスの現在の位置に基づきファイルを保存及び復元することを可能にする仮想ファイリングシステムである。ファイルを保存するために、ユーザはファイルの内容について十分に考慮し、次にそれに最も簡単に関連付けられるであろう室内の位置迄歩いて行く。ファイルを復元する場合は、ユーザは同一思考プロセスを用いて、そのファイルに関連付けた位置に戻る。そうすることにより、その位置に関連付けられたファイルが表示され、ユーザは探していたファイルをその時点で選択することが可能になるであろう。人間の記憶は、或る抽象的な情報データ構造における情報よりも寧ろ空間的に組織化された情報を思い出すのに非常に優れているため、このシステムは有効である。
【００５８】
大きく離れたサイト間の移動
定義：デバイスの１つ又は複数の小領域の検知された絶対空間位置が変更されるように、小領域を操作すること。
例：クライアント情報のデータベースから情報を表示することが可能なデバイスを考える。デバイスが異なるクライアントサイトへ移動されると、デバイスは最も近くのクライアントサイト向けの情報を表示するためにその表示を自動的に更新する。
【００５９】
物理的操作又は空間位置決めに基づく形態素に加えて、感知された環境条件に基づく様々な形態素が本発明の実施に有効であると考えられる。考えられる様々な環境形態素の理解を助けるために、図２７は幾つかの一般に感知された環境上のカテゴリに必要とされるセンサの複雑さが増加する順に大まかに配置された選択された環境形態素を示す。提示される各カテゴリごとに、図１に関連して説明されたようなデバイスによりサポート可能な幾つかの選択された感知システムが示される。
【００６０】
光
定義：デバイスの１つ又は複数の小領域に投じられる光の量が変化するように、小領域を操作する。
例：ノートを取るために講堂で使用されるデバイスを考える。室内照明が点灯されると、光センサがこれを検知し、エネルギを浪費しないためにバックライトを弱くする。室内照明が消される（例えば、スライドショー（上映）の最中）と、光センサはこれを検知し、可視性を上げるためにバックライトを強くする。
光センサは、しきい値による二分光検知器から照明パターン検知器、完全画像形成システムにまでおよびうる。先進の技術は、オブジェクト又は人を識別するための画像分析及び認識を含むことが可能である。
【００６１】
熱
定義：デバイスの１つ又は複数の小領域に加えられる熱量が変化するように、小領域を操作する。
例：テキストを入力するためのスタイラスを有するポータブルコンピュータを考える。コンピュータの背面に沿って熱変化断面（熱プロファイル）を見ることにより、コンピュータはそのコンピュータが左手で、右手で、両手で、或いはどちらの手でもないもので保持されているかを検知し、そのインターフェースをその結果に応じて更新することが可能である。
サーマル（熱）センサは、単純な温度センサから洗練された示差熱マッパー及びサーマルイメジャー（熱画像形成装置）にまで及びうる。
【００６２】
電磁気
定義：デバイスの１つ又は複数の小領域に加えられる電磁スペクトルが変化するように、小領域を操作する。
例：電波スペクトルを分析することにより、デバイスはその絶対空間位置に関する推定を導き出すことが可能であり、またそれをデバイスの機能性を変更するために使用できる。
電磁検知は磁気コンパス、電波探知、又はＧＰＳの信号検知を含むことが可能である。より先進の技術は、利用可能な電波信号に基づき概略的に位置を決定するような電磁スペクトル分析及び解釈を含むことが可能である。
【００６３】
振動
定義：デバイスの１つ又は複数の小領域を振動により操作する。
例：テキスト情報を表示するデバイスを考える。ユーザがそのデバイスをバス（乗物）に持ち込むと、デバイスにより感知される周囲の振動レベルが変化し、デバイスはユーザがその振動に適応するのを助けるために、表示されたテキストサイズを大きくする。
このクラスの環境形態素は断続的な接触の検知、低周波の雑音、又は音響レベルの検知を含むことが可能である。より優れたプロセッサ能力を必要とするより先進の技術は、最大周波数識別、音響周波数のスペクトル分析（デバイスが、例えば背景の騒音とスピーチとを区別することを可能にする）、又はデバイスの周辺でのスピーチに基づく個人の識別さえも含む。
【００６４】
物理的操作、空間位置又は感知された環境要素に基づく形態素に加えて、多数の相互作用する（対話型）デバイス同士間の協同作業に基づく様々な形態素が本発明の実施に有効であると考えられる。様々な考えられる空間形態素の理解を助けるために、図２８は可能な物理的接触のレベルが増加する順、及び特定クラスのデバイスに適用される形態素を形成するため又は解釈するために必要とされる利用可能なセンシームタプルの複雑さが増加する順に、マルチデバイス形態素を表す。可能なマルチデバイス操作の定義及び図１に関連して説明されたデバイスと同様のデバイス（但し、当然より複雑でありうる）のマルチデバイス操作により呼び出される典型的な機能が、単純な空間センシームをサポートするための基本的なエッジ変形機能性のみを有するデバイスから始まり、互いに覆われうる複雑に変形可能、又は埋設可能なデバイスまで提示される。
【００６５】
接触（タッチ）
定義：デバイスの１つ又は複数の小領域が第二のデバイスの小領域と如何なる配列及び如何なる程度であれ物理的に接触するように、小領域を移動する。
例：図２９に示されるように、第一のコンピュータがデータベースを含み、第二のコンピュータがＩＲＤＡポートを含む、２台のポータブルコンピュータ３５０及び３５１を考える。ユーザが第一のコンピュータ３５０を第二のコンピュータ３５１に接触させると、データベースが第二のコンピュータのポートを介して送信される。
【００６６】
突き合わせ
定義：デバイスの１つ又は複数の小領域が第二のデバイスの１つ又は複数の小領域との物理的接触状態になるように小領域を移動して、第一のデバイスの小領域（単数又は複数）及び第二のデバイスの小領域（単数又は複数）が１つ又は複数のエッジ（縁）に沿って一列に整列される。或いは、そのように配置された２つのデバイスを取り上げて、その整列が解除される。
例：図３０に示されるように、同一の基本データベースの異なるバージョンを有する複数のデバイス３６０、３６１及び３６２を考える。ユーザが第一のデバイス３６０を第二のデバイス３６１と突き合わせ、続いて突き合わされた第一及び第二のデバイスに第三のデバイス３６２を突き合わせると、それらのデータベースは合致される（同期がとられる）。
【００６７】
スタック
定義：デバイスの１つ又は複数の小領域が第二のデバイスの小領域との物理的接触状態になるように小領域を移動して、第一のデバイスが第二のデバイスの上に、但し物理的に第二のデバイスに隣接して位置される。或いは、そのように配置された２つのデバイスを取り上げ、その配列を解除する（即ち、取り降ろす）。
例：図３１に示されるように、各デバイスが長い一連のビデオ画像からビデオのフレームを表示する１セットのデバイス３７０、３７１及び３７２を考える。デバイスがスタックされると、スタックの順番がビデオの編集の順序を指定し、単一の複合ビデオがこの時点で作成される。
【００６８】
タイリング（ＴＩＬＥ）
定義：デバイスの１つ又は複数の小領域が第二のデバイスの小領域と物理的に接触するように小領域を移動して、第一のデバイス及び第二のデバイスが継目のない単一の空間ユニットを形成する。或いはそのように配列された２つのデバイスを取り上げ、その配列を解除する。タイルは突き合わせの特殊な例である。
例：図３２に示されるように、各デバイスが大きな写真の一部を独立して表示することが可能である１セットのデバイス３８０、３８１、３８２及び３８３を考える。デバイスがタイル状に並べられると、各デバイスはタイル状のグリッド内の現在の相対位置に適した写真の部分を表示する。
【００６９】
相対的位置合わせ
定義：デバイス同士が接触せずにデバイスの１つ又は複数の小領域が１つ又は複数の他のデバイスと特定の空間関係で結び付くように、小領域を移動する。
例：図３３に示されるように、複数頁から成る文書を表示している１セットのデバイス３９０、３９１、３９２及び３９３を考える。その時点で最も左側に位置される何れかのデバイス（デバイス３９０）は目次を表示し、その時点で最も右側に位置される何れかのデバイス（デバイス３９３）はインデックスを表示し、その他のデバイスは其々の位置に応じて頁を表示する。異なるデバイスは異なる表示能力を有することが可能であるため、あちこちに移動することで文書表示を変更することができる。例えば、もし複数デバイスの内の１つのみがカラーディスプレイを有する場合に、それが第二の位置から第三の位置へ移動されると、（ａ）それまで第三の位置にあり２番目の頁を表示していたデバイスが、今度は１番目の頁を表示し、（ｂ）それまで１番目の頁を表示していたカラーディスプレイが、今度は２番目の頁をカラーで表示する。
【００７０】
包み込み／はめ込み
定義：デバイスの１つ又は複数の小領域が空間的に閉塞される、又は第二のデバイスの或る部分により空間的に閉塞されるように小領域を操作する。
例：図３４に示されるように、電子メールのフィルタリングをサポートするためのインフラストラクチャ（基礎構造）を含む第一のデバイス４００を考える。特定の電子メールフィルタを実行する第二のセットのデバイス４０１と４０２を考える。ユーザがデバイス４０１（又は４０２）を第一のデバイス４００に物理的にはめ込み、そのことにより第一のデバイス４００が第二のデバイス４０１（又は４０２）を包み込むと、第二のデバイスによりサポートされる特定の電子メールフィルタが作動する。
【００７１】
当業者は理解するであろうように、物理的操作、空間位置、環境条件又は多数の相互作用するデバイスに基づく上述の如何なる形態素の組み合わせも、形態素「センテンス（文）」への関与により拡張されうる。センテンスは一時的に解体可能な１つ又は複数の形態素のシーケンスとして定義される。通常、センテンス内の形態素を区別するためには約１／１０秒乃至２〜３秒で十分である。当然、ある状況下では不定の時間が経過しうる。センテンスレベルは、形態素シーケンスの適切な選択、及び例えば能動的（動詞のような）形態素、命名（名詞）形態素又はコネクタ（接続詞）の使用を支配する推論的規則による物理的操作文法の定義を可能にする。センテンスにおける単語の位置及び関係がそのセンテンスの意味を画定するように（例えば、「horse chestnut（セイヨウトチノキ）」が「chestnut horse（赤茶色の馬）」と同一でないように）、同様に操作センテンスにおける形態素の位置及び関係はそのセンテンスの意味を画定する。例えば、通信モードにおいて軽く振る動作に続く強打は「データを送信し、ローカルコピーを削除せよ」を意味することが可能な一方、強打に続く軽く振る動作は「デバイスの電源を立ち上げ、データを送信せよ」を意味することが可能である。他の状況においては、軽く振る動作や強打は何か全く別なことを意味することが可能である。形態素センテンスの構成をよりよく理解するために、以下の例が説明される。
【００７２】
データ転送センテンス
他のデバイスに、情報の一部又は全部を送信することが可能なデバイスを考える。更に、この送信は非暗号化及び暗号化（セキュリティを高めるため）の何れの状態でも成されることが可能である。また更に、テキストと図形とから成る文書の送信は、図形を含むこと又は省くこと（時間を節約するために）が可能である。ユーザが「文書Ａの情報を暗号化し、図形を省いてマシンＢに送信せよ」というコマンドを実行すると仮定する。すると、これをサポートするジェスチャーシーケンス（形態素センテンス）は次のようになる。
押下：ユーザはＡの表示された表現を押し、次の処理のためにＡが選択されるべきことを示す。
軽く振る：ユーザはデバイスＢの方向にデバイスを軽く振り、処理はＢへの送信であることを示す。
折り畳む：ユーザはデバイスの上から１／４を下から３／４の部分の上に折り畳み、送信が暗号化されるべきことを示す。
捻じる：ユーザはデバイスをその中心軸回りに捻じり、データが「絞り出される」、即ち図形が省かれるべきことを示す。
圧搾：ユーザはデバイスを圧搾し、その動作はその処理が続行されるべきことを確認していることを示す。
これらのジェスチャーの何れも単独では、行為を実行することにはならず、一時的に分離される形態素の「アンサンブル（集団）」が、完全なアクションを形成するように解釈されねばならないことに留意するべきである。
【００７３】
図形変更センテンス
ユーザ操作のために幾何学形状を表示するデバイスを考える。更に、サポートされる操作の１つは、形状をリサイズ（又はリスケール）することである。また更に、このリサイズがエイリアシングされる（ぎざぎざになって表示される）かエイリアシング除去される（エッジが滑らかにされる）かの何れかで実行されうると仮定する。ユーザが「エイリアシング除去モードで、形状ＡをＸ軸に関してのみ１２０％にリサイズせよ」というコマンドを実行したいと仮定する。すると、これをサポートする形態素センテンスは次のようになるであろう。
押下：ユーザはＡの表示された表現を押し、次の処理のためにＡが選択されるべきことを示す。
引張る：ユーザはデバイスの或る部分を引張り、処理がリサイズであることを示す。ユーザが引張り始めると、状況ディスプレイの一部は「１００」を表示する。ユーザは、状況ディスプレイが「１２０」と表示するまで引張り続ける。
レリーフマップ作成：ユーザは水平に凹みを形成することによりディスプレイに「切れ目を付け」、処理が水平（Ｘ）軸に関してのみ実行されるべきことを示す。
押下：デバイスの別の場所に親指による円状のストロークが成され、エイリアシング除去（エッジを滑らかにする）が実行されるべきであることを示す。
【００７４】
データベース表示センテンス
電話番号リスト、住所リスト及びカレンダー等の様々な個人情報データベースを保持するデバイスを考える。ユーザが、それらのデータベースの中の最も適したものが表示されることを希望すると仮定する。すると、これをサポートするジェスチャーシーケンスは次のようになるであろう。
空間位置：ユーザは、デバイスが電話、住所録、及び冷蔵庫（ファミリーカレンダーが飾られている）の内の何れか適したものに空間的に最も近くなるようにデバイスを持って行く。
押下：ユーザは、処理を起動させるためにデバイスに触れる。
この時点でデバイスは、その位置に適した個人情報を表示する。
【００７５】
データベース検索センテンス
前述のデータベース表示センテンスの例を拡張するために、カレンダーデータベースを保有する２つのコンピュータを考える。もしユーザがそれらのカレンダーの同期をとりたい場合、これをサポートするための適切なジェスチャーシーケンスは次のようになるであろう。
圧搾：ユーザは、デバイスのジェスチャー認識能力を起動するためにデバイスを圧搾する。
旋回：ユーザはデバイスを、他方のデバイスの表面回りに３回旋回させ、次の３週間分のデータのみを一致させたい旨を示す。
突き合わせる：ユーザはデバイスのエッジをカレンダーのエッジに突き合わせ、２つのデバイス間で内容を「合致」させたいことを意味する。
【００７６】
プリンタ／複写機制御センテンス
文書のペーパーコピーを作成可能なデバイスを考える。ユーザが、そのようなデバイスに文書Ａを次に大きいサイズに拡大された両面コピーをステープルで留められた状態で生成することを指示したいと仮定する。すると、これをサポートするジェスチャーシーケンスは次のようになるであろう。
押下：ユーザはＡの表示された表現を押し、次の処理のためにＡが選択されるべきことを示す。
切り裂く：ユーザはデバイスの一部に空間的な不連続性を導入し、次の処理がコピー（データの或る部分を「持ち去る」）であるべきことを示す。
摘まむ：ユーザはデバイスの上部左隅を摘まみ、コピーがステープルで留められるべきことを示す。
圧搾：ユーザはデバイスの前面及び背面を押し、コピーが両面であるべきことを示す。
引張る：ユーザはデバイスを引張り、コピーが次に大きいサイズに拡大されるべきことを示す。
向ける：デバイスは通常底部に排紙装置を有し、ユーザがふとしたことからコピーを作成してしまうことを予防する。排紙装置が側面になるようにデバイスを向けることにより、コピー処理は開始される。
【００７７】
光ベースの制御センテンス
文書を表示することが可能なデバイスを考える。ユーザが列車内で腰掛けて文書を扱っており、列車がトンネルに入ったら文書がバックライトで表示され、列車が凸凹の線路上を揺れながら走ると、文書がより大きなフォントで表示されることをユーザが望むと仮定する。すると、これをサポートするジェスチャーシーケンスは次のようになるであろう。
圧搾：ユーザがデバイスを圧搾し、光の低下がバックライトにより補われるべきことを示す。
光：電車がトンネルに入ると、光ジェスチャーが成されデバイスがバックライトを点灯する。
強打：ユーザが手のひらでデバイスを勢いよく叩き、読み辛い文書を調整するためにユーザが望む選択がフォントサイズを大きくすることであることを示す。
振動：列車が橋を越えると、振動のジェスチャーが感知される。この形態素センテンスにおけるこの振動形態素の位置（先行する強打動作の後である）のために、デバイスは表示されるテキストのフォントサイズをこの時点で大きくする。
光：ユーザがデバイスをスーツケースにしまい、光ジェスチャーを生じさせる。この状況（その前に圧搾しない）では、光ジェスチャーはデバイスにディスプレイの電源を切断させる。
【００７８】
本発明に一致するデバイスの有用性及び構成をよりよく理解するために、デバイスの幾つかの例がここで説明される。
【００７９】
圧搾及び傾け制御を有するポータブルコンピュータ
変形可能な圧力に感応するエッジング５０４を取り付けられることが可能な手に持てるポータブルコンピュータ５００（例えば、３Ｃｏｍ（登録商標）のＰａｌｍＰｉｌｏｔ（登録商標））が図３５及び図３６に概略的に示される。コンピュータ５００は、ディスプレイ５０３上にユーザが見ることが可能な氏名−住所入力フィールドを提供する氏名及び住所のソフトウェアアプリケーションをサポートする。この実施の形態において、ユーザはコンピュータ５００の変形可能な、圧力に感応するエッジング５０４を圧搾する（圧搾矢印５０７のように）ことが可能である。それに応じて、氏名及び住所のソフトウェアアプリケーションは、名簿の「Ａ」から「Ｚ」までのエントリー（登録名）に亘ってゆっくりインクリメントする（スクロールする）ことにより表示５０３を動かす。ユーザがエッジング５０４を再度圧搾すると、ソフトウェアアプリケーションはスクロールする動きを停止する。スクロールの機能性は、コンピュータの動きが従来の回動可能な住所録を真似ることを可能にする傾きセンサの使用により更に高められる。もしコンピュータ５００が或る人が通常それを保持する４５度の角度から離れるように傾けられると、スクロールの速度が加速される。このアプリケーションでは、コンピュータ５００がユーザに向かって（図３６の矢印５０６により示される）傾けられるほど、「Ｚ」方向へのスクロールが速くなる。しかし、もしユーザがコンピュータ５００を元の４５度位置を越えて戻すように傾けられると（図３６の矢印５０５により示される）、動画は傾きの大きさに関連する速度で逆方向に動くであろう。この方法により、ユーザが片手のみを用いて極自然に長いリスト内から項目を検索することが可能である。
【００８０】
図３７に概略的に示される代替モードでは、スクロール速度は圧力により完全に制御されることが可能である。圧搾圧力（矢印５３７）が大きければ大きいほど、リストは速くスクロールする。加えられる圧力の解放は、スクロールを停止させる。この代替のユーザインターフェース方法では、適用される傾き（直交する傾き矢印５３０及び５３２により示される）はリストを通してのスクロールの方向を変更するために使用されることが可能であり、ユーザがディスプレイ５０３では水平方向にも垂直方向にも全体を見ることが不可能であるような大きな２次元データセット（データ面５２０として概略的に示される）の一部を検索することを可能にする。データ面５２０が眺められることが可能な窓であるかのように、コンピュータ５００のディスプレイ５０３を単に傾けることにより、データ面の如何なる特定部分（例えば、データサブセット５２４）も見ることが可能である。理解されるように、前述の両モードにおいて、スクロール速度、特定の中立傾き角度及びスクロール変更を開始するために必要とされる圧力は、特定のユーザに合わせて調整されることが可能である。
【００８１】
利き手検知を伴うポータブルコンピュータ
図３８及び３９に概略的に示される手に持つことが可能なＷｉｎｄｏｗｓ（登録商標）版ＣＥ（大衆消費電子製品）クラスのコンピュータ５５０（即ち、カシオ（Ｃａｓｓｉｏ、登録商標）のカシオピア（Ｃａｓｓｉｏｐｉａ、登録商標））のユーザインターフェースを実現した従来のキーボード５５１を拡張するために圧力センサが追加された。この実施の形態では、ユーザの利き手がコンピュータ５５０の右側及び左側の背面エッジに位置された圧力センサを使用することにより判断された。ユーザ研究により、右側と左側との圧力の差がユーザの利き手の直接的な示唆をもたらすことが確認されている。図３８と３９に其々示されるように、利き手はフォーマットされたテキスト５５４を左側（図３８）又は右側（図３９）に位置調整するために使用され、それによりディスプレイ５５３上に電子注釈入力ペンでテキストを書込むために使用されるようにより広い空間５５５をもたらした。
【００８２】
図３５〜３７により示された本発明の実施の形態及び図３８と３９に示された前述の実施の形態の両方のために、海面質（スポンジ）の、弾性のある、又は他の変形可能な材料の材料変形が測定されねばならない。材料変形を測定するために、画像形成又は流体容積変化に基づく技法を含む様々な技法が使用されうるが、１つの特に有効な技法は圧力変換器の使用に基づくものである。商用的に入手可能なセンサは、圧力変化を電気特性における変化に変換することにより圧力（材料変形を暗示する）を測定する。例えば、圧力に応じて抵抗を変化させる安価なセンサは、紙の薄さのセンサ及び容易に曲げられるセンサストリップを含む様々な形状及びサイズで実現されることが可能である。この種のセンサは、ジェスチャーＵＩが必要とするであろう如何なる特定形状又は型にもカストマイズされ（個別要求に応じ）うる。センサは、圧力を電位における変化としてモデル化する分圧器ネットワークに一般的に位置されるため、抵抗における変化は通常圧力に一次的に（線形に）関連される。実用的な回路のために、最低圧力から最高圧力への値の変化が有効な範囲に亘るように、結果として生じる信号は増幅され、バッファリング（緩衝）され、そして変換される。変更された信号はこの時点で、圧力のデジタル表現を作り出すためにアナログ−デジタル変換器（ＡＤＣ）に送り込まれる。大半の用途には通常、８ビットＡＤＣが使用されうるが、もし圧力変化に対するより優れた感度が必要とされるならば、より高度な分解能のＡＤＣ（例えば、１６ビットＡＤＣ）を使用することが可能である。理解されるように、ＡＤＣはプロセッサのアドレス空間に周辺装置としてメモリマップされること、或いはこのシステムから利益を受けることが可能な既存のコンピュータに、改造された圧力インターフェースとして代わりに供給されることが可能である。ＲＳ２３２接続がポータブルコンピュータ上でほぼ全世界的に使用可能なインターフェースであるため、１つの方法はＡＤＣの並列出力をＵＡＲＴ（万能非同期受信送信機）等の並直列変換回路を使用して直列ＲＳ２３２フレームへ変換させ、次にＲＳ２３２規格により特定されるように信号をレベルシフト及びバッファリングすることである。直列インターフェースのコンピュータ端末では、その出力がプロセッサにより読み出し可能なもう１つのレベルシフター及びＵＡＲＴが直列−並列変換を実行する。
【００８３】
図４０に関連して説明されるように、ワーキング（実用）システムの実現に際して、多くの入出力タスクを単一のチップに結合するためにＡＤＣが組み込まれたマイクロコントローラ５６４（シグネティックス（Signetics)８７ｃ７５２）が、レベルシフター５６６（ＭＡＸ３２２３）と組み合せて使用されることが可能である。このアプローチは、入力信号の知的処理がソフトウェアにより可能であるという利点を有する。傾き測定は、アナログ信号をマイクロコントローラ５６４に供給するために緩衝増幅器５６２に接続された傾きセンサ５６７によりもたらされる。また圧力測定はシリアルリンクを通る際のプロトコル内で符号化されうる。この特定のマイクロコントローラ５６４は５つのＡＤＣ入力を有するが、８本のデジタル制御線を利用することにより、圧力センサ５６５による最大８つまでの圧力点を測定するために、１つのＡＤＣ入力及び１つの緩衝増幅器５６１のみを使用することが可能である。これは、一度にただ１つのセンサを選択し、ＡＤＣへの単一入力を使用して各センサの読取りを行うように制御線を使用することにより実現される。８つのセンサが選択された後に、８つの読取り値がメモリに読み込まれる。マイクロコントローラは、ホストコンピュータ５６９との通信のために必要とされるよりもはるかに速い速度で測定及びアナログ−デジタル変換を実行することができるため、本設計は実践的である。
【００８４】
スクロール又は利き手ベースのソフトウェアアプリケーションのためには、圧力測定を表すのに十分であるように１６のレベルが決定された。ホストコンピュータ５６９への高データスループット（処理能力）を持つために、各測定結果は４つの下位ビットが圧力表示であり、４つの上位ビットがセンサＩＤであるように、ＲＳ２３２フレームの１バイトに符号化された。従って、ＲＳ２３２データの各フレームは完全に自己充足された。当然アドレス空間へのデバイス数を所定の個数に制限するプロトコルは、いつの日かサポートされている個数よりはるかに多くのデバイスを参照することを必要とするアプリケーションが設計されるかもしれないという問題をいずれ有することになるであろう。このプロトコルに関して使用される解決策は、センサＩＤ番号１５をセンサ又は数値を表す任意のバイト数を含むように符号化の意味論を拡張可能な特別値として取っておくことである。説明されたソフトウェアアプリケーションのためには、一般的に用いられるＲＳ２３２のフレームフォーマット（９６００ボーの速度で１開始ビット、パリティなしの８データビット、１終了ビット）が選択された。
【００８５】
実行に際し、ホストコンピュータ５６９は、デバイスの背面に位置しほぼ左半分を占める小領域と、やはりデバイスの背面に位置しほぼ右半分を占める小領域の２つの小領域に作用する現在の圧力に関する情報を利用することにより利き手を決定した。現在の圧力値は、デジタル値０（ゼロ）が圧力無しを表し、例えばデジタル値１５が最大圧力を表すように、アナログからデジタル形式へ変換された。検知回路は次のように進む。
もし（左センサが高く且つ右センサが高い）ならば
ユーザがデバイスを両手で掴んでいると断定せよ
そうではなく、もし（左センサが高く且つ右センサが低い）ならば
ユーザがデバイスを左手のみで掴んでいると断定せよ
そうではなく、もし（左センサが低く且つ右センサが高い）ならば
ユーザがデバイスを右手のみで掴んでいると断定せよ
そうではなく、もし（左センサが低く且つ右センサが低い）ならば
ユーザがデバイスをどちらの手でも掴んでいないと断定せよ
また通信を最適化するために、圧力値はそれらが変化した場合にのみ送信される。圧力センサにおけるジッタ及びエラーを補償するために、センサはもしその値が或る最低しきい値（例えば、０〜１５の値域内の「２」）より大きい場合に単に「高い」と考えられる。
【００８６】
エッジ変形可能ディスプレイをサポートするスキャナ／プリンタ／複写機
スキャナ／プリンタ／複写機デバイス５７０が概略的に図４１に示される。図４１に（そして図４２に、より詳細に）示されるように、デバイス５７０は１枚の紙のような無造作な形状と共に、変形可能エッジ５７２を有するディスプレイ５７４をサポートする。実行に際しては、ユーザは書かれた原稿を走査のためにデバイス５７０に配置することが可能である。走査された文書の電子バージョンがディスプレイ５７４上に表示される（即ち、図４２のテキスト５７５）。変形可能エッジ５７２を矢印５７７により示されるように外方向に引張ることにより、ユーザはデバイス５７０にプリント又はコピーする前に文書をリサイズするように指示することができる。変形可能エッジ５７２の対向する面（矢印５７８）を摘まむことにより、両面にコピーするようにデバイス５７０に更に指示することが可能である。理解されるように、他の様々な形態素がデバイス５７０との対話のための簡単なインターフェースを提供するために使用されることが可能である。
【００８７】
タイリング可能及びスタック可能なポータブルディスプレイ
組み込まれたディスプレイコントローラと従来のディスプレイを実質上含む少なくとも１つの表面とを有する多数の自律的なディスプレイタイルは、本発明の様々な態様の実施に特に有効である。そのようなタイルは、接触、軽く振る、相対的配置又は強打等の様々な形態素に応じて相互接続されることが可能であり、或いは所定の状況においては、実質的にユーザが介入しない形態素入力で実行されることすら可能である。
【００８８】
好都合なことに、タイルの位置決めはそのタイル自体にとっての、そして他のタイルから見たそのタイルのインターフェース特定要素として使用されることが可能である。例えば、各ディスプレイタイルは独立メモリにビデオセグメントを保有することができる。タイルをシャッフル（混ぜる）即ち再編成することは、ユーザが物理的に操作可能なビデオ編集システムに影響を及ぼすようにビデオセグメントのシーケンスを物理的に操作することを可能にする。カードアナロジー（類似）を使用することにより、タイルは文書、文書内の頁、音声注釈、ボイスメール、又はタイルに含まれる他の時を表すメディアを再配列するために使用されることが可能である。結果として生じるシーケンスは、次にタイル状に並べられた構成を１つのユニットとして使用することにより全体として再生されることができる。
【００８９】
本発明の目的のために、ディスプレイタイル配列構成は以下のように分類されうる。
【００９０】
連続的な表示領域が最大に（即ち、継目なく）なるように、タイル６０２が当接して、但し重なり合わずに、表面６１０に広がるように配置される緊密にパックされたディスプレイタイルアレイ６００（図４３）。理解されるように、タイル自体が独立した連続的表面を形成することが可能であるか、又はタイルはテーブル又は他の適切な支持具に配置されることも可能である。個々のタイル６０２は、各タイル６０２の前面を実質的に覆うようなサイズのディスプレイ６０４をサポートする。特定の実施の形態においては、各タイル６０２の背面もディスプレイをサポートすることが可能である。有利なことに、このことは前面と背面に可視画像を有する独立したディスプレイを形成することを可能にする。表面６１０は、平面、球体、又はタイル貼り可能な他の如何なる任意の形状でもありうる。
【００９１】
タイル６２２が格子模様（点線６２５により示される）に入れられようなルーズに（緩く）詰込まれたディスプレイタイルアレイ６２０（各タイル６２２は図４４に示されるようにディスプレイ６２４を有する）。各タイルは、枠付けられたスロットの寸法がタイルの最大寸法の２〜３倍を越えず、どのスロットにも２つ以上のタイルが存在しないような格子内の規則的な枠付けられた格子スロット（即ち、各タイルの画定された中心点を有する格子スロット）に配置されると考えられる。格子領域内では、どのタイルも任意に位置されることが可能であり、それでも尚且つそのグループと同一の相互関係を維持することができる。更に、複数のタイルが２つ以上の格子スロットの境界で互いに接触することも可能であるが、これは必須要件ではない。
【００９２】
自由形式のディスプレイタイル６３０（各タイル６３２は図４５に示されるようにディスプレイ６３４を有する）は、ルーズに詰められたディスプレイディスプレイタイル６２０と類似しているが、格子スロットのサイズ及び形状が自由に変化しうる（例えば、格子スロットの寸法は如何なる関与タイルの最大寸法の何倍もの大きさでありうる）。配列に関する唯一の制約は、各タイル６３２の相関的な連結性に関して多義の関係が存在してはならないことである。即ち、次の一片の情報を別のタイルの一面に表示しようとするタイルは、ただ１つでなければならず、タイリング格子内の他のタイルのタスクと混同されてはならない。
【００９３】
３次元のディスプレイタイル（詰込み（パック）可能なディスプレイタイル）は前述の３つのディスプレイタイル分類を拡張することにより作られる。しかし、ディスプレイタイルの緊密にパックされたタイリングでは、３次元構造の中心に詰込まれたデバイスはユーザインターフェースとしては利用不可能であろう。３次元形状の表面は、或る種の用途のための独特な機能（affordance）を有する領域（面）を露出するため、このことは問題にならないであろう。例えば、１つの大きい立方体の形状に詰込まれた複数の立方タイルは、大きい方の立方体の６つの面を使用して、各自由度から３次元ＣＡＤ図面を眺めることにより表現されうる様々な投影を表示することが可能である。
【００９４】
理解されるように、ディスプレイタイルは直線状である必要はなく、六角形状、球状、又は任意な形状及びサイズであることが可能である。タイルのサイズは、大きい構造の中で全タイルが一定である必要はない。タイルは一直線に整列される必要はないが、隣接点又はエッジを示すための近接性が要求されるであろう。
【００９５】
タイルはグループ活動のために結合されることを定義するために物理的な接触状態におかれる必要はなく、これはプログラムされる機能でありうる。連結性は、必要な資源を取り決めるために無線ネットワークを使用することにより、調整サーバから、又はタスクのために必要な限り多くのコンピュータを巻き込む分散アルゴリズムから、無線ネットワークを介しても確認されうる。トポロジー（接続形態）が敏速な変化を必要としうるような場合には無線システムほど望ましくはないが、タイリングされたコンピュータは有線ネットワークシステムによっても接続されることが可能である。この種の有線ネットワークシステムの一例は、各コンピュータが部屋又は極端な例では建物、町、或いは国により隔てられていてもそれ自体の相対位置を把握するような単一タスクに多くのコンピュータを含めるためにインターネットを使用するシステムである。しかし、一般にディスプレイタイリングの最も有効な例は、視聴体験が単一ディスプレイの使用よりも向上されるディスプレイ媒体を作り出すように、全てのタイルが１人の人により眺められるくらいにタイルが十分近接した場合である。従って、タイルは単一の大きな連続した構造として、又は個々の特性及び独立機能を保持して作動されることが可能であり、又双方の組み合わせも可能である（例えば、大型トロンのような機能、テレビ局のスタジオで使用されるような１２×１２の小型ディスプレイ、又は商用テレビ又は編集作業で見られる絵の中の絵(picture in-picture)の特性）。
【００９６】
詰込みのタイプに応じて、ディスプレイタイル間の恒久的な、断続的な、又は一次的な通信さえも可能にするために様々な方策が使用されることが可能である。例えば、緊密にパックされたタイリングはコンピュータ間の有線接続を利用することができ、或いは様々は無線又は光通信技術を使用することができる。有線接続の場合、エッジに取り付けられた従来のプラグソケット接続器が精密なタイル状のアレイを作り出すために使用されうる。プラグソケットシステムは、大容量及び高速データ転送のための並列接続に力を尽くす。それらはまた、好都合な配電方法を提供し、その方法はタイルの１つがアレイの残りをサポートする電源を提供することを可能にする。タイリングされたコンピュータアレイ６９０内のタイリングされたコンピュータ６９２間のプラグソケット接続（データ及び電力の双方の転送が示される）が図４８に線分６９５により概略的に示される。
【００９７】
電気コネクタの精密な設計及び位置は意図される使用に依存し、従ってタイル構成要素の形状にも依存する。ディスプレイ間の大きな継目が容認可能な用途では、単純な剛性コネクタが各エッジの中心に取り付けられえ、周辺タイル全てに接続性を提供する。他の用途はより複雑な設計を必要とするであろう。例えば、継目のないアレイ表面上に高品質な情報表示（即ち、タイリングされた青写真／設計図）を必要とする用途は４縁接続器上のスプリング付勢接触を用いるであろう。スプリングメカニズムは、全てのアレイ接続がディスプレイ表面の下で行われることを可能にするが、タイルは挿入されること及びアレイの内部から除去されることも可能である。タイルの除去はスプリングの解除を駆動し、タイルをアレイから弾き出す或るホスト信号によりトリガされることが可能である。
【００９８】
直列連結性もまた、図４３に示されるような緊密パック構造で使用されることが可能である。この方法は、より少ない接続の形成を必要とすること及び実施において、より信頼性が高いという利点を有する。しかし、タイル間のネット（正味）帯域幅は、並列システムよりも少ない。直列通信は光及び無線システムに適し、従って如何なる物理接続の必要性も排除する。光導体及びレンズ捕捉技術の賢い利用はより高いフレキシビリティをもたらしうるが、光技術のためには、送信器及び受信器の配列（アラインメント）はなお重要である。無線システムは、様々な変調技術（振幅変調、周波数変調、又はコード分割多重アクセス（ＣＤＭＡ）に基づく変調）を利用し、広範囲に亘る送信器の力で実行することにより、ＥＭ（電磁気）スペクトルの多くの異なる帯域（ｋＨｚ、ＭＨｚ、ＧＨｚ）を使用することが可能である。もしシステムが適切な通信許容差を有するように設計されるならば、直接配列は最早必要とされない。送信器のレンジは設計において重要な役割を果たす。もし発信された信号に、タイルエッジの数ミリメートル範囲内でのみ受信されるのに十分な力を持たせると、信号は絶縁され、トポロジーは物理連結度により画定され、隣接する信号発信源からの妨害を避けるためのシステムを設計する複雑さは最小になる。しかし、代替設計案は、より強力な無線を使用することである。この場合、全てのタイルが全ての他のタイルと接触することが可能であり、タイル間連結性は他のパラメータにより画定されることを必要とする。信号強度を使用することが可能であり、或いはより慎重に、タイルアレイにおける全てのタイルの位置を記述する空間マップにタイルのＩＤを関連付ける情報（１つのマスタータイルに保持されるであろう）を使用することが可能である。このシステムでは、タイル間の干渉を最小にすることも必要である。同一周波数で作動するデジタル式パケットデータシステムのためには、キャリア検知多重アクセス（ＣＳＭＡ／ＣＤ（衝突検出）又はＣＳＭＡ／ＣＡ（衝突回避））システムが、この問題を解決するためによく知られた技術である。他の解決策は、送信器の力に応じて再利用される周波数を用いて、異なる周波数を使用するタイルを必要とする。これは従来の携帯電話に使用される技術である。更に異なる方法は、スペクトル拡散変調として知られる技法である、ＥＭスペクトルの同一領域への信号のオーバーレイ（重ね合わせ）に依存するコード分割多重アクセス（ＣＤＭＡ）を使用するものである。
【００９９】
ルーズにパックされたディスプレイタイルのためには、緊密にパックされたタイリングに関連して先に説明された無線技術が実施には通常必須となる。しかし、ルーズにパックされた特殊例が存在し、その例では接触点が１つであって正確に画定された位置ではないが、タイルの各エッジは周囲の他の全てのタイルと接触する。このシステムの有線バージョンは、各タイルの全エッジがエッジを画定する２つの頂点の内の１つを含む直列接続であるように構築されうる。各方向への通信は、タグ（札）と読取装置との間の双方向通信のための単線インターフェース（及びアース）の使用を含む様々な商業的に利用可能な技術により達成されることが可能である。タイル配列のためのアース接続は、タイルがその上に割り付けられている表面を介して、共通のアース接続を共有することによりもたらされうることに留意するべきである。例えば、表面は金属シートにより作られることが可能である。システムは、エッジ接触が磁気材料より形成され、頂点がその端部に埋め込まれた磁石を有することを保証することにより、更に強化されるであろう。このような装置は、送信器と受信器との間の良好な電気接触をもたらすであろうことを保証する。
【０１００】
受信器は、電気信号をブリッジ整流し、それ自体のエレクトロニクスにより使用されるために収集された電荷をコンデンサに格納することにより、電気的に送信された信号から電力を取り出すことも可能である。従って、配電もまた単線インターフェースに含まれることが可能である。この方法により、連結性を設定するために最小の注意のみが必要な敏速且つ便利なタイルの再配置をサポートするために、柔軟な連結性を得ることが可能である。
【０１０１】
図４５に示されるようなルーズにパックされたタイルディスプレイは、矩形のタイルの場合には垂直に又は水平に位置合わせされず、互いに関してオフセット角を有するであろうが、ディスプレイ表面が、表示された画像の全ての部分が互いに対して正確な空間的配置を保つように統合されたディスプレイを表すための最善の労作アルゴリズムを使用することを必要とするであろう。望ましいタイルディスプレイアルゴリズムを実行するためには、タイルの相対配置のみでなく、互いからの正確なオフセット値（距離及び角度）もまた重要である。ルーズにパックされたタイル間のオフセット値を自動的に決定するのに適した幾つかの方法が存在する。例えば、図４６（通信しているタイル６５２及び６５４が其々のディスプレイ６５１及び６５３と共に示される）に関連して示されるように、エッジに沿った光エンコーディング（符号化）６６０はタイルの向きを識別するために使用されることが可能である。規則的であり、あらゆる位置の頂点からの距離も符号化する、エッジに沿った２進コードの光パターンを使用することが可能である。当接する、又は相対的に整列されるタイルは、光センサ６５８及び６５９を使用することによりこのパターンを読み出すことができ、エッジ方向へのディスプレイオフセット値を決定することが可能である。代わりに、図４７（通信しているタイル６７２及び６７４を示す）に示されるように、信号強度三角測量に基づく無線ベースの技法を使用することが可能である。タイル６７２の各頂点６７５又は６７６は、無線送信器及び受信器を含むことが可能である。もしこれらの頂点がよく知られる時々に短い特性無線信号を送信すると、近くのタイル６７４は、それ自体の頂点６８０、６８１、６８２及び６８３に位置される受信器を、信号が受信された相対遅延を測定することによりそれらに関して各送信頂点の位置を三角測量するために使用することが可能である。最初の送信タイル６７２の頂点の内の２つが信号を送ると、隣接タイル６７４はタイルアレイの局所領域内でのその正確な位置及び向きを決定することが可能である。送信及び受信タイルは次に役割を交換することができるため、結果として両タイルがそれらの相対位置を把握する。このプロセスはタイルアレイ全体に施されることが可能である。
【０１０２】
自由形式のタイリングは、近接制約又は規則的なフォーマット上の制約がないという点で、ルーズにパックされたタイリングとは異なる。自由形式のタイリングシステムが如何に作用するかを示すために、以下の例が説明される。其々地球位置決定システム（ＧＰＳ）及び無線モデムが備えられた多数のラップトップコンピュータを想像する。各ラップトップは、その位置を決定し（許されるエラーの範囲内で）、無線モデムを介して接触することにより、他の全てのラップトップにその位置を通信することが可能である。或る程度の時間が経過した後には、全てのラップトップはそれらの相対位置及び絶対位置を把握するであろう。もし何れかのコンピュータがその位置を変更すると、コンピュータが互いに近くなく、実際には他の地理的領域に存在するかもしれなくとも、コンピュータは把握されているタイリング構成にあると考えるのに十分なアレイへの理解があることを確実にするために、位置を変更されたコンピュータは局所の近隣コンピュータを更新することが可能である。この自由形式のタイリングシステムを使用する可能性のある用途は、情報が広範な領域に亘って一様且つ分散様式で正確に送られることの保証を望むものである。例えば、各ラップトップコンピュータが受信する情報は、商用作物を害する昆虫を抑制するために使用される或る量の殺虫剤の散布に関する通達でありうる。もし殺虫剤が如何なる地域においてであれ、非常に高い集中度で散布されると、人間の健康に有害となりうる。タイリングアプローチは、コンピュータが放浪する（例えば、トラックの荷台などに）ことを可能にし、それらのコンピュータのその時点の相対近接性を教えられた上で、散布される殺虫剤のタイプ及び濃度に関する情報を表示する。
【０１０３】
様々な従来のアルゴリズムが、自律的なタイリングされたディスプレイ同士間の情報の配布をサポートするために使用されることが可能である。これらのアルゴリズムは、表示されるべきデータを生成するマスタコントローラを備えるシステムを想定する。そのシステムが可視データ及び／又は処理情報を表示するために使用するであろう大きなアレイのタイリングされたコンピュータも存在する。タイリングされたアレイ内の各コンピュータは固有のＩＤを含む。データを各コンピュータが表示可能な小部分に分割すること、及びこの情報をターゲット（目的の）コンピュータのＩＤと共にパッケージ化することは、マスタの仕事である。以下のアルゴリズムは、情報がどのようにマスタから宛先ディスプレイタイルに伝わるかについて説明する。
【０１０４】
デイジーチェーンルーティング（経路指定）
ディスプレイタイルは、各タイルが予め定義されたラインで次のタイルにのみ情報を送信するように、互いに論理連結性を有するように配置される。コンピュータは、其々にデイジーチェーン方式（いもづる構成）で接続されていると呼ばれる。チェーンの開始点に送られる如何なる情報もＩＤを含み、そのチェーンの第一のコンピュータはそのＩＤをそれ自体のＩＤと比較する。もし、一致すれば、そのコンピュータはデータに働く。もし一致しないならば、そのコンピュータは宛先が見つかるまでチェーン内の次のコンピュータにデータを送る。
【０１０５】
Ｎ進ルーティング
Ｎ進ルーティングにおいては、宛先へのパスはデバイスのＩＤに含まれる。簡単なルーティングの例が、物理的に接続されたタイリング可能なディスプレイにおける４つ組みのルーティングを示す図４８に、方向矢印６９５と共に概略的に示される。４つ組みのルーティングにおいては、アレイは各ノードが１つの入力と３つの出力を有する４要素から成る木（ツリー）構造として概念的に配列される。このシステムでは、ＩＤのビットの各対はルーティングコマンドを含む。ａ０は第一の出力にパケットを送ることを示し、ａ１は第二の出力を示し、ａ２は第三の出力を示し、そしてａ３は他の送信はないことを示す。連続するノードに現在対応されているビット数値及びパケットが宛先に届いた時を知らせるために各ノードにより減らされるカウントも存在する。この方法で、パケットは目的のディスプレイに到達するまで各段階で単純な選択をすることにより、ノードからノードへ転送される。理解されるように、４つ以上の出力（実施には通常２の累乗（例えば、４、８、１６... ）が都合がよい）を有するＮ進システムを設計することが可能である。
【０１０６】
フラッディング
フラッディングは、予め定義されたルーティング構造を持たない。第一のパケットをマスターから取得するコンピュータは、それが正確なＩＤを有するかを確認する。もし有しないならば、パケットはそのパケットを未だ送信又は受信していない全てのリンクに送り出される。結果は、アレイ全体に亘るパケットのコピーの氾濫であり、最終的に宛先に到達する。パケットは、それらが最終的にシステムから除去されることを保証するために最大ホップ数も持たなければならない。この手法の欠点は、先の２つの方式に比べてより多くのタイルが不要なデータの処理で負荷を負わせられることであり、このことはシステムの総体的な効率に強い影響を及ぼすであろう。
【０１０７】
ホットポテト
ホットポテトアルゴリズムは、再送信されるパケットがランダム（無作為）に選択されるか、又は最も使用率の低い１つの出力にのみ送られること以外は、フラッディングアルゴリズムに類似している。処理は、パケットが正しいタイルに到達すると停止する。パケットがその宛先に到達するまでにかかる時間は決定的ではない。
【図面の簡単な説明】
【図１】変形可能な表面と、状況ディスプレイと、表面の形状変化を検知するための圧力センサアレイとを有する手で持つことが可能なほぼ球形のポータブルコンピュータの概略図である。
【図２】様々な物理的操作形態素を示すグラフ図であり、両軸が其々形態素を形成するために必要とされるセンシームタプルの複雑さ、及び物理的操作をサポートするために必要とされるデバイスの可塑性を表す。
【図３】物理的操作形態素の好ましい種類を概略的に表す。
【図４】物理的操作形態素の好ましい種類を概略的に表す。
【図５】物理的操作形態素の好ましい種類を概略的に表す。
【図６】物理的操作形態素の好ましい種類を概略的に表す。
【図７】物理的操作形態素の好ましい種類を概略的に表す。
【図８】物理的操作形態素の好ましい種類を概略的に表す。
【図９】物理的操作形態素の好ましい種類を概略的に表す。
【図１０】物理的操作形態素の好ましい種類を概略的に表す。
【図１１】物理的操作形態素の好ましい種類を概略的に表す。
【図１２】物理的操作形態素の好ましい種類を概略的に表す。
【図１３】物理的操作形態素の好ましい種類を概略的に表す。
【図１４】物理的操作形態素の好ましい種類を概略的に表す。
【図１５】物理的操作形態素の好ましい種類を概略的に表す。
【図１６】物理的操作形態素の好ましい種類を概略的に表す。
【図１７】様々な空間形態素を示すグラフ図であり、第一軸は形態素を形成するために必要とされるセンシームタプルの複雑さを表し、第二軸は物理的操作をサポートするために必要とされる位置に関する情報の程度を表す（単一の指定された次元に沿って相対的な局所的測定から絶対的な広域測定まで６段階の定められた自由度により連続体に沿って移動する）。
【図１８】望ましい空間操作形態素を概略的に表す。
【図１９】望ましい空間操作形態素を概略的に表す。
【図２０】望ましい空間操作形態素を概略的に表す。
【図２１】望ましい空間操作形態素を概略的に表す。
【図２２】望ましい空間操作形態素を概略的に表す。
【図２３】望ましい空間操作形態素を概略的に表す。
【図２４】望ましい空間操作形態素を概略的に表す。
【図２５】望ましい空間操作形態素を概略的に表す。
【図２６】望ましい空間操作形態素を概略的に表す。
【図２７】照明効果、熱効果、電磁環境及び振動／音響環境を含む、様々な種類の環境的刺激を検知するために使用されうるセンサシステムの複雑さの増加程度を示すグラフ図である。
【図２８】多数の対話型デバイスのための様々な物理的操作形態素を表すグラフ図であり、両軸は其々形態素を形成するために必要とされるセンシームタプルの複雑さ及び物理的接触の増加程度を表す。
【図２９】多数の対話型デバイスのための望ましい操作形態素を概略的に表す。
【図３０】多数の対話型デバイスのための望ましい操作形態素を概略的に表す。
【図３１】多数の対話型デバイスのための望ましい操作形態素を概略的に表す。
【図３２】多数の対話型デバイスのための望ましい操作形態素を概略的に表す。
【図３３】多数の対話型デバイスのための望ましい操作形態素を概略的に表す。
【図３４】多数の対話型デバイスのための望ましい操作形態素を概略的に表す。
【図３５】ポータブルコンピュータに適用可能な「圧搾」形態素を表す概略図である。
【図３６】ポータブルコンピュータに適用可能な「傾ける」形態素を表す概略図である。
【図３７】大きな２次元のデータセットの見え方をポータブルコンピュータのかなり小さいディスプレイで制御するために使用される傾き及び圧搾形態素を表す概略図である。
【図３８】右利きのユーザから書込み入力を受信する準備の整ったディスプレイを有するポータブルコンピュータを表す概略図である。
【図３９】左利きのユーザから書込み入力を受信する準備の整ったディスプレイを有するポータブルコンピュータを表す概略図である。
【図４０】図３５〜３９に示されたようなポータブルコンピュータの圧力及び傾きに感応するモジュールの構成要素を表す電子概略図である。
【図４１】形態素入力をサポートするために紙状のディスプレイインターフェースを使用するスキャナ／プリンタ／複写機の概略図である。
【図４２】形態素入力をサポートするために紙状のディスプレイインターフェースを使用するスキャナ／プリンタ／複写機の概略図である。
【図４３】形態素入力をサポートできるタイリング可能なディスプレイの概略図である。
【図４４】形態素入力をサポートできるタイリング可能なディスプレイの概略図である。
【図４５】形態素入力をサポートできるタイリング可能なディスプレイの概略図である。
【図４６】図４３〜４５に示されるようなタイリング可能なディスプレイとともに使用されるのに適した光センサ及びパターンを表す。
【図４７】図４３〜４５に示されるようなタイリング可能なディスプレイとともに使用されるのに適した無線トランスポンダを表す。
【図４８】多数のタイリング可能なディスプレイのアドレス指定を表す。
【符号の説明】
１０、３８０、３８１、３８２、３８３ コンピュータデバイス
２０ 変形可能表面
２２ 変形センサメッシュ
２４ プロセッサ
２６ メモリシステム
２８ 感知システム
３２ 通信システム
３３ フィードバックモジュール
６００ ディスプレイタイルアレイ
６０２ タイル
６０４ ディスプレイ

Claims (5)

1. 操作可能なユーザインターフェースをサポートするデバイスであって、
   データ構造に関する情報を提供するためのフィードバックモジュールと、
   前記フィードバックモジュールと前記データ構造を制御するためのプロセッサであって、少なくとも一つの形態素による入力を、デバイスに所定の動作を実行させるコマンドとして解釈するプロセッサと、
   複数の小領域を含む変形可能部品と、を含み、
   前記変形可能部品が前記フィードバックモジュールに近接して取り付けられ、前記変形可能部品が、前記変形可能部品の変形及び前記変形可能部品にもたらされる環境的変化の少なくとも一つをモニターする少なくとも１つのセンサーと接触し、前記少なくとも１つのセンサーが前記プロセッサに接続されており、前記変形可能部品にもたらされる環境的変化が、前記変形可能部品にもたらされる光量の変化、熱量の変化、電磁スペクトルの変化、振動の変化のうちの少なくとも一つを含み、
   前記プロセッサは、前記センサーにより検知された変形又は環境的変化に対応する形態素を判断し、前記判断された形態素により表されるコマンドに基づいてデバイスに所定の動作を実行させることを特徴とする、
   ユーザインターフェースサポートデバイス。
2. 変形可能部品に接続されたデバイスに情報を入力するための方法であって、
   前記デバイスによる第一の動作を正常に起動する第一の形態素入力を前記デバイスへ提供するための、前記変形可能部品への操作を検知するステップと、
   前記正常に起動された第一の動作を第二の動作に変換する第二の形態素入力を前記デバイスへ提供するための、前記変形可能部品への非同期的操作を検知するステップと、
   を含み、
   前記変形可能部品の操作が、前記変形可能部品を変形させるか、又は前記変形可能部品に環境的変化をもたらすことを含み、
   前記変形可能部品にもたらされる環境的変化が、前記変形可能部品にもたらされる光量の変化、熱量の変化、電磁スペクトルの変化、振動の変化のうちの少なくとも一つを含む、情報入力方法。
3. 前記センサーが、弾性を有し変形可能なセンサメッシュであることを特徴とする、
   請求項１に記載のユーザインターフェースサポートデバイス。
4. 前記変形可能部品の変形が、前記変形可能部品が捻じられること、折り畳まれること、曲げられること、圧搾されること、引っ張られること、のうちの少なくとも一つを含む、
   請求項１に記載のユーザインターフェースサポートデバイス。
5. 前記変形可能部品の変形が、前記変形可能部品が捻じられること、折り畳まれること、曲げられること、圧搾されること、引っ張られること、のうちの少なくとも一つを含む、請求項２に記載の情報入力方法。

Images