JPH11134087A - データ転送用タイリング可能な複数デバイス、デバイスのダイナミックアレイ及びタイリング可能なディスプレイシステム - Google Patents

データ転送用タイリング可能な複数デバイス、デバイスのダイナミックアレイ及びタイリング可能なディスプレイシステム

Info

Publication number
JPH11134087A
JPH11134087A JP23381198A JP23381198A JPH11134087A JP H11134087 A JPH11134087 A JP H11134087A JP 23381198 A JP23381198 A JP 23381198A JP 23381198 A JP23381198 A JP 23381198A JP H11134087 A JPH11134087 A JP H11134087A
Authority
JP
Japan
Prior art keywords
display
user
computer
devices
tiling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP23381198A
Other languages
English (en)
Inventor
Annette M Adler
エム.アドラー アネット
Kenneth P Fishkin
ピー.フィッシュキン ケネス
Beverly L Harrison
エル.ハリソン ビバリー
Matthew E Howard
イー.ハワード マシュー
Roy Want
ウォント ロイ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xerox Corp
Original Assignee
Xerox Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xerox Corp filed Critical Xerox Corp
Publication of JPH11134087A publication Critical patent/JPH11134087A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1615Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1615Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function
    • G06F1/1616Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function with folding flat displays, e.g. laptop computers or notebooks having a clamshell configuration, with body parts pivoting to an open position around an axis parallel to the plane they define in closed position
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1626Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1641Details related to the display arrangement, including those related to the mounting of the display in the housing the display being formed by a plurality of foldable display components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1647Details related to the display arrangement, including those related to the mounting of the display in the housing including at least an additional display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1652Details related to the display arrangement, including those related to the mounting of the display in the housing the display being flexible, e.g. mimicking a sheet of paper, or rollable
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1656Details related to functional adaptations of the enclosure, e.g. to provide protection against EMI, shock, water, or to host detachable peripherals like a mouse or removable expansions units like PCMCIA cards, or to provide access to internal components for maintenance or to removable storage supports like CDs or DVDs, or to mechanically mount accessories
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1446Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display display composed of modules, e.g. video walls
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/161Indexing scheme relating to constructional details of the monitor
    • G06F2200/1614Image rotation following screen orientation, e.g. switching from landscape to portrait mode
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163Indexing scheme relating to constructional details of the computer
    • G06F2200/1637Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2300/00Aspects of the constitution of display devices
    • G09G2300/02Composition of display devices
    • G09G2300/026Video wall, i.e. juxtaposition of a plurality of screens to create a display screen of bigger dimensions
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00Specific applications
    • G09G2380/02Flexible displays
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00Specific applications
    • G09G2380/14Electronic books and readers
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S345/00Computer graphics processing and selective visual display systems
    • Y10S345/903Modular display

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Digital Computer Display Output (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

(57)【要約】 【課題】 物理的操作に応じる巧みなユーザインターフ
ェースを提供する。 【解決手段】 各デバイスが大きな写真の一部を独立し
て表示することが可能である1セットのデバイス38
0、381、382及び383を考える。タイリング
は、デバイスの1つ又は複数の小領域が第二のデバイス
の小領域と物理的に接触するように小領域を移動して、
第一のデバイス及び第二のデバイスが継目のない単一の
空間ユニットを形成すること、或いはそのように配列さ
れた2つのデバイスを取り上げ、その配列を解除するこ
と、と定義される。そのタイリングのジェスチャーをデ
バイスに適用してデバイスがタイル状に並べられると、
各デバイスはタイル状のグリッド内の現在の相対位置に
適した写真の部分を表示する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、広くは再配置可能
なタイリング可能ディスプレイ装置に関し、より詳細に
は、光、無線又は機械的相互接続をサポート可能な自律
的なタイリング可能なコンピュータディスプレイに関す
る。
【0002】
【従来の技術】小さいポータブル(携帯用)コンピュー
タに複雑なコマンドを確実に、速く、且つ直観的に伝送
することは難しいであろう。小型コンピュータデバイス
は一般に、音声又は手書き(ペンベースの)によるコマ
ンドに確実に応答する十分なコンピュータ処理能力を有
しない。キーボードはしばしば存在しないか、正確な指
入力のためにはあまりに小さく、更に従来のボタンはあ
まりに大きいか、あまりに限られたコマンド命令セット
のみをサポートする。大きな外部モジュール(例えば、
フルサイズの赤外線によりリンクされたキーボード、線
でつながれたデータグローブ又はカメラベースのジェス
チャー認識装置等)に依存するユーザーインターフェー
ス手法は高価であり、多くの場合選ばれたサイト以外で
は容易には利用できず、また消費者レベルのポータブル
コンピューティングデバイスと併せての使用の普及には
あまりに不適切であろう。
【0003】ポータブルコンピュータ用のユーザーイン
ターフェースの設計者は、これらの問題の幾つかを、手
動で又は自動的にデバイスにおける様々なモードの起動
を可能にする様々な空間的、位置的、又は環境的なキュ
ー(合図)に頼るデバイスを作ることで補おうとしてい
る。例えば、幾つかのラップトップコンピュータは、ユ
ーザから一切追加的な信号入力(例えば、キーボード上
の「開始」ボタンの押下又はタイプ入力「l_o_g_
o_n」等)を必要とすることなく、蓋の開閉の動作を
コンピュータの自動立ち上げ/電源切断を開始するため
に使用する。或いは、位置、方向又は余剰空間位置に従
って自動的に制御モードを切替える小型ポータブルコン
ピュータの使用が研究されている。ポータブルコンピュ
ータを傾けること等のユーザによる故意の動作を介した
ポータブルコンピュータのボタンレスの(ボタンを使用
しない)手動制御についても検討されている。
【0004】
【発明が解決しようとする課題】小型ポータブルコンピ
ュータとのインターフェースのためのこれら全ての解決
策は一般的に、有効範囲および機能性において制限され
ている。必要とされるのは、効果的であり、ほとんどト
レーニングを受けていない一般ユーザにより直観的に操
作されることが可能であり、尚且つそのユーザにより変
更又は拡張が容易に成される、非常に小さいポータブル
コンピュータ(約1立方センチメートルの体積寸法を有
する)にさえ適したユーザーインターフェースシステム
である。本発明は、ユーザがコンピュータを捻じる、折
り畳む、曲げる、圧搾(スクイズ)する、振る、傾け
る、回転させる、持ち上げる又は他の物理的操作に応じ
る巧みなユーザインターフェースを提供することにより
これらの要求事項を満たす。
【0005】本発明の巧みに操作可能なユーザインタフ
ェースシステムにおける、最も基礎的なレベルの操作は
「センシーム:senseme 」として知られている。センシ
ームは、単一の分割できないタイプの物理的操作として
定義される。センシームのカテゴリーの一部を示すリス
トは、圧搾、捻じり、引っ張り等の材料変形と、平行移
動、回転、旋回等の局所空間変化と、温度、明るさ、又
は振動に基づく環境的変化とを含む。例えば、小型ポー
タブルコンピュータは、ユーザにより変形可能な部品が
折り畳まれた、捻じられた又は曲げられたことを検知す
る多数の埋設されたセンサを有する変形可能な部品をサ
ポートすることが可能である。このコンピュータは、ま
た、相対的な空間情報を検知する多くの加速度計と、絶
対位置を決定するためのジャイロスコープ、無線又は赤
外線による位置センサと、温度及び明るさの変化を其々
検知する様々な熱又は光センサを含むことができる。こ
れらのセンサシステムの内の1つ又は複数により検知さ
れる意図的な又は意図的でない変更は、効果的なユーザ
ーインターフェース策のための基礎を提供することが可
能である。
【0006】理解されるように、各センシームカテゴリ
は多くの個々に区別可能な構成要素(部材)を含む。例
えば、ユーザが人差し指と親指との間で変形可能な部品
を圧搾することにより通常完了する構造的変形である
「ピンチ:摘まむ」として知られているセンシームのカ
テゴリを考える。ピンチは、各変更がコンピュータ制御
コマンドにマッピングされることが可能なセンシームと
して区別可能である、ピンチの速度(速いピンチか遅い
ピンチ)、大きさ/強さ(軽いピンチか強いピンチ)、
変形可能な部品の摘ままれる部位(摘ままれた変形可能
部品の上部、下部又は中央)、或いは摘まむために使用
される体の部位(右手によるピンチ又は左手によるピン
チ)を変化させることによっても、変更されることが可
能である。
【0007】多種多様な容易に区別可能なセンシームの
みでもコンピュータに有効なユーザインターフェースを
提供するであろうが、本発明は「形態素」入力に基づい
てコンピュータ制御をサポートすることにより、センシ
ームベースのユーザインターフェースのフレキシビリテ
ィを更に拡張する。形態素は、1つ又は複数のセンシー
ムの一時的に同期の(又は、部分的に一致する非同期
の)タプル(組/集合)である。形態素が複数のセンシ
ームを含むことができる(そして、しばしば含むであろ
う)点に注意すべきである。形態素に結合されたセンシ
ームは、同じカテゴリ(ユーザが左手の指で軽く叩くと
同時に右手で摘まむ)、及び異なるカテゴリ(ポータブ
ルコンピュータを前に傾けることによってその空間位置
を変更すると同時に、ユーザは変形可能な部品を右手で
摘まむ)のいずれかから派生することが可能である。
【0008】いかなる形態素も、「センテンス(文)」
への関与により拡張されることが可能である。センテン
スは、一連の一時的に分離される1つ又は複数の形態素
として定義される。センテンスのレベルは、形態素シー
ケンスの適切な選択による物理的な操作文法による定
義、及び例えば能動的な(動詞のような)形態素、命名
(名詞)形態素又は接続詞の使用を支配する付随規則の
定義を可能にする。センテンスで使用される他の可能な
文法構成概念は、「ホーム」システムに基づくものを含
むであろう。ホームシステムは、汎用のジェスチャー言
語であり、その文法及び構文がどんな形であれホスト言
語から借用されない。これらの言語の例は、American S
ign Language(ASL:米国手話)に触れることのなかった
健聴者を親に持つ耳の聞こえない子供達により開発され
たジェスチャーによる言語及び通商語として使用された
北米インディアン/先住民の「平原インディアン言語
(plains talk)」である。
【0009】従って、本発明は操作されることが可能な
変形可能部品、及び任意ではあるが様々な位置センサ
(相対及び絶対の両方)、圧力センサ、熱センサ又は光
センサにさえも接続されるコンピュータに情報を入力す
るための方法を提供する。この方法は、コンピュータに
第一の形態素入力を行なうために変形可能な部品を操作
するステップを含み、この第一の形態素入力は通常、コ
ンピュータによる最初のデフォルト動作を起動する。ま
た、変形可能な部品はコンピュータに第二の形態素入力
を行なうために操作されることが可能であり、この第二
の形態素入力は、通常起動された第一のデフォルト動作
を第二の動作に変換する。第一及び第二の形態素(及び
後に続く如何なる形態素)は連携して、電子制御のドア
の錠を開けること、コンピュータディスプレイ上に図形
画像を表示すること、或いはコンピュータネットワーク
へのログオンを開始することであれ、コンピュータ制御
された動作を実行するためのコマンドとして解釈されう
るセンテンスを形成する。好都合なことに、このような
ユーザインタフェースシステムは、小型コンピュータデ
バイスとの対話に適しており、また圧搾又は摘まむ能力
は普遍的な人間の特性であるため、限定される範囲にお
いては異文化間でさえ通用しうる。
【0010】本発明は、手のひらに保持することが可能
なポータブルコンピュータに特に有効である。もしポー
タブルコンピュータが、埋設された又は接触型の圧力/
変形センサを有する変形可能な材料により一部又は全体
を囲まれている場合、ユーザは或る所望の結果を得るた
めにコンピュータ全体で或るジェスチャーをすること、
又はコンピュータ全体を操作することが可能である。材
料変形は、様々な規模で実行が可能である。例えば、コ
ンピュータ及びフレキシブルチューブの内側に取り付け
られコンピュータに接続された変形センサは、チューブ
を直角に曲げること、又はチューブを複雑に結ぶこと
や、輪にすることにさえも反答することが可能である。
しかし実際には、押圧する、摘まむ又は折り曲げるタイ
プの操作に対して触知可能なフィードバックをもたらす
のに十分であるような、些細な表面変形のみが必要とさ
れる。しかし、いずれの場合にせよ、表面に加えられる
圧力及びその位置の測定は、対話のモードを特徴づける
(ピンチを突きと区別する)のに十分である。
【0011】
【課題を解決するための手段】本発明に従う物理的な操
作文法に反答する手で持てるポータブルコンピュータの
望ましい特定の実施の一形態は、コンピュータと、ユー
ザに視覚的、聴覚的又は触覚的なフィードバックを提供
するフィードバックモジュール(例えば、プロセッサが
連結されたLCD(液晶表示装置)ディスプレイ、オー
ディオスピーカ、又は点字或いは他の従来のタッチイン
ターフェースを提供するための触覚的ディスプレイ)
と、部分的に又は全体的にフィードバックモジュールを
囲んでいる、共に取り付けられた掴むことが可能で、且
つ変形可能な部品とを含む。更に、デバイスを保持する
手は一般的にそのユーザにとっての利き手でない手であ
ることから、様々な熱又は圧力センサがユーザの利き手
を検知するために取り付けられる。ユーザの利き手(こ
れは形態素とみなされることができる)に応じて、表示
されるデータ構成が変更される。例えば、LCDディス
プレイスクリーンに表示されるテキストは、それにより
左利きのユーザを補助するように、ペンベースの注釈
(コメント)がスクリーンの左側にくることを可能にす
るように、スクリーン上で自動的に右方向へシフトされ
うる。
【0012】物理的に操作可能なユーザインターフェー
スは、更に、複数のデバイスがユーザフレンドリーな
(誰でも使い易い)方法で対話する機会を提供する。例
えば、ディスプレイを囲んでいる接触に感応する変形可
能な部品を有する多数のディスプレイを持つタイリング
(tileable: タイル状に並べること)可能なディスプレ
イシステムは、各ディスプレイの接点の相対位置に基づ
き文書を編成するために使用されることが可能である。
例えば、異なるデータ構造(例えば、2つの異なる電子
ブックからの2つの異なるページ)を初めに示している
2つのディスプレイが接触して並べられると、表示され
た視覚情報は変化しうる(例えば、単一の電子ブックの
隣接ページを表示することにより)。理解されるよう
に、物理的に操作可能な制御要素に接続された複数のコ
ンピュータを、データ構造を編成するための複雑なコマ
ンドを作るためにも使用することが可能である。
【0013】
【発明の実施の形態】図1は、形態素によるユーザーイ
ンターフェース文法をサポートするのに適した本発明の
実施の一形態を表す。文法をサポートすることは、ユー
ザによるデバイスの物理的操作の検知、デバイスの相対
的又は絶対的空間位置の検知、デバイスに働く様々な環
境的要素の検知、更に複数のデバイス又は外部コンピュ
ータネットワークによる検知及びそれらとの対話さえも
要求しうる。図示されるように、デバイス10は変形可
能表面20の複数の小領域をまたがって又はそれらの領
域内での表面変形を検知するために、変形センサメッシ
ュ22を下に持つ変形表面20を有する。変形センサメ
ッシュ22は、連結されたメモリシステム26を有する
内部に保有されるプロセッサ24に接続される。様々な
位置的に又は環境的に変化するもの(変数)を検知する
ために、感知システム28も備えられる。図示されるデ
バイスは更に、外部から見ることが可能な状況ディスプ
レイ30又は非視覚的フィードバックモジュール31
(通常聴覚的又は触覚的フィードバックを伝える)を含
むであろうフィードバックモジュール33を含む。図示
されるデバイスには、他の電子又はコンピューティング
デバイスとの情報の受発信のための通信システム32も
備えられる。これら全ての構成要素は電源25により電
力を供給されることが可能であり、電源は通常内部に取
り付けられた従来構造の充電式バッテリーである。
【0014】デバイス10はほぼ回転楕円面状且つ単一
の集合体として図示されるが、様々な他の形状も本発明
の範囲内であると考えられる。例えば、総合的な形状
は、様々な直角プリズムに類似することが可能である
か、或いは楕円形、環状、平面であること、又はユーザ
が定義した広範囲に亘る不規則な形状をサポートするの
に十分な可鍛性があることさえ可能である。更に、多数
の形状要素の連動(例えば、ボールとソケット、錠と
鍵、或いはスライド可能な又は回転可能な連動する部品
の使用)を可能にする従来設計を使用することにより、
多数の協力し合う形状要素が考えられる。
【0015】デバイス10の形状が何であれ、本発明の
実施のためにはデバイス10は全体を又は一部を変形可
能表面20により覆われる。本発明は、必要とされる可
塑性、耐久性、耐用寿命及び当然価格制約に従って、変
形可能表面20の多種多様な設計及び材質の使用をサポ
ートする。例えば、変形可能表面20のために考えられ
る設計は以下のものを含むが、これらに限定はされな
い。1.数ミリメータ乃至数センチメートルの壁の厚み
を有する独立セル又は連続セルから成る高分子発泡材料
であって、より薄い壁で囲まれた実施の形態は内側の硬
いシェル(高分子材料又は金属材料から作られる)によ
り支えられており(例えば、接着連結による)、より厚
い壁で囲まれた実施の形態はプロセッサ24等の内部構
成要素を直接支える(例えば、ブラケット(腕木/取付
金具)又は支持具による)。適切な発泡は、ポリクロロ
プレン(ネオプレン)、ポリスチレン、ゴム又はニトリ
ルゴム・ラテックス発泡、ポリシロキサン、スチレンブ
タジエン、又はスチレンイソプレン、或いは適切な弾性
及び変形可能性を有する他の一般材料を含むブロックポ
リマー等の広く利用可能な合成ゴムから全体又は一部が
構成される物を含むであろう。2.内側の硬いシェル
(高分子材料又は金属材料から作られている硬いシェ
ル)の周りを緩く包む薄い単層のポリマー表面。例え
ば、ナイロン又は綿の織物、単層ポリエチレン、合成ゴ
ム(ほとんど又は全く発泡セルを有しない)、或いはポ
リスチレンのケースの周りを包む皮革等の自然高分子材
料が使用されることが可能である。3.発泡内層により
支えられる耐久性のある高分子の外層を有する複合層状
表面。4.極端な変形をサポートするために使用される
ことが可能な粘性又は揺変性材料の中間流体又はゲル層
を有する高分子二重層さえも含む。中間層は比較的厚い
(約数センチメータ)ことが可能であり、又は特定の実
施の形態においてはミクロン乃至ミリメータ尺度で測定
される薄さを持つことが可能である。そのような極端に
薄い層は複雑な捻じる、折り畳む、巻きつける、又は皺
くちゃにする動作を可能にし、またそのような層に関し
てはその開示が参考文献としてここに明確に組み入れら
れるゼロックス社(Xerox Corp.)に譲渡された米国特許
第5,389,945 号と併せて説明される。
【0016】変形センサメッシュ22は、変形可能表面
20内に埋設されるか、又は変形可能表面20と接触す
るように配置されることが可能である。変形センサメッ
シュ22は個々の圧縮又は張力歪みセンサのアレイ(配
列)、或いはそれに代って埋設された又は取り付けられ
た位置センサを含むことが可能である。いくつかの用途
のためには、連続的なセンサ(例えば、キャパシタンス
(静電容量)センサの二重層シート)が採用されうる。
或る特に有効な連続的センサのタイプは、加えられる変
形圧力に対応して位置を局所化可能なアナログ信号に帰
結するような変形圧力と共に複数のキャパシタンス又は
抵抗ストリップを使用する。単純なキャパシタンスセン
サ、抵抗の歪みセンサ、アナログ又はデジタル圧力スイ
ッチ、誘導性センサ、或いは流量センサさえも含む様々
なセンサタイプが使用可能である。使用されるセンサタ
イプに従って、センサデータは直接プロセッサ24にデ
ジタル形式で取り込まれるか、或いは通常4又は8ビッ
ト範囲(様々な用途により、少ない場合では1ビット、
多い場合では32ビットが必要とされうるが、)を提供
する汎用アナログ/デジタル変換器によりデジタルフォ
ーマットに変換されることが可能である。アナログから
デジタルへの変換器は、プロセッサ24の内部にあって
もよいし、外部モジュールとしても提供されうる。理解
されるように、センサメッシュ22は複数のセンサ及び
センサタイプの組み合わせを含むように意図され、それ
は変形可能表面20の全体又は一部に亘って使用される
ことが可能である。
【0017】また、位置又は環境センサシステム28
は、デバイス10によってサポートされうる。ジャイロ
センサ、加速度計、或いは音響又は赤外線測距手法によ
り決定される絶対又は相対位置情報を含む、様々なセン
サモードがサポートされうる。従来の光、画像、熱、電
磁、振動、又は音響センサを含む環境センサもまた提供
される。望ましい用途に従って、示差GPS(地球投影
位置決定システム)位置決定、画像分析又は認識、音響
又は音声識別、或いは作動熱センサ等を組み入れた高価
な環境又は位置センサさえも形態素入力として使用され
ることが可能である。センサメッシュ22により検知さ
れる形態素入力と共に用いられるこれらの形態素入力
は、ユーザによるデバイス10の制御の精度およびフレ
キシビリティを高めることができる。
【0018】図示されるように、センサシステム28及
びセンサメッシュ22の双方は、プロセッサ24及び連
結されたメモリ26に接続される。プロセッサ24及び
メモリ26は通常、変形可能表面20に直接取り付けら
れるか、又は変形可能表面20内に位置される硬いケー
スに取り付けられるかにより変形可能表面20内に取り
付けられる。図示される実施の形態では、従来のCIS
C又はRISCプロセッサが使用できるが、シグネティ
ックス(Signetics )社の87c752又は87c75
1、モトローラ社の68HC11又は68582、或い
はARM社の710等の低消費電力プロセッサと共に使
用されることが好ましい。都合が好いならば、アナログ
デジタル変換器又はデジタル信号プロセッサのようなコ
プロセッサが単独で、或いはメインプロセッサと共に使
われることが可能である。特定の用途のためには、より
高価な組込み式DRAMも使用されうるが、本発明では
従来のフラッシュ、スタティック又はダイナミックRA
M(ランダムアクセスメモリ)が使用可能である。ある
種の記憶装置強化型の用途では、メモリ26が、デバイ
ス10内に配置されるか、又は外部接続を介して利用可
能な追加のハードディスク記憶装置を含むことが可能で
ある。理解されるように、多くの用途では、選択的な外
部通信の使用が少なくとも部分的に内部プロセッサ及び
メモリの使用に取って代わる(必要とされるセンサ又は
通信バッファリング(緩衝記憶)及び信号送信をサポー
トするために必要なものを除く)ことが可能である。
【0019】本発明は、任意ではあるが、内部通信シス
テム32及び連結された送受信機34を使用することに
より、外部コンピューターシステム40との通信をサポ
ートする。また、外部コンピューターシステム40は、
送受信機42とパーソナルコンピュータ又はワークステ
ーション44を含み、ローカルエリアネットワーク又は
広域ネットワークコンピュータシステム46に接続され
る。送受信機34及び42は、シリアル回線36の使用
(例えば、RS−232Cインターフェースプロトコル
を使用)、広く利用されるIRDA(赤外線データ結
合)通信規格に基づく赤外線信号38の使用、又は無線
周波信号37(例えば、携帯電話、900MHz無線、
又はデジタルPCS電話通信でありうる)の使用を含む
様々な通信プロトコル及び設計をサポートすることが可
能である。代替の通信規格、又は光又は音響の技術に基
づくような更なる代替通信伝達手段も、当然採用される
ことが可能である。
【0020】理解されるように、外部コンピューターシ
ステム40との直接通信に加えて、デバイス10はタブ
レットコンピュータ110、又はデザイン面及び機能面
でデバイス10に類似の物理的に操作可能なポータブル
コンピュータ11さえも含む多くの適切に装備された電
子デバイスとの連続的又は断続的な通信状態を、直接又
は間接的に維持されることが可能である。通信は目標デ
バイスへ直接、或いはコンピュータシステム40等の仲
介リトランスミッタを介してやりとりされることができ
る。他の可能な通信ターゲットは自動制御システム、セ
キュリティ許可装置、パーソナルデジタルアシスタン
ト、ノート型パソコン、或いは他の如何なる適切に装備
された電子システムも含む。
【0021】外部デバイスとの通信の結果、デバイスに
格納された情報の表示又はデバイス状況の更新は全て、
フィードバックモジュール33の更新を制御するプロセ
ッサ24によりユーザに提供されることが可能である。
ユーザへのフィードバックは、視覚ディスプレイ30と
連携して発生しうるような、主として視覚的なものであ
りうる。様々な電気光学又は精密機械技術に基づく、よ
り洗練された(且つ高価な)ディスプレイの使用も当然
可能ではあるが、一般的にディスプレイ30は従来の受
動的又は能動的なマトリックスの液晶ディスプレイであ
りうる。更に、特定のデバイスにとっては、少数の状況
ライト(例えば、赤か緑のLED)により形成されうる
ような非画像形成ディスプレイ、又は局所化された又は
分散された色彩の変化(適切なエレクトロクロミック(e
lectrochromic)材料で作られた変形可能な表面22との
連携による)のみが、ユーザへの視覚的フィードバック
として必要でありうる。
【0022】本発明の幾つかの実施の形態において、デ
ィスプレイ30を介しての視覚出力は非視覚ディスプレ
イ31により増やされる(又は交換されさえする)こと
が可能である。非視覚ディスプレイ31は内部アクチュ
エータに基づく触覚ディスプレイ、聴覚フィードバッ
ク、又はデバイスの外観に一致する変化に基づくディス
プレイさえも含むことが可能である。例えば、或る考え
られるフィードバックディスプレイは、ユーザフィード
バックを提供するために内部聴覚スピーカ(利用可能な
プロセッサの速度及び機能に応じて、単純な「ビープ
音」から適切に形成されたスピーチに亘る範囲の音を発
する)に基づく。理解されるように、非視覚ディスプレ
イ31及びそれに連結されるアクチュエータ又はエレク
トロニクスは、例えば内部アクチュエータを介してのユ
ーザへの力フィードバック、触覚ベースのフィードバッ
ク(例えば、手話又は他の従来の触覚ユーザインターフ
ェースの表現のための多数の表面突起物)、デバイスの
表面組織における変化、又はユーザに情報を提供するた
めの他の如何なる従来の方法も含む代替のフィードバッ
クモードをサポートすることが可能である。
【0023】本発明の作用のよりよい理解のために、デ
バイス10の物理的操作の幾つかの選択されたモード
が、図1に概略的に示される。図1に示されるように、
デバイス10は、直交する力の矢印50、51及び52
で示されるように3次元空間を並行移動することが可能
である。並行移動に加えて、デバイス10は矢印53、
54及び55により表されるような3次元空間の何れか
又は全ての方向に回転移動されうる。センサシステム2
8の使用(単体で、又は通信システム32と連携して)
により、3次元における相対又は絶対位置及び方向が決
定されることが可能である。
【0024】センサ28の使用による空間位置及び方向
の決定に加えて、デバイス10は、力ベクトル及び関連
する時間情報が決定及び解釈されることにより、一時的
に又は連続的に加えられる力を測定するため、及び位置
を限定するためにセンサメッシュ22を任意ではあるが
使用することが可能である。幾つかの可能な力作用(変
形モード)は図1に概略的に示され、矢印60及び61
は表面20の凹み(その組み合わせで圧搾を表す)を示
し、矢印62及び63は滑らせる又は擦ることによる変
形(その組み合わせで捻じれを表す)を示し、そして滑
らせる矢印65及び66と外側への引張り67とは共に
摘まむ動作及び外側へ引張る動作を示す。加えられる力
の強さが測定されることが可能であり(例えば、強い又
は軽い圧搾は区別される)、その空間的な広がりが判断
されることが可能であり(例えば、指先又は親指の腹に
よる突きは区別される)、そしてタイミングが決定され
うる(例えば、表面の速い押下又は遅い押下は区別され
る)。こうしてもたらされる変形は恒久的なもの又は一
時的なものでありうる。
【0025】当業者には理解されるように、矢印により
表される前述の力作用の其々はセンシームと考えられ
る。幾つかの一時的に区別可能なセンシーム(又は前述
の摘まむ/引張る動作の組み合わせ等のセンシームの組
み合わせ)は更に、本発明に一致する形態素文法の基礎
として使用される形態素を表す。以下に説明される全て
の形態素は、加えられる圧力、利用される力、使用され
る付属肢、体の部位或いは力を加えるために使用される
外来の仲介オブジェクトにおける様々な変化により変更
されることが可能である。更に、様々なオブジェクトの
操作時間(速い、遅い、又は速い動作と遅い動作の交互
であれ)は形態素の解釈を変更可能にする。例えば、も
し「圧搾」が典型的な形態素として利用される場合に
は、速い圧搾、遅い圧搾、強い圧搾、軽い圧搾、浅い圧
搾、深い圧搾、両手による圧搾、片手とユーザの胸又は
頭の間での圧搾、片手と机又は壁の間での圧搾、2本の
ペン又は2冊の本の間で成される圧搾、或いは更にユー
ザの舌と口内の上壁の間での圧搾等の様々な圧搾実施方
法が認識されうる。本発明の目的のためには、「家猫」
が広くライオン、トラ、及びボブキャットを含む「ネコ
科」の特定のメンバーと考えられるのと同じように、個
々の変化は可能な変更要素又は選択されたケースとして
動作し、全ての圧搾形態素が「圧搾」クラスのメンバー
と考えられる。
【0026】考えられる物理的な操作形態素の多様性の
理解を助けるために、図2は形態素の利用を可能にする
ために必要とされるデバイスの可塑性の増加する順、及
び特定のクラスのデバイスに適用される形態素を形成す
るため又は解釈するために必要とされる利用可能なセン
シームタプルの複雑さの増加する順に位置付けられた選
択された形態素を表す。可能な物理的操作の定義及び図
1に関連して説明されたデバイスに類似した(但し当
然、より複雑でありうる)デバイスのその操作により呼
び出される典型的な機能が、形態素を形成するために最
も可塑性の低いデバイス及び最も単純なセンシームセッ
トから示される。
【0027】凹ませる 定義:圧力を加えることにより、デバイスの1つ又は複
数の小領域を凹ませること。 例:図3に見られるように、ディスプレイ123を有す
るデバイス122を考える。デバイス122は、ユーザ
が幾何学形状又はユーザ定義された図形オブジェクトを
配置することを可能にする図形イラストレーションソフ
トウェアアプリケーションをサポートする。デバイス
は、各辺に1つずつ計4つのパッド124をその周囲に
有することが可能である。特定の辺を変形することによ
り、ユーザは現在選択されている幾何学形状125をそ
の位置から新しい位置126へ「そっと動かす(nudg
e)」という要求を表す。
【0028】圧搾(スクイズ)する 定義:幾つかの成分が互いに近づくように方向づけら
れ、その力がデバイスの形態構造を圧縮する力のベクト
ルを加えることにより、デバイスの1つ又は複数の小領
域を変形すること。 例:図4に示されるように、1つ又は複数の文書をアイ
コン表示(閉じた状態)及びテキスト表示(開いた状
態)モードの何れかの状態で表示することが可能なデバ
イス132を考える。開いている文書135を選択し、
次にデバイス132の変形可能エッジ134を圧搾する
ことにより、ユーザはこの場合はアイコン136として
アイコン化することを意味する、文書の「小型化」要求
を表す。
【0029】折り畳む 定義:部分的に又は完全に第二の小領域と重なるように
第一の小領域を曲げることにより第二の小領域を変形す
ること。更なる変形がその新しい形態構造の他の小領域
に適用されることが可能である。 例:図5に示されるように、文書を表示可能なデバイス
142を考える。このデバイス142が、デバイス14
2の上部のエッジ上の変形可能な水平な「フラップ」が
部分的にディスプレイ143を覆い隠すように折り畳ま
れることが可能なほど大きいと仮定する。ユーザがこの
折り畳むジェスチャーをしたら、ユーザは現在表示され
ている文書をパスワード保護する(「隠す」)要求を表
す。
【0030】丸める 定義:互いに対してデバイスの複数の小領域を円筒形又
は円形の形態構造になるように、渦巻き状に構成するこ
とにより、デバイスの1つ又は複数の小領域を変形する
こと。 例:図6に示されるように、様々な言語(英語、仏語
等)で文書を表示可能なデバイス150を考える。ユー
ザがこのようなデバイス150を利用する際には、矢印
157で示される方向に筒状に丸め、続いてそれを平ら
に戻すこの魔法をかけるようなジェスチャーが、現在開
いている文書を他の言語で表示するようにデバイス15
0に指示する。
【0031】引張る 定義:力のベクトルの幾つかの成分が互いから離れるよ
うに方向づけられ、デバイスの対向端部に加えられるよ
うな力のベクトルを適用することにより、デバイスの1
つ又は複数の小領域を変形すること。 例:図7に示されるように、ユーザが幾何学形状を操作
することを可能にする図形ソフトウェアアプリケーショ
ンを有するデバイス160を考える。デバイス160を
引張ることにより、ユーザは現在表示されている形状1
65をより大きなサイズ166に「リサイズ(サイズ変
更)」又は「リスケール(サイズ再調整)」する要求を
表し、リサイズの程度は変形される量の関数である。圧
搾は現在の表示サイズをより小さいサイズにリサイズす
ることを示すことが可能であることに留意すべきであ
る。
【0032】ピンチ(摘まむ) 定義:1つ又は複数の小領域の内の影響が及ぼされる小
領域の両面に、互いに対して直接的に一直線に揃えられ
る力のベクトルを加えることにより小領域を操作するこ
と。これは、必ずではないが、一般的には2本指による
触覚力を用いて達成される。ピンチ動作は圧搾の特殊な
ケースである。 例:図8に示されるように、文書をコピー可能なデバイ
ス170を考える。「ピンチする」動作175を実行す
ることにより、ユーザは次のセットのコピーがステープ
ルで綴じられた形式で排紙されることを希望することを
表す。
【0033】耳折り(DOGEAR:隅を折る) 定義:後に参照されるようにマーカ又は検索位置(例え
ば、ブックマーク)を示すために、第二の小領域の論理
角又はエッジで第一の小領域を折り畳むことにより、第
二の小領域を変形すること。 例:図9に示されるように、多数ページから成る文書か
ら複数ページのサブセットを表示するデバイス180を
考える。デバイス180の右上隅185を「耳折りす
る」ことにより、ユーザは現在表示されているページ
(単数又は複数)に関してブックマークを希望すること
を表す。
【0034】捻じる 定義:或る中心軸回りに非ゼロ差だけ互いからオフセッ
トされた2つの反対方向に回転する力を加えることによ
り、デバイスの1つ又は複数の小領域を変形すること。 例:図10に示されるように、時間を経る内にそのパフ
ォーマンス(性能)が或る点で劣化する(ディスクが断
片化される、メモリが不要部分の整理(garbage-collect
ion)を必要とする等)デバイス190を考える。「捻じ
る」ジェスチャー195を実行することで、ユーザはそ
のデバイスが例えば不要部分の整理を実行すること、
「それ自体を絞り出す」ことを希望することを表す。
【0035】レリーフマップ(立体模型)の作成(RE
LIEF−MAP) 定義:空間変形及び材料の追加/除去の何れかの方法で
デバイスの1つ又は複数の小領域を高くする及び/又は
低くすることにより、小領域を変形する。 例:図11に示されるように、1頁及び2頁の何れかの
フォーマットで文書を表示可能なデバイス200を考え
る。そのデバイスが単一ページ206を表示している間
に、デバイスの中心軸に関して垂直な凹みを形成するこ
とによりユーザがデバイスに「切れ目をつける」と、デ
バイス200はページ207及び208の2頁フォーマ
ットによる文書の表示を要求する形態素を解釈する。
【0036】切り裂く(RIP) 定義:デバイスからデバイスの1つ又は複数の小領域を
部分的に又は完全に切り離すように力のベクトルを加え
ることによる空間的な不連続性の導入により、小領域を
変形すること。 例:図12に示されるように、その情報の一部又は全部
をコピーすることが可能なデバイス210を考える。ユ
ーザが1つ又は複数の小領域を移動させる「切り裂く」
ジェスチャー215を実行すると、デバイス210は現
在選択されているデータセットを小領域216及び21
7上にコピーする。
【0037】穿孔する(PERFORATE) 定義:デバイスに穴が導入される(一時的又は恒久に)
ようなデバイスの1つ又は複数の小領域の空間連結に変
化をもたらす方法により、小領域を変形すること。 例:図13に示されるように、メッセージをデバイスネ
ットワークの様々な装置間をルーティングするために使
用され、またメッセージの経路を表す線222によりユ
ーザに対してこの機能性を表示するデバイス220を考
える。ユーザが指又はオブジェクト224でこれらの経
路222の内の1つに穴をもたらすようにデバイス22
0を穿孔すると、システムはその経路に沿ってのメッセ
ージのルーティングを停止する。
【0038】類似性 定義:或る予め定義された他のオブジェクトを表すよう
に既に構成されているデバイスの1つ又は複数の小領域
を変形する。通常、この方法で操作される場合、デバイ
スは現実のオブジェクトの動きと一致するように動作す
る。 例:図14に示されるように、テキストからのスピーチ
(text-to-speech)及び音声入力能力を有し、解剖学的に
正確な人間の頭部の形状でユーザに提示されるデバイス
230を考える。ユーザがその人間の頭部の唇232を
開くと、内部センサが唇の開口を検知し、テキストから
のスピーチ能力を起動する。
【0039】3次元マップ 定義:センサメッシュが外部オブジェクトのサイズ及び
形状を同時に決定することを可能にするために外部オブ
ジェクトの周りにモールド形成されることが可能なデバ
イスのモーフィングである。可能な外部オブジェクトの
範囲は広いが、デバイスの固い内部ハウジングのサイズ
及び外部ハウジングのモールド形成可能な材料の体積に
より制限される。このシステムにおいて、デバイスはモ
ールド形成可能な材料の内部表面から外部エッジの材料
の量を正確に検知する(例:水中のソナー(水中探知
機)に似た超音波測深を介す)能力を有し、従ってモー
ルド形成された外枠の形状のための精密な電子モデルを
決定する。 例:図15に示されるように、外部オブジェクト(例え
ば、コグ(ネジ)242)の表面の周りにモールド形成
可能な材料244が付着されたデバイスを押すことによ
り、デバイス240は自動的にそのオブジェクトのCA
Dモデルを生成し、それをメモリに格納することができ
る。
【0040】擬態 定義:結果として生じる形態構造が既知の現実のオブジ
ェクトと似るようにデバイスの1つ又は複数の小領域を
変形し、また小領域のこの関連によりデバイスがそれと
似たオブジェクトと一致するように動作する。 例:図16に示されるように、テキストからのスピーチ
及び音声入力能力を持つコンピュータを有し、モールド
形成可能なパテ又は粘土の軟度及び可塑性を有する不恰
好な小塊としてユーザに提示されるデバイス250を考
える。ユーザがデバイス250の一部を耳に似るように
形作ることにより「擬態」動作を実行すると、音声入力
能力が作動する。
【0041】物理的操作に基づく形態素に加えて、相対
又は絶対空間位置決定の程度の変化に基づく様々な形態
素が本発明の実施に役立つように考慮される。考えられ
る様々な空間形態素の理解を助けるために、図17は形
態素の利用を可能にするために必要とされる空間位置の
認識の増加する順、及び特定のクラスのデバイスに適用
される形態素を形成するため又は解釈するために必要と
される利用可能なセンシームタプルの複雑さの増加する
順に配置される選択された空間形態素を表す。可能な空
間操作の定義及び図1に関連して説明されたのと同様の
デバイス(但し当然、より複雑でありうる)の操作によ
り呼び出される典型的な機能が、単純な空間センシーム
をサポートするための基本的な相対位置決め機能性のみ
を有するデバイスから始まり、地球上の如何なる場所で
も数センチ範囲内に確実に位置決め可能なデバイスまで
示される。
【0042】平行移動(デバイスに関する) 定義:空間内の一位置から他の位置へのデバイスの質量
の中心の直線移動である。 例:従来のグラフィカルユーザインターフェースにおい
て、マウスにより制御された図の「スライダ」に代って
使用される。物理的にリストの僅かな部分のみ表示可能
である場合に、平行移動形態素に応じて表示ウィンドウ
を「スクロール」することにより、大きなリストも検索
することが可能である。
【0043】振り動かす 定義:純粋な平行移動が無視される程の、対向する方向
への繰り返し運動によりデバイスの全ての小領域を空間
的に平行移動すること。 例:図18に示されるように、計算装置として使用され
るデバイス260を考える。ユーザが「振り動かす」ジ
ェスチャーを実行すると、デバイス260はその累算器
をクリアする。
【0044】回転(REVOLVE) 定義:デバイスの内部の一点回りに、また如何なる任意
の平面回りに小領域を回転することにより、デバイスの
全ての小領域を回転すること。 例:図19に示されるように、一連のCAT(X線体軸
断層写真)スキャンからの医療データ等の体積測定デー
タの画像形成スライスを表示するデバイス270を考え
る。デバイス270の内部にあたる中心点272回りに
デバイスを新たな位置274へ回転することにより、画
像形成スライスを指定する平面がそれに応じて変更され
る。
【0045】傾ける 定義:回転力の1つ又は複数の成分が重力方向であり、
回転量が約−180度と+180度との間であるように
小領域を回転することにより、デバイスの1つ又は複数
の小領域を回転すること。 例:ユーザに面している面に一連のアニメーションから
フレームを表示するデバイスを考える。ガスペダルの操
作に類似して、デバイスが向こう側へ傾けられるとアニ
メーションの速度が増し、ユーザ側に傾けられるとアニ
メーション速度は遅くなる。
【0046】軽く振る(FLICK) 定義:前方への傾け動作が、対向する戻りの傾け動作に
より直ちに追随されること。 例:図20に示されるように、他のデバイスにデータの
或るサブセットを送信することが可能なデバイス280
を考える。ユーザが素早く矢印282の方向へ傾け、次
に矢印282に沿って反対方向に傾けることにより「軽
く振る」ジェスチャーを実行すると、デバイス280は
円弧ジェスチャーにより示されたデバイス(図示せず)
に向けて送信を実行する。
【0047】スピン 定義:回転面がデバイスの表面の1つの面であるよう
に、デバイスの内部の一点回りにデバイスの1つ又は複
数の小領域を回転することにより、小領域を回転するこ
と。スピンは回転の特殊な例である。 例:図21に示されるように、ビデオシーケンスからビ
デオフレーム295を表示することが可能なデバイス2
90を考える。ユーザが反時計回り方向に「スピン」ジ
ェスチャーを実行すると、デバイスはそのシーケンスの
前のフレームを表示し、その動作が時計回り方向(矢印
292)に実行されると、デバイス290はそのシーケ
ンスの後のフレーム296(フィルムストリップ294
により表される)を表示する。
【0048】配向(オリエント:ORIENT) 定義:回転面がデバイスの表面の1つの面であるよう
に、そして回転量が90度の倍数である(即ち、デバイ
スをコンパス主要方位点間で回転する)ように、デバイ
スの中心回りにデバイスの1つ又は複数の小領域を回転
することにより小領域を回転すること。配向はスピンの
特殊な例、即ち回転の特殊な例であると考えられうる。 例:図22に示されるように、文書を1頁、2頁、及び
4頁のフォーマット(「1頁表示」、「2頁表示」又は
「4頁表示」)の何れかで表示可能なデバイス300を
考える。ユーザが時計回り方向(矢印302)への配向
のジェスチャーを実行すると、デバイス300は表示す
る文書頁数を1頁305から2頁306及び307に増
加する。更なる配向のジェスチャーは、表示頁数を増加
させるであろう。反時計回り方向に実行されると、デバ
イス300は表示している頁数を減少させる。
【0049】向ける 定義:第一のセットの小領域が最早一番底ではなく、第
二の別なセットの小領域が第一の小領域の前の位置を引
き継ぐようにデバイスの1つ又は複数の小領域を操作す
ること。 例:図23に示されるように、文書を表示し、ユーザが
それらの文書を編集可能なデバイス310を考える。更
に、そのデバイスがユーザに6つの異なる面上に6つの
異なる文書が表示される立方体の形状で提示される例を
考える。ユーザが特定の面を一番上にすることにより
「向ける」ジェスチャーを実行すると、この時点で一番
上の面の文書がユーザにより編集可能になり、最早一番
上の面でない文書は編集可能でなくなる。
【0050】持上げる 定義:デバイスに作用している現在の重力に反する方向
への、デバイスの質量の中心の移動である。 例:コンピュータのファイルシステムの1つ上の階層を
表示するようにデバイスに命令する。
【0051】左右に回転する(PAN) 定義:実質的に一定の高さでユーザの体の正面に平行し
て移動されるような、デバイスへの平行移動の適用であ
る。 例:スプレッドシートの非常に小さな1つのセルのみが
表示可能な小型ディスプレイを有するデバイス上でスプ
レッドシートを眺める。デバイスを左右に回転すること
により、回転の速度又は量に従って現在の行の内容が順
に表示されることが可能である。しかし、もし左右に回
転中に現在の向きから外れるように回転されると、新し
い1つの行が選択されうる。行の選択は、元の向きから
の逸脱度に依存しうる。
【0052】押す−引く(PUSH−PULL) 定義:デバイスの中心からユーザの体の垂直軸への投射
線に沿って移動されるように空間的に平行移動すること
により、デバイスの1つ又は複数の小領域を操作するこ
と。 例:音声出力能力を有するデバイスを考える。デバイス
が体から遠くへ「押される」と、その音声出力レベルが
上がる。デバイスが体の方向へ「引かれる」と、そのレ
ベルは下がる。
【0053】強打する 定義:小領域が外部オブジェクトに接触するか又は外部
オブジェクトにより接触されて同等且つ反対方向の力を
引き起こすように、デバイスの1つ又は複数の小領域に
対して加速的な又は非加速的な力を加えること。 例:図24に示されるように、長く且つ予測不可能なデ
ータベース検索を実行することが可能なデバイス320
を考える。ユーザが強打するジェスチャー(例えば、テ
ーブル322に)を実行すると、現在の検索は中断され
る。
【0054】配向(環境に関する) 定義:2つの小領域の其々の中心点の間に引かれた線が
周囲環境に関するデバイスの配向を変更するように、デ
バイスの2つの小領域を操作すること。 例:機械部品のCAD図面を可動(モバイル)デバイス
のディスプレイ上に3次元で表示する。デバイスの配向
が変化すると、表示される画像の視角及び位置も変化す
る。
【0055】旋回する 定義:デバイスの物理的境界の外に位置する或る点回り
に、また如何なる任意の軸回りに1つ又は複数の小領域
及び/又はデバイスの質量の中心を回転することによ
り、小領域を回転すること。 例:図25に示されるように、情報を得るためにWorld
Wide Web(ワールドワイドウェブ)等のネットワークデ
ータベースを検索することが可能なデバイス330を考
える。ユーザが「旋回」ジェスチャーを実行すると、そ
のような検索が開始される。回転334の半径332は
検索の幅を指定し、より大きな円はより広い検索を指定
する。ジェスチャーの速度は検索に課せられる制限時間
を指定し、ジェスチャーが速ければ速いほど、検索はよ
り粗略になる。
【0056】ユーザに関する旋回 定義:ユーザの身体機能の近くに位置し、デバイスの物
理的境界の外に位置する或る点に関して1つ又は複数の
小領域及び/又はデバイスの質量の中心を回転すること
により小領域を回転すること。これは、旋回の特殊な例
である。 例:図26に示されるように、音声出力を実行すること
が可能なデバイス340を考える。ユーザの耳345に
関して旋回ジェスチャー(矢印344により示される方
向へ)を実行すると、音声出力が起動される。
【0057】室内での移動 定義:取り囲まれた部屋の中に見出される基準点に相対
するデバイスの3次元位置の局所的検知である。測定さ
れた位置に関する差異は、動作をトリガするために使用
される。 例:ユーザが室内におけるデバイスの現在の位置に基づ
きファイルを保存及び復元することを可能にする仮想フ
ァイリングシステムである。ファイルを保存するため
に、ユーザはファイルの内容について十分に考慮し、次
にそれに最も簡単に関連付けられるであろう室内の位置
迄歩いて行く。ファイルを復元する場合は、ユーザは同
一思考プロセスを用いて、そのファイルに関連付けた位
置に戻る。そうすることにより、その位置に関連付けら
れたファイルが表示され、ユーザは探していたファイル
をその時点で選択することが可能になるであろう。人間
の記憶は、或る抽象的な情報データ構造における情報よ
りも寧ろ空間的に組織化された情報を思い出すのに非常
に優れているため、このシステムは有効である。
【0058】大きく離れたサイト間の移動 定義:デバイスの1つ又は複数の小領域の検知された絶
対空間位置が変更されるように、小領域を操作するこ
と。 例:クライアント情報のデータベースから情報を表示す
ることが可能なデバイスを考える。デバイスが異なるク
ライアントサイトへ移動されると、デバイスは最も近く
のクライアントサイト向けの情報を表示するためにその
表示を自動的に更新する。
【0059】物理的操作又は空間位置決めに基づく形態
素に加えて、感知された環境条件に基づく様々な形態素
が本発明の実施に有効であると考えられる。考えられる
様々な環境形態素の理解を助けるために、図27は幾つ
かの一般に感知された環境上のカテゴリに必要とされる
センサの複雑さが増加する順に大まかに配置された選択
された環境形態素を示す。提示される各カテゴリごと
に、図1に関連して説明されたようなデバイスによりサ
ポート可能な幾つかの選択された感知システムが示され
る。
【0060】 定義:デバイスの1つ又は複数の小領域に投じられる光
の量が変化するように、小領域を操作する。 例:ノートを取るために講堂で使用されるデバイスを考
える。室内照明が点灯されると、光センサがこれを検知
し、エネルギを浪費しないためにバックライトを弱くす
る。室内照明が消される(例えば、スライドショー(上
映)の最中)と、光センサはこれを検知し、可視性を上
げるためにバックライトを強くする。光センサは、しき
い値による二分光検知器から照明パターン検知器、完全
画像形成システムにまでおよびうる。先進の技術は、オ
ブジェクト又は人を識別するための画像分析及び認識を
含むことが可能である。
【0061】 定義:デバイスの1つ又は複数の小領域に加えられる熱
量が変化するように、小領域を操作する。 例:テキストを入力するためのスタイラスを有するポー
タブルコンピュータを考える。コンピュータの背面に沿
って熱変化断面(熱プロファイル)を見ることにより、
コンピュータはそのコンピュータが左手で、右手で、両
手で、或いはどちらの手でもないもので保持されている
かを検知し、そのインターフェースをその結果に応じて
更新することが可能である。サーマル(熱)センサは、
単純な温度センサから洗練された示差熱マッパー及びサ
ーマルイメジャー(熱画像形成装置)にまで及びうる。
【0062】電磁気 定義:デバイスの1つ又は複数の小領域に加えられる電
磁スペクトルが変化するように、小領域を操作する。 例:電波スペクトルを分析することにより、デバイスは
その絶対空間位置に関する推定を導き出すことが可能で
あり、またそれをデバイスの機能性を変更するために使
用できる。電磁検知は磁気コンパス、電波探知、又はG
PSの信号検知を含むことが可能である。より先進の技
術は、利用可能な電波信号に基づき概略的に位置を決定
するような電磁スペクトル分析及び解釈を含むことが可
能である。
【0063】振動 定義:デバイスの1つ又は複数の小領域を振動により操
作する。 例:テキスト情報を表示するデバイスを考える。ユーザ
がそのデバイスをバス(乗物)に持ち込むと、デバイス
により感知される周囲の振動レベルが変化し、デバイス
はユーザがその振動に適応するのを助けるために、表示
されたテキストサイズを大きくする。このクラスの環境
形態素は断続的な接触の検知、低周波の雑音、又は音響
レベルの検知を含むことが可能である。より優れたプロ
セッサ能力を必要とするより先進の技術は、最大周波数
識別、音響周波数のスペクトル分析(デバイスが、例え
ば背景の騒音とスピーチとを区別することを可能にす
る)、又はデバイスの周辺でのスピーチに基づく個人の
識別さえも含む。
【0064】物理的操作、空間位置又は感知された環境
要素に基づく形態素に加えて、多数の相互作用する(対
話型)デバイス同士間の協同作業に基づく様々な形態素
が本発明の実施に有効であると考えられる。様々な考え
られる空間形態素の理解を助けるために、図28は可能
な物理的接触のレベルが増加する順、及び特定クラスの
デバイスに適用される形態素を形成するため又は解釈す
るために必要とされる利用可能なセンシームタプルの複
雑さが増加する順に、マルチデバイス形態素を表す。可
能なマルチデバイス操作の定義及び図1に関連して説明
されたデバイスと同様のデバイス(但し、当然より複雑
でありうる)のマルチデバイス操作により呼び出される
典型的な機能が、単純な空間センシームをサポートする
ための基本的なエッジ変形機能性のみを有するデバイス
から始まり、互いに覆われうる複雑に変形可能、又は埋
設可能なデバイスまで提示される。
【0065】接触(タッチ) 定義:デバイスの1つ又は複数の小領域が第二のデバイ
スの小領域と如何なる配列及び如何なる程度であれ物理
的に接触するように、小領域を移動する。 例:図29に示されるように、第一のコンピュータがデ
ータベースを含み、第二のコンピュータがIRDAポー
トを含む、2台のポータブルコンピュータ350及び3
51を考える。ユーザが第一のコンピュータ350を第
二のコンピュータ351に接触させると、データベース
が第二のコンピュータのポートを介して送信される。
【0066】突き合わせ 定義:デバイスの1つ又は複数の小領域が第二のデバイ
スの1つ又は複数の小領域との物理的接触状態になるよ
うに小領域を移動して、第一のデバイスの小領域(単数
又は複数)及び第二のデバイスの小領域(単数又は複
数)が1つ又は複数のエッジ(縁)に沿って一列に整列
される。或いは、そのように配置された2つのデバイス
を取り上げて、その整列が解除される。 例:図30に示されるように、同一の基本データベース
の異なるバージョンを有する複数のデバイス360、3
61及び362を考える。ユーザが第一のデバイス36
0を第二のデバイス361と突き合わせ、続いて突き合
わされた第一及び第二のデバイスに第三のデバイス36
2を突き合わせると、それらのデータベースは合致され
る(同期がとられる)。
【0067】スタック 定義:デバイスの1つ又は複数の小領域が第二のデバイ
スの小領域との物理的接触状態になるように小領域を移
動して、第一のデバイスが第二のデバイスの上に、但し
物理的に第二のデバイスに隣接して位置される。或い
は、そのように配置された2つのデバイスを取り上げ、
その配列を解除する(即ち、取り降ろす)。 例:図31に示されるように、各デバイスが長い一連の
ビデオ画像からビデオのフレームを表示する1セットの
デバイス370、371及び372を考える。デバイス
がスタックされると、スタックの順番がビデオの編集の
順序を指定し、単一の複合ビデオがこの時点で作成され
る。
【0068】タイリング(TILE) 定義:デバイスの1つ又は複数の小領域が第二のデバイ
スの小領域と物理的に接触するように小領域を移動し
て、第一のデバイス及び第二のデバイスが継目のない単
一の空間ユニットを形成する。或いはそのように配列さ
れた2つのデバイスを取り上げ、その配列を解除する。
タイルは突き合わせの特殊な例である。 例:図32に示されるように、各デバイスが大きな写真
の一部を独立して表示することが可能である1セットの
デバイス380、381、382及び383を考える。
デバイスがタイル状に並べられると、各デバイスはタイ
ル状のグリッド内の現在の相対位置に適した写真の部分
を表示する。
【0069】相対的位置合わせ 定義:デバイス同士が接触せずにデバイスの1つ又は複
数の小領域が1つ又は複数の他のデバイスと特定の空間
関係で結び付くように、小領域を移動する。 例:図33に示されるように、複数頁から成る文書を表
示している1セットのデバイス390、391、392
及び393を考える。その時点で最も左側に位置される
何れかのデバイス(デバイス390)は目次を表示し、
その時点で最も右側に位置される何れかのデバイス(デ
バイス393)はインデックスを表示し、その他のデバ
イスは其々の位置に応じて頁を表示する。異なるデバイ
スは異なる表示能力を有することが可能であるため、あ
ちこちに移動することで文書表示を変更することができ
る。例えば、もし複数デバイスの内の1つのみがカラー
ディスプレイを有する場合に、それが第二の位置から第
三の位置へ移動されると、(a)それまで第三の位置に
あり2番目の頁を表示していたデバイスが、今度は1番
目の頁を表示し、(b)それまで1番目の頁を表示して
いたカラーディスプレイが、今度は2番目の頁をカラー
で表示する。
【0070】包み込み/はめ込み 定義:デバイスの1つ又は複数の小領域が空間的に閉塞
される、又は第二のデバイスの或る部分により空間的に
閉塞されるように小領域を操作する。 例:図34に示されるように、電子メールのフィルタリ
ングをサポートするためのインフラストラクチャ(基礎
構造)を含む第一のデバイス400を考える。特定の電
子メールフィルタを実行する第二のセットのデバイス4
01と402を考える。ユーザがデバイス401(又は
402)を第一のデバイス400に物理的にはめ込み、
そのことにより第一のデバイス400が第二のデバイス
401(又は402)を包み込むと、第二のデバイスに
よりサポートされる特定の電子メールフィルタが作動す
る。
【0071】当業者は理解するであろうように、物理的
操作、空間位置、環境条件又は多数の相互作用するデバ
イスに基づく上述の如何なる形態素の組み合わせも、形
態素「センテンス(文)」への関与により拡張されう
る。センテンスは一時的に解体可能な1つ又は複数の形
態素のシーケンスとして定義される。通常、センテンス
内の形態素を区別するためには約1/10秒乃至2〜3
秒で十分である。当然、ある状況下では不定の時間が経
過しうる。センテンスレベルは、形態素シーケンスの適
切な選択、及び例えば能動的(動詞のような)形態素、
命名(名詞)形態素又はコネクタ(接続詞)の使用を支
配する推論的規則による物理的操作文法の定義を可能に
する。センテンスにおける単語の位置及び関係がそのセ
ンテンスの意味を画定するように(例えば、「horse ch
estnut(セイヨウトチノキ)」が「chestnut horse(赤
茶色の馬)」と同一でないように)、同様に操作センテ
ンスにおける形態素の位置及び関係はそのセンテンスの
意味を画定する。例えば、通信モードにおいて軽く振る
動作に続く強打は「データを送信し、ローカルコピーを
削除せよ」を意味することが可能な一方、強打に続く軽
く振る動作は「デバイスの電源を立ち上げ、データを送
信せよ」を意味することが可能である。他の状況におい
ては、軽く振る動作や強打は何か全く別なことを意味す
ることが可能である。形態素センテンスの構成をよりよ
く理解するために、以下の例が説明される。
【0072】データ転送センテンス 他のデバイスに、情報の一部又は全部を送信することが
可能なデバイスを考える。更に、この送信は非暗号化及
び暗号化(セキュリティを高めるため)の何れの状態で
も成されることが可能である。また更に、テキストと図
形とから成る文書の送信は、図形を含むこと又は省くこ
と(時間を節約するために)が可能である。ユーザが
「文書Aの情報を暗号化し、図形を省いてマシンBに送
信せよ」というコマンドを実行すると仮定する。する
と、これをサポートするジェスチャーシーケンス(形態
素センテンス)は次のようになる。 押下:ユーザはAの表示された表現を押し、次の処理の
ためにAが選択されるべきことを示す。 軽く振る:ユーザはデバイスBの方向にデバイスを軽く
振り、処理はBへの送信であることを示す。 折り畳む:ユーザはデバイスの上から1/4を下から3
/4の部分の上に折り畳み、送信が暗号化されるべきこ
とを示す。 捻じる:ユーザはデバイスをその中心軸回りに捻じり、
データが「絞り出される」、即ち図形が省かれるべきこ
とを示す。 圧搾:ユーザはデバイスを圧搾し、その動作はその処理
が続行されるべきことを確認していることを示す。これ
らのジェスチャーの何れも単独では、行為を実行するこ
とにはならず、一時的に分離される形態素の「アンサン
ブル(集団)」が、完全なアクションを形成するように
解釈されねばならないことに留意するべきである。
【0073】図形変更センテンス ユーザ操作のために幾何学形状を表示するデバイスを考
える。更に、サポートされる操作の1つは、形状をリサ
イズ(又はリスケール)することである。また更に、こ
のリサイズがエイリアシングされる(ぎざぎざになって
表示される)かエイリアシング除去される(エッジが滑
らかにされる)かの何れかで実行されうると仮定する。
ユーザが「エイリアシング除去モードで、形状AをX軸
に関してのみ120%にリサイズせよ」というコマンド
を実行したいと仮定する。すると、これをサポートする
形態素センテンスは次のようになるであろう。 押下:ユーザはAの表示された表現を押し、次の処理の
ためにAが選択されるべきことを示す。 引張る:ユーザはデバイスの或る部分を引張り、処理が
リサイズであることを示す。ユーザが引張り始めると、
状況ディスプレイの一部は「100」を表示する。ユー
ザは、状況ディスプレイが「120」と表示するまで引
張り続ける。レリーフマップ作成:ユーザは水平に凹み
を形成することによりディスプレイに「切れ目を付
け」、処理が水平(X)軸に関してのみ実行されるべき
ことを示す。 押下:デバイスの別の場所に親指による円状のストロー
クが成され、エイリアシング除去(エッジを滑らかにす
る)が実行されるべきであることを示す。
【0074】データベース表示センテンス 電話番号リスト、住所リスト及びカレンダー等の様々な
個人情報データベースを保持するデバイスを考える。ユ
ーザが、それらのデータベースの中の最も適したものが
表示されることを希望すると仮定する。すると、これを
サポートするジェスチャーシーケンスは次のようになる
であろう。 空間位置:ユーザは、デバイスが電話、住所録、及び冷
蔵庫(ファミリーカレンダーが飾られている)の内の何
れか適したものに空間的に最も近くなるようにデバイス
を持って行く。 押下:ユーザは、処理を起動させるためにデバイスに触
れる。この時点でデバイスは、その位置に適した個人情
報を表示する。
【0075】データベース検索センテンス 前述のデータベース表示センテンスの例を拡張するため
に、カレンダーデータベースを保有する2つのコンピュ
ータを考える。もしユーザがそれらのカレンダーの同期
をとりたい場合、これをサポートするための適切なジェ
スチャーシーケンスは次のようになるであろう。 圧搾:ユーザは、デバイスのジェスチャー認識能力を起
動するためにデバイスを圧搾する。 旋回:ユーザはデバイスを、他方のデバイスの表面回り
に3回旋回させ、次の3週間分のデータのみを一致させ
たい旨を示す。 突き合わせる:ユーザはデバイスのエッジをカレンダー
のエッジに突き合わせ、2つのデバイス間で内容を「合
致」させたいことを意味する。
【0076】プリンタ/複写機制御センテンス 文書のペーパーコピーを作成可能なデバイスを考える。
ユーザが、そのようなデバイスに文書Aを次に大きいサ
イズに拡大された両面コピーをステープルで留められた
状態で生成することを指示したいと仮定する。すると、
これをサポートするジェスチャーシーケンスは次のよう
になるであろう。 押下:ユーザはAの表示された表現を押し、次の処理の
ためにAが選択されるべきことを示す。 切り裂く:ユーザはデバイスの一部に空間的な不連続性
を導入し、次の処理がコピー(データの或る部分を「持
ち去る」)であるべきことを示す。 摘まむ:ユーザはデバイスの上部左隅を摘まみ、コピー
がステープルで留められるべきことを示す。 圧搾:ユーザはデバイスの前面及び背面を押し、コピー
が両面であるべきことを示す。 引張る:ユーザはデバイスを引張り、コピーが次に大き
いサイズに拡大されるべきことを示す。 向ける:デバイスは通常底部に排紙装置を有し、ユーザ
がふとしたことからコピーを作成してしまうことを予防
する。排紙装置が側面になるようにデバイスを向けるこ
とにより、コピー処理は開始される。
【0077】光ベースの制御センテンス 文書を表示することが可能なデバイスを考える。ユーザ
が列車内で腰掛けて文書を扱っており、列車がトンネル
に入ったら文書がバックライトで表示され、列車が凸凹
の線路上を揺れながら走ると、文書がより大きなフォン
トで表示されることをユーザが望むと仮定する。する
と、これをサポートするジェスチャーシーケンスは次の
ようになるであろう。 圧搾:ユーザがデバイスを圧搾し、光の低下がバックラ
イトにより補われるべきことを示す。 光:電車がトンネルに入ると、光ジェスチャーが成され
デバイスがバックライトを点灯する。 強打:ユーザが手のひらでデバイスを勢いよく叩き、読
み辛い文書を調整するためにユーザが望む選択がフォン
トサイズを大きくすることであることを示す。 振動:列車が橋を越えると、振動のジェスチャーが感知
される。この形態素センテンスにおけるこの振動形態素
の位置(先行する強打動作の後である)のために、デバ
イスは表示されるテキストのフォントサイズをこの時点
で大きくする。 光:ユーザがデバイスをスーツケースにしまい、光ジェ
スチャーを生じさせる。この状況(その前に圧搾しな
い)では、光ジェスチャーはデバイスにディスプレイの
電源を切断させる。
【0078】本発明に一致するデバイスの有用性及び構
成をよりよく理解するために、デバイスの幾つかの例が
ここで説明される。
【0079】圧搾及び傾け制御を有するポータブルコン
ピュータ 変形可能な圧力に感応するエッジング504を取り付け
られることが可能な手に持てるポータブルコンピュータ
500(例えば、3Com(登録商標)のPalmPi
lot(登録商標))が図35及び図36に概略的に示
される。コンピュータ500は、ディスプレイ503上
にユーザが見ることが可能な氏名−住所入力フィールド
を提供する氏名及び住所のソフトウェアアプリケーショ
ンをサポートする。この実施の形態において、ユーザは
コンピュータ500の変形可能な、圧力に感応するエッ
ジング504を圧搾する(圧搾矢印507のように)こ
とが可能である。それに応じて、氏名及び住所のソフト
ウェアアプリケーションは、名簿の「A」から「Z」ま
でのエントリー(登録名)に亘ってゆっくりインクリメ
ントする(スクロールする)ことにより表示503を動
かす。ユーザがエッジング504を再度圧搾すると、ソ
フトウェアアプリケーションはスクロールする動きを停
止する。スクロールの機能性は、コンピュータの動きが
従来の回動可能な住所録を真似ることを可能にする傾き
センサの使用により更に高められる。もしコンピュータ
500が或る人が通常それを保持する45度の角度から
離れるように傾けられると、スクロールの速度が加速さ
れる。このアプリケーションでは、コンピュータ500
がユーザに向かって(図36の矢印506により示され
る)傾けられるほど、「Z」方向へのスクロールが速く
なる。しかし、もしユーザがコンピュータ500を元の
45度位置を越えて戻すように傾けられると(図36の
矢印505により示される)、動画は傾きの大きさに関
連する速度で逆方向に動くであろう。この方法により、
ユーザが片手のみを用いて極自然に長いリスト内から項
目を検索することが可能である。
【0080】図37に概略的に示される代替モードで
は、スクロール速度は圧力により完全に制御されること
が可能である。圧搾圧力(矢印537)が大きければ大
きいほど、リストは速くスクロールする。加えられる圧
力の解放は、スクロールを停止させる。この代替のユー
ザインターフェース方法では、適用される傾き(直交す
る傾き矢印530及び532により示される)はリスト
を通してのスクロールの方向を変更するために使用され
ることが可能であり、ユーザがディスプレイ503では
水平方向にも垂直方向にも全体を見ることが不可能であ
るような大きな2次元データセット(データ面520と
して概略的に示される)の一部を検索することを可能に
する。データ面520が眺められることが可能な窓であ
るかのように、コンピュータ500のディスプレイ50
3を単に傾けることにより、データ面の如何なる特定部
分(例えば、データサブセット524)も見ることが可
能である。理解されるように、前述の両モードにおい
て、スクロール速度、特定の中立傾き角度及びスクロー
ル変更を開始するために必要とされる圧力は、特定のユ
ーザに合わせて調整されることが可能である。
【0081】利き手検知を伴うポータブルコンピュータ 図38及び39に概略的に示される手に持つことが可能
なWindows(登録商標)版CE(大衆消費電子製
品)クラスのコンピュータ550(即ち、カシオ(Ca
ssio、登録商標)のカシオピア(Cassiopi
a、登録商標))のユーザインターフェースを実現した
従来のキーボード551を拡張するために圧力センサが
追加された。この実施の形態では、ユーザの利き手がコ
ンピュータ550の右側及び左側の背面エッジに位置さ
れた圧力センサを使用することにより判断された。ユー
ザ研究により、右側と左側との圧力の差がユーザの利き
手の直接的な示唆をもたらすことが確認されている。図
38と39に其々示されるように、利き手はフォーマッ
トされたテキスト554を左側(図38)又は右側(図
39)に位置調整するために使用され、それによりディ
スプレイ553上に電子注釈入力ペンでテキストを書込
むために使用されるようにより広い空間555をもたら
した。
【0082】図35〜37により示された本発明の実施
の形態及び図38と39に示された前述の実施の形態の
両方のために、海面質(スポンジ)の、弾性のある、又
は他の変形可能な材料の材料変形が測定されねばならな
い。材料変形を測定するために、画像形成又は流体容積
変化に基づく技法を含む様々な技法が使用されうるが、
1つの特に有効な技法は圧力変換器の使用に基づくもの
である。商用的に入手可能なセンサは、圧力変化を電気
特性における変化に変換することにより圧力(材料変形
を暗示する)を測定する。例えば、圧力に応じて抵抗を
変化させる安価なセンサは、紙の薄さのセンサ及び容易
に曲げられるセンサストリップを含む様々な形状及びサ
イズで実現されることが可能である。この種のセンサ
は、ジェスチャーUIが必要とするであろう如何なる特
定形状又は型にもカストマイズされ(個別要求に応じ)
うる。センサは、圧力を電位における変化としてモデル
化する分圧器ネットワークに一般的に位置されるため、
抵抗における変化は通常圧力に一次的に(線形に)関連
される。実用的な回路のために、最低圧力から最高圧力
への値の変化が有効な範囲に亘るように、結果として生
じる信号は増幅され、バッファリング(緩衝)され、そ
して変換される。変更された信号はこの時点で、圧力の
デジタル表現を作り出すためにアナログ−デジタル変換
器(ADC)に送り込まれる。大半の用途には通常、8
ビットADCが使用されうるが、もし圧力変化に対する
より優れた感度が必要とされるならば、より高度な分解
能のADC(例えば、16ビットADC)を使用するこ
とが可能である。理解されるように、ADCはプロセッ
サのアドレス空間に周辺装置としてメモリマップされる
こと、或いはこのシステムから利益を受けることが可能
な既存のコンピュータに、改造された圧力インターフェ
ースとして代わりに供給されることが可能である。RS
232接続がポータブルコンピュータ上でほぼ全世界的
に使用可能なインターフェースであるため、1つの方法
はADCの並列出力をUART(万能非同期受信送信
機)等の並直列変換回路を使用して直列RS232フレ
ームへ変換させ、次にRS232規格により特定される
ように信号をレベルシフト及びバッファリングすること
である。直列インターフェースのコンピュータ端末で
は、その出力がプロセッサにより読み出し可能なもう1
つのレベルシフター及びUARTが直列−並列変換を実
行する。
【0083】図40に関連して説明されるように、ワー
キング(実用)システムの実現に際して、多くの入出力
タスクを単一のチップに結合するためにADCが組み込
まれたマイクロコントローラ564(シグネティックス
(Signetics)87c752)が、レベルシフター566
(MAX3223)と組み合せて使用されることが可能
である。このアプローチは、入力信号の知的処理がソフ
トウェアにより可能であるという利点を有する。傾き測
定は、アナログ信号をマイクロコントローラ564に供
給するために緩衝増幅器562に接続された傾きセンサ
567によりもたらされる。また圧力測定はシリアルリ
ンクを通る際のプロトコル内で符号化されうる。この特
定のマイクロコントローラ564は5つのADC入力を
有するが、8本のデジタル制御線を利用することによ
り、圧力センサ565による最大8つまでの圧力点を測
定するために、1つのADC入力及び1つの緩衝増幅器
561のみを使用することが可能である。これは、一度
にただ1つのセンサを選択し、ADCへの単一入力を使
用して各センサの読取りを行うように制御線を使用する
ことにより実現される。8つのセンサが選択された後
に、8つの読取り値がメモリに読み込まれる。マイクロ
コントローラは、ホストコンピュータ569との通信の
ために必要とされるよりもはるかに速い速度で測定及び
アナログ−デジタル変換を実行することができるため、
本設計は実践的である。
【0084】スクロール又は利き手ベースのソフトウェ
アアプリケーションのためには、圧力測定を表すのに十
分であるように16のレベルが決定された。ホストコン
ピュータ569への高データスループット(処理能力)
を持つために、各測定結果は4つの下位ビットが圧力表
示であり、4つの上位ビットがセンサIDであるよう
に、RS232フレームの1バイトに符号化された。従
って、RS232データの各フレームは完全に自己充足
された。当然アドレス空間へのデバイス数を所定の個数
に制限するプロトコルは、いつの日かサポートされてい
る個数よりはるかに多くのデバイスを参照することを必
要とするアプリケーションが設計されるかもしれないと
いう問題をいずれ有することになるであろう。このプロ
トコルに関して使用される解決策は、センサID番号1
5をセンサ又は数値を表す任意のバイト数を含むように
符号化の意味論を拡張可能な特別値として取っておくこ
とである。説明されたソフトウェアアプリケーションの
ためには、一般的に用いられるRS232のフレームフ
ォーマット(9600ボーの速度で1開始ビット、パリ
ティなしの8データビット、1終了ビット)が選択され
た。
【0085】実行に際し、ホストコンピュータ569
は、デバイスの背面に位置しほぼ左半分を占める小領域
と、やはりデバイスの背面に位置しほぼ右半分を占める
小領域の2つの小領域に作用する現在の圧力に関する情
報を利用することにより利き手を決定した。現在の圧力
値は、デジタル値0(ゼロ)が圧力無しを表し、例えば
デジタル値15が最大圧力を表すように、アナログから
デジタル形式へ変換された。検知回路は次のように進
む。 もし(左センサが高く且つ右センサが高い)ならばユー
ザがデバイスを両手で掴んでいると断定せよ そうではなく、もし(左センサが高く且つ右センサが低
い)ならばユーザがデバイスを左手のみで掴んでいると
断定せよ そうではなく、もし(左センサが低く且つ右センサが高
い)ならばユーザがデバイスを右手のみで掴んでいると
断定せよ そうではなく、もし(左センサが低く且つ右センサが低
い)ならばユーザがデバイスをどちらの手でも掴んでい
ないと断定せよ また通信を最適化するために、圧力値はそれらが変化し
た場合にのみ送信される。圧力センサにおけるジッタ及
びエラーを補償するために、センサはもしその値が或る
最低しきい値(例えば、0〜15の値域内の「2」)よ
り大きい場合に単に「高い」と考えられる。
【0086】エッジ変形可能ディスプレイをサポートす
るスキャナ/プリンタ/複写機 スキャナ/プリンタ/複写機デバイス570が概略的に
図41に示される。図41に(そして図42に、より詳
細に)示されるように、デバイス570は1枚の紙のよ
うな無造作な形状と共に、変形可能エッジ572を有す
るディスプレイ574をサポートする。実行に際して
は、ユーザは書かれた原稿を走査のためにデバイス57
0に配置することが可能である。走査された文書の電子
バージョンがディスプレイ574上に表示される(即
ち、図42のテキスト575)。変形可能エッジ572
を矢印577により示されるように外方向に引張ること
により、ユーザはデバイス570にプリント又はコピー
する前に文書をリサイズするように指示することができ
る。変形可能エッジ572の対向する面(矢印578)
を摘まむことにより、両面にコピーするようにデバイス
570に更に指示することが可能である。理解されるよ
うに、他の様々な形態素がデバイス570との対話のた
めの簡単なインターフェースを提供するために使用され
ることが可能である。
【0087】タイリング可能及びスタック可能なポータ
ブルディスプレイ 組み込まれたディスプレイコントローラと従来のディス
プレイを実質上含む少なくとも1つの表面とを有する多
数の自律的なディスプレイタイルは、本発明の様々な態
様の実施に特に有効である。そのようなタイルは、接
触、軽く振る、相対的配置又は強打等の様々な形態素に
応じて相互接続されることが可能であり、或いは所定の
状況においては、実質的にユーザが介入しない形態素入
力で実行されることすら可能である。
【0088】好都合なことに、タイルの位置決めはその
タイル自体にとっての、そして他のタイルから見たその
タイルのインターフェース特定要素として使用されるこ
とが可能である。例えば、各ディスプレイタイルは独立
メモリにビデオセグメントを保有することができる。タ
イルをシャッフル(混ぜる)即ち再編成することは、ユ
ーザが物理的に操作可能なビデオ編集システムに影響を
及ぼすようにビデオセグメントのシーケンスを物理的に
操作することを可能にする。カードアナロジー(類似)
を使用することにより、タイルは文書、文書内の頁、音
声注釈、ボイスメール、又はタイルに含まれる他の時を
表すメディアを再配列するために使用されることが可能
である。結果として生じるシーケンスは、次にタイル状
に並べられた構成を1つのユニットとして使用すること
により全体として再生されることができる。
【0089】本発明の目的のために、ディスプレイタイ
ル配列構成は以下のように分類されうる。
【0090】連続的な表示領域が最大に(即ち、継目な
く)なるように、タイル602が当接して、但し重なり
合わずに、表面610に広がるように配置される緊密に
パックされたディスプレイタイルアレイ600(図4
3)。理解されるように、タイル自体が独立した連続的
表面を形成することが可能であるか、又はタイルはテー
ブル又は他の適切な支持具に配置されることも可能であ
る。個々のタイル602は、各タイル602の前面を実
質的に覆うようなサイズのディスプレイ604をサポー
トする。特定の実施の形態においては、各タイル602
の背面もディスプレイをサポートすることが可能であ
る。有利なことに、このことは前面と背面に可視画像を
有する独立したディスプレイを形成することを可能にす
る。表面610は、平面、球体、又はタイル貼り可能な
他の如何なる任意の形状でもありうる。
【0091】タイル622が格子模様(点線625によ
り示される)に入れられようなルーズに(緩く)詰込ま
れたディスプレイタイルアレイ620(各タイル622
は図44に示されるようにディスプレイ624を有す
る)。各タイルは、枠付けられたスロットの寸法がタイ
ルの最大寸法の2〜3倍を越えず、どのスロットにも2
つ以上のタイルが存在しないような格子内の規則的な枠
付けられた格子スロット(即ち、各タイルの画定された
中心点を有する格子スロット)に配置されると考えられ
る。格子領域内では、どのタイルも任意に位置されるこ
とが可能であり、それでも尚且つそのグループと同一の
相互関係を維持することができる。更に、複数のタイル
が2つ以上の格子スロットの境界で互いに接触すること
も可能であるが、これは必須要件ではない。
【0092】自由形式のディスプレイタイル630(各
タイル632は図45に示されるようにディスプレイ6
34を有する)は、ルーズに詰められたディスプレイデ
ィスプレイタイル620と類似しているが、格子スロッ
トのサイズ及び形状が自由に変化しうる(例えば、格子
スロットの寸法は如何なる関与タイルの最大寸法の何倍
もの大きさでありうる)。配列に関する唯一の制約は、
各タイル632の相関的な連結性に関して多義の関係が
存在してはならないことである。即ち、次の一片の情報
を別のタイルの一面に表示しようとするタイルは、ただ
1つでなければならず、タイリング格子内の他のタイル
のタスクと混同されてはならない。
【0093】3次元のディスプレイタイル(詰込み(パ
ック)可能なディスプレイタイル)は前述の3つのディ
スプレイタイル分類を拡張することにより作られる。し
かし、ディスプレイタイルの緊密にパックされたタイリ
ングでは、3次元構造の中心に詰込まれたデバイスはユ
ーザインターフェースとしては利用不可能であろう。3
次元形状の表面は、或る種の用途のための独特な機能
(affordance)を有する領域(面)を露出するため、こ
のことは問題にならないであろう。例えば、1つの大き
い立方体の形状に詰込まれた複数の立方タイルは、大き
い方の立方体の6つの面を使用して、各自由度から3次
元CAD図面を眺めることにより表現されうる様々な投
影を表示することが可能である。
【0094】理解されるように、ディスプレイタイルは
直線状である必要はなく、六角形状、球状、又は任意な
形状及びサイズであることが可能である。タイルのサイ
ズは、大きい構造の中で全タイルが一定である必要はな
い。タイルは一直線に整列される必要はないが、隣接点
又はエッジを示すための近接性が要求されるであろう。
【0095】タイルはグループ活動のために結合される
ことを定義するために物理的な接触状態におかれる必要
はなく、これはプログラムされる機能でありうる。連結
性は、必要な資源を取り決めるために無線ネットワーク
を使用することにより、調整サーバから、又はタスクの
ために必要な限り多くのコンピュータを巻き込む分散ア
ルゴリズムから、無線ネットワークを介しても確認され
うる。トポロジー(接続形態)が敏速な変化を必要とし
うるような場合には無線システムほど望ましくはない
が、タイリングされたコンピュータは有線ネットワーク
システムによっても接続されることが可能である。この
種の有線ネットワークシステムの一例は、各コンピュー
タが部屋又は極端な例では建物、町、或いは国により隔
てられていてもそれ自体の相対位置を把握するような単
一タスクに多くのコンピュータを含めるためにインター
ネットを使用するシステムである。しかし、一般にディ
スプレイタイリングの最も有効な例は、視聴体験が単一
ディスプレイの使用よりも向上されるディスプレイ媒体
を作り出すように、全てのタイルが1人の人により眺め
られるくらいにタイルが十分近接した場合である。従っ
て、タイルは単一の大きな連続した構造として、又は個
々の特性及び独立機能を保持して作動されることが可能
であり、又双方の組み合わせも可能である(例えば、大
型トロンのような機能、テレビ局のスタジオで使用され
るような12×12の小型ディスプレイ、又は商用テレ
ビ又は編集作業で見られる絵の中の絵(picture in-pict
ure)の特性)。
【0096】詰込みのタイプに応じて、ディスプレイタ
イル間の恒久的な、断続的な、又は一次的な通信さえも
可能にするために様々な方策が使用されることが可能で
ある。例えば、緊密にパックされたタイリングはコンピ
ュータ間の有線接続を利用することができ、或いは様々
は無線又は光通信技術を使用することができる。有線接
続の場合、エッジに取り付けられた従来のプラグソケッ
ト接続器が精密なタイル状のアレイを作り出すために使
用されうる。プラグソケットシステムは、大容量及び高
速データ転送のための並列接続に力を尽くす。それらは
また、好都合な配電方法を提供し、その方法はタイルの
1つがアレイの残りをサポートする電源を提供すること
を可能にする。タイリングされたコンピュータアレイ6
90内のタイリングされたコンピュータ692間のプラ
グソケット接続(データ及び電力の双方の転送が示され
る)が図48に線分695により概略的に示される。
【0097】電気コネクタの精密な設計及び位置は意図
される使用に依存し、従ってタイル構成要素の形状にも
依存する。ディスプレイ間の大きな継目が容認可能な用
途では、単純な剛性コネクタが各エッジの中心に取り付
けられえ、周辺タイル全てに接続性を提供する。他の用
途はより複雑な設計を必要とするであろう。例えば、継
目のないアレイ表面上に高品質な情報表示(即ち、タイ
リングされた青写真/設計図)を必要とする用途は4縁
接続器上のスプリング付勢接触を用いるであろう。スプ
リングメカニズムは、全てのアレイ接続がディスプレイ
表面の下で行われることを可能にするが、タイルは挿入
されること及びアレイの内部から除去されることも可能
である。タイルの除去はスプリングの解除を駆動し、タ
イルをアレイから弾き出す或るホスト信号によりトリガ
されることが可能である。
【0098】直列連結性もまた、図43に示されるよう
な緊密パック構造で使用されることが可能である。この
方法は、より少ない接続の形成を必要とすること及び実
施において、より信頼性が高いという利点を有する。し
かし、タイル間のネット(正味)帯域幅は、並列システ
ムよりも少ない。直列通信は光及び無線システムに適
し、従って如何なる物理接続の必要性も排除する。光導
体及びレンズ捕捉技術の賢い利用はより高いフレキシビ
リティをもたらしうるが、光技術のためには、送信器及
び受信器の配列(アラインメント)はなお重要である。
無線システムは、様々な変調技術(振幅変調、周波数変
調、又はコード分割多重アクセス(CDMA)に基づく
変調)を利用し、広範囲に亘る送信器の力で実行するこ
とにより、EM(電磁気)スペクトルの多くの異なる帯
域(kHz、MHz、GHz)を使用することが可能で
ある。もしシステムが適切な通信許容差を有するように
設計されるならば、直接配列は最早必要とされない。送
信器のレンジは設計において重要な役割を果たす。もし
発信された信号に、タイルエッジの数ミリメートル範囲
内でのみ受信されるのに十分な力を持たせると、信号は
絶縁され、トポロジーは物理連結度により画定され、隣
接する信号発信源からの妨害を避けるためのシステムを
設計する複雑さは最小になる。しかし、代替設計案は、
より強力な無線を使用することである。この場合、全て
のタイルが全ての他のタイルと接触することが可能であ
り、タイル間連結性は他のパラメータにより画定される
ことを必要とする。信号強度を使用することが可能であ
り、或いはより慎重に、タイルアレイにおける全てのタ
イルの位置を記述する空間マップにタイルのIDを関連
付ける情報(1つのマスタータイルに保持されるであろ
う)を使用することが可能である。このシステムでは、
タイル間の干渉を最小にすることも必要である。同一周
波数で作動するデジタル式パケットデータシステムのた
めには、キャリア検知多重アクセス(CSMA/CD
(衝突検出)又はCSMA/CA(衝突回避))システ
ムが、この問題を解決するためによく知られた技術であ
る。他の解決策は、送信器の力に応じて再利用される周
波数を用いて、異なる周波数を使用するタイルを必要と
する。これは従来の携帯電話に使用される技術である。
更に異なる方法は、スペクトル拡散変調として知られる
技法である、EMスペクトルの同一領域への信号のオー
バーレイ(重ね合わせ)に依存するコード分割多重アク
セス(CDMA)を使用するものである。
【0099】ルーズにパックされたディスプレイタイル
のためには、緊密にパックされたタイリングに関連して
先に説明された無線技術が実施には通常必須となる。し
かし、ルーズにパックされた特殊例が存在し、その例で
は接触点が1つであって正確に画定された位置ではない
が、タイルの各エッジは周囲の他の全てのタイルと接触
する。このシステムの有線バージョンは、各タイルの全
エッジがエッジを画定する2つの頂点の内の1つを含む
直列接続であるように構築されうる。各方向への通信
は、タグ(札)と読取装置との間の双方向通信のための
単線インターフェース(及びアース)の使用を含む様々
な商業的に利用可能な技術により達成されることが可能
である。タイル配列のためのアース接続は、タイルがそ
の上に割り付けられている表面を介して、共通のアース
接続を共有することによりもたらされうることに留意す
るべきである。例えば、表面は金属シートにより作られ
ることが可能である。システムは、エッジ接触が磁気材
料より形成され、頂点がその端部に埋め込まれた磁石を
有することを保証することにより、更に強化されるであ
ろう。このような装置は、送信器と受信器との間の良好
な電気接触をもたらすであろうことを保証する。
【0100】受信器は、電気信号をブリッジ整流し、そ
れ自体のエレクトロニクスにより使用されるために収集
された電荷をコンデンサに格納することにより、電気的
に送信された信号から電力を取り出すことも可能であ
る。従って、配電もまた単線インターフェースに含まれ
ることが可能である。この方法により、連結性を設定す
るために最小の注意のみが必要な敏速且つ便利なタイル
の再配置をサポートするために、柔軟な連結性を得るこ
とが可能である。
【0101】図45に示されるようなルーズにパックさ
れたタイルディスプレイは、矩形のタイルの場合には垂
直に又は水平に位置合わせされず、互いに関してオフセ
ット角を有するであろうが、ディスプレイ表面が、表示
された画像の全ての部分が互いに対して正確な空間的配
置を保つように統合されたディスプレイを表すための最
善の労作アルゴリズムを使用することを必要とするであ
ろう。望ましいタイルディスプレイアルゴリズムを実行
するためには、タイルの相対配置のみでなく、互いから
の正確なオフセット値(距離及び角度)もまた重要であ
る。ルーズにパックされたタイル間のオフセット値を自
動的に決定するのに適した幾つかの方法が存在する。例
えば、図46(通信しているタイル652及び654が
其々のディスプレイ651及び653と共に示される)
に関連して示されるように、エッジに沿った光エンコー
ディング(符号化)660はタイルの向きを識別するた
めに使用されることが可能である。規則的であり、あら
ゆる位置の頂点からの距離も符号化する、エッジに沿っ
た2進コードの光パターンを使用することが可能であ
る。当接する、又は相対的に整列されるタイルは、光セ
ンサ658及び659を使用することによりこのパター
ンを読み出すことができ、エッジ方向へのディスプレイ
オフセット値を決定することが可能である。代わりに、
図47(通信しているタイル672及び674を示す)
に示されるように、信号強度三角測量に基づく無線ベー
スの技法を使用することが可能である。タイル672の
各頂点675又は676は、無線送信器及び受信器を含
むことが可能である。もしこれらの頂点がよく知られる
時々に短い特性無線信号を送信すると、近くのタイル6
74は、それ自体の頂点680、681、682及び6
83に位置される受信器を、信号が受信された相対遅延
を測定することによりそれらに関して各送信頂点の位置
を三角測量するために使用することが可能である。最初
の送信タイル672の頂点の内の2つが信号を送ると、
隣接タイル674はタイルアレイの局所領域内でのその
正確な位置及び向きを決定することが可能である。送信
及び受信タイルは次に役割を交換することができるた
め、結果として両タイルがそれらの相対位置を把握す
る。このプロセスはタイルアレイ全体に施されることが
可能である。
【0102】自由形式のタイリングは、近接制約又は規
則的なフォーマット上の制約がないという点で、ルーズ
にパックされたタイリングとは異なる。自由形式のタイ
リングシステムが如何に作用するかを示すために、以下
の例が説明される。其々地球位置決定システム(GP
S)及び無線モデムが備えられた多数のラップトップコ
ンピュータを想像する。各ラップトップは、その位置を
決定し(許されるエラーの範囲内で)、無線モデムを介
して接触することにより、他の全てのラップトップにそ
の位置を通信することが可能である。或る程度の時間が
経過した後には、全てのラップトップはそれらの相対位
置及び絶対位置を把握するであろう。もし何れかのコン
ピュータがその位置を変更すると、コンピュータが互い
に近くなく、実際には他の地理的領域に存在するかもし
れなくとも、コンピュータは把握されているタイリング
構成にあると考えるのに十分なアレイへの理解があるこ
とを確実にするために、位置を変更されたコンピュータ
は局所の近隣コンピュータを更新することが可能であ
る。この自由形式のタイリングシステムを使用する可能
性のある用途は、情報が広範な領域に亘って一様且つ分
散様式で正確に送られることの保証を望むものである。
例えば、各ラップトップコンピュータが受信する情報
は、商用作物を害する昆虫を抑制するために使用される
或る量の殺虫剤の散布に関する通達でありうる。もし殺
虫剤が如何なる地域においてであれ、非常に高い集中度
で散布されると、人間の健康に有害となりうる。タイリ
ングアプローチは、コンピュータが放浪する(例えば、
トラックの荷台などに)ことを可能にし、それらのコン
ピュータのその時点の相対近接性を教えられた上で、散
布される殺虫剤のタイプ及び濃度に関する情報を表示す
る。
【0103】様々な従来のアルゴリズムが、自律的なタ
イリングされたディスプレイ同士間の情報の配布をサポ
ートするために使用されることが可能である。これらの
アルゴリズムは、表示されるべきデータを生成するマス
タコントローラを備えるシステムを想定する。そのシス
テムが可視データ及び/又は処理情報を表示するために
使用するであろう大きなアレイのタイリングされたコン
ピュータも存在する。タイリングされたアレイ内の各コ
ンピュータは固有のIDを含む。データを各コンピュー
タが表示可能な小部分に分割すること、及びこの情報を
ターゲット(目的の)コンピュータのIDと共にパッケ
ージ化することは、マスタの仕事である。以下のアルゴ
リズムは、情報がどのようにマスタから宛先ディスプレ
イタイルに伝わるかについて説明する。
【0104】デイジーチェーンルーティング(経路指
定) ディスプレイタイルは、各タイルが予め定義されたライ
ンで次のタイルにのみ情報を送信するように、互いに論
理連結性を有するように配置される。コンピュータは、
其々にデイジーチェーン方式(いもづる構成)で接続さ
れていると呼ばれる。チェーンの開始点に送られる如何
なる情報もIDを含み、そのチェーンの第一のコンピュ
ータはそのIDをそれ自体のIDと比較する。もし、一
致すれば、そのコンピュータはデータに働く。もし一致
しないならば、そのコンピュータは宛先が見つかるまで
チェーン内の次のコンピュータにデータを送る。
【0105】N進ルーティング N進ルーティングにおいては、宛先へのパスはデバイス
のIDに含まれる。簡単なルーティングの例が、物理的
に接続されたタイリング可能なディスプレイにおける4
つ組みのルーティングを示す図48に、方向矢印695
と共に概略的に示される。4つ組みのルーティングにお
いては、アレイは各ノードが1つの入力と3つの出力を
有する4要素から成る木(ツリー)構造として概念的に
配列される。このシステムでは、IDのビットの各対は
ルーティングコマンドを含む。a0は第一の出力にパケ
ットを送ることを示し、a1は第二の出力を示し、a2
は第三の出力を示し、そしてa3は他の送信はないこと
を示す。連続するノードに現在対応されているビット数
値及びパケットが宛先に届いた時を知らせるために各ノ
ードにより減らされるカウントも存在する。この方法
で、パケットは目的のディスプレイに到達するまで各段
階で単純な選択をすることにより、ノードからノードへ
転送される。理解されるように、4つ以上の出力(実施
には通常2の累乗(例えば、4、8、16... )が都合
がよい)を有するN進システムを設計することが可能で
ある。
【0106】フラッディング フラッディングは、予め定義されたルーティング構造を
持たない。第一のパケットをマスターから取得するコン
ピュータは、それが正確なIDを有するかを確認する。
もし有しないならば、パケットはそのパケットを未だ送
信又は受信していない全てのリンクに送り出される。結
果は、アレイ全体に亘るパケットのコピーの氾濫であ
り、最終的に宛先に到達する。パケットは、それらが最
終的にシステムから除去されることを保証するために最
大ホップ数も持たなければならない。この手法の欠点
は、先の2つの方式に比べてより多くのタイルが不要な
データの処理で負荷を負わせられることであり、このこ
とはシステムの総体的な効率に強い影響を及ぼすであろ
う。
【0107】ホットポテト ホットポテトアルゴリズムは、再送信されるパケットが
ランダム(無作為)に選択されるか、又は最も使用率の
低い1つの出力にのみ送られること以外は、フラッディ
ングアルゴリズムに類似している。処理は、パケットが
正しいタイルに到達すると停止する。パケットがその宛
先に到達するまでにかかる時間は決定的ではない。
【図面の簡単な説明】
【図1】変形可能な表面と、状況ディスプレイと、表面
の形状変化を検知するための圧力センサアレイとを有す
る手で持つことが可能なほぼ球形のポータブルコンピュ
ータの概略図である。
【図2】様々な物理的操作形態素を示すグラフ図であ
り、両軸が其々形態素を形成するために必要とされるセ
ンシームタプルの複雑さ、及び物理的操作をサポートす
るために必要とされるデバイスの可塑性を表す。
【図3】物理的操作形態素の好ましい種類を概略的に表
す。
【図4】物理的操作形態素の好ましい種類を概略的に表
す。
【図5】物理的操作形態素の好ましい種類を概略的に表
す。
【図6】物理的操作形態素の好ましい種類を概略的に表
す。
【図7】物理的操作形態素の好ましい種類を概略的に表
す。
【図8】物理的操作形態素の好ましい種類を概略的に表
す。
【図9】物理的操作形態素の好ましい種類を概略的に表
す。
【図10】物理的操作形態素の好ましい種類を概略的に
表す。
【図11】物理的操作形態素の好ましい種類を概略的に
表す。
【図12】物理的操作形態素の好ましい種類を概略的に
表す。
【図13】物理的操作形態素の好ましい種類を概略的に
表す。
【図14】物理的操作形態素の好ましい種類を概略的に
表す。
【図15】物理的操作形態素の好ましい種類を概略的に
表す。
【図16】物理的操作形態素の好ましい種類を概略的に
表す。
【図17】様々な空間形態素を示すグラフ図であり、第
一軸は形態素を形成するために必要とされるセンシーム
タプルの複雑さを表し、第二軸は物理的操作をサポート
するために必要とされる位置に関する情報の程度を表す
(単一の指定された次元に沿って相対的な局所的測定か
ら絶対的な広域測定まで6段階の定められた自由度によ
り連続体に沿って移動する)。
【図18】望ましい空間操作形態素を概略的に表す。
【図19】望ましい空間操作形態素を概略的に表す。
【図20】望ましい空間操作形態素を概略的に表す。
【図21】望ましい空間操作形態素を概略的に表す。
【図22】望ましい空間操作形態素を概略的に表す。
【図23】望ましい空間操作形態素を概略的に表す。
【図24】望ましい空間操作形態素を概略的に表す。
【図25】望ましい空間操作形態素を概略的に表す。
【図26】望ましい空間操作形態素を概略的に表す。
【図27】照明効果、熱効果、電磁環境及び振動/音響
環境を含む、様々な種類の環境的刺激を検知するために
使用されうるセンサシステムの複雑さの増加程度を示す
グラフ図である。
【図28】多数の対話型デバイスのための様々な物理的
操作形態素を表すグラフ図であり、両軸は其々形態素を
形成するために必要とされるセンシームタプルの複雑さ
及び物理的接触の増加程度を表す。
【図29】多数の対話型デバイスのための望ましい操作
形態素を概略的に表す。
【図30】多数の対話型デバイスのための望ましい操作
形態素を概略的に表す。
【図31】多数の対話型デバイスのための望ましい操作
形態素を概略的に表す。
【図32】多数の対話型デバイスのための望ましい操作
形態素を概略的に表す。
【図33】多数の対話型デバイスのための望ましい操作
形態素を概略的に表す。
【図34】多数の対話型デバイスのための望ましい操作
形態素を概略的に表す。
【図35】ポータブルコンピュータに適用可能な「圧
搾」形態素を表す概略図である。
【図36】ポータブルコンピュータに適用可能な「傾け
る」形態素を表す概略図である。
【図37】大きな2次元のデータセットの見え方をポー
タブルコンピュータのかなり小さいディスプレイで制御
するために使用される傾き及び圧搾形態素を表す概略図
である。
【図38】右利きのユーザから書込み入力を受信する準
備の整ったディスプレイを有するポータブルコンピュー
タを表す概略図である。
【図39】左利きのユーザから書込み入力を受信する準
備の整ったディスプレイを有するポータブルコンピュー
タを表す概略図である。
【図40】図35〜39に示されたようなポータブルコ
ンピュータの圧力及び傾きに感応するモジュールの構成
要素を表す電子概略図である。
【図41】形態素入力をサポートするために紙状のディ
スプレイインターフェースを使用するスキャナ/プリン
タ/複写機の概略図である。
【図42】形態素入力をサポートするために紙状のディ
スプレイインターフェースを使用するスキャナ/プリン
タ/複写機の概略図である。
【図43】形態素入力をサポートできるタイリング可能
なディスプレイの概略図である。
【図44】形態素入力をサポートできるタイリング可能
なディスプレイの概略図である。
【図45】形態素入力をサポートできるタイリング可能
なディスプレイの概略図である。
【図46】図43〜45に示されるようなタイリング可
能なディスプレイとともに使用されるのに適した光セン
サ及びパターンを表す。
【図47】図43〜45に示されるようなタイリング可
能なディスプレイとともに使用されるのに適した無線ト
ランスポンダを表す。
【図48】多数のタイリング可能なディスプレイのアド
レス指定を表す。
【符号の説明】
10、380、381、382、383 コンピュー
タデバイス 20 変形可能表面 22 変形センサメッシュ 24 プロセッサ 26 メモリシステム 28 感知システム 32 通信システム 33 フィードバックモジュール 600 ディスプレイタイルアレイ 602 タイル 604 ディスプレイ
───────────────────────────────────────────────────── フロントページの続き (72)発明者 ケネス ピー.フィッシュキン アメリカ合衆国 94063 カリフォルニア 州 レッドウッド シティ ヘイブン ア ベニュー 924 (72)発明者 ビバリー エル.ハリソン アメリカ合衆国 94306 カリフォルニア 州 パロ アルト カレッジ アベニュー 720 (72)発明者 マシュー イー.ハワード アメリカ合衆国 94114 カリフォルニア 州 サンフランシスコ カストロ ストリ ート 1150 (72)発明者 ロイ ウォント アメリカ合衆国 94024 カリフォルニア 州 ロス アルトス モートン アベニュ ー 1541

Claims (3)

    【特許請求の範囲】
  1. 【請求項1】 データを転送するためのタイリング可能
    な複数のデバイスであって、 ディスプレイと、プロセッサと、データを転送するため
    の第一の通信モジュールとを有する第一のデバイスと、 ディスプレイと、プロセッサと、データを転送するため
    の第二の通信モジュールとを有する第二のデバイスと、 ディスプレイと、プロセッサと、データを転送するため
    の第三の通信モジュールとを有する第三のデバイスとを
    含み、 第一のデバイスが、第一のデバイス、第二のデバイス及
    び第三のデバイスの其々の空間位置に基づきデータを渡
    すために、第二のデバイスと第三のデバイスと実質的に
    同時通信をするように接続されている、 データ転送用タイリング可能な複数デバイス。
  2. 【請求項2】 デバイスのダイナミックアレイであっ
    て、 複数のデバイスを有し、各デバイスが互いにユーザが決
    定した関係を維持することが可能なディスプレイと、決
    定可能な情報状態とを有し、 複数の位置検知器を含み、各デバイスが複数のデバイス
    の1つ又は複数に関して位置を決定するために、複数の
    位置検知器の少なくとも1つを有し、 複数のデバイスの其々の決定可能な情報状態が1つ又は
    複数のデバイスに関する位置の変化時に変更される、 デバイスのダイナミックアレイ。
  3. 【請求項3】 タイリング可能なディスプレイシステム
    であって、 ディスプレイと、プロセッサと、データ転送のための第
    一の通信モジュールとを有する第一のデバイスと、 ディスプレイと、プロセッサと、データ転送のための第
    二の通信モジュールとを有する第二のデバイスとを含
    み、 第一のデバイスが、第一のデバイス及び第二のデバイス
    の其々の空間位置に基づきデータを渡すために、第二の
    デバイスと実質的に同時通信で接続されている、 タイリング可能なディスプレイシステム。
JP23381198A 1997-08-29 1998-08-20 データ転送用タイリング可能な複数デバイス、デバイスのダイナミックアレイ及びタイリング可能なディスプレイシステム Pending JPH11134087A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US08/921,390 US6340957B1 (en) 1997-08-29 1997-08-29 Dynamically relocatable tileable displays
US921390 1997-08-29

Publications (1)

Publication Number Publication Date
JPH11134087A true JPH11134087A (ja) 1999-05-21

Family

ID=25445355

Family Applications (1)

Application Number Title Priority Date Filing Date
JP23381198A Pending JPH11134087A (ja) 1997-08-29 1998-08-20 データ転送用タイリング可能な複数デバイス、デバイスのダイナミックアレイ及びタイリング可能なディスプレイシステム

Country Status (3)

Country Link
US (1) US6340957B1 (ja)
EP (1) EP0899651A3 (ja)
JP (1) JPH11134087A (ja)

Cited By (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001188029A (ja) * 1999-12-28 2001-07-10 Ori Communications:Kk セル及びその結合状態認識方法
JP2001216245A (ja) * 1999-10-26 2001-08-10 Ricoh Co Ltd 文書転送のための方法、装置及びシステム
JP2002132446A (ja) * 2000-10-25 2002-05-10 Sony Corp 情報入出力システム及び情報入出力方法、並びにプログラム記憶媒体
JP2002207247A (ja) * 2001-01-11 2002-07-26 Seiko Epson Corp 投写表示システムおよびそのためのプロジェクタ
JP2002278515A (ja) * 2001-03-15 2002-09-27 Minolta Co Ltd 画像表示装置
JP2003066890A (ja) * 2001-08-30 2003-03-05 Minolta Co Ltd 表示装置
JP2003195973A (ja) * 2001-12-21 2003-07-11 Sharp Corp 半導体装置およびその製造方法
JP2003256190A (ja) * 2002-02-28 2003-09-10 Kokuyo Co Ltd 情報処理装置
JP2003255920A (ja) * 2002-02-28 2003-09-10 Saito Shoji:Kk 表現媒体の表現システム
JP2003271118A (ja) * 2002-03-15 2003-09-25 Toshiba Corp マルチ画面設定方法
JP2003280783A (ja) * 2002-03-20 2003-10-02 Fuji Xerox Co Ltd 表示システム及び表示方法
JP2003280623A (ja) * 2002-03-27 2003-10-02 Sony Corp マルチディスプレイ装置、画像表示装置、および方法、並びにコンピュータ・プログラム
JP2003288142A (ja) * 2002-03-22 2003-10-10 Fuji Xerox Co Ltd グラフィック・オブジェクトの外観を変更するための方法及びグラフィカル・ユーザ・インタフェース(gui)
JP2003308513A (ja) * 2002-04-16 2003-10-31 Sony Corp コンテンツ管理システム、画像表示装置、コンテンツ管理装置及びコンテンツ管理方法
JP2003330384A (ja) * 2002-05-17 2003-11-19 Toshiba Corp 画像表示装置
JP2004046792A (ja) * 2002-03-29 2004-02-12 Toshiba Corp 表示入力装置、表示入力システム及びその制御方法並びにマンマシン・インタフェース装置
JP2004077862A (ja) * 2002-08-20 2004-03-11 Sony Corp 表示装置および方法、携帯型情報処理端末および方法、記録媒体、並びにプログラム
JP2004101905A (ja) * 2002-09-10 2004-04-02 Sharp Corp 情報表示装置
JP2004164242A (ja) * 2002-11-12 2004-06-10 Sony Computer Entertainment Inc ファイル処理方法とこの方法を利用可能な装置
JP2004240238A (ja) * 2003-02-07 2004-08-26 Fuji Xerox Co Ltd 表示制御装置、画像表示装置及び画像表示システム
JP2005043570A (ja) * 2003-07-25 2005-02-17 Seiko Epson Corp プロジェクタ
JP2005099064A (ja) * 2002-09-05 2005-04-14 Sony Computer Entertainment Inc 表示システム、表示制御装置、表示装置、表示方法、およびユーザインタフェイス装置
JP2006106379A (ja) * 2004-10-06 2006-04-20 Amk:Kk 液晶パネルによる多画面表示装置
JP2006514381A (ja) * 2002-12-10 2006-04-27 インフィネオン テクノロジーズ アクチエンゲゼルシャフト 表面パネルモジュール、表面パネルモジュール構造、表面パネルモジュール構造の表面パネルモジュールから少なくとも1つの基準位置までの距離を決定するための方法、プロセッサ構造、織地構造、および、表面パネル構造
JP2006309052A (ja) * 2005-05-02 2006-11-09 Patoraito:Kk 情報表示システム及び情報表示装置
JP2006338044A (ja) * 2006-07-24 2006-12-14 Sony Corp マルチディスプレイ装置、およびマルチディスプレイ制御方法、並びにコンピュータ・プログラム
JP2007507025A (ja) * 2003-09-24 2007-03-22 インフィネオン テクノロジーズ アクチエンゲゼルシャフト プロセッサアレイ、織物構造、表面被覆構造、および、局所的に互いに隣接して配置された複数のプロセッサ素子間の電力伝送方法
JP2007179067A (ja) * 2007-02-15 2007-07-12 Sony Corp メルチディスプレイ装置、および画像表示制御方法、並びにコンピュータ・プログラム
JP2007531158A (ja) * 2004-03-31 2007-11-01 モトローラ・インコーポレイテッド コンテンツの管理及び制御の方法及び装置
WO2007135776A1 (ja) * 2006-05-23 2007-11-29 Nec Corporation 表示装置、これを含んだ機器、プログラム及び表示方法
JP2008158452A (ja) * 2006-12-26 2008-07-10 Oki Electric Ind Co Ltd 電子ペーパ、電子ペーパを用いたアプリケーション連携システム
JP2008530661A (ja) * 2005-02-08 2008-08-07 オブロング・インダストリーズ・インコーポレーテッド ジェスチャベースの制御システムのためのシステムおよび方法
JP2009288453A (ja) * 2008-05-28 2009-12-10 Canon Inc 表示制御システムおよび表示制御方法
JP2010117606A (ja) * 2008-11-14 2010-05-27 Brother Ind Ltd 画像表示装置
JP2010157060A (ja) * 2008-12-26 2010-07-15 Sony Corp 表示装置
JP2010211211A (ja) * 2010-03-24 2010-09-24 Konica Minolta Business Technologies Inc 画像表示装置
JP2011044128A (ja) * 2009-08-19 2011-03-03 Samsung Electronics Co Ltd 電子ペーパのためのユーザインターフェース提供装置および方法
JP2011118244A (ja) * 2009-12-04 2011-06-16 Sony Corp 表示装置及び表示装置の制御方法
KR20110139688A (ko) * 2009-03-19 2011-12-29 마이크로소프트 코포레이션 듀얼모듈 휴대용장치와 그의 동작방법
JP2012133068A (ja) * 2010-12-21 2012-07-12 Yahoo Japan Corp マルチディスプレイシステム、端末、方法及びプログラム
WO2012121160A1 (ja) 2011-03-04 2012-09-13 株式会社ニコン 電子機器、画像表示システム及び画像選択方法
JP2013054362A (ja) * 2012-10-04 2013-03-21 Brother Ind Ltd 画像表示装置
JP2014035496A (ja) * 2012-08-09 2014-02-24 Canon Inc 表示装置、表示装置の制御方法、及び、プログラム
JP2014067194A (ja) * 2012-09-25 2014-04-17 Canon Inc 情報処理装置及びその制御方法、並びにプログラムと記憶媒体
US8836610B2 (en) 2007-10-15 2014-09-16 Samsung Display Co., Ltd. Display device and driving method thereof
US8849570B2 (en) 2009-03-19 2014-09-30 Microsoft Corporation Projected way-finding
WO2014155896A1 (en) * 2013-03-28 2014-10-02 Nec Corporation Improved wireless communication of private data between two terminals
JP2014238584A (ja) * 2014-07-03 2014-12-18 ブラザー工業株式会社 画像表示装置
US8947357B2 (en) 2011-09-21 2015-02-03 Fuji Xerox Co., Ltd. Position detecting device, information processing device, position detection method, information processing method, and computer readable medium
JP2015049341A (ja) * 2013-08-30 2015-03-16 コニカミノルタ株式会社 表示制御装置、表示システム、表示プログラム、表示装置
JP2015129917A (ja) * 2013-12-02 2015-07-16 株式会社半導体エネルギー研究所 情報処理装置
JP2015166862A (ja) * 2014-02-14 2015-09-24 株式会社半導体エネルギー研究所 発光装置
US9329828B2 (en) 2012-11-13 2016-05-03 Canon Kabushiki Kaisha Information processing apparatus for displaying adjacent partial images out of a plurality of partial images that constitute one image on display units of a plurality of adjacent information processing apparatuses
JP2018077289A (ja) * 2016-11-07 2018-05-17 富士ゼロックス株式会社 表示装置およびプログラム
JP2020532091A (ja) * 2017-08-23 2020-11-05 京東方科技集團股▲ふん▼有限公司Boe Technology Group Co.,Ltd. 可撓性基板およびその製造方法、屈曲検出方法ならびに可撓性表示装置

Families Citing this family (132)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6252564B1 (en) 1997-08-28 2001-06-26 E Ink Corporation Tiled displays
DE19741453A1 (de) 1997-09-19 1999-03-25 Packing Gmbh Agentur Fuer Desi Digitales Buch
GB9722766D0 (en) 1997-10-28 1997-12-24 British Telecomm Portable computers
US6219034B1 (en) * 1998-02-23 2001-04-17 Kristofer E. Elbing Tactile computer interface
US6704133B2 (en) 1998-03-18 2004-03-09 E-Ink Corporation Electro-optic display overlays and systems for addressing such displays
US7075502B1 (en) 1998-04-10 2006-07-11 E Ink Corporation Full color reflective display with multichromatic sub-pixels
CA2330950A1 (en) 1998-05-12 1999-11-18 E Ink Corporation Microencapsulated electrophoretic electrostatically-addressed media for drawing device applications
WO2000020923A1 (en) 1998-10-07 2000-04-13 E Ink Corporation Illumination system for nonemissive electronic displays
US8009348B2 (en) * 1999-05-03 2011-08-30 E Ink Corporation Machine-readable displays
US7119759B2 (en) * 1999-05-03 2006-10-10 E Ink Corporation Machine-readable displays
FR2797341B1 (fr) * 1999-08-04 2002-08-23 Rangheard Module d'affichage pour panneau modulaire a message variable ou autre affichage, et panneaux ainsi obtenus
DE19951309A1 (de) * 1999-10-25 2001-04-26 Wilkhahn Wilkening & Hahne Pult
US6970145B1 (en) * 1999-11-19 2005-11-29 Ricoh Company, Ltd. Method and apparatus for controlling image-display devices collectively
US6535201B1 (en) * 1999-12-17 2003-03-18 International Business Machines Corporation Method and system for three-dimensional topographical modeling
US9189069B2 (en) 2000-07-17 2015-11-17 Microsoft Technology Licensing, Llc Throwing gestures for mobile devices
US6812907B1 (en) * 2000-07-19 2004-11-02 Hewlett-Packard Development Company, L.P. Segmented electronic display
US7688315B1 (en) 2000-11-30 2010-03-30 Palm, Inc. Proximity input detection system for an electronic device
US7289083B1 (en) 2000-11-30 2007-10-30 Palm, Inc. Multi-sided display for portable computer
US6496359B2 (en) * 2000-12-08 2002-12-17 Sun Microsystems, Inc. Tile array computers
US7466961B1 (en) 2004-12-13 2008-12-16 Palm, Inc. Compact palmtop computer system and wireless telephone with foldable dual-sided display
US8384674B1 (en) 2001-01-30 2013-02-26 Hewlett-Packard Development Company, L.P. Integrated enclosure/touch screen assembly
US7348964B1 (en) * 2001-05-22 2008-03-25 Palm, Inc. Single-piece top surface display layer and integrated front cover for an electronic device
US7385584B2 (en) * 2001-02-07 2008-06-10 International Business Machines Corporation Automated keyboard mouse switch
JP2002244202A (ja) * 2001-02-14 2002-08-30 Sony Corp 液晶プロジェクタ装置および液晶プロジェクタ装置の駆動方法
US6784855B2 (en) * 2001-02-15 2004-08-31 Microsoft Corporation Methods and systems for a portable, interactive display device for use with a computer
US6798429B2 (en) * 2001-03-29 2004-09-28 Intel Corporation Intuitive mobile device interface to virtual spaces
US7068294B2 (en) 2001-03-30 2006-06-27 Koninklijke Philips Electronics N.V. One-to-one direct communication
US6992659B2 (en) 2001-05-22 2006-01-31 Palmone, Inc. High transparency integrated enclosure touch screen assembly for a portable hand held device
US7142195B2 (en) 2001-06-04 2006-11-28 Palm, Inc. Interface for interaction with display visible from both sides
JP2003008736A (ja) * 2001-06-22 2003-01-10 Pioneer Electronic Corp 携帯情報端末機
US7253800B2 (en) 2001-08-21 2007-08-07 Xerox Corporation Manipulative user interface systems and methods
US7852430B1 (en) 2001-11-29 2010-12-14 Palm, Inc. Light guide spacers for backlighting a reflective display
JP2004198450A (ja) * 2002-12-16 2004-07-15 Sharp Corp 画像表示システム
US20040155833A1 (en) * 2003-02-07 2004-08-12 Fuji Xerox Co., Ltd. Display control device, computer, image display device, and image display system
US7426329B2 (en) 2003-03-06 2008-09-16 Microsoft Corporation Systems and methods for receiving, storing, and rendering digital video, music, and pictures on a personal media player
US8504936B2 (en) 2010-10-01 2013-08-06 Z124 Changing stack when swapping
US8665215B2 (en) 2010-10-01 2014-03-04 Z124 Single-screen view in response to rotation
US9182937B2 (en) 2010-10-01 2015-11-10 Z124 Desktop reveal by moving a logical display stack with gestures
US20060212831A1 (en) * 2003-09-09 2006-09-21 Fogg Brian J Graphical messaging system
US20060253787A1 (en) * 2003-09-09 2006-11-09 Fogg Brian J Graphical messaging system
US7213206B2 (en) * 2003-09-09 2007-05-01 Fogg Brian J Relationship user interface
US20060212830A1 (en) * 2003-09-09 2006-09-21 Fogg Brian J Graphical messaging system
US20050138564A1 (en) * 2003-12-17 2005-06-23 Fogg Brian J. Visualization of a significance of a set of individual elements about a focal point on a user interface
US20050171940A1 (en) * 2004-02-04 2005-08-04 Fogg Brian J. Dynamic visualization of search results on a user interface
US20050253777A1 (en) * 2004-05-12 2005-11-17 E Ink Corporation Tiled displays and methods for driving same
US7021340B2 (en) * 2004-07-20 2006-04-04 Blind Faith School Of Music And Art Method of and loom for teaching Braille
US7667668B2 (en) * 2004-10-08 2010-02-23 Redradio, Inc. Fractional video touch panels
TW200636434A (en) * 2004-12-14 2006-10-16 Koninkl Philips Electronics Nv Modular display super stick
JP4859205B2 (ja) * 2005-02-04 2012-01-25 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
US7134457B2 (en) * 2005-03-04 2006-11-14 Blind Faith School Of Music And Art Method of weaving braille and woven braille textile
EP1712981A1 (en) * 2005-04-15 2006-10-18 Herman Bailey Interactive augmented reality system
JP4696734B2 (ja) * 2005-07-06 2011-06-08 ソニー株式会社 コンテンツデータ再生装置及びコンテンツデータ再生方法
US20070067726A1 (en) * 2005-09-16 2007-03-22 Microsoft Corporation Content sharing user interface for mobile devices
US7933632B2 (en) * 2005-09-16 2011-04-26 Microsoft Corporation Tile space user interface for mobile devices
US7873356B2 (en) * 2005-09-16 2011-01-18 Microsoft Corporation Search interface for mobile devices
US7882435B2 (en) * 2005-12-20 2011-02-01 Sony Ericsson Mobile Communications Ab Electronic equipment with shuffle operation
US8531396B2 (en) 2006-02-08 2013-09-10 Oblong Industries, Inc. Control system for navigating a principal dimension of a data space
US8370383B2 (en) 2006-02-08 2013-02-05 Oblong Industries, Inc. Multi-process interactive systems and methods
US20070247422A1 (en) * 2006-03-30 2007-10-25 Xuuk, Inc. Interaction techniques for flexible displays
KR100738497B1 (ko) * 2006-04-18 2007-07-11 인포스퀘어 주식회사 멀티싱크 영상 출력 시스템
JP5521226B2 (ja) * 2006-05-25 2014-06-11 富士フイルム株式会社 表示システム、表示方法、および表示プログラム
US20080030456A1 (en) * 2006-07-19 2008-02-07 Sony Ericsson Mobile Communications Ab Apparatus and Methods for Providing Motion Responsive Output Modifications in an Electronic Device
EP1909473A1 (en) * 2006-10-02 2008-04-09 Koninklijke Philips Electronics N.V. Digital photo frame
JP2008096464A (ja) * 2006-10-05 2008-04-24 Fujitsu Ltd 表示装置および表示装置ユニット並びに表示書き換え方法
US8253654B2 (en) 2007-03-16 2012-08-28 Motorola Mobility Llc Visual interface control based on viewing display area configuration
US8169380B2 (en) 2007-03-16 2012-05-01 Savant Systems, Llc System and method for driving and receiving data from multiple touch screen devices
EP2163987A3 (en) 2007-04-24 2013-01-23 Oblong Industries, Inc. Processing of events in data processing environments
EP2156433A4 (en) * 2007-06-15 2012-04-04 Luidia Inc INTERACTIVITY IN A LARGE FLAT SCREEN DISPLAY
US8400407B2 (en) * 2007-07-18 2013-03-19 Smart Technologies Ulc Touch panel and interactive input system incorporating the same
US8136402B2 (en) * 2007-11-28 2012-03-20 International Business Machines Corporation Accelerometer module for use with a touch sensitive device
US8648774B2 (en) 2007-12-11 2014-02-11 Advance Display Technologies, Inc. Large scale LED display
US8922458B2 (en) * 2007-12-11 2014-12-30 ADTI Media, LLC Data and power distribution system and method for a large scale display
US8049747B2 (en) 2007-12-14 2011-11-01 Motorola Mobility, Inc. Light diffuser for a stretchable display
US7907142B2 (en) * 2008-01-15 2011-03-15 Verint Systems Inc. Video tiling using multiple digital signal processors
WO2009108193A1 (en) * 2008-02-27 2009-09-03 Hewlett-Packard Development Company, L.P. Architectural computing tiles
US9952673B2 (en) 2009-04-02 2018-04-24 Oblong Industries, Inc. Operating environment comprising multiple client devices, multiple displays, multiple users, and gestural control
US9740922B2 (en) 2008-04-24 2017-08-22 Oblong Industries, Inc. Adaptive tracking system for spatial input devices
US9740293B2 (en) 2009-04-02 2017-08-22 Oblong Industries, Inc. Operating environment with gestural control and multiple client devices, displays, and users
US8723795B2 (en) 2008-04-24 2014-05-13 Oblong Industries, Inc. Detecting, representing, and interpreting three-space input: gestural continuum subsuming freespace, proximal, and surface-contact modes
US9684380B2 (en) 2009-04-02 2017-06-20 Oblong Industries, Inc. Operating environment with gestural control and multiple client devices, displays, and users
US8345025B2 (en) * 2008-06-05 2013-01-01 Dell Products, Lp Computation device incorporating motion detection and method thereof
US20100011291A1 (en) * 2008-07-10 2010-01-14 Nokia Corporation User interface, device and method for a physically flexible device
US20100060547A1 (en) * 2008-09-11 2010-03-11 Sony Ericsson Mobile Communications Ab Display Device and Method for Displaying Images in a Variable Size Display Area
JP4706985B2 (ja) * 2009-03-04 2011-06-22 コニカミノルタビジネステクノロジーズ株式会社 コンテンツ表示装置
US20100241999A1 (en) * 2009-03-19 2010-09-23 Microsoft Corporation Canvas Manipulation Using 3D Spatial Gestures
US10824238B2 (en) 2009-04-02 2020-11-03 Oblong Industries, Inc. Operating environment with gestural control and multiple client devices, displays, and users
US20110029904A1 (en) * 2009-07-30 2011-02-03 Adam Miles Smith Behavior and Appearance of Touch-Optimized User Interface Elements for Controlling Computer Function
US20110029865A1 (en) * 2009-07-31 2011-02-03 Nellcor Puritan Bennett Llc Control Interface For A Medical Monitor
US9971807B2 (en) 2009-10-14 2018-05-15 Oblong Industries, Inc. Multi-process interactive systems and methods
US8339364B2 (en) 2010-02-03 2012-12-25 Nintendo Co., Ltd. Spatially-correlated multi-display human-machine interface
US8913009B2 (en) 2010-02-03 2014-12-16 Nintendo Co., Ltd. Spatially-correlated multi-display human-machine interface
WO2011096203A1 (ja) * 2010-02-03 2011-08-11 任天堂株式会社 ゲームシステム、操作装置、およびゲーム処理方法
US8814686B2 (en) 2010-02-03 2014-08-26 Nintendo Co., Ltd. Display device, game system, and game method
US8803817B1 (en) 2010-03-02 2014-08-12 Amazon Technologies, Inc. Mixed use multi-device interoperability
US9158333B1 (en) * 2010-03-02 2015-10-13 Amazon Technologies, Inc. Rendering on composite portable devices
JP6243586B2 (ja) 2010-08-06 2017-12-06 任天堂株式会社 ゲームシステム、ゲーム装置、ゲームプログラム、および、ゲーム処理方法
US10150033B2 (en) 2010-08-20 2018-12-11 Nintendo Co., Ltd. Position calculation system, position calculation device, storage medium storing position calculation program, and position calculation method
JP5840385B2 (ja) 2010-08-30 2016-01-06 任天堂株式会社 ゲームシステム、ゲーム装置、ゲームプログラム、および、ゲーム処理方法
JP5840386B2 (ja) 2010-08-30 2016-01-06 任天堂株式会社 ゲームシステム、ゲーム装置、ゲームプログラム、および、ゲーム処理方法
US9372618B2 (en) 2010-10-01 2016-06-21 Z124 Gesture based application management
KR101492310B1 (ko) 2010-11-01 2015-02-11 닌텐도가부시키가이샤 조작 장치 및 정보 처리 장치
GB201105588D0 (en) 2011-04-01 2011-05-18 Elliptic Laboratories As User interface
JP5689014B2 (ja) 2011-04-07 2015-03-25 任天堂株式会社 入力システム、情報処理装置、情報処理プログラム、および3次元位置算出方法
DE102011103947A1 (de) * 2011-06-06 2012-12-06 Jörg Rudolf pressMouse
TWI447642B (zh) * 2011-07-25 2014-08-01 Hon Hai Prec Ind Co Ltd 影像顯示系統、電子裝置及影像顯示方法
CN102902496B (zh) * 2011-07-25 2015-05-20 鸿富锦精密工业(深圳)有限公司 影像显示系统、电子装置及影像显示方法
US8970455B2 (en) * 2012-06-28 2015-03-03 Google Technology Holdings LLC Systems and methods for processing content displayed on a flexible display
US9235373B2 (en) * 2012-06-30 2016-01-12 At&T Intellectual Property I, L.P. Real-time management of content depicted on a plurality of displays
US9305514B1 (en) 2012-07-31 2016-04-05 Trend Micro Inc. Detection of relative positions of tablet computers
KR102215080B1 (ko) * 2012-09-17 2021-02-10 삼성전자주식회사 플렉서블 디스플레이 장치 및 플렉서블 디스플레이 장치의 제어 방법
CN103699211A (zh) * 2012-09-27 2014-04-02 北京三星通信技术研究有限公司 一种电子设备及其互联和控制方法
KR102145533B1 (ko) * 2012-10-04 2020-08-18 삼성전자주식회사 플렉서블 디스플레이 장치 및 그의 제어 방법
KR102163740B1 (ko) 2012-10-05 2020-10-12 삼성전자주식회사 플렉서블 디스플레이 장치 및 플렉서블 디스플레이 장치의 제어 방법
KR101909492B1 (ko) 2012-12-27 2018-12-18 삼성전자주식회사 플렉서블 장치와의 인터렉션 방법 및 사용자 단말
KR102309563B1 (ko) * 2013-02-01 2021-10-07 삼성디스플레이 주식회사 가요성 디스플레이 장치를 구비한 모바일 기기 및 이의 동작 방법
KR102097361B1 (ko) 2013-02-01 2020-04-07 삼성디스플레이 주식회사 가요성 디스플레이 장치를 구비한 모바일 기기 및 이의 동작 방법
US9990046B2 (en) 2014-03-17 2018-06-05 Oblong Industries, Inc. Visual collaboration interface
US9542364B2 (en) * 2014-10-23 2017-01-10 Google Inc. Tearable displays with partial tears defined by extrapolated paths
US10102824B2 (en) * 2015-05-19 2018-10-16 Microsoft Technology Licensing, Llc Gesture for task transfer
US10169842B2 (en) 2015-07-06 2019-01-01 International Business Machines Corporation Dynamic content adjustment on a bendable transparent display
US9880641B2 (en) 2015-08-27 2018-01-30 International Business Machines Corporation Managing displayed content on a reshaped flexible display
CN105824593B (zh) * 2016-03-09 2018-11-13 京东方科技集团股份有限公司 拼接屏显示系统及拼接显示方法
US10529302B2 (en) 2016-07-07 2020-01-07 Oblong Industries, Inc. Spatially mediated augmentations of and interactions among distinct devices and applications via extended pixel manifold
RU2670075C2 (ru) * 2017-03-30 2018-10-17 Общество с ограниченной ответственностью "ДЕЛО В ЦИФРАХ" Устройство демонстрационное
CN108388305A (zh) * 2018-01-15 2018-08-10 李敏 可变形的软体计算机
US11244080B2 (en) 2018-10-09 2022-02-08 International Business Machines Corporation Project content from flexible display touch device to eliminate obstruction created by finger
WO2020115454A1 (en) * 2018-12-07 2020-06-11 Peratech Holdco Ltd Interface device
GB2580903A (en) * 2019-01-24 2020-08-05 Mosaic Led Ltd Smart display tiles, systems and methods of use
DE102019206259A1 (de) * 2019-05-02 2020-11-05 Volkswagen Aktiengesellschaft Wechsel-Akkumulator
US20210226264A1 (en) * 2020-01-20 2021-07-22 Cirque Corporation Battery Swell Detection
CN114968145A (zh) * 2021-02-27 2022-08-30 华为技术有限公司 一种内容存储的方法、电子设备和系统
CN114822328B (zh) * 2022-04-08 2023-06-23 浙江师范大学 一种社会治理用基于智能语音技术的宣传器及其宣传方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4111421A (en) * 1976-12-09 1978-09-05 The Magnavox Company Optical linked remote control video game apparatus
US4668861A (en) * 1984-12-12 1987-05-26 The Regents Of The University Of California Tactile sensor employing a light conducting element and a resiliently deformable sheet
JP2513180B2 (ja) 1986-01-13 1996-07-03 ソニー株式会社 ビデオテックス表示装置
US4831359A (en) * 1988-01-13 1989-05-16 Micro Research, Inc. Four quadrant touch pad
US5302968A (en) * 1989-08-22 1994-04-12 Deutsche Itt Industries Gmbh Wireless remote control and zoom system for a video display apparatus
GB8926647D0 (en) 1989-11-24 1990-01-17 Hillen Sean Video display
FR2658642B1 (fr) * 1990-02-20 1994-06-10 Rousseau Codes Procede et dispositif d'entrainement a la conduite de vehicules terrestres.
JP2501965B2 (ja) 1991-02-12 1996-05-29 パイオニア株式会社 デ―タ転送制御装置
GB9201949D0 (en) * 1992-01-30 1992-03-18 Jenkin Michael Large-scale,touch-sensitive video display
US5483261A (en) * 1992-02-14 1996-01-09 Itu Research, Inc. Graphical input controller and method with rear screen image detection
JPH06222884A (ja) * 1992-12-16 1994-08-12 Xerox Corp 位置入力装置の使用方法
DE4244584A1 (de) 1992-12-28 1994-07-07 Krone Ag Verfahren und Anordnung zur Vernetzung von elektro-optischen Bildwandmodulen
JPH07146671A (ja) * 1993-06-16 1995-06-06 Mitsubishi Electric Corp 大型映像表示装置
US5781150A (en) 1995-01-25 1998-07-14 American Technology Corporation GPS relative position detection system
US5703623A (en) * 1996-01-24 1997-12-30 Hall; Malcolm G. Smart orientation sensing circuit for remote control
US5668569A (en) * 1996-04-05 1997-09-16 Rainbow Displays Inc. Tiled, flat-panel displays with luminance-correcting capability
DE19701701A1 (de) * 1997-01-21 1998-07-23 Zeiss Carl Fa Sondenarray für ein Rastersondenmikroskop

Cited By (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001216245A (ja) * 1999-10-26 2001-08-10 Ricoh Co Ltd 文書転送のための方法、装置及びシステム
JP2001188029A (ja) * 1999-12-28 2001-07-10 Ori Communications:Kk セル及びその結合状態認識方法
JP2002132446A (ja) * 2000-10-25 2002-05-10 Sony Corp 情報入出力システム及び情報入出力方法、並びにプログラム記憶媒体
JP2002207247A (ja) * 2001-01-11 2002-07-26 Seiko Epson Corp 投写表示システムおよびそのためのプロジェクタ
JP4560974B2 (ja) * 2001-03-15 2010-10-13 コニカミノルタビジネステクノロジーズ株式会社 画像表示装置
JP2002278515A (ja) * 2001-03-15 2002-09-27 Minolta Co Ltd 画像表示装置
JP2003066890A (ja) * 2001-08-30 2003-03-05 Minolta Co Ltd 表示装置
JP4706151B2 (ja) * 2001-08-30 2011-06-22 コニカミノルタビジネステクノロジーズ株式会社 表示装置
JP2003195973A (ja) * 2001-12-21 2003-07-11 Sharp Corp 半導体装置およびその製造方法
JP2003255920A (ja) * 2002-02-28 2003-09-10 Saito Shoji:Kk 表現媒体の表現システム
JP2003256190A (ja) * 2002-02-28 2003-09-10 Kokuyo Co Ltd 情報処理装置
JP2003271118A (ja) * 2002-03-15 2003-09-25 Toshiba Corp マルチ画面設定方法
JP2003280783A (ja) * 2002-03-20 2003-10-02 Fuji Xerox Co Ltd 表示システム及び表示方法
JP2003288142A (ja) * 2002-03-22 2003-10-10 Fuji Xerox Co Ltd グラフィック・オブジェクトの外観を変更するための方法及びグラフィカル・ユーザ・インタフェース(gui)
JP2003280623A (ja) * 2002-03-27 2003-10-02 Sony Corp マルチディスプレイ装置、画像表示装置、および方法、並びにコンピュータ・プログラム
JP2004046792A (ja) * 2002-03-29 2004-02-12 Toshiba Corp 表示入力装置、表示入力システム及びその制御方法並びにマンマシン・インタフェース装置
JP2003308513A (ja) * 2002-04-16 2003-10-31 Sony Corp コンテンツ管理システム、画像表示装置、コンテンツ管理装置及びコンテンツ管理方法
JP2003330384A (ja) * 2002-05-17 2003-11-19 Toshiba Corp 画像表示装置
JP2004077862A (ja) * 2002-08-20 2004-03-11 Sony Corp 表示装置および方法、携帯型情報処理端末および方法、記録媒体、並びにプログラム
JP2005099064A (ja) * 2002-09-05 2005-04-14 Sony Computer Entertainment Inc 表示システム、表示制御装置、表示装置、表示方法、およびユーザインタフェイス装置
JP2004101905A (ja) * 2002-09-10 2004-04-02 Sharp Corp 情報表示装置
JP2004164242A (ja) * 2002-11-12 2004-06-10 Sony Computer Entertainment Inc ファイル処理方法とこの方法を利用可能な装置
CN1329802C (zh) * 2002-11-12 2007-08-01 索尼计算机娱乐公司 利用重量概念处理文件以可视化表示文件的方法与装置
JP2006514381A (ja) * 2002-12-10 2006-04-27 インフィネオン テクノロジーズ アクチエンゲゼルシャフト 表面パネルモジュール、表面パネルモジュール構造、表面パネルモジュール構造の表面パネルモジュールから少なくとも1つの基準位置までの距離を決定するための方法、プロセッサ構造、織地構造、および、表面パネル構造
JP2004240238A (ja) * 2003-02-07 2004-08-26 Fuji Xerox Co Ltd 表示制御装置、画像表示装置及び画像表示システム
JP2005043570A (ja) * 2003-07-25 2005-02-17 Seiko Epson Corp プロジェクタ
US7941676B2 (en) 2003-09-24 2011-05-10 Infineon Technologies Ag Processor array having a multiplicity of processor elements and method of transmitting electricity between processor elements
JP2007507025A (ja) * 2003-09-24 2007-03-22 インフィネオン テクノロジーズ アクチエンゲゼルシャフト プロセッサアレイ、織物構造、表面被覆構造、および、局所的に互いに隣接して配置された複数のプロセッサ素子間の電力伝送方法
JP2007531158A (ja) * 2004-03-31 2007-11-01 モトローラ・インコーポレイテッド コンテンツの管理及び制御の方法及び装置
JP2006106379A (ja) * 2004-10-06 2006-04-20 Amk:Kk 液晶パネルによる多画面表示装置
JP2008530661A (ja) * 2005-02-08 2008-08-07 オブロング・インダストリーズ・インコーポレーテッド ジェスチャベースの制御システムのためのシステムおよび方法
JP2006309052A (ja) * 2005-05-02 2006-11-09 Patoraito:Kk 情報表示システム及び情報表示装置
WO2007135776A1 (ja) * 2006-05-23 2007-11-29 Nec Corporation 表示装置、これを含んだ機器、プログラム及び表示方法
JP2006338044A (ja) * 2006-07-24 2006-12-14 Sony Corp マルチディスプレイ装置、およびマルチディスプレイ制御方法、並びにコンピュータ・プログラム
JP2008158452A (ja) * 2006-12-26 2008-07-10 Oki Electric Ind Co Ltd 電子ペーパ、電子ペーパを用いたアプリケーション連携システム
JP2007179067A (ja) * 2007-02-15 2007-07-12 Sony Corp メルチディスプレイ装置、および画像表示制御方法、並びにコンピュータ・プログラム
US8836610B2 (en) 2007-10-15 2014-09-16 Samsung Display Co., Ltd. Display device and driving method thereof
JP2009288453A (ja) * 2008-05-28 2009-12-10 Canon Inc 表示制御システムおよび表示制御方法
JP2010117606A (ja) * 2008-11-14 2010-05-27 Brother Ind Ltd 画像表示装置
US8581859B2 (en) 2008-12-26 2013-11-12 Sony Corporation Display device
JP2010157060A (ja) * 2008-12-26 2010-07-15 Sony Corp 表示装置
KR20110139688A (ko) * 2009-03-19 2011-12-29 마이크로소프트 코포레이션 듀얼모듈 휴대용장치와 그의 동작방법
US8849570B2 (en) 2009-03-19 2014-09-30 Microsoft Corporation Projected way-finding
JP2012521043A (ja) * 2009-03-19 2012-09-10 マイクロソフト コーポレーション デュアルモジュール型ポータブルデバイス
US8798669B2 (en) 2009-03-19 2014-08-05 Microsoft Corporation Dual module portable devices
US9323378B2 (en) 2009-08-19 2016-04-26 Samsung Electronics Co., Ltd. Method and apparatus of electronic paper comprising a user interface
JP2011044128A (ja) * 2009-08-19 2011-03-03 Samsung Electronics Co Ltd 電子ペーパのためのユーザインターフェース提供装置および方法
US9261914B2 (en) 2009-12-04 2016-02-16 Sony Corporation Flexible display device and method of controlling flexible display device
JP2011118244A (ja) * 2009-12-04 2011-06-16 Sony Corp 表示装置及び表示装置の制御方法
JP2010211211A (ja) * 2010-03-24 2010-09-24 Konica Minolta Business Technologies Inc 画像表示装置
JP2012133068A (ja) * 2010-12-21 2012-07-12 Yahoo Japan Corp マルチディスプレイシステム、端末、方法及びプログラム
WO2012121160A1 (ja) 2011-03-04 2012-09-13 株式会社ニコン 電子機器、画像表示システム及び画像選択方法
US8947357B2 (en) 2011-09-21 2015-02-03 Fuji Xerox Co., Ltd. Position detecting device, information processing device, position detection method, information processing method, and computer readable medium
JP2014035496A (ja) * 2012-08-09 2014-02-24 Canon Inc 表示装置、表示装置の制御方法、及び、プログラム
JP2014067194A (ja) * 2012-09-25 2014-04-17 Canon Inc 情報処理装置及びその制御方法、並びにプログラムと記憶媒体
JP2013054362A (ja) * 2012-10-04 2013-03-21 Brother Ind Ltd 画像表示装置
US9329828B2 (en) 2012-11-13 2016-05-03 Canon Kabushiki Kaisha Information processing apparatus for displaying adjacent partial images out of a plurality of partial images that constitute one image on display units of a plurality of adjacent information processing apparatuses
WO2014155896A1 (en) * 2013-03-28 2014-10-02 Nec Corporation Improved wireless communication of private data between two terminals
JP2015049341A (ja) * 2013-08-30 2015-03-16 コニカミノルタ株式会社 表示制御装置、表示システム、表示プログラム、表示装置
JP2015129917A (ja) * 2013-12-02 2015-07-16 株式会社半導体エネルギー研究所 情報処理装置
US11475532B2 (en) 2013-12-02 2022-10-18 Semiconductor Energy Laboratory Co., Ltd. Foldable display device comprising a plurality of regions
US11983793B2 (en) 2013-12-02 2024-05-14 Semiconductor Energy Laboratory Co., Ltd. Foldable display device including a plurality of regions
JP2015166862A (ja) * 2014-02-14 2015-09-24 株式会社半導体エネルギー研究所 発光装置
US10514137B2 (en) 2014-02-14 2019-12-24 Semiconductor Energy Laboratory Co., Ltd. Joining structure of light emitting units
JP2014238584A (ja) * 2014-07-03 2014-12-18 ブラザー工業株式会社 画像表示装置
JP2018077289A (ja) * 2016-11-07 2018-05-17 富士ゼロックス株式会社 表示装置およびプログラム
JP2020532091A (ja) * 2017-08-23 2020-11-05 京東方科技集團股▲ふん▼有限公司Boe Technology Group Co.,Ltd. 可撓性基板およびその製造方法、屈曲検出方法ならびに可撓性表示装置

Also Published As

Publication number Publication date
EP0899651A3 (en) 2000-02-23
US6340957B1 (en) 2002-01-22
EP0899651A2 (en) 1999-03-03

Similar Documents

Publication Publication Date Title
JP4149574B2 (ja) ユーザインターフェースサポートデバイス、及び情報入力方法
JPH11134087A (ja) データ転送用タイリング可能な複数デバイス、デバイスのダイナミックアレイ及びタイリング可能なディスプレイシステム
US6297805B1 (en) Multiple interacting computers interfaceable through a physical manipulatory grammar
US6297838B1 (en) Spinning as a morpheme for a physical manipulatory grammar
US6268857B1 (en) Computer user interface using a physical manipulatory grammar
US6243075B1 (en) Graspable device manipulation for controlling a computer display
US6243074B1 (en) Handedness detection for a physical manipulatory grammar
US6160540A (en) Zoomorphic computer user interface
WO2020155876A1 (zh) 控制屏幕显示的方法及电子设备
US10152088B2 (en) Mobile terminal and control method therefor
CN103577066B (zh) 电子装置和使用电子装置的电子笔记系统
US9335790B2 (en) Wearable devices and associated systems
Schmidt et al. There is more to context than location
KR101895818B1 (ko) 단말기에서 전자책과 연관된 피드백 제공 방법 및 장치
US20150286288A1 (en) Flexible glass display apparatus and method for controlling the same
EP2720140A1 (en) Display apparatus, input pen, display apparatus controlling method and display system
JP2021516374A (ja) 画像処理方法及びフレキシブルスクリーン端末
US20130198678A1 (en) Method and apparatus for displaying page in terminal
JP2016520915A (ja) 触覚セルのアレイを用いた有形のユーザ・インターフェース・インタラクション及びジェスチャのシミュレーション
EP2820532A1 (en) Method and apparatus for turning pages in terminal
JP2023526618A (ja) 未読メッセージの表示方法、装置及び電子機器
WO2021104255A1 (zh) 文件管理方法及电子设备
CN109828850A (zh) 一种信息显示方法及终端设备
WO2021213449A1 (zh) 一种触控操作方法及设备
CN109189286A (zh) 一种桌面应用的操作方法及终端

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050822

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070904

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071106

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080415

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080707

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080805