JP4309997B2 - 注釈の表示方法 - Google Patents

注釈の表示方法 Download PDF

Info

Publication number
JP4309997B2
JP4309997B2 JP16439399A JP16439399A JP4309997B2 JP 4309997 B2 JP4309997 B2 JP 4309997B2 JP 16439399 A JP16439399 A JP 16439399A JP 16439399 A JP16439399 A JP 16439399A JP 4309997 B2 JP4309997 B2 JP 4309997B2
Authority
JP
Japan
Prior art keywords
space
text
annotation
data
data body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP16439399A
Other languages
English (en)
Other versions
JP2000040158A (ja
Inventor
ウェイ チャン ベイ
ティ ゼルウエガー ポル
ディ マッキンレー ジョック
ピー フィッシュキン ケネス
イガラシ タケオ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xerox Corp
Original Assignee
Xerox Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US09/098,451 external-priority patent/US6230170B1/en
Priority claimed from US09/098,942 external-priority patent/US6584479B2/en
Application filed by Xerox Corp filed Critical Xerox Corp
Publication of JP2000040158A publication Critical patent/JP2000040158A/ja
Application granted granted Critical
Publication of JP4309997B2 publication Critical patent/JP4309997B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/103Formatting, i.e. changing of presentation of documents
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/166Editing, e.g. inserting or deleting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/166Editing, e.g. inserting or deleting
    • G06F40/169Annotation, e.g. comment data or footnotes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Instructional Devices (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、コンピュータが介在するテキストおよび図形の表示方法に関し、特にテキストおよび図形による補足的な注釈を本文ページ上へ動的に表示することに関する。
【0002】
【従来の技術】
本やその他の印刷物、または電子的に閲覧される出版物において、本文に補助的または補足的情報をアクセスが容易なフォーマットで提示するために、脚注、頭注、傍注等、余白に記述された注釈が広く採用されている。注釈は一般に本文よりも小さい活字サイズで組まれ、ボールド、カーシブ等の異なる活字体で組まれたり、注釈を本文から目立たせるために各種の変わったフォーマットを有することがある。理想的には、そのような注釈により著者が不必要に読者の注意を本文からそらせることなく(差し込み注記や長い説明的従属節ではよくそうなる)、本文に関するテキストまたは図形による補足的な説明を与えることができる。
【0003】
【発明が解決しようとする課題】
不都合なことに、余白の大きさ、活字サイズ、および紙の上で読み取り可能なテキストも密度の物理的限界のため、注釈として提示できる情報量が限られる。注釈は余白、脚注、または頭注に収めるには大き過ぎるかも知れず、たとえそれが可能であっても本文を読むのを邪魔したり読む速度を低下させかねない。そこで本文に関する注釈をすばやく円滑に提示できる柔軟性を十分に備え、読者が必要とする時のみ注釈を見ることができるような注釈システムが求められている。
【0004】
【課題を解決するための手段】
本発明では、画面に表示されたテキストや図形のページを再フォーマットできる能力を有することから、高性能モニターまたはフラットパネルディスプレイ対応のコンピュータにより注釈付与技術の可能性が大幅に拡張され、かつ著者にとって、余白スペースが限られているという問題から解放される。本発明は、画面に表示可能なデータの本文およびそのデータ本文に関係付けられる補足データ部を動的に表示するための方法を提供する。データの本文には特定の領域に対応付けられて補足データ部を参照する注釈タグが含まれていてよい。データ本文内で、注釈タグまたはその近傍にユーザーフォーカスの領域(ユーザの注目する領域またはユーザが選択する領域)が選択されると、補足データ部が動的に表示され(そこにユーザーフォーカスが留まっている間)、補足データ部の提示を強調するためにデータ本文内にあるデータは同時に変更される。ユーザーフォーカスが変わると注釈タグは置き換えられてデータ本文は元のフォーマットに戻る。
【0005】
以下で理解されるように、データにはテキストと図形の両方が含まれていてよい。本発明は小説、ソフトウェアコード、詩等のテキスト型アプリケーション、および地図、写真、地理情報システム等の図形アプリケーションを対象とする。絵図入りの教科書、指導マニュアル、スプレッドシート等テキストと図形の両方が相当量あるアプリケーションもまた本発明の方法の利用対象として適している。
【0006】
同様に、注釈タグもテキスト主体、図形主体、あるいはテキストと図形要素の混合であってもよい。想定されている注釈タグとして、数字タグ(例:脚注の数字)、ギリシャ文字で書かれたか、判読不能なほど小さい行間または余白テキスト、記号(例:アスタリスク)、ハイパーテキストリンク、あるいは余白に置かれた親指大の絵や図等がある。ある好適な実施例において、注釈タグは非常に小さいが判読可能な、補足データ部分のバージョンであってよい。また他のアプリケーションでは、線、曲線、あるいは図形やテキストのアニメーションによりユーザーがデータ本文を調べて補足データが利用できるか否かを確認することができる。典型的には視覚的な目印ではあるが、あるアプリケーションにおいて注釈タグはユーザーフォーカスのポインタやその他のインジケータが注釈タグ周辺の領域を指すまではユーザーには見えないようにできる。あるアプリケーションにおいて、注釈タグは聴覚または触覚フィードバックに基づく場合もあり、それらは例えば、聴覚または触覚注釈を与える音声、フォースフィードバックマウスの操作、または触覚ディスプレイ等である。
【0007】
注釈タグ上のユーザーフォーカスを決定するには、マウス、スタイラス、キーボードで操作可能な、画面に表示された通常のポインタの位置を追跡したり、画面に重ねたタッチパネルの様な触覚センサーや、視線や頭方向の追跡システム、あるいは画面ディスプレイの領域上でユーザーフォーカスを確実に決定可能なその他のいかなる通常の機構を用いて行なうことができる。ユーザーフォーカス内で補足情報の動的表示は、ユーザーが行なったマウスクリック、キーボード入力、フィンガータップ、持続時間(例:注釈タグ上または近傍にマウスカーソルを1/10秒から2秒の間、通常は1秒間、留めておく)、あるいは補足データ部を見たいというユーザー要求が確認可能なその他の任意の入力法に応答して開始される。
【0008】
データ本文の閲覧を遮蔽することなく(少なくとも遮蔽を最小限に抑えて)補足データ部の提示を強調するためにデータ本文の変更(ユーザーフォーカスに応答して)を行なうには補足データ部をデータ本文の中に収容することが必要である。収容が行なわれるためには、補足データ部はデータ本文と”交渉(ネゴシエート:negotiate)”してデータ本文または補足データの位置、向き、大きさ、色、空間的モーフォロジー(モーフィング:形態素処理)、その他の印刷上または描画上の特徴を適宜調整する必要がある。収容により従来のハイパーテキストウインドウや”バルーンヘルプ”技術に伴なう重要な問題が克服される。そのような注釈付加技術は単に小さい図形やウインドウをデータ本文の上に重ねるだけであり、しばしばデータ本文の必要な情報を覆い隠してしまう。それに対して本発明はデータ本文と補足データ部の間の交渉をつかさどり、データ本文の顕著な部分を最適に提示しながら同時に補足データ部の閲覧も可能にすべくテキストや図形の位置、向き、大きさ、色、空間的形態の適切な変更を決定する。理想的には、データ本文と補足データ部両方について閲覧時の妨害が最小限に抑えられるが、ある実施例では顕著な情報の表示を収容するためにデータ本文の一部を見えなくする必要な場合もあろう。
【0009】
補足データ部の収容はデータ本文へのオーバーレイまたは空間的モーフィングにより行なわれる。オーバーレイ提示では注釈タグを補足データで置き換えると同時に、注釈を余白、行間、または段落間領域に置く適当なコールアウト、線、マーカーまたはアニメーションにより本文の注釈付けられた領域を識別しながら、引き続きユーザーの注意を本文の関連領域に向けさせる。一方、注釈を付けられる本文の領域は色やフォントを適当に変えることにより視覚的に目立たせることができる。これにより、例えば本文の領域の色を変えたり、色相を調整したり、”グレーで目立たなく”でき、注釈の補足データを視覚的に目立たされた領域の最上位に配置することができる。オーバーレイ提示は一般に単語、行や段落、または図形要素の位置を変える必要が無く、その代わりデータ本文中の利用可能なスペース(例:”空いている”余白スペース、またはテキストを”グレーアウト”して作ったスペース)に依存する。
【0010】
これに対して、データ本文の空間的モーフィングは一般的に、ユーザーフォーカスが当たっている注釈タグの近傍にある単語や行の置き換えや差分のサイズ変更が必要である。データ本文での単語、行、段落、あるいは図形要素の位置は(移行アニメーションを用いて)補足データ部を収容する必要に応じて調整される。これにより、データ本文の前後関係を維持しながら補足データ部を判読可能なフルサイズで提示できる。これには注釈タグの近傍で行の活字サイズを動的に小さくしたり、補助記号、単語、文を行内または行間に差し込むことも含まれる。注釈その他の補足データのために場所を空けるために、単語、行、段落、図形要素、あるいは余白を移動させることができる。
【0011】
本分野に精通する者に理解されるように、本発明の方法は余白注記、行間訳文、グラフィックス、手書きおよびその他の適当な注釈の作成支援に利用することができる。データ本文は画面上に表示可能であり、ユーザーは注釈を付けるためのユーザーフォーカスの領域を選択することができる。キーボード、ペン操作のタッチパッド、音声制御ソフトウェア、あるいはその他の適当な入力装置を用いて、ユーザーはユーザーフォーカスの領域に関連付ける補足データ入力を行なう。注釈の作成を支援するために、画面に表示された本文データが変更される。変更にはオーバーレイ提示があり、その中で注釈を付けられる(すなわち、ユーザーが入力した補足データ部が伴なう)領域がカラーハイライトやグレーアウトされるか、あるいは空間的モーフィング提示技術により本文の行が移動させられてテキストまたは手書き入力の場所を収容する。
【0012】
【発明の実施の形態】
図1に示すように、コンピュータシステム10は陰極線管(CRT)モニター15あるいはフラットパネルディスプレイ14の少なくとも一つに接続したコンピュータ20を含む。コンピュータ20は本発明に従い、パッケージまたは注文製のソフトウェアアプリケーションを実行するのに適した従来のパーソナルコンピュータあるいはワークステーションであって、プロセッサ21、電子メモリ22および長期記憶装置23を含む。入力モジュール28はコンピュータ20に対し、ペン装置13、従来型キーボード16、2ないし3自由度のマウス装置17、ペンベースあるいは身振り(ジェスチャー)入力、紙スキャナ入力、オーディオ入力用マイクロホン18、あるいはサポートされる他の任意の入力機構によっても入力を与える。モニター15あるいはフラットパネルディスプレイ14を介した視覚的表示出力に加えて、各種の非視覚的コンピュータ出力が出力モジュール29により可能であり、これは音声出力、触覚出力、フォースフィードバック出力(フォースフィードバックマウスあるいはジョイスティックによる)、テキスト/グラフィックプリンタ、あるいは他の任意の適当な出力機構も含んでもよいが、これらに限定されない。コンピュータ20はローカルネットワーク24により付随するオペレーティングまたはアーカイビング記憶装置25と接続でき、さらにデータの検索または普及のために任意の従来のインターネットワーク26とも接続できる。
【0013】
本発明の目的のために、ディスプレイ14、モニター15として高品質のCRTモニター、受動または能動マトリクス液晶フラットパネルディスプレイ、各種のプラズマ、電気光学式、または微小光学機械式ディスプレイ、あるいは他の任意の従来型ビジュアルディスプレイを用いてもよい。1280×1024ピクセル対応のCRTモニターを使えば良い結果が得られる。カリフォルニア州パロアルトにあるdpiX社から販売されているようなアモルファスシリコンや能動マトリクスフラットパネルディスプレイを使用することにより、さらに良い結果を得ることができる。例えば、ある適当なdpiX社製フラットパネルディスプレイは対角線長が13.5インチであり、視認可能な表示領域が276×200ミリメートル、3072×2240ピクセルにより16グレー階調で約300dpiの解像度をサポートする。そのような高解像度ディスプレイは、3ポイント程度に小さいフォントピッチのテキスト情報でも読みやすく提示することができるが、より一般的には目の痛みを最小限に抑えるために4ないし5ポイントテキストがフォントサイズの下限として用いられる。これらのディスプレイはコンピュータ20に接続されたPCIコントローラカードに接続でき、現在WindowsNTコンピュータオペレーティングシステムの下でサポートされている。以下に理解されるように、前述のディスプレイは、いずれも従来型ペンベース入力技術を介して画面への直接的な注釈付けを許すために(オプションとしてディスプレイに重ねあわせるか、あるいは別個にコンピュータ20に接続し得る)絶対/相対位置を検知する各種のタッチパッドあるいは書込みタブレットと組み合わせて用いることができる。
【0014】
図2でわかるように、(先に図1で示した)フラットパネルディスプレイ14はユーザーに対し、コンピュータ制御される図形およびテキスト型ディスプレイ40を提示する。ディスプレイ40は、(ボックス34により表現される)データ本文と(一般にボックス32により表現され、補足データは各種のデータソース62、64、66から得られる)補足データ部との間の交渉(図1のコンピュータ20上で実行されているソフトウェアモジュールである交渉モジュール36を用いる)によって作成される。図2を参照してわかるように、ディスプレイ40はテキスト48、グラフィックス46、テーブル 50、および各種の注釈タグ(注釈タグ52を含む)を含む。注釈タグ52(データ62、64、66のソースの一つからのテキストデータと結び付けられている)は、マウス操作によるカーソル58をユーザーフォーカス59の領域内へ動かすことにより選ばれ、結果的に”コールアウト”のテキスト型注釈56を表示させるアニメーション起動シーケンスを開始する。この拡張アニメーション(徐々に大きくなる)は典型的に約1/4秒ないし約2秒間かかるが、これはユーザーが拡張する注釈を目で追跡して、文脈上のフォーカスを適切に維持するのに十分な時間である。ユーザーフォーカスがマウスカーソルの動きによって変化すると、注釈タグは置き換えられ、データ本文は逆向き、収縮アニメーションによって元のフォーマットに戻る。以下に理解されるように、アニメーション速度は完全に制御可能であり、短い注釈には高速の”ポップアップ”ディスプレイ注釈が提示され、注釈タグから遠い位置に置かれたより複雑な注釈にはより長いアニメーションが使われる。
【0015】
以下に理解されるように、ディスプレイ40で示されるデータはテキスト、図形、あるいはテキストと図形要素(図2のスプレッドシート表50のような)の混合を含んでいてよい。本発明は、電子メール文、小説、ソフトウェアコード、あるいは詩のようなテキストとともに、地図、写真、あるいは地理情報システムのような図形データからなるデータ本文34の表示を包含する。絵図入りの教科書、指導マニュアル、スプレッドシート等テキストと図形の両方が相当量あるアプリケーションもまた表示対象として適している。
【0016】
補足データ32は表示されたテキスト本文の余白あるいは行間に置かれた短い説明から成る注釈を含んでいてよい。注釈はハイパーテキストにリンクされたデスティネーションの記述、リンクされたデスティネーションからの実際の抜粋、リンクされたデスティネーションのソース資料との関係、ソース資料についての注釈、著者や作成日付等のメタ情報、ハイパーリンク人気度または推奨データ、および他のインフォメーションと同様にこれらの組み合わせを含んでいてよい。著述された注釈は脚注、相互参照、差し込み説明、書誌的な参照、現在の段落、ページ番号、数字、表、雑感記事、表、著作権、あるいは定義を含む場合もある。個人的な注釈は訂正、追加、削除、注記、評者のコメント、あるいは1ページ中のブックマークを含んでいてよい。数学的な証明、アウトライン小見出し、目次、図コールアウト、あるいは段階的な指導等の階層的な情報もまた本発明のある実施例に適していよう。ある種の実施例において、テキストや段落のフォーマッティング、あるいはスプレッドシート制約グラフ情報によって与えられるような論理的または関係的構造をデータ本文34の理解を深めるために用いてよい。
【0017】
同様に、注釈タグはテキスト主体、図形主体、あるいはテキストと図形要素の何らかの混合であり得る。想定されている注釈タグとして、数字タグ(例:脚注の数字)、ギリシャ文字で書かれたか判読不能なほど小さい行間または余白テキスト、記号(例:アスタリスク、星型記号)、あるいは余白に置かれた親指大の絵や図等がある。ある好適な実施例において、注釈タグは非常に小さいが判読可能な、補足データ部分のバージョンであってよい。例えば、注釈は補足データ部から切り取ったバージョンであってよく、データ本文が12ポイントタイプとして提示されている時に最初の行あるいは最初の数単語だけを3、4、または5ポイントタイプで示す。スケーリングアニメーションの間、補足データ部がいっそう目立つにつれて、フォントは1、2秒の間に次第に大きくなり、大きくなるフォントポイントサイズでますます多くの行が表示される。一方、情報は、例えば補足データ部から得られた要約語句やタイトルを示して、注釈タグ内で要約できる。再び述べるに、ユーザーフォーカスに応答して補足的資料がスケールアップするにつれて、要約は全文で置き換えられる。
【0018】
あるアプリケーションにおいて注釈タグはユーザーフォーカスのポインタやその他のインジケータが注釈タグ周辺の領域を指すまではユーザーには見えないようにできる。例えば、注釈タグは、図1の非視覚的出力モジュール29で与えられるような聴覚または触覚フィードバックに基づく場合もあり、それらは例えば、聴覚または触覚注釈を与える音声、フォースフィードバックマウスの操作、または触覚ディスプレイ等である。
【0019】
表示されているマウス、あるいはキーボード制御されたポインタやカーソル58に加えて、ユーザーフォーカスを決定するには、入力モジュール28や、オプション的に備えられた任意の画面に重ねたタッチパネルのような触覚センサーや視線や頭方向の追跡システム、音声入力、あるいは画面ディスプレイの領域上を確実に決定可能なその他のいかなる通常の機構を用いて行なうことができる。ユーザーフォーカス内で補足情報の動的表示は、ユーザーが行なったマウスクリック、キーボード入力、フィンガータップ、持続時間(例:注釈タグ上または近傍にマウスカーソルを1/10秒から2秒の間、通常は1秒間、留めておく)、あるいは補足データ部を見たいというユーザー要求が確認可能なその他の任意の入力法に応答して開始される。
【0020】
本分野に精通する者に理解されるように、補足データ部の提示を強調するためにデータ本文の変更(ユーザーフォーカスに応答して)を行なうには補足データ部をデータ本文の中に収容することが必要である。収容が行なわれるためには、補足データ部はデータ本文と(交渉モジュール36を用いて)”交渉”してデータ本文または補足データの位置、向き、大きさ、色、その他の印刷上または描画上の特徴を適宜調整する必要がある。ある注釈タグにユーザーが関心を示した後で短いアニメーション表示することができ、典型的なものとして、注釈を拡張しながら同時に重ねあわせたり、データ本文の空間的および位置的モーフィングが含まれる。
【0021】
好都合なことに、収容により、データ本文の前後関係を維持しながら補足データを判読可能なフルサイズで提示できる。実際上、本発明による方法は本文と補足データの相対的な目立ち具合を調整する。最初は、データ本文にフォーカスが当たっており、スペースの大部分とユーザーの注意の大部分を占める。補足データは図形の目印(例:注釈タグ)によって示唆される。補足データの上にユーザーがフォーカスを当てると、より図形的に目立つために変化する。例えば、サイズが大きくなったり、目立つ場所に移動する、あるいは色付きまたはボールド体で表示される。同時に、データ本文は自身がより目立たなくなるように自己調整する。例えば、サイズが小さくなり、中心から離れたり、あるいはより薄い色相またはグレー階調に薄れていく。以下で理解されるように、複数レベルの目立ち具合がサポートされており、追加された第二レベルの補足データが第一レベルの補足データにリンクされて(例えばハイパーリンクされた文書に見られるように)ユーザーフォーカスにより選択されるとデータ本文と第一レベル補足データの両方よりも目立つようにできる。
【0022】
以下で理解されるように、データ本文と補足データ部との交渉の間に用いた特定の実装や設計パラメータは、特定のアプリケーションに依存し、そして図形デザインの領域である。データ本文と補足データ部は、データ本文が元の大きさ、スペースや位置を本質的に変えない各種のオーバーレイ技術によって、あるいはデータ本文が元の大きさ、スペースや位置を本質的に変える各種の空間的モーフィング技術によって修正されることができる。表示されたデータ本文に対する変更を最小限にすることで、オーバーレイ技術はユーザーが方向感覚を喪失することを最小限に抑える点で有利にである。一方、空間的モーフィング技術は補足データ部の認識度を高め、一般にデータ本文と補足データ部の両方からのより多くの情報をディスプレイ上に同時に提示することを可能にする。
【0023】
本発明をよりよく理解するために、本文と補足データ部を選択的に修正するための各種の方策を用いることができ、その中でスペースを空けるための変更として、下記がある。
【0024】
1)位置変更:データ本文を所定の位置から移動させ、補足データがその場所を占める。
【0025】
2)サイズ変更:データ本文が縮小し、同時に補足データが大きくなる。
【0026】
3)色変更:データ本文がより目立たない陰影や色相(例:”グレーアウト”)に変化し、一方補足データは(大きさが)拡張してより目立つ陰影や色相(例:”ボールド体”)になることにより、視覚的に補足データ部を目立たせたり補足データをデータ本文に重ねあわせることも可能にする。
【0027】
4)変形:データ本文を垂直または水平方向につぶしたり引き伸ばしたり、あるいは変形させて補足データのための場所を空ける。
【0028】
テキスト本文でのスペースは、(全体的な混乱をより小さくするため)ローカルな領域で、あるいは(おそらく関心の対象であろうローカルな領域をより認識可能にかつ混乱を小さくするため)離れた領域で変更することができる。表示の変更(例:拡張中の余白コールアウトやサイズ変更中の注釈テキストのアニメーション)の起動は、拡張したい注釈タグをスタイラスペン/マウスでクリックするか、注釈タグ上でスタイラスペン/マウスを保持することで注釈タグ上が大きくなって補足データ部から得られたより多くの情報が現われ、またさらに大きくなる(ポインタがその上にいる限り)か、ディスプレイ上でスタイラスペン/マウスポインタを動かしながらある特定の位置で留めると補足データ部が拡張(フォーカスポイントを動かしながら)し始めるか、スタイラスペン/マウスが他へ移動した(複数のユーザーフォーカス点を許す)時にマウスクリックまたはキーボード入力に応答してデータを拡張したままにするか、あるいは他の任意の適当なユーザー起動/制御操作により行なわれる。
【0029】
ある好適な実施例において、補足データはインターネットワーク (インターネットワーク26のような)を介してのみ利用可能であるか、あるいはコンピュータ20に多数の別々のファイルとして保守されている。図2の補足データ32がデータ本文34から得られた別々のHTMLまたは他の類似のフォーマットファイルに存在しているテキストや図形であるならば当てはまる。このような状況で、従来の”ハイパーリンク”注釈がハイパーリンクされたサイトからのあるデータで構成された小さいフォントタイプの注釈を与えることができ、読者は現在のソース資料から離れて目的とする文書(デスティネーション)へ行ってしまう前に、目的とする文書について何かを学ぶことができよう。役に立つ別の方式では、デスティネーションの情報(タイトルまたは第一文等の)を少しだけ抄録して、それを注釈として用いることが求められる。そのような注釈リンクは手作業でも作成できるが、ハイパーリンクされたデスティネーションのタイトル、第一行、第一段落、小さい画像、デスティネーション文書の著者から提供された要約から動的に導くことができ、さらにはデスティネーションテキストの自動要約として提供することさえ可能である。部分的なノードフェッチに対する指定とシステムサポートを含むことにより、そしてすべての動的に導かれたリンク注釈コンテンツをノードのソースコンテンツ検索の最終ステップとしてプリフェッチすることにより、動作性能を向上させることができる。たとえ注釈ステップが時折遅いとしても、標準的な方法でリンクを追跡するよりも遅くないことが保証されており、デスティネーションへ完全に移行するように要求するよりも、現在の文脈の中で現われる方が認知上における利点がある。
【0030】
さらに、本発明に従いハイパーリンクされた注釈タグはまた、その著者、作成日付、大きさ等のハイパーリンクおよび/またはデスティネーションについてのメタ情報を含んでいてよい。リンクを追いかけるべきか否かを考える点で、リンクの人気度と推奨情報はまたユーザーにとって貴重であろう。ユーザーフォーカスに応答して複数のハイパーテキストURLを提示するマルチウェイ・リンクが可能であり、これは読み手が各段階で文脈を変えるオーバーヘッドを被ること無く深い所に埋まっているデスティネーションまでジャンプするためにハイパーテキストのいくつかのノードを通って掘り進めるようにネスト化されたハイパーテキスト注釈と同様である。デスティネーションの資料がソースとデスティネーションの可読性を維持するようにソースページに収まる程度に十分短ければ、その注釈はデスティネーション全体を包括することができる。この場合、注釈/デスティネーションはそれ以上のリンクを含んでいない(定義あるいは注釈のような)ハイパーテキストの終点ノードであるかもしれない。たとえデスティネーションが相当量の補足データを含んでいても、本発明によるアニメーション化された注釈リンクは、提示内容を連続的に開示していくアプローチサポートする。例えば、注釈は動的に導かれたデスティネーションの初期サブセットとして開始できよう。マウスを注釈タグ59の近傍に残すことによって、ユーザーが注釈に焦点を合わせ続けると、デスティネーションの内容がますます到着して、ハイパーテキストの選択可能な注釈56として表示されよう。
【0031】
本発明のさまざまな側面をよりよく理解するために、データ本文のオーバーレイあるいは空間的モーフィングを実装するためのいくつかの特定の技術について以下に述べる。例えば、図3および4は、情報を与える注釈タグ104を有するテキスト本文102があるテキストサンプル100を示す。注釈タグ104の選択はアニメーションのシーケンスを引き起こし、その中でタグのサイズが拡張してテキストサンプル100の余白で注釈108を提示する。テキスト102におけるアンカー位置に関する注釈タグの位置と余白コールアウト108の間を視覚的リンクするためにコールアウト106も表示される。このような余白コールアウト108は、注釈を示すためにデータ本文(すなわちテキスト102)を変更しないが、それはコールアウト行がテキスト行の間を移動するからである。この技術により、大量の注釈資料がテキストサンプルの元のレイアウトと共存することが可能になる。余白コールアウトは注釈タグとの緊密な近さを犠牲にするものの、コールアウト行のアニメーションとそれに続く注釈のアニメーション化された拡張は読み手の目を効率よく注釈に向け、そしてコールアウト行が縮小して注釈タグに戻るときに再び戻す。
【0032】
アニメーションシーケンス動作の理解を深めるため、以下に本発明による余白コールアウトの生成および消滅を記述した疑似コードを示す。
【0033】
Figure 0004309997
Figure 0004309997
Figure 0004309997
図5、6に見られるように、テキストサンプル110のレイアウトを保存するもう一つのオーバーレイ技術が文字型オーバーレイとして知られている。文字型オーバーレイは注釈タグ114下部のスペース中へ拡張して行く。注釈タグ114が選択されると、そのスペース116内のテキスト本文112は移動せず、その代わり図6で見られるように色相が褪せるか、あるいはグレー階調が薄くなる。続いて注釈タグ114は拡張してグレーアウトしたスペース116に横たわる完全な注釈になる。二つのテキストレイヤ間で明るさが異なるため、データ本文との文脈を維持しながら注釈が読みやすくなる。
【0034】
本オーバレイ技術の動作の理解を深めるため、以下に本発明によるグレーアウト効果の生成を記述した疑似コードを示す。
【0035】
Figure 0004309997
Figure 0004309997
図7、8に見られるように、さらに別のグレーアウトオーバーレイ技術により、ユーザーが作成した文字注釈をテキスト120に付加することが容易になる。サンプル120は、ユーザーが注釈128を手書き可能な電子ペン感受式タブレットコンピュータ上に表示される。図7と図8に続けて見られるように、注釈の下に位置するテキスト126は注釈の見やすさを強調するためにグレーアウトされる。好みに応じて、付加されたテキストは後で注釈タグ(図示せず)を付けられて手書き注釈の検索と閲覧が簡単に行なえるようにできる。
【0036】
利用可能な各種のオーバーレイ技術に加え、補足的注釈を収容するためにデータ本文の差し込み、分割、サイズ変更、位置変更に基づく空間的モーフィング技術も利用可能である。例えば、図9、10に見られるようにテキストサンプル130は下線を引かれた注釈タグ134を備えたテキスト132を含む。図10に見られるように、注釈タグ134を起動すると、差し込み注釈136収容するために、周囲のテキスト行を空間的にモーフィングして外側に向かって歪ませる。
【0037】
同様に、図11、12は星型記号の注釈タグ144を備えたテキスト142を含むテキストサンプル140を示す。図12に見られるように、注釈144を起動すると、差し込み注釈146を収容するために、行間調整により周囲のテキスト行を空間的にモーフィングして、互いに離れさせる。そのような空間的モーフィングの動作をよりよく理解するために、行間拡張の疑似コードを以下に提示する。
【0038】
Figure 0004309997
Figure 0004309997
Figure 0004309997
図13、14はさらに別の空間的モーフィング技術を提示する。図13に見られるように、テキストサンプル150は表型アイコン注釈154を備えたテキスト154を含む。図14に見られるように、注釈タグ154を起動すると、差し込み表型注釈158を収容するために、周囲のテキストおよび図形行を空間的にモーフィングしながら脇へずらせる。
【0039】
図15〜19に各種の空間的モーフィング技術を提示する。図15に、本文162とそれに付随する注釈164を備えたレシピ160の記述を示す。図16に見られるように、プロフィトロールを作るのに必要な材料またはレシピのいずれかを強調するためにテキスト162と注釈164の相対的なサイズを逆転させることができる。図17に見られるように、(レシピ160の記述と同様に)レシピ170の記述は空間的に変形(つぶれた)した本文174と合わせて本文172を含めることができる。行選択が逆である場合(図示せず)、テキスト172はつぶれてもテキスト172は歪みなく提示される。同様に、図18は特定の行182がユーザーフォーカスの対象になっているテキストサンプル180を示し、一方、選択された行を強調するためにテキスト行184の余白サイズが狭められる。テキスト行182から離れた行(テキスト行186等)のサイズは変わらず、ユーザーが選択したテキスト行182のサイズと釣り合いがとれる。
【0040】
図19、20は、本発明をスプレッドシート、複雑なテキストの配置、公式や制約条件で結ばれた数値データ、セルレイアウトを定義する図形と組み合わせた動作を示す。図19に見られるように、スプレッドシート190は数値データ192、図形要素193、および数値データ192に隣接して置かれた公式注釈タグ194を含んでいてよい。図20に見られるように、ユーザーが特定のセル(5A)にフォーカスを当てると図形要素が空間的にモーフィングされて間隙ができ、そこへ注釈198が収まる。
【0041】
図21、22は三次元物体のコンプレックス二次元表現200を示す。物体が図21に見られるビューと図22に見られるビューの間で仮想的に回転されると、ユーザーの仮想オブジェクトに対する視点に応じて各種の注釈204、206のサイズが大きくまたは小さくなる。注釈202、208の場合のように視点が本質的に変わらないとき、注釈も基本的に不変のままである。
【0042】
図23、24は本発明のさらに別の実施例を示す。図23に見られるように、テキスト表現210は拡張ハイパーテキストとして機能する多重ネスティングリンクを可能にする。例えば、注釈タグ212を選択するとテキストが分かれて多重リンク214の提示を収容する。図24に見られるように、リンクの一つ(この場合”Biography”)を選択すると”Biography”に関連する別のリンクが開く。以下に理解されるように、多重リンク214は依然として視野に留まり、多重リンクを検索している間、前後関係を保つ。このような多重ハイパーテキストリンクをよりよく理解するために、行間拡張用疑似コードを以下に示す。
【0043】
Figure 0004309997
Figure 0004309997
Figure 0004309997
上述の例で示したように、本文が補足的注釈を付加的に提示することを可能にするために必要な空間的および時間的な交渉(ネゴシエーション)機能を実装するには各種のソフトウェアアーキテクチャが適していることは本分野に精通する者には理解されよう。
【0044】
例えば、図2の交渉モジュール36(および本発明の先に示した例)で用いるのに適している、ある熟慮された交渉アーキテクチャでは、データ本文と補足データ部の両方の空間的広がりと図形提示のニーズを流動的に考慮する(これらをアーキテクチャの観点からより明確に記述するために、以下の説明においてデータ本文と補足データは時として”流動オブジェクト”、本文または補足オブジェクト”、あるいは”親子オブジェクト”と呼ばれる)。調査のために補足オブジェクトが呼び出されると、それと本文オブジェクトの間で構造化された交渉セッションが生起し、両者が協調した視覚表現が得られる。このやりとりにおいていずれの側もレイアウトや提示方式の決定を完全に支配することがないため、この過程は”交渉”である。本文オブジェクトは補足オブジェクトがどのように提示されるかを支配できないし、補足オブジェクトも自身を拡張させるための特定の領域を要求することはできない。その代わり、両者は自身のレイアウトや提示ニーズについて持っている情報に基づいて要求や提案を出す。これらの要求や応答の一連のやりとりにより十分な情報交換が効率的に行なわれ、互いに満足すべき状態に到達する。
【0045】
この”流動”交渉アーキテクチャにより、異なる流動オブジェクトが互いにやり取りすべく特別に設計されていなくても共存が可能な流動文書の構成要素モデルが実現できる。階層的図形特徴言語用のフレームワークにより、流動オブジェクトは異なる。またはより複雑な図形特徴を提示する他の流動オブジェクトからの要求を丁重に扱い、どの流動オブジェクトが影響を受けるかを決定し、スペース空け方策を選択・構成し、拡張された補足オブジェクトの目立ち具合と多重図形ドメイン用プロトコルを保証し、スペース割り当てや提示を解決すべく一連の交渉を行ない、拡張する補足オブジェクトとそれを収容する本文オブジェクトの様子をアニメーション表示することができる。
【0046】
ユーザーがある補足資料(子オブジェクト)に関心を示すと、子オブジェクトとその周辺の本文資料(親オブジェクト)との間で一連の要求と応答のやりとりが行なわれる。以下にそのシーケンスを示す。
【0047】
1.拡張の意図:子オブジェクトは親オブジェクトに連絡し、拡張したい旨を伝える。その際、子が制御できる図形パラメータを記述する情報を渡す。
【0048】
2.初期指針:親は子オブジェクトがどこで拡張して提示するかについて予備的な決定を行なう。決定は、子のためにスペースを空けるのに採用するつもりの方策を検討しながら行なう。続いて親は子に対し、提示の指針を返す。
【0049】
3.スペースの要求:子は指針を用いて、自分が拡張した時に必要なスペースを計算する。指針に従う必要はないが、可能であれば従うであろう。子が準拠するつもりである図形特徴を含むスペース要求が親に送られる。
【0050】
4.スペースの提案:親は最も好ましい方策から始めて再度スペース空けの方策を検討する。方策を順に試しながら、可能ならば求められたサイズを、あるいは要求された範囲内で子の要求を最も満足させる方策に到達する(または複数の方策を組み合わせる)。その方策は、親が自分の親にスペースを要請する場合に連鎖的に交渉を行なうことも含まれる場合がある。
【0051】
5.提案の検討:子オブジェクトはスペースの提案およびそれに付随する図形条件を検討する。子は条件に合う図形提示方式を選択し、どのように提案を受理するかを選択したかを親に通知する。新たに拡張した状態へ移行する様子を示すアニメーションが開始される。
【0052】
以下の節で、交渉モジュール36による交渉の各段階について詳細に考察する。
【0053】
このステップは単に交渉を開始するだけである。子オブジェクトはそれが遵守する図形特徴プロトコル(次節を参照)を渡すことにより、親に対し自分がどの図形オブジェクト種類か、またどの提示機能に適応可能かを通知する。
【0054】
一般に、子オブジェクトは自分の親の提示について何も知らない。従って、最初は自分が拡張された形状が周囲の親情報と対照的な提示効果を与え得るかを知らない。親オブジェクトは子オブジェクトに対し、望まれる図形特徴に関する指針を通知する義務がある。例えば、親オブジェクトがタイムズ12ポイントのフォントを用いた黒色テキストのページである場合、拡張しようとするテキスト型注釈に以下の指針を与えるであろう。10〜14ポイントの間のサンセリフフォント、色は高度に飽和しているものを用いることが推奨されれる。これにより、拡張した注釈は、大きさは同程度であってもフォントが異なり、色が明るいので目立つ。子オブジェクトは可能ならば指針に合わせようとするが、それに従わなければならない制約はない。これが本アーキテクチャにおける交渉の第一の証拠である。すなわち、子オブジェクトは親に拡張のための指針を求め、親は推奨案を出す。子は最初の公式なスペース要求を出す準備をしながら推奨案を助言の下に受け取る。
【0055】
流動オブジェクトの図形特徴および図形特徴プロトコルをやりとりするための特定の言語は流動オブジェクトのクラスに固有である。例えば、前段で述べたテキスト型オブジェクトは以下のものに類似した簡単なプロトコルを用いる。
【0056】
Figure 0004309997
指針提案フェーズの間、プロトコル要素は定量的または定性的な範囲としてとして記述される。上記「提案の検討」により、子が提案された状況に同意すればプロトコル要素は流動オブジェクトが意図した、サイズや位置を含む提示の特定の記述になる。
【0057】
以下に理解されるように、プロトコルは交渉にあたる両者に知られていなければならない。最も単純なケースでは、交渉において子オブジェクトとして振る舞う流動オブジェクトはその図形種類のためのプロトコルのみ知っていればよい。しかし、いかなる流動オブジェクトも無関係なオブジェクトに直面する場合がある。親オブジェクトはさまざまな種類の子を持つ場合があり、どのオブジェクトもあらゆる種類の兄弟オブジェクトにより脇へどかされるような交渉に巻き込まれる可能性がある。
【0058】
これらの状況を扱うために、プロトコルを階層的に構成することができ、階層の下位に位置するプロトコルはそれより階層が上位のプロトコルの厳密なサブセットとして振る舞う。あらゆるプロトコルは、すべてのプロトコルが従う基本プロトコルであるサイズと位置である共通のルートの子孫である。動作中に、無関係なプロトコルに直面した流動オブジェクトは自分が知っているプロトコルを見つけるまで単にそのプロトコルの親チェインをたどる。次にこのより単純なプロトコルを用いて指針を示唆するためのやりとりを行なう。より簡単なプロトコルはあまり多くの特徴を含まないため、指針のやりとりに伴う内容はより少ないであろう。ルートプロトコルを用いる必要がある場合、全く何の指針もやりとりされず、後ほどサイズと位置のみが交渉されよう。そのようなプロトコル階層では新規タイプの流動オブジェクトを生成し、再コーディングせずに既存流動文書中で用いることが許される。新規流動オブジェクトは既存文書が知らされていない図形パラメータを備えている場合もあるが、システムは依然として合理的な提示に到達する可能性が高い。
【0059】
一旦子オブジェクトが指針を得ると、どの程度指針に従うことが可能かを決定でき、続いて自身の選択に基づいてスペースの要求を生成する。
【0060】
例えば、親が子に10〜14ポイントのサンセリフフォントを使うべきだと指示したとする。しかし、子オブジェクトはコードの抜粋であって、セリフフォントであるクーリアを使う方を望んだとする。子は12ポイントのクーリアを選択し、その字体とサイズに基づいてコードの抜粋テキストがどれくらいのスペースを必要とするかを計算する。スペースは望まれる量と子が扱える最小および最大値として指定される。この要求は暗にアンカー付近のスペースを求めている。それに対して、あるプロトコルではスペースを最小幅と最小高とともに面積として指定することが許される。例えば、テキスト型注釈は複数行にわたって還流することで柔軟にレイアウトすることが可能である。特定の幅や高さよりも面積で要求する方が親は余裕を持って有効なスペースを選択することができる。
【0061】
選択された方策は、親が最初に子に指示した指針を拡張したり変更するよう要求する場合がある。初期の指針は親の当て推量に基づいていた。子から得た、スペースおよび可能な図形提示という付加情報により選択された方策を親が最初に予想したものから変更する場合がある。これらの条件は子に返される要求仕様(図形特徴プロトコルに基づく)内で指定される。例えば、親がオーバーレイ方策を選択する結論に達した場合、親がなる予定の明色に対照的に見えるように子に暗色で提示するよう求める。別の可能性として、許されたスペースがアンカー付近でない場合、親オブジェクトは子オブジェクトに結合線が用いられる旨を注意する。
【0062】
流動オブジェクトは、拡張したいと希望する子オブジェクトのためにスペースを空けることができなければならない。スペースを生み出すために各流動オブジェクトは自分自身の方策を与える。すなわち、アーキテクチャの一部というよりもむしろ開発者により設計される。方策は宣言的に記述されているのではなく、むしろ拡張している子オブジェクトを収容するために如何に流動オブジェクトのレイアウトを変更するかを考える手続きである。
【0063】
スペースを生み出す方策は4種のカテゴリーに分類できる。
【0064】
1.固定的動作:親オブジェクトはセクションに分かれ、それらは離れるように固定的に動く。子オブジェクトは続いてセクション間のスペースの中へ拡張することができる。
【0065】
2.変形:親オブジェクトはセクションに分かれ、それらはある仕方で変形してセクション間にスペースを作る。セクションが離れるように動くことで、親オブジェクトの境界枠のサイズは大きくならない。 子オブジェクトはセクション間のスペースの中へ拡張する。
【0066】
このカテゴリーに入る多くの方策には、行間の圧縮、本文全体の縮小、拡張している子オブジェクトの周りの“出っぱり”の中への行の湾曲、およびテキスト自身の文字の押しつぶしがある。
3.オーバーレイ:親オブジェクトは今の位置から動かず、その代わりに子オブジェクトが親自身の上方のある領域の使用を許可する。
【0067】
4.外部割り当て:オブジェクトは子オブジェクトのために自身の境界枠の外のスペースを交渉する。他のオブジェクトは固定的動作、変形、および/またはオーバーレイにより、拡張しているオブジェクトのためにスペースを空けることに同意しなくてはならない。
【0068】
最初の2つのケース、固定的動作と変形において、拡張している子オブジェクトに自分自身を表示するスペースを与えられる。子オブジェクトは親オブジェクトの近傍部と比較した場合のみ目立つようでなければならない。
【0069】
しかしオーバーレイのケースでは、親と子オブジェクトは子オブジェクトが認識可能であることを保証するために協働する必要がある。受容できる図形提示を交渉するためにオブジェクト用の図形特徴プロトコルが用いられる。
【0070】
最後に、外部割り当てのケースでは、親は通常自分自身のどの部分に子オブジェクトが固定されるかを指示しなくてはならない。これを達成するのにアンカーと子オブジェクトを結ぶ線を引くことがよくある。これらの結合“コールアウト”線のルート決めは、線を最適な位置に置くために参考になる自身のレイアウト情報を有する親オブジェクトの責任である。各流動オブジェクトが有する上述のスペース空け方策は、(最も美観があるか、納得できるレイアウトをもたらすため)最も望ましい方策から最も望ましくないものへと順序付けられている。各方策には収容できる最大サイズの限界がある。交渉フェーズの間、流動オブジェクトは拡張中の子オブジェクトが求めるスペース要件を満たすものが見つかるまで、各方策を順に評価する。
【0071】
さらに、カテゴリーをまたがるかその範囲内の方策は組み合わせが可能である。(実装者によって)方策に組み合わせ可能であるというマークが付けられていると、アーキテクチャはその方策がどれぐらいのスペースを与えるかを記録する。続いて次の方策を評価する際に、要求されている残りのスペースを求める。方策の順序はまた多数の方策の組み合わせを順序付けるために用いられる。
【0072】
流動文書の相互作用の一次記述は、単に“補足オブジェクトが拡張できるスペースを空けよ”であろう。これを達成するために、アプリケーションは他のどのオブジェクトがスペースを断念しなくてはならないか、またそのことでさらに別のオブジェクトにスペースを放棄させることになるか否かを決定しなければならない。流動アーキテクチャは、すべての流動オブジェクトを典型的なオブジェクト封入階層に組織化すべく指定することによってこの問題を処理する。封入階層はスペースをネスティングされた境界枠に分割する。拡張していない子オブジェクトC1は自身の目印に対応する境界枠を持ち、自分の子オブジェクトは通常C1が拡張されるまで、全くスペース提示を持たないであろう。単純なテキスト注釈アプリケーションにおいて、(キャンバズ全体を表現している)ルート、テキストオブジェクトおよび多くの子(注釈)オブジェクトのみがあり、それらは自分の子オブジェクトを持たない。
【0073】
スペース確保のための交渉を満足させるために、オブジェクトは自分の境界枠の中で必要に応じて提示を変更することができる。また、その位置へ子オブジェクトを拡張した取り決めが同じのままならば子オブジェクトを操ることもできる(さもなければ別の交渉が生じる)。もしオブジェクトP1とその子オブジェクトの一つC1の間の交渉が、P1が動くか、あるいはその親の(P2の)領域内でその境界枠を拡張しなければならないと示唆するなら、P1とP2の間でさらに交渉が必要である。このような連鎖的交渉はルートオブジェクトよりも先へは進まない。
【0074】
最後に、ある場合にはスペース確保の交渉により、拡張された子オブジェクトが、親オブジェクトの境界枠から外へ出て、親オブジェクトの兄弟になるという結果もあろう。これは例えばコールアウトスタイルの流動拡張で生じることがある。
【0075】
交渉の最終ステップは、子が親からの完全な提案を検討することである。 提案は、通常受理可能な値の範囲として表現されたスペース、位置、およびその図形の提示に関するある潜在的な条件を含む。子が条件を受け入れることができず、そして提案を拒絶しなければならないことも有り得る。しかし、このケースは極めて稀にしか起きないと思われ、交渉モジュール36は制約的というよりはむしろ寛容な交渉方策に従うため、通常は起きない。従って、アーキテクチャは親と子からの極めて特殊な要求の可能性も認めるものの、実際には大部分の条件は非常に緩く、流動オブジェクトに受け入れられやすい。
【0076】
子オブジェクトが提案を拒絶しなければならない場合、例えば非常に多くの他のすでに拡張した子オブジェクトがスペースを占有していれば、自分を提示する非流動の代替方策(例えば、新しいウインドウで開かれる)に訴える。子オブジェクトが提案を受け入れる場合、選択した正確な図形特徴を親に知らせる。親は続いて自分自身の方策を完成させ、自分自身の親と携わったいかなる交渉からの提案でも受け入れる。交渉の各レベルが終了するにつれて、各流動オブジェクトをアニメーション表示するために必要な情報が集められる。これらのアニメーションは文書全体が一回の滑らかな動きで変化することを保証すべく調整される。
【図面の簡単な説明】
【図1】 本発明の操作に適したコンピュータおよび電子表示システムの模式図である。
【図2】 テキストおよび図形表示図、データ本文の視覚的表現、およびデータ本文と統合されて一緒にテキストおよび図形表示図を与える補足データ部の視覚的表現を示す模式図である。
【図3】 小型の注釈タグを有するテキスト表示のサンプル図である。
【図4】 小型注釈タグの一つを選択した後の図3のテキスト表示の図で、拡張された注釈が余白にはめ込まれている。
【図5】 小サイズのテキストが注釈として振る舞うテキスト表示のサンプル図である。
【図6】 小サイズのテキストの一つを選択した後の図5のテキスト表示の図で、拡張されたテキスト型注釈が行にオーバ−レイされている。
【図7】 手書き注釈に対応するため、テキスト表示のある領域がグレーアウトされた様子を示す図である。
【図8】 図7のテキスト表示においてグレー化されたテキスト表示が拡張されてさらに多くの手書き注釈に対応している様子を示す図である。
【図9】 注釈タグとして下線を有するテキスト表示のサンプル図である。
【図10】 注釈タグを選択した後の図9のテキスト表示の図で、拡張された注釈が行内の隣接する単語の位置を限定的に変化させて行間に差し込まれている様子を示す図である。
【図11】 注釈タグとして星型記号を有するテキスト表示のサンプル図である。
【図12】 星型注釈タグの一つを選択した後の図11のテキスト表示の図で、注釈を収容するために行間のスペースを変化させて行間に注釈が差し込まれている様子を示す図である。
【図13】 注釈タグとして表形アイコンを有するテキストおよび図形表示のサンプル図である。
【図14】 表型注釈タグを選択した後の図13のテキストおよび図形表示の図で、注釈を収容するためにテキストおよび図形要素間のスペースを変化させてテキストおよび図形要素間に注釈表が差し込まれている様子を示す図である。
【図15】 テキスト表示のためのさまざまな空間的モーフィングやテキストサイズの変化を示す図である。
【図16】 テキスト表示のためのさまざまな空間的モーフィングやテキストサイズの変化を示す図である。
【図17】 テキスト表示のためのさまざまな空間的モーフィングやテキストサイズの変化を示す図である。
【図18】 テキスト表示のためのさまざまな空間的モーフィングやテキストサイズの変化を示す図である。
【図19】 表形スプレッドシート表示のためのさまざまな空間的モーフィングやテキストサイズの変化を示す図である。
【図20】 表形スプレッドシート表示のためのさまざまな空間的モーフィングやテキストサイズの変化を示す図である。
【図21】 3次元装置の2次元表現への注釈表示のためのさまざまな空間的モーフィングやテキストサイズの変化を示す図である。
【図22】 3次元装置の2次元表現への注釈表示のためのさまざまな空間的モーフィングやテキストサイズの変化を示す図である。
【図23】 注釈情報の発展的な表示のための多重ネスティングリンクを示す図である。
【図24】 注釈情報の発展的な表示のための多重ネスティングリンクを示す図である。
【符号の説明】
10 コンピュータシステム、13 ペン装置、14 フラットパネルディスプレイ、15 モニター、16 従来型キーボード、17 マウス装置、18 オーディオ入力用マイクロホン、20 コンピュータ、21 プロセッサ、22電子メモリ、23 長期記憶装置、24 ローカルネットワーク、25 アーカイビング記憶装置、26 インターネットワーク、29 出力モジュール。

Claims (2)

  1. 画面上にデータ本文およびデータ本文内に存在する注釈タグに関連付けられる補足データ部を提示する方法であって、
    前記データ本文内にある所定のサイズを有する注釈タグを選択するステップと、
    前記データ本文中に前記補足データ部を配置するためのスペースを生成するステップであって、前記スペースのサイズを前記注釈タグの所定サイズよりも大きくし、かつ、前記スペースのサイズを、前記データ本文の現在の提示の態様から定まる最大値であって前記補足データ部の配置のために生成可能なスペースのサイズの最大値以下とするように、前記スペースの位置及び形状を調整するステップと、
    前記スペース内に前記補足データ部を配置するステップと、
    を有し、
    前記スペースの位置及び形状を調整するステップは、
    前記補足データ部の提示の態様を定める図形パラメータを制御する子オブジェクトが、前記データ本文の提示を制御する親オブジェクトに対して、前記図形パラメータを渡すステップと、
    前記親オブジェクトが、前記スペースのサイズを前記データ本文の現在の提示の態様から定まる前記最大値以下とするように決定した前記図形パラメータの推奨値を前記子オブジェクトに渡すステップと、
    前記子オブジェクトが、前記推奨値を参照して決定した前記図形パラメータの値により定まるスペースを前記補足データ部の配置のために必要なスペースとして前記親オブジェクトに要求するステップと、
    前記親オブジェクトが、前記子オブジェクトから要求されたスペースと前記補足データ部の配置のために生成可能なスペースとに基づいて、前記スペースの位置及び形状を決定するステップと、を含む、
    ことを特徴とする方法。
  2. 画面上にデータ本文およびデータ本文内に存在する注釈タグに関連付けられた補足データ部を提示する方法であって、
    前記データ本文内にある所定のサイズを有する注釈タグを選択するステップと、
    前記データ本文の少なくとも一部の位置又は形状を変更することで前記データ本文中に前記補足データ部を配置するためのスペースを生成するステップであって、前記スペースのサイズを前記注釈タグの所定サイズよりも大きくし、かつ、前記スペースのサイズを、前記データ本文の現在の提示の態様から定まる最大値であって前記補足データ部の配置のために生成可能なスペースのサイズの最大値以下とするように、前記スペースの位置及び形状を調整するステップと、
    前記補足データ部を前記スペース内に配置するステップと、
    を有し、
    前記スペースの位置及び形状を調整するステップは、
    前記補足データ部の提示の態様を定める図形パラメータを制御する子オブジェクトが、前記データ本文の提示を制御する親オブジェクトに対して、前記図形パラメータを渡すステップと、
    前記親オブジェクトが、前記スペースのサイズを前記データ本文の現在の提示の態様から定まる前記最大値以下とするように決定した前記図形パラメータの推奨値を前記子オブジェクトに渡すステップと、
    前記子オブジェクトが、前記推奨値を参照して決定した前記図形パラメータの値により定まるスペースを前記補足データ部の配置のために必要なスペースとして前記親オブジェクトに要求するステップと、
    前記親オブジェクトが、前記子オブジェクトから要求されたスペースと前記補足データ部の配置のために生成可能なスペースとに基づいて、前記スペースの位置及び形状を決定するステップと、を含む、
    ことを特徴とする方法。
JP16439399A 1998-06-17 1999-06-10 注釈の表示方法 Expired - Fee Related JP4309997B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US09/098,451 US6230170B1 (en) 1998-06-17 1998-06-17 Spatial morphing of text to accommodate annotations
US09/098,942 US6584479B2 (en) 1998-06-17 1998-06-17 Overlay presentation of textual and graphical annotations
US09/098,451 1998-06-17
US09/098,942 1998-06-17

Publications (2)

Publication Number Publication Date
JP2000040158A JP2000040158A (ja) 2000-02-08
JP4309997B2 true JP4309997B2 (ja) 2009-08-05

Family

ID=26794754

Family Applications (1)

Application Number Title Priority Date Filing Date
JP16439399A Expired - Fee Related JP4309997B2 (ja) 1998-06-17 1999-06-10 注釈の表示方法

Country Status (2)

Country Link
EP (1) EP0965925A3 (ja)
JP (1) JP4309997B2 (ja)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001326804A (ja) * 2000-05-16 2001-11-22 Sharp Corp 画像処理装置及び画像処理システム
US6801197B2 (en) 2000-09-08 2004-10-05 Landmark Graphics Corporation System and method for attaching drilling information to three-dimensional visualizations of earth models
JP2003099302A (ja) * 2001-09-21 2003-04-04 Ricoh Co Ltd 文書変換サービス方法、文書のデータ構造、記憶媒体及び情報処理装置
US20040119762A1 (en) * 2002-12-24 2004-06-24 Fuji Xerox Co., Ltd. Systems and methods for freeform pasting
US7103852B2 (en) 2003-03-10 2006-09-05 International Business Machines Corporation Dynamic resizing of clickable areas of touch screen applications
JP2004302578A (ja) * 2003-03-28 2004-10-28 Minolta Co Ltd ファイル出力プログラム
JP4808029B2 (ja) * 2003-08-21 2011-11-02 マイクロソフト コーポレーション 空中点を利用したフォーカス管理
US7577902B2 (en) * 2004-12-16 2009-08-18 Palo Alto Research Center Incorporated Systems and methods for annotating pages of a 3D electronic document
KR100705474B1 (ko) * 2006-10-19 2007-04-09 (주)이즈포유 웹 페이지에서 인디케이터를 이용한 정보 표시 및 관리시스템
GB2471848B (en) * 2009-07-13 2012-01-18 Thales Holdings Uk Plc Method and apparatus for viewing information
JP5720133B2 (ja) * 2010-07-13 2015-05-20 ソニー株式会社 情報処理装置、情報処理方法およびコンピュータプログラム
JP5664164B2 (ja) * 2010-11-18 2015-02-04 株式会社リコー 電子情報ボード装置、情報表示方法、プログラム
US20120159329A1 (en) * 2010-12-16 2012-06-21 Yahoo! Inc. System for creating anchors for media content
US20120192118A1 (en) 2011-01-24 2012-07-26 Migos Charles J Device, Method, and Graphical User Interface for Navigating through an Electronic Document
CN105210053A (zh) * 2013-04-29 2015-12-30 兰德马克绘图国际公司 优化群集的结构注解的放置
US10545657B2 (en) 2013-09-03 2020-01-28 Apple Inc. User interface for manipulating user interface objects
KR102249746B1 (ko) * 2014-02-18 2021-05-10 삼성전자 주식회사 링크 객체에 연결된 전자문서의 표시 방법 및 전자 장치
EP4365725A2 (en) 2014-05-30 2024-05-08 Apple Inc. Continuity
WO2016036413A1 (en) 2014-09-02 2016-03-10 Apple Inc. Multi-dimensional object rearrangement
US20160062571A1 (en) 2014-09-02 2016-03-03 Apple Inc. Reduced size user interface
US10380235B2 (en) 2015-09-01 2019-08-13 Branchfire, Inc. Method and system for annotation and connection of electronic documents
US10637986B2 (en) 2016-06-10 2020-04-28 Apple Inc. Displaying and updating a set of application views
DK201670595A1 (en) 2016-06-11 2018-01-22 Apple Inc Configuring context-specific user interfaces
US20220368548A1 (en) 2021-05-15 2022-11-17 Apple Inc. Shared-content session user interfaces
US11907605B2 (en) 2021-05-15 2024-02-20 Apple Inc. Shared-content session user interfaces

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5283560A (en) * 1991-06-25 1994-02-01 Digital Equipment Corporation Computer system and method for displaying images with superimposed partially transparent menus
US5559942A (en) * 1993-05-10 1996-09-24 Apple Computer, Inc. Method and apparatus for providing a note for an application program
US5621871A (en) * 1994-08-31 1997-04-15 Jaremko; Mark Automated system and method for annotation using callouts

Also Published As

Publication number Publication date
JP2000040158A (ja) 2000-02-08
EP0965925A2 (en) 1999-12-22
EP0965925A3 (en) 2005-12-21

Similar Documents

Publication Publication Date Title
JP4309997B2 (ja) 注釈の表示方法
US6584479B2 (en) Overlay presentation of textual and graphical annotations
US6230170B1 (en) Spatial morphing of text to accommodate annotations
US6185582B1 (en) Spreadsheet view enhancement system
US6256649B1 (en) Animated spreadsheet for dynamic display of constraint graphs
US8209605B2 (en) Method and system for facilitating the examination of documents
JP3941292B2 (ja) ページ情報表示方法及び装置並びにページ情報表示用のプログラム又はデータを記憶した記憶媒体
CA2937702C (en) Emphasizing a portion of the visible content elements of a markup language document
JP4981219B2 (ja) インクの分類、係留、および変換
JP3461412B2 (ja) データ処理装置およびデータ処理方法
EP0965932A2 (en) Speadsheet view enhancement system
Olsen Jr et al. ScreenCrayons: annotating anything
US11755820B2 (en) Method and system for displaying and searching information in an electronic document
KR100881479B1 (ko) 정보 처리 방법 및 그 장치
US7519901B2 (en) Methods and systems for selecting objects by grouping annotations on the objects
JP3388451B2 (ja) 手書き入力装置
Plimmer et al. Beautifying sketching-based design tool content: issues and experiences
Smart et al. Meeting the needs of users: toward a semiotics of the web
KR101368960B1 (ko) 전자 문서 표시 방법 및 시스템
Marmel Teach Yourself Visually Word 2016
JPH10198695A (ja) 情報処理装置
Chigona et al. Dual-Use of Image Space: The Challenges of Explaining Visualizations from Within.
JP2012141703A (ja) 電子文書変換装置及び電子文書変換方法
Taufer ScreenCrayons: Using Screen Captures for Annotation and Research
WO2007141113A2 (en) Electronically displaying content

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060606

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20060606

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080909

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081203

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090106

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090318

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090414

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090511

R150 Certificate of patent or registration of utility model

Ref document number: 4309997

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120515

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130515

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130515

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees