JP4783030B2 - デジタルインキングとともに動的デジタルズーミングインターフェイスを使用するシステムおよび方法 - Google Patents

デジタルインキングとともに動的デジタルズーミングインターフェイスを使用するシステムおよび方法 Download PDF

Info

Publication number
JP4783030B2
JP4783030B2 JP2005034994A JP2005034994A JP4783030B2 JP 4783030 B2 JP4783030 B2 JP 4783030B2 JP 2005034994 A JP2005034994 A JP 2005034994A JP 2005034994 A JP2005034994 A JP 2005034994A JP 4783030 B2 JP4783030 B2 JP 4783030B2
Authority
JP
Japan
Prior art keywords
annotation
ink
zoom
document
window
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005034994A
Other languages
English (en)
Other versions
JP2005243015A (ja
Inventor
アグラワラ マネシュ
シルマン マイケル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of JP2005243015A publication Critical patent/JP2005243015A/ja
Application granted granted Critical
Publication of JP4783030B2 publication Critical patent/JP4783030B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/166Editing, e.g. inserting or deleting
    • G06F40/169Annotation, e.g. comment data or footnotes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/166Editing, e.g. inserting or deleting
    • G06F40/171Editing, e.g. inserting or deleting by use of digital ink
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04806Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Description

本発明は概して、デジタルドキュメントへの注釈づけに関し、より詳細には、ドキュメントの自由形式デジタルインキング中のマルチスケールナビゲーションを容易にするズームウィンドウを利用するシステムおよび方法に関する。
グラフィカルユーザインターフェイス(GUI)は一般に、デジタルドキュメント(たとえば、ワードプロセッシングドキュメント、画像など)を編集するために、マイクロプロセッサベースのコンピューティングデバイスとともに利用される。こうしたコンピューティングデバイス(たとえば、タブレットPC、PDA、セル電話など)の多くは、デジタルペン、マウスなどによる自由形式のデジタルインクを用いてドキュメントに注釈をつけるための、自然で表現豊かな方法の提供を試みる。理想的には、このようなデバイスの使用は、物理的な紙に書き込むのと同じように感じられるべきであり、その結果生じる注釈は、関連するインクと同様に見えるべきである。したがって、このようなコンピューティングデバイスの目標は、物理的な紙をエミュレートする表面を提供することである。
しかし、様々な人間工学的要因が、この目標の完全な達成を困難にしている。このような要因の例は、すべり、解像度、画面サイズ、視差、ならびにデバイスのサイズおよび重みを含む。すべりは概して、ペンコンピューティングデバイスが、本物の紙よりもすべりやすいという事実を指す。解像度は、デジタル画面が、紙より低い視覚解像度を有することを考慮する。さらに、デジタイザは通常、人の手の精密な動きよりも低い解像度でデジタルペンをたどる。視差は、画面の上にプラスチック保護層を備えた結果であり、保護層は、デジタルペンの先端と基底ドキュメント(underlying document)の間の明らかなずれを生じる。画面サイズを含むサイズおよび重みは、ポータブルデバイスの設計上の検討事項を反映し、その結果、しばしば標準レターサイズの紙より小さく、位置決めし対話するのが比較的困難なデバイスおよび画面を生じる。
ハードウェア設計者は、ペンベースのデバイスの改良を続けて、より紙らしく感じるようにしているが、本質的な相違が残っている。こうしたデバイスに関連する多くの制約は、ユーザに、このようなデバイスとの対話方法を変えさせ、注釈はしばしば、紙の上のインクとは非常に異なって見える結果となる。具体的には、このようなコンピューティングデバイスに関連する画面は通常、1枚の紙より小さい。ページの少なくとも一部分を画面中に適合させる従来技術は、ディスプレイ解像度および/または「ズーム」の調節を含む。しかし、こうした技術は、テキストおよび/またはグラフィックスの縮小を伴い、ドキュメント情報を読みにくくさせ得る。さらに、多くのデバイスは、より高い解像度の選択が選択肢とならないように、ハードウェアおよび/またはソフトウェアが制限され得る。テキストおよび/またはグラフィックスの縮小に関する別の問題は、ユーザが通常、紙における注釈づけよりもはるかに大きいサイズで注釈をつけてしまうことである。大きいサイズのインクは概して、紙の上の本物のインクによる注釈より低密度であり、限られた画面資源を消費し、基底ドキュメントをわかりにくくし、見た目の悪い注釈を生じる。
書込みスケール対表示スケールに対処しようとする従来技術は、物理的な紙をエミュレートできていない。たとえば、こうした技術の多くにおいて、ユーザは、画面最上部にあるメインのオーバービューエリアにおいてフォーカスカーソルを指定する。次いで、ユーザは、画面下部にあるフォーカスエリアに書込みを行い、注釈は、元のサイズの予め定義された割合(たとえば、40%)に縮小され、フォーカスカーソルの所に配置される。フォーカスエリアを満たすと、ユーザは通常、フォーカスカーソルを前方に動かすために、フォーカスエリアにおいて右から左への動作を実施するよう求められる。他の技術を用いると、フォーカスエリアは、右から左に頻繁にスクロールし、そうすることによって次々と新しい注釈用スペースを消去していく。さらに他の技術を用いると、ユーザは、フォーカスエリアを満たしているとき、新しい書込みスペースを明示的に作成するよう求められ、このことは、書込みの流れを中断する場合もあり、書込みエリアの連続したスクロールと連動するように書込みスタイルを修正する場合もある。
ズーミングを利用する従来技術は一般に、ズームの後で周辺コンテキストが見えなくなるように、画像またはドキュメント中の関心領域(a region of interest)を大きくする。ズームされたビューにおけるナビゲーションは通常、スクロールを必要とするが、倍率が高い場合は面倒なものになり得る。他の手法は、ドキュメントのマルチスケールビューを含み、このビューにおいて拡大フォーカス領域は細部を示し、周辺コンテキストは目に見えたままである。ドキュメントのナビゲーションは通常、たとえば、パニングおよび/またはズーミングにより基底ドキュメントの上でフォーカス領域(またはレンズ)を位置決めすることによって遂行される。多くの従来技術が、(デジタルペン、マウスなどにより)自由形式のデジタルインクを用いてドキュメントおよび画像に注釈をつけるための自然で表現豊かな方法を提供しようとしているが、こうした技術は、タブレットPC、PDA、セル電話などのような小型画面デバイスでの注釈づけに関わる上述した問題を克服せず、物理的な紙への書込みをエミュレートしていない。
以下は、本発明のいくつかの態様の基本的な理解をもたらすために、本発明の簡略化した要約を表す。この要約は、本発明の外延的な概要ではない。本発明の主要な/重大な要素を明らかにすることも、本発明の範囲を詳述することも意図されない。その唯一の目的は、後で提示されるより詳細な説明の前置きとして、本発明のいくつかの概念を簡略化した形で提示することである。
本発明は、フォーカスと、さらにはデジタルペン、マウスなどのツールを有する、マイクロプロセッサベースのデバイス(たとえば、デスクトップコンピュータ、タブレットPC、PDA、およびセル電話)によって、デジタルドキュメント(たとえばワードプロセッシングドキュメント、画像など)に注釈をつける際のマルチスケールナビゲーションを容易にするコンテキストベースのインターフェイスとを提供する。本発明のシステムおよび方法は、基底ドキュメントの領域をズームするインターフェイスを提供し、このインターフェイスにおいて、ユーザは、ユーザにとって快適であり、デバイスディスプレイに合わせて適切にスケーリングされたサイズで注釈を入力することができる。この領域は、ユーザが注釈をつける間、必要に応じて、(たとえば場所、サイズ、形状などを)自動的に調節することができる。ズーム領域が、元の通常ページサイズに縮小されると、デジタルインク注釈は、基底ドキュメントに基づいて、適切なサイズにスケーリングする。
本発明のシステムおよび方法は、自由形式のデジタルインクおよびズーム可能なユーザインターフェイスを構築して、必要に応じて、ユーザが基底ドキュメントのコンテキスト全体を見ることができるように、自動的に伸長し、かつ/または移動し、画面の一部のみをカバーするように様々に構成され得る可動ズーム領域を提供する。この新規の特徴は、ドキュメントに注釈をつける際のマルチスケールナビゲーションを検討していない従来技術を上回る利点を提供する。本発明は、基底ドキュメントおよびユーザの書込みツールに対してズーム領域を滑らかに配置し動かすために、スケール空間フレームワークに基づく様々な技術を利用する。こうした技術は、迅速で容易なデジタルドキュメント注釈を可能にし、その結果生じる注釈は、物理的な紙における注釈の見た目(look and feel)に非常によく似たものである。
本発明の一態様では、マイクロプロセッサベースのデバイスにおけるドキュメント注釈を容易にするシステムが示される。このシステムは、注釈領域を生成する注釈管理コンポーネントと、注釈領域を生成するのに利用される注釈領域プロパティを提供する注釈構成コンポーネントとを備える。注釈管理コンポーネントは、アクション、音を介して、かつ/または自動的にユーザインターフェイスから注釈領域を生成するために呼び出され得る。注釈管理コンポーネントは、注釈構成コンポーネントから、かつ/またはユーザもしくはインテリジェンスコンポーネントから注釈領域構成を得ることができる。このような構成情報は、注釈領域のサイズ、形状、場所、出現(appearance)など、ならびにナビゲーション特性を画定することができる。
注釈領域は、少なくともビューイングエリアの一部を占めるように生成されることができ、ユーザが、ドキュメント情報を見て、注釈領域に注釈を加え、かつスケーリングされていないドキュメント情報の残りの部分を見続けるのに十分な空間を与えられるように、関心領域に近接して位置決めされることができる。さらに、注釈領域は通常、ドキュメント情報と比較的同程度のサイズの注釈をユーザが快適に加えることができるように、領域中にあるドキュメント情報をスケーリングする。システムは、ナビゲーションアルゴリズムを提供するナビゲーションコンポーネントをさらに備える。必要に応じて、注釈領域は、本質的にドキュメントのどの箇所でもユーザが注釈を加えることを可能にするためのアルゴリズムにより、位置決めし直され、かつ/または形状変更されることができる。注釈領域が閉じられると、ドキュメント情報は、元のサイズにスケーリングされることができ、注釈は、注釈構成によって与えられるプロパティに応じて、同程度の倍率によっても異なる倍率によってもスケーリングされることができる。
本発明の別の態様では、デジタルドキュメントの注釈づけを容易にする方法が示される。この方法は、たとえば、デジタルペンでディスプレイ上の一点をたたくことにより、ズーム可能なユーザインターフェイス、すなわちズームウィンドウをアクティブにすることを含む。ズームウィンドウは、この点に近接して生成されることができ、ズームウィンドウの下にあるドキュメントの拡大ビューを提供することができる。このズームウィンドウを生成するのに、アニメーションが利用され得る。ズームウィンドウが生成された後、ユーザは、ズームウィンドウを介して、たとえばズームウィンドウに書込みを行うことによって、基底ドキュメントに注釈をつけることができる。ズームウィンドウは、ドキュメントへの注釈づけに先立ち、かつその間に所望の場所にズームウィンドウを移動することによって、ドキュメントの様々な領域に注釈をつけるのに使用され得る。ユーザは、ズームウィンドウを閉じることができ、このとき、ドキュメント内容ならびに注釈は、基底ドキュメントと調和するサイズにスケーリングすることができる。
本発明のさらに他の態様では、空間スケールフレームワークに基づくドキュメント注釈方法が示される。この方法は、ドキュメントに注釈をつけながらズームウィンドウを位置決めし、ナビゲートするのに使用される。一例では、ズームウィンドウは、必要に応じて、ユーザにシームレスで遮るものがない注釈機能を提供するように、自動的に調節される。別の例では、ドキュメントは、ズームウィンドウに関連して移動される。さらに別の例では、ズームウィンドウは、基底ドキュメントに関連して移動される。
本発明の他の態様は、ズームウィンドウの生成および管理を容易にするのにインテリジェンスを利用する注釈システム、本発明の新規の態様を用いて注釈をつけられるドキュメントの例、および本発明の態様に従って利用され得る様々な形状を示す。さらに、本発明の新規の態様が利用され得る環境が示される。
上記の目的および関連する目的を達成するために、本発明は、これ以降で十分に説明されるとともに特許請求の範囲において具体的に示される特徴を含む。以下の説明および添付の図面は、本発明の特定の例示的な態様および実装形態を詳細に説明する。ただし、こうした態様および実装形態は本発明の原理が利用され得る様々な方法のごくわずかを示すに過ぎない。本発明の他の目的、利点および新規な特徴は、本発明の以下の詳細な説明を図面と併せ読むことにより、明らかになるであろう。
本発明は、デスクトップコンピュータ、タブレットPC、PDA、セル電話など、マイクロプロセッサベースのデバイスによって表示されるデジタルドキュメント(たとえばワードプロセッシングドキュメント、画像など)への注釈づけを容易にするシステムおよび方法を提供する。このシステムおよび方法は、フォーカスと、さらにドキュメントへの注釈づけの際のマルチスケールナビゲーションを可能にするコンテキストベースのインターフェイスとを提供する。このインターフェイスは、基底ドキュメントの領域をズームし、このとき、ユーザは、ユーザにとって快適であり、デバイスディスプレイに合わせて適切にスケーリングされたサイズで、この領域に注釈を入力することができる。
さらに、ズームインターフェイスは、様々なスケール空間フレームワークに基づく技術により、基底ドキュメントおよびユーザの書込みツールに対して滑らかに配置され調節され、ズーム領域は、たとえば場所、サイズ、および形状を自動的に調節されることができ、ユーザは、物理的な紙への注釈づけに似た体験(experience)をもたらすために注釈をつける。ズーム領域が、元のページサイズにスケーリングされると、注釈は、基底ドキュメントに基づいて適切なサイズにスケーリングする。こうした新規の特徴は、ドキュメントへの注釈づけの際のマルチスケールナビゲーションを検討していない従来技術を上回る利点をもたらす。
ここで図面を参照して本発明が説明されるが、同じ参照番号は、全体を通して同じ要素を指すのに使われる。以下の説明では、説明のために、多くの具体的な詳細が、本発明の完全な理解をもたらすために述べられる。ただし、本発明は、こうした具体的な詳細なしでも実施され得ることが明らかであろう。他の例では、本発明の説明を容易にするために、公知の構造およびデバイスがブロック図の形で示される。
本出願において使われる「コンポーネント」および「デバイス」という用語は、コンピュータ関連のエンティティ、すなわちハードウェア、ハードウェアおよびソフトウェアの組合せ、ソフトウェア、または実行中のソフトウェアのいずれかを指すことを意図している。たとえば、コンポーネントは、プロセッサ上で実行されている処理、プロセッサ、オブジェクト、実行ファイル、実行スレッド、プログラム、および/またはコンピュータでよいが、それに限定されない。例として、サーバ上で実行されているアプリケーションおよびそのサーバ両方がコンピュータのコンポーネントとなり得る。さらに、1つまたは複数のコンポーネントが実行の処理および/またはスレッド中に存在することができ、コンポーネントは、1台のコンピュータに配置され、かつ/または2台以上のコンピュータの間に分散されることができる。さらに、コンポーネントは、オペレーティングシステムのカーネルが実行用にスケジュールする(たとえば処理内部の)エンティティでよい。さらに、コンポーネントは、コンテキスト(たとえば、システムレジスタ内部の内容)に関連づけられることができ、コンテキストは、スレッドの実行に関連づけられた揮発性および/または不揮発性データでよい。
本出願において使用される、「インキング」、「デジタルインキング」、「注釈づけ」、「デジタル注釈づけ」という用語およびその変形は、たとえばビューイング、ナビゲート、編集、コメントの付加、注記の付加、形式変更、ならびに/または句読点および文法の訂正を含む、ドキュメントに関わるアクションを表示し、かつ/または実施するのに使用され得る実質的にどの技法も指し得る。
図1は、デジタルインキングを容易にするシステム100を示す。システム100は、インキング、または注釈領域を生成する注釈管理コンポーネント110と、インク領域に関する要求を注釈管理コンポーネント110に伝える入力コンポーネント120とを備える。概して、システム100は、実質的にどのマイクロプロセッサベースのデバイスとも、その中で実行されている本質的にどのユーザインターフェイス(たとえばテキストおよびグラフィックス)とも利用され得る。たとえば、システム100は、ワードプロセッシングおよび/または画像ドキュメントを修正するために、ワードプロセッサとともに使用され得る。
ユーザインターフェイスとともに利用される場合、注釈管理コンポーネント110は、ユーザインターフェイス用に少なくとも1つのインク領域(たとえば、編集可能テキスト/グラフィックス)を生成し得る。入力コンポーネント120が、後で詳しく説明されるように、アクション、音、ボタン押下、マウスのクリックを介して、かつ/または自動的にインク領域を生成させる要求を受け取ると、注釈管理コンポーネント110は、入力コンポーネント120によって呼び出され得る。生成されると、ユーザは、インク領域を利用して、ドキュメントに注釈を加えることができる。たとえば、ユーザは、デジタルペン、キーボード、タッチスクリーン、音声、マウスなどの入力デバイスを利用して、インク領域に自由形式のテキストおよび/またはグラフィックスを追加することができる。インク領域に注釈が入れられると、注釈は、編集され、削除され、かつ/または受容されることができる。さらに、予め生成されていたインク領域がアクティブにし直されることができ、この場合、追加注釈が加えられることができ、かつ/あるいは既存の注釈が編集され、かつ/または削除されることができる。
ユーザが、ドキュメント情報と比較的同程度のサイズの注釈を加えることができるように、インク領域は適切にスケーリングされ得ることを理解されたい。たとえば、ユーザが、(たとえばデジタルペンにより)テキストドキュメントに自由形式の注釈を加えているとき、インク領域は、必要に応じて、ユーザがほぼ同程度のサイズの注釈を快適に加えることができるように、インク領域中に提示される既存のドキュメント情報をズームすることができる。したがって、ユーザが注釈を加えることができず、または既存のドキュメント情報に同程度のサイズの注釈を加えることが困難なようにドキュメントが表示される場合、本発明は、必要に応じて、ユーザが、既存のドキュメント情報に同程度のサイズの注釈を加えることを可能にする新規のスケーリング技法を提供する。さらに、ユーザは、必要に応じて、既存のドキュメント情報より小さいサイズの注釈も大きいサイズの注釈も加えることができる。
さらに、インク領域は、ユーザが、本質的にドキュメントのどの箇所にも注釈を加えることを可能にするように、ドキュメントに関連して手動で、かつ/または自動的に位置決めし直され、かつ/またはサイズ変更されることができる。インク領域に対するこのような変更は、注釈づけに先立って、同時に、かつ/または後で起こり得る。したがって、本発明は、注釈づけの前、最中、および後でのマルチスケールナビゲーションのための新規の技法を提供する。後で詳しく説明されるように、空間スケールフレームワークに基づく様々なナビゲーション技術が、本発明の態様に従って利用され得る。上記の技術は、注釈づけの際にマルチスケールナビゲーションを利用しない従来のシステムに勝る改良をもたらす。
図2は、デジタルインク領域を生成するシステム200を示す。システム200は、インク領域を生成する注釈管理コンポーネント210と、インク領域プロパティを提供する構成コンポーネント220と、インク領域ナビゲーションアルゴリズムを提供するナビゲーションコンポーネント230とを備える。
注釈管理コンポーネント210(たとえば、注釈管理コンポーネント110)は、ユーザインターフェイスに対して少なくとも1つのインク領域を生成することができる。通常、インク領域の生成および/または非アクティブ化は、アクション、音、ボタン押下、および/またはマウスのクリックなどの機構を介してユーザ要求に応答する。ただし、自動的な技術も利用され得る。生成されると、インク領域は、ドキュメントに1つまたは複数の注釈を加えるのに利用され得る。概して、インク領域は、インク領域内に提示されるドキュメント情報と比較的同程度のサイズの注釈をユーザが加えることができるように生成され得るが、ユーザは、注釈のスケーリングを所望通りに調節し得ることが理解されるべきである。さらに、インク領域は、本質的にドキュメントのどの箇所でもユーザが注釈を加えることを可能にするように、ドキュメントに関連して手動で、かつ/または自動的に位置決めし直され、かつ/またはサイズ変更されることができる。インク領域を閉じると、その領域中の注釈およびドキュメント情報は、ドキュメントサイズにスケーリングされる。
生成されると、注釈管理コンポーネント210は、構成コンポーネント220からインク領域プロパティを得ることができる。このようなプロパティは、インク領域のサイズ、形状、場所、出現などに関する情報を含み得る。さらに、アクティブ化/非アクティブ化、編集、サイズ、形状、場所、出現、および終了など、生成後の活動に関する情報が、構成コンポーネント220から取得され得る。このような情報は、ユーザによって構成コンポーネント220に提供され、かつ/またはインテリジェンスを用いて自動的に生成され得ることが理解されるべきである。
さらに、インク領域は、たとえば、構成コンポーネント220によって与えられるインク領域プロパティに応じて、ビューイングエリアの一部または全体を占めるように生成され得る。したがって、ユーザが、スケーリングされたドキュメント情報を見て、インク領域中に注釈を加え、かつスケーリングされていないドキュメント情報の残りの部分、またはインク領域の外のドキュメント部分を表示し続けるのに十分な空間を与えられるように、インク領域は、関心領域に近接して生成され、位置決めされ得る。
ナビゲーションコンポーネント230は、本質的にドキュメントのどの箇所でもユーザが注釈を加えることを可能にするために、ドキュメントに関連して手作業での、および/または自動的な再位置決めおよび/またはサイズ変更を可能にするアルゴリズムを提供する。このような再位置決めおよび/またはサイズ変更は、注釈づけに先立って、同時に、または後で起こり得る。したがって、本発明は、注釈づけの前、最中、および後でのマルチスケールナビゲーションを提供する。このアルゴリズムは、空間スケールフレームワークに基づき、空間作成、インク領域移動、およびドキュメント移動アルゴリズムを含む。空間スケールフレームワークは、インク領域と注釈をつけられているドキュメントとの間の幾何学的関係に基づく。
空間作成アルゴリズムは、ユーザがドキュメントに注釈をつけるとき、インク領域を自動的にサイズ変更し、位置決めし直す。通常、インク領域は、ユーザがインク領域の端部付近に注釈をつけると、空間を作成するために自動的に形状を変える。この形状変化は、ソース面とズーム面の間のマッピングを固定しながらインク領域を拡張し、インク領域の中心を新しい中心に移動することによって遂行されることができ、インク領域は、ペンの下にとどまるが、注釈づけを続けるためのより広い空間を提供する。この手法は、ユーザの注釈づけ経験を混乱させない円滑な遷移をもたらす。
インク領域移動アルゴリズムは、注釈をつける間、基底ドキュメントに関連してインク領域を移動する。概して、インク領域が生成されるとき、インク領域の中心がロックされる。インク領域が、新しい位置にドラッグされるとき、インク領域の中心およびソースの中心は、同時に動き、新しいズーム起点が生成される。上記の動作は、インク領域が別の場所に移動されるとき、基底ドキュメント中のどの点もユーザがズームし得ることを保証する。
基底ドキュメント移動アルゴリズムは、注釈をつけられているドキュメントを、インク領域に関連して移動する。この手法を用いると、インク領域中に表示されるドキュメントの部分は、インク領域ではなくドキュメントを移動することによって画定される。概して、インク領域の中心は、インク領域が周辺ドキュメントコンテキストに対して固定されたままとなるようにロックされる。ユーザが、ソースの中心を新しい位置に動かすことができる場合、新しいインク領域起点が生成される。この手法は、ユーザが、インク領域ではなくソースウィンドウをドラッグすることによって、基底ドキュメント中のどの点もズームし得ることを保証する。
図3〜4は、本発明によるドキュメントへの注釈づけ方法300および400を示す。説明を簡単にするために、この方法は一連の動作として示される。本発明は例示した動作および/または動作の順序に限定されないことが理解されるべきである。たとえば、動作は、様々な順序で、かつ/または並行して起こることができ、本明細書に提示も記述もされていない他の動作とともに起こることができる。さらに、例示されるすべての動作が、本発明による方法の実装に必要とされ得るわけではない。さらに、本方法は、別法として、状態図またはイベントによる一連の相関状態として表され得ることを、当業者は理解するであろう。
最初に図3を参照すると、本発明の態様による、マイクロプロセッサベースのデバイスを用いてドキュメントへの注釈づけを容易にする方法300が示されている。参照番号310で、インク領域、すなわちズームウィンドウが、(たとえばシステム100によって)アクティブにされる。本発明の一態様では、インク領域は、デジタルペンによりアクティブにされ得る。たとえば、デジタルペンを利用するユーザは、ディスプレイ上の一点をたたくことによって、ディスプレイのビューイングエリア内のズーム起点を指示することができる。インク領域は、後で詳しく説明されるように、このズーム起点に近接して生成されることができ、編集可能領域を画定するズームウィンドウの下にあるドキュメントの拡大ビューを提供し、このビューの中で、ユーザは、基底ドキュメントの上にテキストおよび/またはグラフィックス(たとえばコメント)を加えることができる。本発明の他の態様では、アクティブ化は、音声、マウス、および/または自動制御など、他の手段を介しても遂行され得ることが理解されるべきである。
インク領域を生成するのに、アニメーションが利用され得ることに留意されたい。たとえば、インク領域がページから生じるように見せるアニメーションが使用され得る。他の適切なアニメーション技術は、ボックス(インおよびアウト)、ブラインド(水平および垂直)、チェッカーボード(横および縦)、カバー(左、右、上、下、および斜め)、カット、ディゾルブ、フェード、分割(水平および垂直)、ワイプ(左、右、上、および下)、アンカバーなど、ならびに/またはそのどの組合せも含む。さらに、デフォルトのインク領域配置方向、形状、サイズ、場所などは、予め画定されてもよく、自動的に生成されてもよいことに留意されたい。さらに、インク領域特性はいつでも、手動で、かつ/または自動的に変更され得る。
インク領域が生成された後、320で、ユーザは、インク領域を介して基底ドキュメントに注釈をつけることができる。本発明の一態様では、ユーザは、インク領域での書込みを介してドキュメントに注釈をつけることができる。たとえば、ユーザは、デジタルペンまたはマウスを使用することができる。本発明の他の態様では、インク領域に書き込むために、音声および/またはキーボードが利用され得る。インク領域用のズーム倍率は、ユーザの自然な書込みサイズとほぼ一致するように選択され得ることが理解されよう。このような選択は、倍率が、ユーザの自然な書込みサイズとほぼ一致するまで洗練される反復手法の使用を伴う場合もあり、かつ/または倍率を自動的に洗練するためにユーザの書込みが格納され、分析され、使用される、インテリジェンスに基づく手法を介する場合もある。
インク領域は、インク領域を所望の場所に移動することによって、ドキュメントの同様のおよび/または異質の領域に注釈をつけるのに使用され得る。後で詳しく説明されるように、インク領域を動かすのに、様々なアルゴリズムが使用され得る。こうしたアルゴリズムは、ドキュメントの様々な場所で他のインク領域をアクティブにすること、インク領域を閉じ、異なる場所で別のインク領域をアクティブにすること、インク領域を移動(たとえば、ドラッグおよびカットアンドペースト)すること、インク領域が固定されたまま、ドキュメントを移動すること、ならびに自動的にインク領域を移動し、注釈づけの間にインク領域のサイズを調節することを含む。
参照番号330で、ユーザは、注釈を受容し、インク領域を閉じることができる。本発明の一態様では、受容は、インク領域のアクティブ化と同様に指示され得る。たとえば、ユーザは、インク領域またはドキュメントをたたき、音声コマンドを提供し、かつ/または自動的にインク領域を閉じることができる。注釈を受容する間、上記のアニメーション技術が使用され得ることに留意されたい。インク領域が閉じられると、ドキュメント内容ならびに注釈は、基底ドキュメントと調和するサイズにスケーリングし得る。したがって、ユーザが、基底ドキュメント内容と相関するサイズでドキュメントに注釈をつけたように見える。本発明の他の態様では、注釈のスケーリングは、ドキュメント情報を参照して注釈のサイズを洗練するために、異なるものでよい。
図4は、本発明の態様による、ズームウィンドウを介してドキュメントへの電子的注釈づけを容易にする例示的な方法400を示す。参照番号410で、ズームウィンドウのデフォルトの構成、すなわちインク領域の生成が、1人または複数のユーザに対して画定され得る。システム200に関連して上述したように、このような構成は、ズームウィンドウのサイズ、形状、場所、出現、アクティブ化/非アクティブ化、編集、および/または終了を定義するプロパティに関する。ただ1つのデフォルト構成が使用される場合、その構成は、ズームウィンドウに対する要求が受け取られると常に取得され得る。複数のデフォルトの構成が生成される場合、ある特定のユーザに関連づけられた構成が、ログオン、パスワード、アプリケーション、マシンアドレスなどのユーザ情報に基づく複数の構成から取得され得る。取得されたこの構成は、たとえばサイズ、配置方向、向き、および位置など、ズームウィンドウプロパティおよび特性を提供し得る。たとえば、この構成は、一般的な英語の書かれ方によってズームウィンドウを生成するのに使用され得る。すなわち、ズームウィンドウは、左から右に書かれた注釈を受容するのに適した水平ボックスとして生成され得る。
さらに、構成は、左から右への注釈づけを容易にするために、ズームウィンドウをズーム起点からずらすのに使用され得る。たとえば、構成は、ズームウィンドウの70%がズーム起点の右側にあるように設定され得る。たとえば、左右のマージンに注釈をつけるための垂直配置方向や、右から左への注釈づけを容易にするために、ズームウィンドウの大部分がズーム起点の左側となるように生成された水平ウィンドウなど、他の構成も実装され得ることが理解されるべきである。
420で、ユーザは、本明細書において説明されたように、かつ関連づけられた構成に基づいて、ズームウィンドウの作成を開始することができる。本発明の様々な態様において、デフォルトの構成は、全体的にも部分的にも置き換えられ(override)得ることが理解されるべきである。たとえば、方法400は、所望のズームウィンドウ配置方向を定義するための代替機構を提供する。一例では、ユーザは、配置方向を指示する、ある特定の向きまたは形状のデジタルペンを利用することができる。たとえば、ズームウィンドウが生成されるべきであると指示した後、ユーザは、ペンを左から右に動かして、ズームウィンドウが左から右への配置方向で生成されるべきであると指示することができる。同様に、ユーザは、ペンを上から下に動かして、ズームウィンドウが、上から下への配置方向で生成されるべきであると指示することができる。実質的にデフォルトの構成すべてが置き換えられ得ることが理解されるべきである。さらに、ズームウィンドウの作成は、ペンをたたくこと、音声コマンド、または他の手段によってもアクティブにされ得るが、その後のペン動作は、ズームウィンドウプロパティおよび特性を決定する情報を提供し得ることに留意されたい。
参照番号430で、ユーザは、本明細書において説明されたように、ズームウィンドウを介して基底ドキュメントに注釈をつけることができる。注釈をつける間にズームウィンドウを動かし、ズームウィンドウの配置方向に従ってズームウィンドウを動かすのに、上記の技法が使用され得ることに留意されたい。したがって、右から左への注釈づけのために生成されたズームウィンドウは、右から左に移動し、かつ/または伸長する。さらに、この配置方向は、注釈をつける間、変更され得る。したがって、どの移動および/または伸長も同様に変更され得る。たとえば、ユーザは、マージンに注釈をつけるために、ズームウィンドウを上から下への配置方向でアクティブにすることができる。次いで、ユーザは、ドキュメント内容に注釈をつけるために、ズームウィンドウの配置方向を、左から右への配置方向に変えることができる。
440で、ズームウィンドウが閉じられ得る。上述したように、ズームウィンドウに表示されていたドキュメント内容ならびにどの注釈も、ドキュメントテキストおよび/またはグラフィックスに対応するサイズに縮小し得る。したがって、ユーザは、物理的な紙およびペンを模倣した環境において快適なサイズで注釈をつけることができる。
図5〜8は、本発明の態様による、ズームウィンドウ(インク領域)の配置およびナビゲーションを容易にするために使用され得る例示的な空間スケールフレームワークを示す。この空間スケール技法は、ズーム領域と注釈をつけられているドキュメントとの間の幾何学的関係に基づき、ズーミングは、ズーム起点Oから、ソースウィンドウSを通り、ズームウィンドウZ上への投射として表され、倍率αは、式1によって与えられる。
式1: α=|Z|/|S|
上式で、|Z|および|S|は、それぞれズームウィンドウおよびソースウィンドウの幅の絶対値を指す。さらに、相似三角形によって、ズームウィンドウの中心Z、ソースウィンドウの中心S、およびズーム起点Oが、式2によって関係づけられる。
式2: Z=O(1−α)+Sα
概して、この式は、起点Oから発する投射線上の点ZおよびSのどの組にも当てはまる。システムとの幾何学的対話空間は、こうしたパラメータによって表現されることができ、所与の倍率αに対して、こうしたパラメータの2つは変化されることができ(2自由度)、第3の因子は制約される。
最初に図5を参照すると、本発明の態様によるズーミングインターフェイス500の概略が示されている。ズーミングインターフェイス500は、ズームウィンドウ(Z)520およびソースウィンドウ(S)530を有する画面510を備える。図示されるように、ズームウィンドウ(Z)520およびソースウィンドウ(S)530は、ズーム起点(O)540、ズームの中心(Z)560、およびソースの中心(S)550が、画面510中の同一点の辺りに配置されるように方向づけられる。画面510は、XY面を覗き込む見下ろし型のビューとして示されることに留意されたい。ただし、画面は、どの2つの面にも存在し得ることが理解されるべきである。
図6は、XY面に関連する、XZ面から見たズーミングインターフェイス500のダイアグラム600を示す。起点面630、ソース面620、およびズーム面610にそれぞれ配置された、ズーム起点(O)540、ズームの中心(Z)560、およびソースの中心(S)550が示されている。この空間スケール図は、ズーム起点(O)540と、ソースウィンドウ(S)530と、ズームウィンドウ(Z)520との間のマッピングが投射でよく、投射が、ズーム起点(O)540に対して、ソース面620上のどの領域もズーム倍率αでスケーリングするように、面同士は間隔をあけられることを示す。
図7は、ズーミングインターフェイス500のXY面から見た概略700を示し、この図で、ズームウィンドウ(Z)520およびソースウィンドウ(S)530は、それぞれズーム起点(O)710およびソースの中心(S)720の周りに中心を変更されている。図8は、XZ面から見た、ズーミングインターフェイス500の、対応する図800を示す。
図9〜11は、それぞれ本発明による注釈づけウィンドウ配置及びナビゲーション方法900、1000、および1100を示す。概して、方法900および1000は、明示的手法と呼ばれることができ、方法1100は、暗黙的手法と呼ばれることができる。説明を簡単にするために、この方法は一連の動作として示される。本発明は例示した動作および/または動作の順序に限定されないことが理解されるべきである。たとえば、動作は、様々な順序で、かつ/または並行して起こることができ、本明細書に提示も記述もされていない他の動作とともに起こることができる。さらに、例示されるすべての動作が、本発明による方法の実装に必要とされ得るわけではない。さらに、本方法は、別法として、状態図またはイベントによる一連の相関状態として表され得ることを、当業者は理解するであろう。
図9に移ると、本発明の態様による、注釈をつける間にズームウィンドウをドキュメントに関連して移動する例示的なナビゲーション方法900(および対応する空間スケール図)が示されている。参照番号910で、本明細書において説明されたように、ズームウィンドウが生成される。生成されると、ズームの中心(Z)925が、ソースの中心(S)930にロックされ得る。920で、ズームウィンドウは、新しい位置にドラッグされ得る。ユーザが、ズームの中心(Z)925をズームの中心(Z’)935に移動するとき、同時にソースの中心(S)930が、ソースの中心(S’)940に移動し(ズームの中心(Z)をソースの中心(S)でロックすることに起因する)、同時にズーム起点(O)945が、式2(Z=O(1−α)+Sα)に基づいてズーム起点(O’)950に移動する。
最初の位置は、基底ドキュメントに対して、ズームウィンドウの絶対位置と呼ばれることができ、新しい位置は、元の絶対位置に対して相対位置と呼ばれることができることに留意されたい。したがって、ユーザがズームウィンドウをドラッグすると、ズームの中心、ソースの中心、およびソース起点は同時に平行移動され、この平行移動は、ユーザが、ズームウィンドウが別の場所にドラッグされるとき、基底ドキュメント中のどの点もズームできることを保証する。参照番号960で、ユーザは、新しい位置に注釈をつけるためにズームウィンドウを利用することができる。
図10は、本発明の態様による、注釈をつけられているドキュメントを、ズームウィンドウに関連して移動する例示的なナビゲーション方法1000(および対応する空間スケール図)を示す。この手法は、ズームウィンドウを移動するのではなく、ズームウィンドウ中のドキュメントの部分を変える。参照番号1010で、本明細書において説明されたように、ズームウィンドウが生成される。生成されると、ズームの中心(Z’)1020がズームの中心(Z)1015と等しくなるように、ズームの中心(Z)1015がロックされ得る。ズームの中心(Z)1015をロックすることによって、ズームウィンドウは、周辺コンテキストに対して固定されたままとなる。1030で、ユーザは、ソースの中心(S)1035を新しいソースの中心(S’)1040に(たとえば、関連ペン移動により)ドラッグすることができる。ズーム起点(O)1045が、式2(Z=O(1−α)+Sα)に基づいてズーム起点(O’)1050に移動する。この手法は、ユーザが、ズームウィンドウではなくソースウィンドウをドラッグすることによって、基底ドキュメント中のどの点もズームできることを保証する。参照番号1060で、ユーザは、新しい位置に注釈をつけるためにズームウィンドウを利用することができる。
図11は、本発明の態様による、ユーザがドキュメントに注釈をつけるときにズームウィンドウを自動的にサイズ変更し、位置決めする例示的なナビゲーション方法1100(および対応する空間スケール図)を示す。参照番号1110で、本明細書において説明されたように、ズームウィンドウが生成される。参照番号1120で、ユーザは、ドキュメントに注釈をつけるためにズームウィンドウを利用することができる。1130で、ユーザがズームウィンドウの端部近くに注釈をつけるとき、ズームウィンドウは、自動的に形状を変えて、空間を作り出す。
本発明の一態様では、このナビゲーション方法は、ズームの中心(Z)1135をズームの中心(Z’)1140に移動してズームウィンドウを拡張することによって遂行されることができ、そうすることによって、ズームウィンドウは、ペンの下にとどまり、書込みと、ソース面とズーム面の間のマッピング固定とを継続するためのより広い空間を提供する。このマッピングは、ソースの中心(S)1150は動かすが、ズーム起点(O)1145を固定することによって、固定され得る。したがって、ズーム起点(O’)1155は、ズーム起点(O)1145と等しくなるようにセットされ、ズームの中心(Z’)1140が与えられると、ソースの中心(S’)1160が、式2(Z=O(1−α)+Sα)により決定され得る。固定マッピングを用いて、ユーザは、1165および1170で示されるように、ドキュメント全体への、またはドキュメントの一部に限定されたアクセスを与えられ得る。この手法は、ユーザの注釈づけ経験を混乱させない円滑な遷移をもたらす。
図12は、デジタルドキュメントの注釈づけを容易にする、本発明の態様による例示的なインテリジェンスベースのシステム1200を示す。システム1200は、ペンベースのマイクロプロセッサデバイス(デバイス)1210を備える。デバイス1210は、ドキュメントを見、かつ/または編集するのに使用され得るグラフィカルユーザインターフェイス(GUI)を含む。このようなものとして、GUIは、通信および/または対話を容易にする機構(たとえば、入力および出力)を備え得る。たとえば、このインターフェイスは、ダイアログボックス、静的コントロール、ドロップダウンメニュー、リストボックス、ポップアップメニュー、および画像ボックスを備える、テキストおよび/または画像提示(たとえば出力)領域を備え得る。提示領域は、表示を容易にするためのユーティリティをさらに含み得る。たとえば、提示領域は、ナビゲーションを容易にするための垂直および/または水平スクロールバーと、領域が見えるかどうか判定し、ズーム、配置方向、および/または色/グレースケールを調節するためのツールバーボタンとを含み得る。ユーザは、提示領域と対話して、たとえばマウス、ローラーボール、キーパッド、キーボード、ペン、および/または音声起動など、様々なデバイスを介して情報を見、選択し、提供することができる。
情報を受容するのに使用される入力領域は、類似機構(たとえばダイアログボックスなど)、さらに、編集コントロール、コンボボックス、ラジオボタン、チェックボックス、およびプッシュボタンなどのユーティリティを利用することができ、ユーザは、こうした機構およびユーティリティとともに様々な入力デバイス(たとえば、マウス、ローラーボール、キーパッド、キーボード、ペン、および/または音声起動)を利用することができる。たとえば、ユーザは、編集コントロールボックスに情報を入力し、かつ/または関連チェックボックスを強調表示することにより、パラメータまたは変数あるいはそうしたものを指すポインタ(たとえば登録場所)を与えることができる。一般に、情報の入力に引き続き、情報の伝達を開始するためにプッシュボタンなどの機構が利用される。ただし、本発明は、そのように限定されないことが理解されるべきである。たとえば、チェックボックスを単に強調表示することが、情報の伝達を開始し得る。
上述したインターフェイスは、ユーザによって、注釈コンポーネント1220のアクティブ化によりズームウィンドウを起動するのに使用され得る。このようなアクティブ化は、注釈コンポーネント1220への直接要求によるものでも、および/またはインテリジェンスコンポーネント1230を介した、注釈コンポーネント1220への間接的な要求によるものでもよい。注釈コンポーネント1220は次いで、上述したように、デバイス1210用にズームウィンドウを生成することができる。さらに、インテリジェンスコンポーネント1230が、ズームウィンドウの生成を容易にし得る。たとえば、インテリジェンスコンポーネント1230は、ズームウィンドウ生成情報を用いて注釈コンポーネント1210を提供し得る。この情報は、ユーザ、注釈をつけられているドキュメント、および/またはドキュメントを見るのに使用されるアプリケーションに基づき得る。
インテリジェンスコンポーネント1230は、注釈をつける間のズームウィンドウの管理をさらに容易にし得る。たとえば、インテリジェンスコンポーネント1230は、ズームウィンドウの形状、サイズ、出現、場所などに関する情報を提供し得る。生成情報と同様に、この情報も、ユーザ、注釈をつけられているドキュメント、および/またはドキュメントを見るのに使用されるアプリケーションに基づき得る。インテリジェンスコンポーネント1230は、ベイズの学習、ベイズの分類子、ならびに判断ツリー学習方法、ベクトルマシンサポート、線形回帰、非線形回帰、および/またはニューラルネットワークなど、他の統計的分類子を含むがそれに限定されない、統計、推論、確率、および分類子(たとえば、明示的かつ暗黙的にトレーニングされたもの)に基づいて、決定を行い得ることが理解されるべきである。
図13は、従来のペンコンピューティングデバイスの様々な人間工学上の制約を示す。参照番号1310は、ドキュメントを見て注釈をつけるのに利用されるユーザインターフェイスを示す。ユーザインターフェイス中のドキュメントは、テキスト、グラフィックス、ならびに様々な形式の、および手書きの注釈を含む。領域1320は、ドキュメントの拡大された部分を示す。図示されるように、領域1320中の注釈は、ドキュメント中にタイプ入力されたテキストよりかなり大きいが、これは、ペンコンピューティングデバイスを用いて注釈をつけるときに普通に起こる。というのは、モニタサイズは一般に、標準的な1枚の紙より小さいからである。その結果、従来のシステムによって作成されたこうした注釈は、基底ドキュメントをわかりにくくし、概して見た目が悪い場合がある。
図14は、ドキュメントに注釈をつけるのに、本発明の新規の態様を利用するユーザインターフェイス1410を示す。ユーザインターフェイス1310と同様、ユーザインターフェイス1410中のドキュメントは、テキスト、グラフィックス、ならびに様々な形式の、および手書きの注釈を含み、領域1420は、ドキュメントの拡大された部分を示す。図示されるように、ユーザが領域1420に追加した注釈は、ドキュメント中のテキストと同程度のサイズであり、したがって注釈は、物理的ドキュメントにおける物理的ペン注釈と同じように見える。
図15〜21は、ドキュメントに注釈をつけるための、本発明の新規の態様とともに利用されるユーザインターフェイスを示す。最初に図15を参照すると、ユーザが、ユーザインターフェイス1510中のズーム起点1520を指すことによって、ズームウィンドウを生成する。図示されるように、ユーザは、ユーザインターフェイス1510中のズーム起点1520を、デジタルペン1530でたたく。図16に移ると、ズームウィンドウ1610が、ズーム起点1520の周りに生成される。上述したように、ズームウィンドウ1610は、生成中に使用されるプロパティ(デフォルトまたはユーザ定義構成)に応じて、様々な形をとり、位置決めされ得る。図示されるように、ズームウィンドウ1610は、領域の大部分がズーム起点1520の右側になるように位置決めされた水平矩形領域として生成される。さらに、ズームウィンドウ1610中に表示されるドキュメント情報は、ユーザが、ドキュメント情報に対して同程度のサイズの注釈を快適に加え得るように拡大される。図16はさらに、ズームウィンドウ1610におけるペン注釈1620を示す。
図17は、ユーザがズームウィンドウ1610を閉じた後のユーザインターフェイス1510を示す。上述したように、ズームウィンドウ1610は、ズームウィンドウ1610中をデジタルペンでたたくことにより閉じられ得る。図17はさらに、ペン注釈1620が、ズームウィンドウのコンテキストとともに、ドキュメント内容に比例したサイズに縮小することを示す。図18〜21は、他の例示的なズームウィンドウを示す。図18および19は、それぞれテキストおよび画像に注釈をつけるのに使用される、水平ズームウィンドウ1800および1900をそれぞれ示す。図20および21は、それぞれ垂直方向のズームウィンドウ2000および2100を示す。
図22は、本発明の態様で利用され得る様々なズームウィンドウ形状を示す。2210に、垂直矩形ズームウィンドウが示される。この形状は、マージン注釈および上から下への書込みを容易にするために生成され得る。2220に、正方形のズームウィンドウが示される。2230に、八角形のズームウィンドウが示される。参照番号2240および2250は、それぞれ円形および楕円形のズームウィンドウを示す。参照番号2260は、いびつな形のズームウィンドウを示す。
本発明の様々な態様に関するコンテキストを提供するために、図23および24ならびに以下の説明は、本発明の様々な態様が実装され得る適切な計算機環境の、簡潔で一般的な説明を提供することを意図している。これまでは、1台のコンピュータおよび/または複数のコンピュータ上で実行されるコンピュータプログラムのコンピュータ実行可能命令という一般的なコンテキストにおいて本発明が説明されたが、本発明は他のプログラムモジュールとの組合せでも実装され得ることを当業者は理解するであろう。概して、プログラムモジュールは、特定のタスクを実施し、かつ/または特定の抽象データ型を実装するルーチン、プログラム、コンポーネント、データ構造などを含む。
さらに、本発明の方法は、他のコンピュータシステム構成とともに実施され得ることを当業者は理解するであろう。他のコンピュータシステム構成は、シングルプロセッサコンピュータシステムまたはマルチプロセッサコンピュータシステム、ミニコンピュータデバイス、メインフレームコンピュータ、ならびにパーソナルコンピュータ、ハンドヘルドコンピューティングデバイス、マイクロプロセッサベースの家電製品またはプログラム可能な家電製品などを含む。例示した本発明の態様は、通信ネットワークを介してリンクされるリモート処理装置によってタスクが実施される分散型計算機環境でも実施され得る。ただし、すべてではなくともいくつかの本発明の態様は、スタンドアロンコンピュータにおいても実施され得る。分散型計算機環境では、プログラムモジュールは、ローカルメモリ記憶装置およびリモートメモリ記憶装置内両方に配置され得る。
図23は、本発明と相互作用し得る例としての計算機環境2300の概略的なブロック図である。システム2300は、1つまたは複数のクライアント(群)2310を含む。クライアント(群)2310は、ハードウェアおよび/またはソフトウェア(たとえば、スレッド、処理、コンピューティングデバイス)でよい。システム2300は、1つまたは複数のサーバ(群)2320も含む。サーバ(群)2320は、ハードウェアおよび/またはソフトウェア(たとえば、スレッド、プロセス、コンピューティングデバイス)でよい。サーバ2320は、たとえば、本発明を利用して変換を実施するためのスレッドを収容することができる。クライアント2310とサーバ2320の間で起こり得る1つの通信は、2つ以上のコンピュータ処理の間で伝送されるように適合されたデータパケットの形をとり得る。システム2300は、クライアント(群)2310とサーバ(群)2320の間の通信を容易にするのに利用され得る通信フレームワーク2340を含む。クライアント(群)2310は、クライアント(群)2310にローカルな情報を格納するのに利用され得る、1つまたは複数のクライアントデータストア(群)2350に動作可能に接続される。同様に、サーバ(群)2320は、サーバ2320にローカルな情報を格納するのに利用され得る、1つまたは複数のサーバデータストア(群)2330に動作可能に接続される。
図24を参照すると、本発明の様々な態様を実装する例示的な環境2410は、コンピュータ2412を含む。コンピュータ2412は、処理ユニット2414、システムメモリ2416、およびシステムバス2418を含む。システムバス2418は、システムメモリ2416を含むがそれに限定されないシステムコンポーネントを処理ユニット2414に結合する。処理ユニット2414は、市販されている様々なプロセッサのいずれでもよい。デュアルマイクロプロセッサおよび他のマルチプロセッサアーキテクチャも、処理ユニット2414として利用され得る。
システムバス2418は、市販されている様々などのバスアーキテクチャも用いるメモリバスもしくはメモリコントローラ、周辺バスもしくは外部バス、および/またはローカルバスを含むいくつかのタイプのバス構造(群)のどれでもよく、こうしたバス構造は、ISA(業界標準アーキテクチャ)、MSA(マイクロチャネルアーキテクチャ)、EISA(拡張ISA)、IDE(インテリジェントドライブエレクトロニクス)、VLB(VESAローカルバス)、PCI(周辺装置相互接続)、USB(ユニバーサルシリアルバス)、AGP(拡張グラフィックスポート)、PCMCIA(PCカードアダプタ)、およびSCSI(小型コンピュータシステムインターフェイス)を含むが、それに限定されない。
システムメモリ2416は、揮発性メモリ2420および不揮発性メモリ2422を含む。たとえば起動中に、コンピュータ2412内部の要素の間で情報を転送するための基本ルーチンを含む基本入出力システム(BIOS)が、不揮発性メモリ2422に格納される。限定ではなく例として、不揮発性メモリ2422は、ROM(読出し専用メモリ)、PROM(プログラム可能ROM)、EPROM(電気的プログラム可能ROM)、EEPROM(電気的消去可能ROM)、またはフラッシュメモリを含み得る。揮発性メモリ2420は、外部キャッシュメモリとして作用するRAM(ランダムアクセスメモリ)を含む。限定ではなく例として、RAMは、SRAM(同期RAM)、DRAM(ダイナミックRAM)、SDRAM(シンクロナスDRAM)、DDR SDRAM(ダブルデータレート方式SDRAM)、ESDRAM(拡張SDRAM)、SLDRAM(シンクリンクDRAM)、およびDRRAM(ダイレクトランバスRAM)など、多くの形で市販されている。
コンピュータ2412は、着脱式/固定式、揮発性/不揮発性コンピュータ記憶媒体も含む。図24は、たとえばディスク記憶装置2424を示す。ディスク記憶装置2424は、磁気ディスクドライブ、フロッピー(登録商標)ディスクドライブ、テープドライブ、Jazドライブ、Zipドライブ、LS−100ドライブ、フラッシュメモリカード、またはメモリスティックなどの装置を含むが、それに限定されない。さらに、ディスク記憶装置2424は、記憶媒体を、別個に含むことも、CD−ROM(コンパクトディスクROM装置)、CD−Rドライブ(書込み可能CDドライブ)、CD−RWドライブ(書換え可能CDドライブ)、またはDVD−ROM(デジタルビデオディスクROMドライブ)などの光ディスクドライブを含むがそれに限定されない他の記憶媒体と組み合わせて含むこともできる。システムバス2418へのディスク記憶装置2424の接続を容易にするために、着脱式または固定式インターフェイスは通常、インターフェイス2426などとして使われる。
図24は、適切な動作環境2410において述べられる、ユーザと基本的なコンピュータ資源との間の媒介として作用するソフトウェアを示すことが理解されるべきである。このようなソフトウェアは、オペレーティングシステム2428を含む。オペレーティングシステム2428は、ディスク記憶装置2424に格納されることができ、コンピュータシステム2412の資源を制御し割り振るように作用する。システムアプリケーション2430は、システムメモリ2416またはディスク記憶装置2424のどちらかに格納された、プログラムモジュール2432およびプログラムデータ2434を介して、オペレーティングシステム2428による資源管理を活用する。本発明は、様々なオペレーティングシステム、またはオペレーティングシステムの組合せを用いて実装され得ることが理解されるべきである。
ユーザは、入力デバイス(群)2436を介して、コマンドまたは情報をコンピュータ2412に入力する。入力デバイス2436は、ポインティングデバイス、たとえばマウス、トラックボール、スタイラス、タッチパッド、キーボード、マイクロホン、ジョイスティック、ゲームパッド、衛星パラボラアンテナ、スキャナ、TVチューナカード、デジタルカメラ、デジタルビデオカメラ、ウェブカメラなどを含むが、それに限定されない。こうしたおよび他の入力デバイスは、インターフェイスポート(群)2438を介して、システムバス2418によって処理ユニット2414に接続される。インターフェイスポート(群)2438は、たとえば、シリアルポート、パラレルポート、ゲームポート、およびUSB(ユニバーサルシリアルバス)を含む。出力デバイス(群)2440は、入力デバイス(群)2436と同じタイプのポートの一部を使う。したがって、たとえば、USBポートは、コンピュータ2412への入力を可能にし、コンピュータ2412から出力デバイス2440に情報を出力するのに用いられ得る。出力アダプタ2442は、他の出力デバイス2440の中でも、専用アダプタを必要とする、モニタ、スピーカ、およびプリンタのようないくつかの出力デバイス2440があることを示すために図示されている。出力アダプタ2442は、限定ではなく例として、出力デバイス2440とシステムバス2418の間の接続手段を提供するビデオカードおよびサウンドカードを含む。他のデバイスおよび/またはデバイスからなるシステムは、リモートコンピュータ(群)2444のように、入力および出力機能両方を提供することが留意されるべきである。
コンピュータ2412は、1つまたは複数のリモートコンピュータ、たとえばリモートコンピュータ(群)2444への論理接続を使用してネットワーク接続された環境において動作することができる。リモートコンピュータ(群)2444は、パーソナルコンピュータ、サーバ、ルータ、ネットワークPC、ワークステーション、マイクロプロセッサベースの機器、ピアデバイスまたは他の共通ネットワークノードなどでよく、通常、コンピュータ2412に関連して説明された要素の多くまたはすべてを含む。簡潔にするために、メモリ記憶装置2446のみがリモートコンピュータ(群)2444とともに示されている。リモートコンピュータ(群)2444は、ネットワークインターフェイス2448を介してコンピュータ2412に論理的に接続され、さらに通信接続2450を介して物理的に接続される。ネットワークインターフェイス2448は、LAN(ローカルエリアネットワーク)およびWAN(ワイドエリアネットワーク)などの通信ネットワークを包含する。LAN技術は、FDDI(光ファイバ分散データインターフェイス)、CDDI(銅線配線データインターフェイス)、イーサネット(登録商標)、トークンリングなどを含む。WAN技術は、二地点間リンク、ISDN(統合サービスデジタルネットワーク)のような回路交換ネットワークおよびその変形、パケット交換ネットワーク、ならびにDSL(デジタル加入者線)を含むが、それに限定されない。
通信接続(群)2450は、ネットワークインターフェイス2448をバス2418に接続するのに利用されるハードウェア/ソフトウェアを指す。通信接続2450は、コンピュータ2412内部に示されているが、コンピュータ2412の外部にあってもよい。ネットワークインターフェイス2448への接続に必要なハードウェア/ソフトウェアは、単なる例として、標準的な電話レベルのモデム、ケーブルモデム、およびDSLモデムを含むモデム、ISDNアダプタ、ならびにイーサネット(登録商標)カードなど、内部および外部技術を含む。
上で説明された内容は、本発明のいくつかの例を含む。当然ながら、本発明を説明するためのコンポーネントまたは方法のあらゆる組合せを説明することはできないが、本発明のさらに多くの組合せおよび入替えが可能であることを当業者は理解するであろう。したがって、本発明は、添付の特許請求の範囲の精神および範囲内であるこのようなすべての変更形態、修正形態および変形形態を包含することを意図したものである。
特に、上述したコンポーネント、デバイス、回路、システムなどによって実施される様々な機能に関して、このようなコンポーネントを説明するのに用いた用語(「手段」への言及も含む)は、特に示さない限り、説明した(たとえば、機能的に等価な)コンポーネントの指定された機能を実施するとともに、開示した構造と構造的に等価でないとしても、本明細書において示した本発明の例示的な態様においてそうした機能を実施する、どのコンポーネントにも対応することを意図している。この点に関して、本発明は、システム、ならびに本発明の様々な方法の動作および/またはイベントを実施するコンピュータ実行可能命令を有するコンピュータ可読媒体を含むことも理解されよう。
さらに、本発明のある特定の特徴は、いくつかの実装形態のただ1つに関して開示されたが、このような特徴は、所与のまたは特定のどのアプリケーションにとっても望ましく、有利であるように、他の実装形態の1つまたは複数の他の特徴と組み合わされ得る。
電子ドキュメントの注釈づけを容易にする例示的なシステムを示す図である。 様々なマイクロプロセッサベースのデバイスとともに利用され得る例示的な注釈コンポーネントを示す図である。 インタラクティブなズーム可能ユーザインターフェイスを利用して、ドキュメントへの注釈づけを容易にする例示的な方法を示す図である。 ズームウィンドウを介してドキュメントへの注釈づけを容易にする例示的な方法を示す図である。 空間スケールフレームワークに関連づけられた、例示的な2次元の概略を示す図である。 空間スケールフレームワークに関連づけられた、例示的な1次元の概略を示す図である。 空間スケールフレームワークに関連づけられた、例示的な2次元の概略を示す図である。 空間スケールフレームワークに関連づけられた、例示的な1次元の概略を示す図である。 第1の例示的な注釈方法を示す図である。 第2の例示的な注釈方法を示す図である。 第3の例示的な注釈方法を示す図である。 ドキュメントの注釈づけを容易にする、例示的なインテリジェンスベースのシステムを示す図である。 ペンコンピューティングデバイスの様々な人間工学上の制約を示す図である。 ペンコンピューティングデバイスの人間工学上の制約を克服する例示的なシステムを示す図である。 ユーザインターフェイスとともに新規のマルチスケールナビゲーション用ズームウィンドウの使用を示す図である。 ユーザインターフェイスとともに新規のマルチスケールナビゲーション用ズームウィンドウの使用を示す図である。 ユーザインターフェイスとともに新規のマルチスケールナビゲーション用ズームウィンドウの使用を示す図である。 ズームウィンドウの様々な配置方向を示す図である。 ズームウィンドウの様々な配置方向を示す図である。 ズームウィンドウの様々な配置方向を示す図である。 ズームウィンドウの様々な配置方向を示す図である。 ズームウィンドウの様々な形状を示す図である。 本発明の新規な態様が利用され得る、例示的なネットワーク接続環境を示す図である。 本発明の新規な態様が利用され得る、例示的な動作環境を示す図である。
符号の説明
1220 注釈コンポーネント
1230 インテリジェンスコンポーネント
2310 クライアント(群)
2320 サーバ(群)
2330 サーバデータストア(群)
2340 通信フレームワーク
2350 クライアントデータストア(群)
2414 処理ユニット
2416 システムメモリ
2418 バス
2420 揮発性メモリ
2422 不揮発性メモリ
2424 ディスク記憶装置
2426 インターフェイス
2428 オペレーティングシステム
2430 アプリケーション
2432 モジュール
2434 データ
2436 入力デバイス(群)
2438 インターフェイスポート(群)
2440 出力デバイス(群)
2442 出力アダプタ(群)
2444 リモートコンピュータ(群)
2446 メモリ記憶装置
2448 ネットワークインターフェイス
2450 通信接続(群)

Claims (19)

  1. 自由形式のデジタルインキングを容易にするコンピュータシステムであって、
    ペンベースのマイクロプロセッサデバイスと、
    コンピュータにより実行可能なアプリケーションプログラムを格納するコンピュータ読み取り可能な記録媒体であって、前記アプリケーションプログラムは、
    ズームウィンドウ中にインク領域を入力デバイスが起動することと、
    基底デジタルドキュメントに対して前記インク領域を含んでいる前記ズームウィンドウを生成する注釈管理コンポーネントであって、前記インク領域は、前記インク領域中の前記基底デジタルドキュメントの部分を拡大する、注釈管理コンポーネントと、
    前記基底デジタルドキュメントに関連して前記ズームウィンドウおよび前記インク領域を手動によりまたは自動的に位置決めし直してサイズ変更するナビゲーションコンポーネントであって、前記ズームウィンドウおよび前記インク領域の位置決めし直しとサイズ変更とは、少なくとも、前記基底デジタルドキュメントについての注釈が注釈のイベントの間に前記インク領域に入力されると、前記インク領域に入力され表示される注釈の情報の量に少なくとも部分的に基づいて行われて、前記ズームウィンドウのサイズは前記インク領域のサイズに対応する、ナビゲーションコンポーネントと
    を含む、コンピュータ読み取り可能な記録媒体と
    を備えることを特徴とするシステム。
  2. 前記注釈管理コンポーネントは、手動または自動化技術の少なくとも1つにより前記基底デジタルドキュメント上の関心点を識別することによって前記インク領域を生成するために呼び出されることを特徴とする請求項1に記載のシステム。
  3. 前記インク領域は、前記基底デジタルドキュメントから前記インク領域が生じるように見せるアニメーションとともに生成されることを特徴とする請求項1に記載のシステム。
  4. 前記インク領域は、前記基底デジタルドキュメントの一部を覆って、残りのドキュメントが同時に見られるように生成されることを特徴とする請求項1に記載のシステム。
  5. 前記拡大のための倍率は、前記ユーザがドキュメント情報と同程度のサイズでインキングするように定義されることを特徴とする請求項に記載のシステム。
  6. 前記インク領域は、デジタルペン、マウス、ボタン、または音声起動の1つを介して閉じられることを特徴とする請求項1に記載のシステム。
  7. 前記インク領域中でのインキングは、前記インク領域が閉じられると前記基底デジタルドキュメント中のテキストと同程度のサイズに縮小することを特徴とする請求項1に記載のシステム。
  8. 前記ナビゲーションコンポーネントは、インク領域移動、デジタルドキュメント移動、および空間作成手法の1つまたは複数を利用して、前記基底デジタルドキュメント中をナビゲートすることを特徴とする請求項1に記載のシステム。
  9. 前記インク領域移動、デジタルドキュメント移動、および空間作成手法は、空間スケールフレームワークに基づくことを特徴とする請求項に記載のシステム。
  10. 前記空間スケールフレームワークは、式:ZC=O(1−α)+SCαによりナビゲーションを定義し、上式で、ZCはズームの中心であり、Oはズーム起点であり、αは倍率であり、SCは画面の中心であることを特徴とする請求項に記載のシステム。
  11. 前記倍率は、α=|Z|/|S|によって定義され、上式で、|Z|はズーム領域の絶対値であり、|S|はソースウィンドウの絶対値であることを特徴とする請求項10に記載のシステム。
  12. 前記インク領域の配置方向は、前記ドキュメントにおいて、デジタルペンを右から左、左から右、上から下、または下から上への1つの方式で移動することにより決定されることを特徴とする請求項1に記載のシステム。
  13. コンピュータに実装される、デジタルインクを用いてデジタルドキュメントに注釈をつけるためのズームウィンドウを提供する方法であって、
    ズームウィンドウ中にインク領域を入力デバイスにより起動するステップと、
    前記注釈のイベントを開始するのを容易にするためのインク領域を含んでいる前記ズームウィンドウを生成するステップであって、前記インク領域は、前記インク領域中の少なくとも1つの基底デジタルドキュメントの部分を拡大する、ステップと、
    前記ズームウィンドウに表示される内容をスケーリングするステップと、
    ペンベースのマイクロプロセッサデバイスによって、前記少なくとも1つの基底デジタルドキュメントに関連して前記ズームウィンドウおよび前記インク領域を手動によりまたは自動的に位置決めし直してサイズ変更するステップであって、前記ズームウィンドウおよび前記インク領域の位置決めし直しとサイズ変更とは、少なくとも、前記少なくとも1つの基底デジタルドキュメントについての注釈が前記注釈のイベントの間に前記インク領域に入力されると、前記インク領域に入力され表示される注釈の情報の量に応じて行われて、前記ズームウィンドウのサイズは前記インク領域のサイズに対応する、ステップと、
    関心領域上で前記ズームウィンドウを位置決めするステップと、
    前記少なくとも1つの基底デジタルドキュメントに注釈をつけた後に前記ズームウィンドウを自動的にナビゲートするステップと、
    前記注釈の情報が前記インク領域に入力された後に前記注釈のイベントを終了するステップと
    を含むことを特徴とする方法。
  14. 前記ズームウィンドウに表示されるドキュメント内容および前記注釈を、前記注釈をつけられている少なくとも1つの基底デジタルドキュメント中のテキストと一致するサイズに縮小するステップをさらに含むことを特徴とする請求項13に記載の方法。
  15. デジタルペン、ボタン、マウス、または音声起動の少なくとも1つを用いて前記少なくとも1つの基底デジタルドキュメント中の一点を指すことにより、前記ズームウィンドウの形状および場所を画定するステップをさらに含むことを特徴とする請求項13に記載の方法。
  16. 前記ズームウィンドウの生成をアニメーションにして、前記ズームウィンドウが前記少なくとも1つの基底デジタルドキュメントから生じるように見せるステップをさらに含むことを特徴とする請求項13に記載の方法。
  17. 空間スケール技術を利用して、前記ズームウィンドウをナビゲートするステップをさらに含むことを特徴とする請求項13に記載の方法。
  18. 前記ズームウィンドウ中に表示されるドキュメント情報と同程度のサイズであり、注釈を加えることを容易にするように、前記ズームウィンドウを拡大するステップをさらに含むことを特徴とする請求項13に記載の方法。
  19. 電子ドキュメントへの注釈づけを容易にするコンピュータシステムであって、
    ペンベースのマイクロプロセッサデバイスと、
    注釈ウィンドウ中にインク領域を起動する手段と、
    基底電子ドキュメントに対して前記インク領域を含んでいる注釈ウィンドウを生成する手段であって、前記インク領域は、前記インク領域中の前記基底電子ドキュメントの部分を拡大する、手段と、
    前記注釈ウィンドウの場所を画定する手段と、
    前記注釈ウィンドウの内容を拡大する手段と、
    前記注釈ウィンドウを利用して、前記基底電子ドキュメントに注釈をつける手段と、
    前記基底電子ドキュメントに関連して前記注釈ウィンドウおよび前記インク領域を手動によりまたは自動的に位置決めし直してサイズ変更するナビゲーションコンポーネントであって、前記注釈ウィンドウおよび前記インク領域の位置決めし直しとサイズ変更とは、少なくとも、前記基底電子ドキュメントについての注釈が注釈のイベントの間に前記インク領域に入力されると、前記インク領域に入力され表示される注釈の情報の量に少なくとも部分的に基づいて行われて、前記注釈ウィンドウのサイズは前記インク領域のサイズに対応する、手段と
    を備えることを特徴とするシステム。
JP2005034994A 2004-02-10 2005-02-10 デジタルインキングとともに動的デジタルズーミングインターフェイスを使用するシステムおよび方法 Expired - Fee Related JP4783030B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/775,710 2004-02-10
US10/775,710 US7551187B2 (en) 2004-02-10 2004-02-10 Systems and methods that utilize a dynamic digital zooming interface in connection with digital inking

Publications (2)

Publication Number Publication Date
JP2005243015A JP2005243015A (ja) 2005-09-08
JP4783030B2 true JP4783030B2 (ja) 2011-09-28

Family

ID=34701339

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005034994A Expired - Fee Related JP4783030B2 (ja) 2004-02-10 2005-02-10 デジタルインキングとともに動的デジタルズーミングインターフェイスを使用するシステムおよび方法

Country Status (5)

Country Link
US (1) US7551187B2 (ja)
EP (1) EP1564632B1 (ja)
JP (1) JP4783030B2 (ja)
KR (1) KR101037266B1 (ja)
CN (1) CN100538608C (ja)

Families Citing this family (97)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7193609B2 (en) * 2002-03-19 2007-03-20 America Online, Inc. Constraining display motion in display navigation
US7847970B1 (en) * 2004-04-16 2010-12-07 Automed Technologies, Inc. System and method for reception, analysis, and annotation of prescription data
US20070198942A1 (en) * 2004-09-29 2007-08-23 Morris Robert P Method and system for providing an adaptive magnifying cursor
US7804508B2 (en) * 2004-10-06 2010-09-28 Apple Inc. Viewing digital images on a display using a virtual loupe
US7705858B2 (en) * 2004-10-06 2010-04-27 Apple Inc. Techniques for displaying digital images on a display
US8456488B2 (en) * 2004-10-06 2013-06-04 Apple Inc. Displaying digital images using groups, stacks, and version sets
US7561157B2 (en) * 2004-10-06 2009-07-14 Apple Inc. Compare mode for variable number of images
JP2006155474A (ja) * 2004-12-01 2006-06-15 Fujitsu Component Ltd 情報処理装置及び項目表示方法並びにプログラム
JP4642497B2 (ja) * 2005-02-10 2011-03-02 クラリオン株式会社 ナビゲーション装置
US7961943B1 (en) * 2005-06-02 2011-06-14 Zeevi Eli I Integrated document editor
US20070046653A1 (en) * 2005-09-01 2007-03-01 Halfpenny Technologies, Inc. Digital pen methods and apparatus for healthcare systems
TR201902756T4 (tr) * 2005-09-30 2019-03-21 Koninklijke Philips Nv Gelişmiş drm sistemi.
US7936339B2 (en) * 2005-11-01 2011-05-03 Leapfrog Enterprises, Inc. Method and system for invoking computer functionality by interaction with dynamically generated interface regions of a writing surface
US7509588B2 (en) 2005-12-30 2009-03-24 Apple Inc. Portable electronic device with interface reconfiguration mode
US7705861B2 (en) * 2006-01-19 2010-04-27 Microsoft Corporation Snap to element analytical tool
US20070245227A1 (en) * 2006-04-13 2007-10-18 Workflow.Com, Llc Business Transaction Documentation System and Method
KR100813062B1 (ko) * 2006-05-03 2008-03-14 엘지전자 주식회사 휴대용 단말기 및 이를 이용한 텍스트 표시 방법
CA2652986A1 (en) * 2006-05-19 2007-11-29 Sciencemedia Inc. Interactive learning and assessment platform
US10313505B2 (en) 2006-09-06 2019-06-04 Apple Inc. Portable multifunction device, method, and graphical user interface for configuring and displaying widgets
US7864163B2 (en) 2006-09-06 2011-01-04 Apple Inc. Portable electronic device, method, and graphical user interface for displaying structured electronic documents
US8842074B2 (en) * 2006-09-06 2014-09-23 Apple Inc. Portable electronic device performing similar operations for different gestures
US7956849B2 (en) 2006-09-06 2011-06-07 Apple Inc. Video manager for portable multifunction device
US7889212B2 (en) * 2006-09-07 2011-02-15 Apple Inc. Magnifying visual information using a center-based loupe
US7996282B1 (en) * 2006-09-29 2011-08-09 Amazon Technologies, Inc. Method and system for selecting and displaying items
US8330773B2 (en) * 2006-11-21 2012-12-11 Microsoft Corporation Mobile data and handwriting screen capture and forwarding
US8214768B2 (en) * 2007-01-05 2012-07-03 Apple Inc. Method, system, and graphical user interface for viewing multiple application windows
US8519964B2 (en) 2007-01-07 2013-08-27 Apple Inc. Portable multifunction device, method, and graphical user interface supporting user navigations of graphical objects on a touch screen display
US20080165148A1 (en) * 2007-01-07 2008-07-10 Richard Williamson Portable Electronic Device, Method, and Graphical User Interface for Displaying Inline Multimedia Content
JP2008170900A (ja) * 2007-01-15 2008-07-24 Ricoh Co Ltd 情報処理装置、情報閲覧方法、情報閲覧プログラム及び記録媒体
US7936946B2 (en) * 2007-02-23 2011-05-03 Apple Inc. Migration for old image database
JP2008217590A (ja) * 2007-03-06 2008-09-18 Fuji Xerox Co Ltd 情報共有支援システム、情報処理装置及び制御プログラム
US7904825B2 (en) * 2007-03-14 2011-03-08 Xerox Corporation Graphical user interface for gathering image evaluation information
US9075492B1 (en) * 2007-03-30 2015-07-07 Amazon Technologies, Inc. Method and system for displaying items
US8891145B2 (en) * 2007-05-16 2014-11-18 Xerox Corporation System and method for digitizing documents and encoding information relating to same for display by handheld computing devices
US9933937B2 (en) 2007-06-20 2018-04-03 Apple Inc. Portable multifunction device, method, and graphical user interface for playing online videos
US9772751B2 (en) 2007-06-29 2017-09-26 Apple Inc. Using gestures to slide between user interfaces
US8471823B2 (en) * 2007-08-16 2013-06-25 Sony Corporation Systems and methods for providing a user interface
US8713421B2 (en) * 2007-08-28 2014-04-29 Autodesk, Inc. Scale information for drawing annotations
US9619143B2 (en) 2008-01-06 2017-04-11 Apple Inc. Device, method, and graphical user interface for viewing application launch icons
US8619038B2 (en) 2007-09-04 2013-12-31 Apple Inc. Editing interface
US11126321B2 (en) 2007-09-04 2021-09-21 Apple Inc. Application menu user interface
JP2009086742A (ja) * 2007-09-27 2009-04-23 Fujifilm Corp 文書管理サーバ、携帯端末、及び文書管理システム
US8775953B2 (en) 2007-12-05 2014-07-08 Apple Inc. Collage display of image projects
US9038912B2 (en) * 2007-12-18 2015-05-26 Microsoft Technology Licensing, Llc Trade card services
US20090172570A1 (en) * 2007-12-28 2009-07-02 Microsoft Corporation Multiscaled trade cards
US20090254867A1 (en) * 2008-04-03 2009-10-08 Microsoft Corporation Zoom for annotatable margins
JP4533943B2 (ja) * 2008-04-28 2010-09-01 株式会社東芝 情報処理装置、表示制御方法およびプログラム
US20090307618A1 (en) * 2008-06-05 2009-12-10 Microsoft Corporation Annotate at multiple levels
US9134947B2 (en) * 2009-03-31 2015-09-15 Ricoh Company, Ltd. Annotating digital files of a host computer using a peripheral device
US9274624B2 (en) * 2009-03-31 2016-03-01 Ricoh Company, Ltd. Annotating digital files of a host computer using networked tablet computers
JP5343692B2 (ja) * 2009-05-12 2013-11-13 ソニー株式会社 情報処理装置、情報処理方法及び情報処理プログラム
US20100325557A1 (en) * 2009-06-17 2010-12-23 Agostino Sibillo Annotation of aggregated content, systems and methods
JP4888539B2 (ja) * 2009-09-18 2012-02-29 コニカミノルタビジネステクノロジーズ株式会社 画像データ管理方法、画像データ管理システム、画像処理装置、およびコンピュータプログラム
US8083149B2 (en) * 2009-11-05 2011-12-27 Hand Held Products, Inc. Annotation of optical images on a mobile device
US8438504B2 (en) 2010-01-06 2013-05-07 Apple Inc. Device, method, and graphical user interface for navigating through multiple viewing areas
US8736561B2 (en) 2010-01-06 2014-05-27 Apple Inc. Device, method, and graphical user interface with content display modes and display rotation heuristics
US20110173564A1 (en) * 2010-01-13 2011-07-14 Microsoft Corporation Extending view functionality of application
CN102906763A (zh) 2010-01-28 2013-01-30 美国路通创新科技公司 带有拍摄扫描装置和基于个人电脑的处理软件的文件成像系统
JP5477640B2 (ja) * 2010-03-12 2014-04-23 富士ゼロックス株式会社 電子文書処理装置及びプログラム
US20110289462A1 (en) * 2010-05-20 2011-11-24 Microsoft Corporation Computing Device Magnification Gesture
TW201205432A (en) * 2010-07-29 2012-02-01 Pegatron Corp Electronic book and annotation displaying method thereof
US8522158B2 (en) * 2010-10-19 2013-08-27 Apple Inc. Systems, methods, and computer-readable media for providing a dynamic loupe for displayed information
US9383888B2 (en) * 2010-12-15 2016-07-05 Microsoft Technology Licensing, Llc Optimized joint document review
KR20120075845A (ko) * 2010-12-29 2012-07-09 삼성전자주식회사 터치스크린 단말기에서 메모 방법 및 장치
CN102624754B (zh) * 2011-01-27 2015-04-08 腾讯科技(深圳)有限公司 终端桌面处理系统、终端及服务器和方法
CN102650925A (zh) * 2011-02-25 2012-08-29 华硕电脑股份有限公司 具触控式屏幕的电子装置及其显示控制方法
US9489121B2 (en) 2011-11-02 2016-11-08 Microsoft Technology Licensing, Llc Optimal display and zoom of objects and text in a document
US20130106888A1 (en) * 2011-11-02 2013-05-02 Microsoft Corporation Interactively zooming content during a presentation
JP5418576B2 (ja) * 2011-11-28 2014-02-19 コニカミノルタ株式会社 情報閲覧装置及び表示制御プログラム
JP6091137B2 (ja) * 2011-12-26 2017-03-08 キヤノン株式会社 画像処理装置、画像処理システム、画像処理方法およびプログラム
JP6124543B2 (ja) * 2011-12-26 2017-05-10 キヤノン株式会社 画像処理装置、画像処理方法、画像処理システム、及びプログラム
KR101984823B1 (ko) * 2012-04-26 2019-05-31 삼성전자주식회사 웹 페이지에 주석을 부가하는 방법 및 그 디바이스
JP5619066B2 (ja) * 2012-04-27 2014-11-05 京セラドキュメントソリューションズ株式会社 文書管理装置および文書管理プログラム
KR20150012265A (ko) * 2012-05-11 2015-02-03 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 입력 오류 교정
US20140115446A1 (en) * 2012-10-22 2014-04-24 Apple Inc. Content Control Tools for a Document Authoring Application
JP2014215911A (ja) * 2013-04-26 2014-11-17 株式会社東芝 注目領域推定装置、方法およびプログラム
US10572124B2 (en) * 2013-05-20 2020-02-25 Citrix Systems, Inc. Bound based contextual zoom
TWI493433B (zh) * 2013-08-28 2015-07-21 Acer Inc 被遮蔽畫面投影方法及應用該方法之可攜式電子裝置
US20150067489A1 (en) * 2013-09-04 2015-03-05 Evernote Corporation Zoomable pages for continuous digital writing
KR102212210B1 (ko) * 2013-10-04 2021-02-05 삼성전자주식회사 필기 정보를 공유 및 표시하는 방법 및 장치
US20150098653A1 (en) * 2013-10-07 2015-04-09 Kabushiki Kaisha Toshiba Method, electronic device and storage medium
CN105335085A (zh) * 2014-08-11 2016-02-17 富泰华工业(深圳)有限公司 用户界面操作方法
US9508166B2 (en) * 2014-09-15 2016-11-29 Microsoft Technology Licensing, Llc Smoothing and GPU-enabled rendering of digital ink
CN104484856A (zh) * 2014-11-21 2015-04-01 广东威创视讯科技股份有限公司 一种图片标注显示控制方法及处理器
CN111857332A (zh) * 2015-02-12 2020-10-30 北京三星通信技术研究有限公司 获取笔记信息的方法和装置
US11157166B2 (en) * 2015-11-20 2021-10-26 Felt, Inc. Automove smart transcription
KR102526860B1 (ko) * 2016-03-18 2023-05-02 삼성전자주식회사 전자 장치 및 전자 장치 제어 방법
KR102520398B1 (ko) * 2016-05-18 2023-04-12 삼성전자주식회사 사용자 데이터를 저장하는 전자 장치 및 그 방법
JP7325325B2 (ja) * 2016-10-07 2023-08-14 コーニンクレッカ フィリップス エヌ ヴェ コンテキスト依存拡大鏡
EP3552151A1 (en) * 2016-12-08 2019-10-16 Koninklijke Philips N.V. Learning annotation of objects in image
US10481791B2 (en) 2017-06-07 2019-11-19 Microsoft Technology Licensing, Llc Magnified input panels
US10417310B2 (en) * 2017-06-09 2019-09-17 Microsoft Technology Licensing, Llc Content inker
US10482170B2 (en) * 2017-10-17 2019-11-19 Hrb Innovations, Inc. User interface for contextual document recognition
CN113254815B (zh) * 2020-02-08 2023-11-10 钉钉控股(开曼)有限公司 文档处理、页面处理方法及设备
US11336946B1 (en) 2020-08-19 2022-05-17 Amazon Technologies, Inc. Presenting options for selecting content via navigation bars and designated content spaces
US11650720B2 (en) 2020-10-06 2023-05-16 International Business Machines Corporation Dynamically adjusting zoom settings by a server in multiple user environments
WO2023108475A1 (en) 2021-12-15 2023-06-22 Citrix Systems, Inc. Application hotspot on endpoint device

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0689367A (ja) * 1992-09-07 1994-03-29 Hitachi Ltd 手書き情報処理装置
JP3268029B2 (ja) * 1992-10-12 2002-03-25 シャープ株式会社 手書き入力装置
US5559942A (en) * 1993-05-10 1996-09-24 Apple Computer, Inc. Method and apparatus for providing a note for an application program
MX9602952A (es) * 1994-01-27 1997-06-28 Minnesota Mining & Mfg Notas de software.
US5778403A (en) 1994-09-01 1998-07-07 Microsoft Corporation Method for displaying text on a rendering device to accurately represent the text as if displayed on a target device
US5768607A (en) * 1994-09-30 1998-06-16 Intel Corporation Method and apparatus for freehand annotation and drawings incorporating sound and for compressing and synchronizing sound
US5940077A (en) 1996-03-29 1999-08-17 International Business Machines Corporation Method, memory and apparatus for automatically resizing a window while continuing to display information therein
JP3283760B2 (ja) * 1996-05-13 2002-05-20 日本電気株式会社 手書き入力装置
JPH10240220A (ja) * 1997-03-03 1998-09-11 Toshiba Corp 注釈表示機能を持つ情報処理機器
US5939877A (en) * 1997-05-27 1999-08-17 Hewlett-Packard Company Graphical system and method for automatically scaling waveforms in a signal measurement system
US6584479B2 (en) * 1998-06-17 2003-06-24 Xerox Corporation Overlay presentation of textual and graphical annotations
US6625296B2 (en) * 1998-11-03 2003-09-23 Fuji Xerox Co., Ltd. Method and system for freeform digital ink annotation of data traces
US6762777B2 (en) * 1998-12-31 2004-07-13 International Business Machines Corporation System and method for associating popup windows with selective regions of a document
US6552719B2 (en) 1999-01-07 2003-04-22 Microsoft Corporation System and method for automatically switching between writing and text input modes
US6326957B1 (en) 1999-01-29 2001-12-04 International Business Machines Corporation System and method for displaying page information in a personal digital notepad
US6256009B1 (en) 1999-02-24 2001-07-03 Microsoft Corporation Method for automatically and intelligently scrolling handwritten input
US20010040551A1 (en) * 1999-07-29 2001-11-15 Interlink Electronics, Inc. Hand-held remote computer input peripheral with touch pad used for cursor control and text entry on a separate display
JP2001042992A (ja) 1999-07-30 2001-02-16 Sharp Corp 手書き文字処理装置および方法
AU781901B2 (en) * 2000-03-31 2005-06-23 International Business Machines Corporation Aggregation of content as a personalized document
US20020116420A1 (en) * 2000-09-28 2002-08-22 Allam Scott Gerald Method and apparatus for displaying and viewing electronic information
US7015910B2 (en) * 2000-12-21 2006-03-21 Xerox Corporation Methods, systems, and computer program products for the display and operation of virtual three-dimensional books
JP2003050653A (ja) * 2001-07-18 2003-02-21 Internatl Business Mach Corp <Ibm> 入力イベントの発生方法及びその方法を備える情報端末
US6900819B2 (en) * 2001-09-14 2005-05-31 Fuji Xerox Co., Ltd. Systems and methods for automatic emphasis of freeform annotations
US8166388B2 (en) * 2002-05-14 2012-04-24 Microsoft Corporation Overlaying electronic ink
US20030214531A1 (en) * 2002-05-14 2003-11-20 Microsoft Corporation Ink input mechanisms

Also Published As

Publication number Publication date
EP1564632A2 (en) 2005-08-17
JP2005243015A (ja) 2005-09-08
KR20060041817A (ko) 2006-05-12
CN100538608C (zh) 2009-09-09
EP1564632B1 (en) 2017-12-20
US20050177783A1 (en) 2005-08-11
EP1564632A3 (en) 2013-04-03
CN1658137A (zh) 2005-08-24
US7551187B2 (en) 2009-06-23
KR101037266B1 (ko) 2011-05-26

Similar Documents

Publication Publication Date Title
JP4783030B2 (ja) デジタルインキングとともに動的デジタルズーミングインターフェイスを使用するシステムおよび方法
US7302650B1 (en) Intuitive tools for manipulating objects in a display
US7106312B2 (en) Text input window with auto-growth
US20050015731A1 (en) Handling data across different portions or regions of a desktop
RU2371753C2 (ru) Автоматическая регулировка высоты для электронных перьев и координатно-указательных устройств типа &#34;мышь&#34;, служащих для выделения информации на экране дисплея
US9619435B2 (en) Methods and apparatus for modifying typographic attributes
JP7046806B2 (ja) ジェスチャを用いたノートテイキングのための装置および方法
US8446377B2 (en) Dual screen portable touch sensitive computing system
US8443298B2 (en) Method and apparatus for repositioning a horizontally or vertically maximized display window
US7259752B1 (en) Method and system for editing electronic ink
US8555186B2 (en) Interactive thumbnails for transferring content among electronic documents
KR102381801B1 (ko) 핸드라이팅 입력을 가이드하는 시스템 및 방법
US7028256B2 (en) Adding white space to a document generating adjusted page sizing
US20020097270A1 (en) Selection handles in editing electronic documents
US20020059350A1 (en) Insertion point bungee space tool
JP2003303047A (ja) 画像入力及び表示システム、ユーザインタフェースの利用方法並びにコンピュータで使用可能な媒体を含む製品
US9727547B2 (en) Media interface tools and animations
EP2661671B1 (en) Multi-touch integrated desktop environment
US20130205201A1 (en) Touch Control Presentation System and the Method thereof
TW201502959A (zh) 強化的畫布環境
KR20190115401A (ko) 링크 뷰 방법, 링크 뷰 장치 및 링크 뷰 프로그램

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110307

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110705

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110708

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140715

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4783030

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees