JP7508446B2 - インクアノテーション共有方法及びシステム - Google Patents

インクアノテーション共有方法及びシステム Download PDF

Info

Publication number
JP7508446B2
JP7508446B2 JP2021514812A JP2021514812A JP7508446B2 JP 7508446 B2 JP7508446 B2 JP 7508446B2 JP 2021514812 A JP2021514812 A JP 2021514812A JP 2021514812 A JP2021514812 A JP 2021514812A JP 7508446 B2 JP7508446 B2 JP 7508446B2
Authority
JP
Japan
Prior art keywords
annotation
terminal
user
ink
book
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021514812A
Other languages
English (en)
Other versions
JPWO2020213277A1 (ja
Inventor
信孝 井出
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wacom Co Ltd
Original Assignee
Wacom Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wacom Co Ltd filed Critical Wacom Co Ltd
Publication of JPWO2020213277A1 publication Critical patent/JPWO2020213277A1/ja
Priority to JP2024098896A priority Critical patent/JP2024111163A/ja
Application granted granted Critical
Publication of JP7508446B2 publication Critical patent/JP7508446B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483Interaction with page-structured environments, e.g. book metaphor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545Pens or stylus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/166Editing, e.g. inserting or deleting
    • G06F40/169Annotation, e.g. comment data or footnotes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/166Editing, e.g. inserting or deleting
    • G06F40/171Editing, e.g. inserting or deleting by use of digital ink
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00Specific applications
    • G09G2380/14Electronic books and readers

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、電子書籍に対して施されたアノテーション、特にペンを用いて入力されたインクアノテーションを共有する方法及びシステムに関する。
電子ペンから生成されるデジタルインクは、従来のペンが紙の上に筆跡を残すように、電子ペンの軌跡を再現するために用いられるデータである。デジタルインクとして、特許文献1には、コンピュータ内部のデータモデルとしてオブジェクト指向に基づくデジタルインクの例が、特許文献2にはデジタルインクのシリアライズフォーマットの例がそれぞれ開示されている。
さらに、デジタルインクに、単なる筆跡を再現するためのデータという枠を超え、人間の行動の軌跡として「いつ、誰が、どこで、どんな状況で」書いたのかを記録可能としたデジタルインクデータが知られている。例えば、特許文献3には、デジタルインクとして、軌跡を示すストロークデータを誰が書いたのかを特定可能にするデジタルインクが、特許文献4には、ストロークデータを入力した際のコンテキストデータとして、著者、ペンID、時刻情報、GPS(Global Positioning System)で取得された地域情報、などの情報を取得し、それらをメタデータとして記録可能にするデジタルインクが開示されている。
ところで、電子書籍に含まれるテキストの一部分の箇所にハイライトを付したり、ハイライトの箇所に関連付けてテキストを付したりする、アノテーションを付することのできる電子書籍端末が知られている。特許文献1には、電子書籍に付されたハイライトやテキストなどのアノテーションをブックグループのメンバ間で共有するシステムが開示されている。
米国特許第07158675号明細書 米国特許第07397949号明細書 特許第5886487号公報 米国特許第09251130号明細書
テキストにより入力されたアノテーションではなく、ペンで手書きをすることで施されるアノテーション(以下、「インクアノテーション」ともいう)の場合、そのインクアノテーション自体にそれなりの創作的価値がある。つまり、インクアノテーションを電子書籍の管理システムと分離し、電子書籍の供給元が異なるユーザあるいは電子書籍を所持しないユーザにも共有可能とすることが望ましい。
また、電子書籍は、端末の表示解像度やフォントサイズなどの表示設定に応じて異なった段組みで表示がされる。このような表示設定の違う電子書籍端末間であっても、アノテーションがハイライトであればハイライトがペンにより手書きされたことを認識可能な態様でインクアノテーションを共有できることが望ましい。また、電子書籍の端末の表示設定やペン対応の種別に関わらず、アノテーションが手書きされた絵(つまり、ストロークデータ)であればその著作物が認識可能な態様でインクアノテーションを共有できることが望ましい。
第1の本発明におけるインクアノテーション共有方法は、システムで実行される方法であって、前記システムは、第1のユーザが操作する第1の端末と、第2のユーザが操作する第2の端末と、インクアノテーションの共有システムと、を含み構成され、前記インクアノテーションは、電子書籍に対するアノテーションを示すストロークデータ群と、前記ストロークデータ群に対応するメタデータと、を含み、前記メタデータは、ユーザを特定するユーザ識別子と、電子書籍を特定する書籍識別子と、前記アノテーションの箇所を示す箇所データを含み、前記第1の端末が、第1のユーザの操作により生成された前記インクアノテーションを前記共有システムに送信する送信ステップを実行し、前記共有システムが、前記インクアノテーションに含まれる前記ユーザ識別子及び前記書籍識別子の値に基づいて、前記第1のユーザが構成する前記電子書籍に関するグループのメンバである第2のユーザを特定する特定ステップ、及び前記第2のユーザが操作する前記第2の端末に対して、前記インクアノテーションを供給する供給ステップを実行する。
第2の本発明におけるシステムは、第1のユーザが操作する第1の端末と、第2のユーザが操作する第2の端末と、インクアノテーションの共有システムと、を含み構成され、前記インクアノテーションは、電子書籍に対するアノテーションを示すストロークデータ群と、前記ストロークデータ群に対応するメタデータと、を含み、前記メタデータは、ユーザを特定するユーザ識別子と、電子書籍を特定する書籍識別子と、前記アノテーションの箇所を示す箇所データを含み、前記第1の端末が、第1のユーザの操作により生成された前記インクアノテーションを前記共有システムに送信する送信ステップを実行し、前記共有システムが、前記インクアノテーションに含まれる前記ユーザ識別子及び前記書籍識別子の値に基づいて、前記第1のユーザが構成する前記電子書籍に関するグループのメンバである第2のユーザを特定する特定ステップ、及び前記第2のユーザが操作する前記第2の端末に対して、前記インクアノテーションを供給する供給ステップを実行する。
第3の本発明におけるインクアノテーション共有方法は、電子書籍端末を用いて入力されたインクアノテーションを共有する方法であって、前記電子書籍端末は、電子書籍を表示可能な表示装置と、指を検出するタッチセンサと、ペンを検出するペンセンサと、前記タッチセンサ及び前記ペンセンサにそれぞれ接続される集積回路と、を含み構成され、前記集積回路が、前記表示装置を用いて前記電子書籍の一部分であるテキストを表示する表示ステップと、前記タッチセンサ及び前記ペンセンサを用いて、前記テキストに対するアノテーションの箇所を特定する操作を検出する検出ステップと、前記タッチセンサ又は前記ペンセンサのうちのいずれのセンサが前記操作を検出したかについて判定を行う判定ステップと、前記アノテーションの箇所を示す箇所データを、前記判定の結果を識別可能な態様で出力する出力ステップと、を実行する。
第4の本発明におけるシステムは、電子書籍端末を用いたシステムであって、前記電子書籍端末は、電子書籍を表示可能な表示装置と、指を検出するタッチセンサと、ペンを検出するペンセンサと、前記タッチセンサ及び前記ペンセンサにそれぞれ接続される集積回路と、を含み構成され、前記集積回路が、前記表示装置を用いて前記電子書籍の一部分であるテキストを表示する表示ステップと、前記タッチセンサ及び前記ペンセンサを用いて、前記テキストに対するアノテーションの箇所を特定する操作を検出する検出ステップと、前記タッチセンサ又は前記ペンセンサのうちのいずれのセンサが前記操作を検出したかについて判定を行う判定ステップと、前記アノテーションの箇所を示す箇所データを、前記判定の結果を識別可能な態様で出力する出力ステップと、を実行する。
第1及び第2の本発明によれば、複数の異なる電子書籍の供給元であっても同じ電子書籍のタイトルを購入した人同士で手書きされたインクアノテーションを共有すること、あるいは、電子書籍を購入していないユーザにも芸術性のある手書き図形を含むインクアノテーションを共有することができる。
第3及び第4の本発明によれば、アノテーション箇所を特定する操作がペンによる場合に、アノテーションの共有を受けた人が、ハイライト指定などのアノテーションが手書きペンで入力されたものであることを判別することができる。
インクアノテーションを共有するシステム概要図である。 電子書籍端末の動作に関するフローチャートである。 電子書籍端末及び端末におけるアノテーションの表示状態を示す図である。 電子書籍端末及び端末におけるアノテーションの表示状態を示す図である。 電子書籍端及び端末のアノテーションの表示状態を示す図である。 電子書籍端及び端末のアノテーションの表示状態を示す図である。 インクアノテーションの供給に係るUI部品を示す図である。 デジタルインクのフォーマットに従ったインクアノテーションのデータ構造図である。 共有システムで実行されるインクアノテーションの共有方法に関するフローチャートである。 インクアノテーションの表示方法に関するフローチャートである。 図8のフローチャートを通じて端末に表示されるインクアノテーションを示す図である。 第1及び第2の描画イフェクトの一例を示す図である。
本発明におけるインクアノテーション共有方法及びシステムについて、添付の図面を参照しながら説明する。説明の理解を容易にするため、各図面において同一の構成要素及びステップに対して可能な限り同一の符号を付するとともに、重複する説明を省略する場合がある。なお、本発明は、以下に示す実施形態に限定されるものではなく、この発明の主旨を逸脱しない範囲で自由に変更できることは勿論である。あるいは、技術的に矛盾が生じない範囲で各々の構成を任意に組み合わせてもよい。
<実施形態の説明>
図1は、インクアノテーションを共有するシステム概要図である。このシステムは、第1の端末(以下、「電子書籍端末101」ともいう)と、第2の端末(以下、単に「端末201,202」ともいう)と、インクアノテーションの共有システム300と、を含み構成される。
電子書籍端末101は、図示しない表示装置、指を検出するタッチセンサ、ペンを検出するペンセンサ及びこれらを制御する集積回路を含み構成される。この電子書籍端末101は、第1の電子書籍サービス100に加入する第1のユーザu1によって操作される。
端末201は、上記した表示装置、タッチセンサ及び集積回路を含み構成される一方、ペンセンサを有していない。この端末201は、第2の電子書籍サービス200に加入する第2のユーザu2によって操作される。また、端末201は、電子書籍端末101とは表示設定が異なっている。この「表示設定」には、例えば、表示解像度、表示領域(フォントの大きさ、段組みなど)が含まれる。
端末202は、電子書籍に特化していない汎用的な表示端末、例えばスマートフォンである。この端末202は、電子書籍を所有するユーザu1,u2とは別の第3のユーザu3によって操作される。ユーザu3は、インクアノテーションの共有システム300が提供するサービスにおいてグループ(g1)のメンバであるが、電子書籍を所有していない。
共有システム300は、ネットワーク上で分散あるいは集合して構築されるコンピュータにより実現されるシステムである。この共有システム300は、後述する図7で示すインクアノテーション共有方法を実行し、第1のユーザu1が電子書籍(e-Book#1)に対して行った手書きアノテーションAを、その電子書籍について第1のユーザu1が属するグループのメンバである第2のユーザu2又は第3のユーザu3に共有する。すなわち、グループは、電子書籍とユーザとの組により構成され、電子書籍の供給元から独立したインクアノテーション供給サービスを運営するシステムにより管理されている。
図2は、電子書籍端末101の動作に関するフローチャートである。
ステップS201において、電子書籍端末101は、書籍識別子BIDの値が「b1」である電子書籍を取得する。書籍識別子BIDは、例えば、ISBN (International Standard Book Number)である。
ステップS203において、電子書籍端末101は、電子書籍e-Book#1の所定の表示位置(ユーザの閲覧位置)に応じて、表示設定に従って表示テキストdtを表示する。図3A及び図4Aには、電子書籍端末101で表示される表示テキストdtの一例が示されている。
ステップS205において、電子書籍端末101は、表示テキストdtに対して、アノテーションを施す操作Sが行われたか否かを判定する。アノテーションを施す操作Sが検出された場合(S205がYES)、ステップS207において、電子書籍端末101は、アノテーションが施された箇所Pを示す箇所データを生成する。箇所Pの特定方法は様々であるが、電子書籍が所定の書籍フォーマットに従ったXML(eXtensible Markup Language)構造を有する場合、電子書籍全体の中で、該当する箇所Pを示す段落位置に対応する値を有するタグの位置で章や節を把握し、その節のうち開始文字と終了文字位置を特定する方法が用いられてもよい。また、ページ番号等が固定されて流通されている場合は、ページ番号やそのページ内における座標により箇所Pを特定する方法が用いられてもよい。
ステップS209において、電子書籍端末101は、箇所Pを特定する操作Sが、ペンセンサにより実行されたか否かを判定する。操作Sがタッチセンサなどによる場合には、電子書籍端末101は、操作識別データSTに「non-pen(非手書き)」をセットする(ステップS211)。逆に、操作Sがペンセンサによる場合には、電子書籍端末101は、操作識別データSTに「pen(手書き又はインク)」をセットする(ステップS213)。
図3A、図3B、及び図10(E1の段)は、操作Sがペンセンサではないセンサ(例えば、タッチセンサ)により実行された場合、電子書籍端末101及び端末201の表示状態を示している。図3Aは、例として指によりアノテーションの箇所Pとして「DEF…UVW」を特定した状態を示している。指はペンに比してパネルに接触する面積や径が大きいため、テキストを構成する各文字の細かい位置を指定することは難しい。そこで、電子書籍端末101は、特定された位置に図に示すように、テキスト文字の配列方向(図10の矢印d方向)に沿った、いわば人間らしさの感じにくい、線分を用いてハイライト(あるいは下線)による第1の描画イフェクトE1を施してアノテーションA1を行う。
これに対して、図4A、図4B、及び図10(E2の段)は、操作Sがペンセンサにより実行された場合、電子書籍端末101及び端末201のそれぞれの表示状態を示している。ペンは指に比して径が小さいため、文字の細かい位置を指定することができる。例えば、文字に対して下線、囲み線、二重線を引くなどの細かい操作をすることができる。図4Aに示すように、電子書籍端末101の側では、ペンで特定された位置に、テキスト方向に沿って、ハイライト、下線又は囲みによるアノテーションA1が施される。つまり、第1のユーザu1による操作Sに対して忠実にアノテーションA1が施される。ところが、図4Bに示すように、表示設定の異なる端末201の側では、電子書籍端末101における座標データ群をそのまま用いた場合、段組みの違いから、目論見とは異なる位置にハイライトによるアノテーションA1が施される。
そこで、ステップS213において、電子書籍端末101は、操作Sのために用いたペンの座標データ群は含めず、アノテーションの箇所Pとともに、その位置に手書きによるアノテーションが施されたものであること(pen)を操作識別データSTの値に設定してインクアノテーションIAを生成する。例えば、電子書籍端末101は、図5の「共有(SHARE)」部品503へのコンタクトなどをきっかけに、生成したインクアノテーションIAを送信する(ステップS217)。
なお、電子書籍端末101は、ステップS217の実行に先立ち、ステップS215として、手書き領域の起動条件を満たすか否かを判定してもよい。この判定は、ハイライトなどのアノテーションを施した箇所Pに、更なる手書きによるアノテーションデータを入力する要求を受け付けるためである。例えば、電子書籍端末101は、図5のUI部品50を表示し、特定した箇所Pをコピーや切り取りに用いる「選択(SELECT)」部品501や、さらに「手書きをする」かの入力を受け付けるUI部品502を起動してもよい。図5の右側は、第1のユーザu1が、UI部品50を用いて、「手書きをする」を選択した場合に、ステップS219にて電子書籍端末101が表示する手書き入力ウィンドウ504の例を示している。
図2に戻って、ステップS221において、電子書籍端末101は、この手書き入力ウィンドウ504で入力されたペン座標データ群sdを、アノテーションの箇所P及び操作識別データSTとともに出力する。ペン座標データ群sdは、ハイライトに用いたアノテーションA1とは異なり、段組みに関係がなく、この座標系内部の座標が意味を成すデータである。従って、アノテーションA1を施した箇所Pの特定操作とは異なり、今度はペン座標群そのもの(あるいはそれにより生成されたラスタデータ)を共有しておく必要があるためである。
繰り返しになるが、ステップS221においてもS217においても、アノテーションが施された箇所Pは送信されるが、この箇所Pを特定するためのペン操作時に取得されたペン座標群は含めないで出力する。これにより、インクアノテーションIAのデータ量を削減することが可能になる。
なお、この手書き入力ウィンドウ504が起動されている間に、手書き入力ウィンドウ504内に入力された座標データ群sdは、座標値をそのまま送信してもよいし、米国特許公開2016/0292500号明細書に開示されたような、デジタルインクのフォーマットに加工して送信してもよい。
図6は、デジタルインクのフォーマットに従ったインクアノテーションIAのデータ構造図である。デジタルインクは、ペンダウンからペンアップまでを一連とする摺動操作の軌跡を1つのストロークデータ(パスデータ)として表現し、それらの集合をストロークデータ群SDとして保持する。また、それらのストロークデータ群SDに対してメタデータMDを付与することが可能である。このメタデータMDには、アノテーションA2を手書き入力した著者が第1のユーザu1であることに加え、ユーザ識別子UID、書籍識別子BID、及び、箇所Pが含まれる。なお、手書き入力ウィンドウ504が開かれた場合には、手書きであることがデータから判別できるので、メタデータMDには操作識別データSTが含まれなくてもよい。
図7は、共有システム300で実行されるインクアノテーションIAの共有方法に関するフローチャートである。
ステップS701において、共有システム300は、第1のユーザu1が操作する電子書籍端末101から、デジタルインクで構成されたインクアノテーションIAを取得する。次に、ステップS703において、共有システム300は、インクアノテーションIAに含まれたユーザ識別子UID及び書籍識別子BIDの値に基づいて、図1の例であれば、電子書籍に関するグループのメンバである第2のユーザu2及び第3のユーザu3を特定する。最後に、ステップS705において、共有システム300は、各メンバが操作する端末201,202に対してインクアノテーションIAを供給する。
上記した動作により、複数の異なる電子書籍の供給元であっても同じ電子書籍のタイトルを購入した人同士で手書きされたインクアノテーションIAを共有すること、あるいは、電子書籍を購入していないユーザにも芸術性のある手書き図形を含むインクアノテーションIAを共有することができる。
図8は、インクアノテーションIAの表示方法に関するフローチャートである。図9は、図8のフローチャートを通じて端末201に表示されるインクアノテーションIAを示す図である。
ステップS801において、端末201は、電子書籍を取得する。ここでは、書籍識別子BIDの値「b1」に対応する「e-Book#1」を取得したとする。ステップS803において、端末201は、ユーザu2の読み込み位置に応じて表示テキストdtを表示する。表示設定の違いやユーザ毎の読了位置の違いから、第2のユーザu2の表示テキストdt2は、通常では、第1のユーザu1の表示テキストdt1と同じように表示されない(図4A及び図4B参照)。
ステップS805において、端末201は、インクアノテーションIAを取得する。ステップS807において、値が「non-pen」である操作識別データSTがインクアノテーションIAに含まれる場合、端末201は、箇所Pに対して第1の描画イフェクトE1でハイライトを行う(ステップS809)。図3A及び図3Bで説明した通り、この第1の描画イフェクトE1は、テキスト文字の配列方向(図10のd方向)に沿うように均一化された、ハイライト、下線又は囲みを施すことに相当する。
一方、ステップS807において、値が「pen」である操作識別データSTがインクアノテーションIAに含まれる場合、端末201は、箇所Pに対して第2の描画イフェクトE2でハイライトを行う(ステップS811)。図10に示すように、第2の描画イフェクトE2は、箇所Pに対応するテキスト部分に対して文字の配列方向(d方向) に完全には沿わないように、テキスト文字の配列方向(d方向)に対して90度より小さく斜めに交わる成分を少なくとも一部に有するランダムに非均一化された、ハイライトE21a, E21b、下線E22、又は囲み線E23を施すイフェクトである。
第2の描画イフェクトE2の不均一さは、例えば、人間がまっすぐに直線を引いた場合に生ずる震えや揺れを教師データ(学習用データ)として学習された学習済みモデルに従って生成されてもよい。また、間欠カオス法など疑似的に1/f揺らぎを実現する演算により、箇所Pの表示にあわせてもよい。この第2の描画イフェクトE2による表示により、段組みの異なる表示がされていてもハイライトによるアノテーションA1を付されるので、第2のユーザu2は、この箇所Pにペンによる手書き入力がされていることを容易に把握できる。
ステップS809において、端末201は、第2の描画イフェクトE2を施した箇所Pにて所定の操作Sがあるか否かを判定し、タッチなどの操作があった場合(S809のYES)、インクアノテーションIAに含まれるストロークデータ群SDが示す画像データを取得し、図9の右側に示すように、これをアノテーションA2として該当する箇所Pの周辺の位置に表示する(ステップS817)。
このように、アノテーションの箇所Pを特定する操作Sがペンによる場合に、アノテーションの共有を受けた人が、ハイライト指定などのアノテーションが手書きペンで入力されたものであることを判別することができる。なお、第2の描画イフェクトE2の不均一さとして、人間がまっすぐに直線を引いた場合に生ずる震えや揺らぎを再現することで、段組みやフォントが違うような表示がされていても、同一の箇所Pに対して人間らしい自然な、いわば「柔らかいUI」に基づいた、柔らかいアノテーション表示を行うことができる。
<実施形態のまとめ>
以上のように、図1のシステムは、第1のユーザu1が操作する電子書籍端末101(第1の端末)と、第2,第3のユーザu2,u3が操作する端末201,202(第2の端末)と、インクアノテーションIAの共有システム300と、を含み構成される。インクアノテーションIAは、電子書籍に対するアノテーションを示すストロークデータ群SDと、ストロークデータ群SDに対応するメタデータMDと、を含み、メタデータMDは、ユーザを特定するユーザ識別子UIDと、電子書籍を特定する書籍識別子BIDと、アノテーションの箇所Pを示す箇所データを含む。
そして、電子書籍端末101が、ユーザu1の操作により生成されたインクアノテーションIAを共有システム300に送信する送信ステップ(S701)を実行し、共有システム300が、インクアノテーションIAに含まれるユーザ識別子UID及び書籍識別子BIDの値に基づいて、ユーザu1が構成する電子書籍に関するグループのメンバ(ユーザu2,u3)を特定する特定ステップ(S703)、及びユーザu2,u3が操作する端末201,202に対して、インクアノテーションIAを供給する供給ステップ(S705)を実行する。
また、ユーザu2,u3は、第1のユーザu1とは電子書籍の取得先が異なるユーザ又は電子書籍を取得していないユーザであるが、共有システム300に登録されたグループのメンバであってもよい。また、書籍識別子BIDは、ISBNであってもよい。また、供給ステップ(S705)では、インクアノテーションIAをデジタルインクフォーマットに変換した状態で共有システム300に送信してもよい。
図1のシステムの一部を構成する電子書籍端末101は、電子書籍を表示可能な表示装置と、指を検出するタッチセンサと、ペンを検出するペンセンサと、タッチセンサ及びペンセンサにそれぞれ接続される集積回路と、を含み構成される。そして、集積回路が、表示装置を用いて電子書籍の一部分であるテキストdtを表示する表示ステップ(S203)と、タッチセンサ及びペンセンサを用いて、テキストdtに対するアノテーションの箇所Pを特定する操作Sを検出する検出ステップ(S205)と、タッチセンサ又はペンセンサのうちのいずれのセンサが操作Sを検出したかについて判定を行う判定ステップ(S209)と、アノテーションの箇所Pを示す箇所データを、判定の結果を識別可能な態様で出力する出力ステップ(S217,S221)を実行する。
また、出力ステップ(S217,S221)では、判定の結果を識別するための操作識別データSTを付加して箇所データを出力してもよい。また、アノテーションは、操作識別データSTが、タッチセンサが操作Sを検出したことを示す値である場合、第1の描画イフェクトE1を施して表示されるとともに、操作識別データSTが、ペンセンサが操作Sを検出したことを示す値である場合、第1の描画イフェクトE1とは異なる第2の描画イフェクトE2を施して表示されてもよい。また、第2の描画イフェクトE2は、箇所データに対応するアノテーションの箇所Pに、テキスト文字の配列方向(d方向)に直交する方向への揺らぎ成分を含むように非均一化された、ハイライト、下線又は囲み線を施すイフェクトであってもよい。また、非均一化は、人間による直線の手書きパターンに関する機械学習を通じて構築された学習済みモデルに従って揺らぎ成分を付与することで行われてもよい。
また、電子書籍端末101は、ペンセンサにより特定の操作Sを検出した場合、手書き入力が可能な手書き入力ウィンドウ504を起動する起動ステップ(S219)をさらに実行してもよい。また、インクアノテーションIAは、手書き入力ウィンドウ504内の手書き入力により施されたアノテーションを示すストロークデータ群SDと、ストロークデータ群SDに対応するメタデータMDと、を含み、メタデータMDは、箇所データと、操作識別データSTと、を含み、出力ステップ(S221)では、インクアノテーションIAをデジタルインクフォーマットに変換した状態で外部に送信してもよい。
<符号の説明>
101‥電子書籍端末(第1の端末)、201,202‥端末(第2の端末)、300‥共有システム、A1,A2‥アノテーション、E1‥第1の描画イフェクト、E2‥第2の描画イフェクト、IA‥インクアノテーション

Claims (11)

  1. システムで実行されるインクアノテーション共有方法であって、
    前記システムは、第1のユーザが操作する第1の端末と、第2のユーザが操作する第2の端末と、インクアノテーションの共有システムと、を含み構成され、
    前記インクアノテーションは、電子書籍に対するアノテーションを示すストロークデータ群と、前記ストロークデータ群に対応するメタデータと、を含み、
    前記メタデータは、ユーザを特定するユーザ識別子と、電子書籍を特定する書籍識別子と、前記アノテーションの箇所を示す箇所データを含み、
    前記第1の端末が、第1のユーザの操作により生成された前記インクアノテーションを前記共有システムに送信する送信ステップを実行し、
    前記第1の端末と前記第2の端末とは、表示解像度、表示領域、フォントサイズ又は段組みを含む表示設定が異なり、
    前記共有システムが、
    前記インクアノテーションに含まれる前記ユーザ識別子及び前記書籍識別子の値に基づいて、前記第1のユーザが構成する前記電子書籍に関するグループのメンバである第2のユーザを特定する特定ステップ、及び
    前記第2のユーザが操作する前記第2の端末に対して、前記第1の端末の前記表示設定とは異なる前記第2の端末の前記表示設定に従って前記インクアノテーションを供給する供給ステップ、
    を実行し、
    前記第2のユーザが、前記電子書籍を取得していないユーザであるが、前記共有システムに登録されたグループのメンバである場合、
    前記供給ステップでは、前記第2の端末が前記電子書籍を取得していないにもかかわらず、前記第2の端末に対して前記インクアノテーションを供給するインクアノテーション共有方法。
  2. 前記書籍識別子は、ISBN(International Standard Book Number)である、
    請求項1に記載のインクアノテーション共有方法。
  3. 前記供給ステップでは、前記インクアノテーションをデジタルインクフォーマットに変換した状態で前記共有システムに送信する、
    請求項1に記載のインクアノテーション共有方法。
  4. 前記第1の端末は、前記電子書籍を表示可能な表示装置と、指を検出するタッチセンサと、ペンを検出するペンセンサと、前記タッチセンサ及び前記ペンセンサにそれぞれ接続される集積回路と、を含み構成され、
    前記集積回路が、
    前記表示装置を用いて前記電子書籍の一部分であるテキストを表示する表示ステップと、
    前記タッチセンサ及び前記ペンセンサを用いて、前記テキストに対するアノテーションの箇所を特定する操作を検出する検出ステップと、
    前記タッチセンサ又は前記ペンセンサのうちのいずれのセンサが前記操作を検出したかについて判定を行う判定ステップと、
    前記アノテーションの箇所を示す箇所データを、前記判定の結果を識別するための操作識別データとともに出力する出力ステップと、
    を実行す
    請求項1に記載のインクアノテーション共有方法。
  5. 前記アノテーションは、
    前記操作識別データが、前記タッチセンサが前記操作を検出したことを示す値である場合、第1の描画イフェクトを施して表示されるとともに、
    前記操作識別データが、前記ペンセンサが前記操作を検出したことを示す値である場合、前記第1の描画イフェクトとは異なる第2の描画イフェクトを施して表示される、
    請求項記載のインクアノテーション共有方法。
  6. 前記第2の描画イフェクトは、前記箇所データに対応する前記アノテーションの箇所に、テキスト文字の配列方向に直交する方向への揺らぎ成分を含むように非均一化された、ハイライト、下線又は囲み線を施すイフェクトである、
    請求項に記載のインクアノテーション共有方法。
  7. 前記非均一化は、人間による直線の手書きパターンに関する機械学習を通じて構築された学習済みモデルに従って前記揺らぎ成分を付与することで行われる、
    請求項に記載のインクアノテーション共有方法。
  8. 前記第1の端末は、前記ペンセンサにより特定の操作を検出した場合、手書き入力が可能なウィンドウを起動する起動ステップをさらに実行する、
    請求項に記載のインクアノテーション共有方法。
  9. 前記インクアノテーションは、前記ウィンドウ内の手書き入力により施された前記アノテーションを示すストロークデータ群と、前記ストロークデータ群に対応するメタデータと、を含み、
    前記メタデータは、前記箇所データと、前記操作識別データと、を含み、
    前記出力ステップでは、前記インクアノテーションをデジタルインクフォーマットに変換した状態で外部に送信する、
    請求項に記載のインクアノテーション共有方法。
  10. 第1のユーザが操作する第1の端末と、第2のユーザが操作する第2の端末と、インクアノテーションの共有システムと、を含み構成され、
    前記インクアノテーションは、電子書籍に対するアノテーションを示すストロークデータ群と、前記ストロークデータ群に対応するメタデータと、を含み、
    前記メタデータは、ユーザを特定するユーザ識別子と、電子書籍を特定する書籍識別子と、前記アノテーションの箇所を示す箇所データを含み、
    前記第1の端末が、第1のユーザの操作により生成された前記インクアノテーションを前記共有システムに送信する送信ステップを実行し、
    前記第1の端末と前記第2の端末とは、表示解像度、表示領域、フォントサイズ又は段組みを含む表示設定が異なり、
    前記共有システムが、
    前記インクアノテーションに含まれる前記ユーザ識別子及び前記書籍識別子の値に基づいて、前記第1のユーザが構成する前記電子書籍に関するグループのメンバである第2のユーザを特定する特定ステップ、及び
    前記第2のユーザが操作する前記第2の端末に対して、前記第1の端末の前記表示設定とは異なる前記第2の端末の前記表示設定に従って前記インクアノテーションを供給する供給ステップ、
    を実行し、
    前記第2のユーザが、前記電子書籍を取得していないユーザであるが、前記共有システムに登録されたグループのメンバである場合、
    前記供給ステップでは、前記第2の端末が前記電子書籍を取得していないにもかかわらず、前記第2の端末に対して前記インクアノテーションを供給するシステム。
  11. 前記第1の端末は、前記電子書籍を表示可能な表示装置と、指を検出するタッチセンサと、ペンを検出するペンセンサと、前記タッチセンサ及び前記ペンセンサにそれぞれ接続される集積回路と、を含み構成され、
    前記集積回路が、
    前記表示装置を用いて前記電子書籍の一部分であるテキストを表示する表示ステップと、
    前記タッチセンサ及び前記ペンセンサを用いて、前記テキストに対するアノテーションの箇所を特定する操作を検出する検出ステップと、
    前記タッチセンサ又は前記ペンセンサのうちのいずれのセンサが前記操作を検出したかについて判定を行う判定ステップと、
    前記アノテーションの箇所を示す箇所データを、前記判定の結果を識別するための操作識別データとともに出力する出力ステップと、
    を実行する、請求項10に記載のシステム。
JP2021514812A 2019-04-17 2020-03-04 インクアノテーション共有方法及びシステム Active JP7508446B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2024098896A JP2024111163A (ja) 2019-04-17 2024-06-19 インクアノテーション表示方法及び表示端末

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962835118P 2019-04-17 2019-04-17
US62/835,118 2019-04-17
PCT/JP2020/009050 WO2020213277A1 (ja) 2019-04-17 2020-03-04 インクアノテーション共有方法及びシステム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2024098896A Division JP2024111163A (ja) 2019-04-17 2024-06-19 インクアノテーション表示方法及び表示端末

Publications (2)

Publication Number Publication Date
JPWO2020213277A1 JPWO2020213277A1 (ja) 2020-10-22
JP7508446B2 true JP7508446B2 (ja) 2024-07-01

Family

ID=72838264

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021514812A Active JP7508446B2 (ja) 2019-04-17 2020-03-04 インクアノテーション共有方法及びシステム
JP2024098896A Pending JP2024111163A (ja) 2019-04-17 2024-06-19 インクアノテーション表示方法及び表示端末

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2024098896A Pending JP2024111163A (ja) 2019-04-17 2024-06-19 インクアノテーション表示方法及び表示端末

Country Status (3)

Country Link
US (2) US11775147B2 (ja)
JP (2) JP7508446B2 (ja)
WO (1) WO2020213277A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116247766A (zh) * 2021-03-15 2023-06-09 荣耀终端有限公司 无线充电系统、芯片和无线充电电路
US20220391055A1 (en) * 2021-05-28 2022-12-08 Ricoh Company, Ltd. Display apparatus, display system, and display method
CN114489910B (zh) * 2022-02-10 2024-05-17 北京字跳网络技术有限公司 一种视频会议数据显示方法、装置、设备及介质
WO2024159370A1 (zh) * 2023-01-30 2024-08-08 广州视臻信息科技有限公司 快捷书写方法、交互平板及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000029909A (ja) 1998-06-15 2000-01-28 Fuji Xerox Co Ltd フリ―フォ―ムインクからアドホックリンクを生成する方法及びシステム
JP2003058137A (ja) 2001-08-10 2003-02-28 Sharp Corp 画面表示方向反転機能付き情報処理装置
JP2004151899A (ja) 2002-10-29 2004-05-27 Fuji Xerox Co Ltd 情報提供方法、情報提供処理システム、プログラム
JP2013222324A (ja) 2012-04-17 2013-10-28 Ricoh Co Ltd 情報共有装置、情報共有システム、描画処理方法及びプログラム
JP2014081800A (ja) 2012-10-17 2014-05-08 Konica Minolta Inc 手書き入力装置及び機能制御プログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7337389B1 (en) * 1999-12-07 2008-02-26 Microsoft Corporation System and method for annotating an electronic document independently of its content
US7397949B2 (en) 2000-06-21 2008-07-08 Microsoft Corporation Serial storage of ink and its properties
US7158675B2 (en) 2002-05-14 2007-01-02 Microsoft Corporation Interfacing with ink
US9251130B1 (en) * 2011-03-31 2016-02-02 Amazon Technologies, Inc. Tagging annotations of electronic books
TWI464667B (zh) * 2012-05-23 2014-12-11 Wistron Corp 電子書之筆記共享方法及電子閱讀裝置、電腦可讀取媒體
US10218652B2 (en) * 2014-08-08 2019-02-26 Mastercard International Incorporated Systems and methods for integrating a chat function into an e-reader application
US20160048318A1 (en) * 2014-08-15 2016-02-18 Microsoft Technology Licensing, Llc Detecting selection of digital ink
CN107077243B (zh) 2015-03-31 2021-05-11 株式会社和冠 墨水文件的输出方法、输出装置以及存储装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000029909A (ja) 1998-06-15 2000-01-28 Fuji Xerox Co Ltd フリ―フォ―ムインクからアドホックリンクを生成する方法及びシステム
JP2003058137A (ja) 2001-08-10 2003-02-28 Sharp Corp 画面表示方向反転機能付き情報処理装置
JP2004151899A (ja) 2002-10-29 2004-05-27 Fuji Xerox Co Ltd 情報提供方法、情報提供処理システム、プログラム
JP2013222324A (ja) 2012-04-17 2013-10-28 Ricoh Co Ltd 情報共有装置、情報共有システム、描画処理方法及びプログラム
JP2014081800A (ja) 2012-10-17 2014-05-08 Konica Minolta Inc 手書き入力装置及び機能制御プログラム

Also Published As

Publication number Publication date
US11775147B2 (en) 2023-10-03
WO2020213277A1 (ja) 2020-10-22
US20220027026A1 (en) 2022-01-27
JP2024111163A (ja) 2024-08-16
JPWO2020213277A1 (ja) 2020-10-22
US20230409171A1 (en) 2023-12-21

Similar Documents

Publication Publication Date Title
JP7508446B2 (ja) インクアノテーション共有方法及びシステム
Wolfe Annotation technologies: A software and research review
KR102257248B1 (ko) 텍스트 표현 변환을 위한 잉크
RU2627108C2 (ru) Установление направления навигации по контенту на основе направленных пользовательских жестов
CN1864155B (zh) 带自增长的文本输入窗
CN100507839C (zh) 用于在起始模板和目标模板之间映射内容的方法和系统
US9285903B1 (en) Stylus and electronic display
CN107272999A (zh) 提供上下文菜单的方法、设备和计算机可读存储介质
Liao et al. Pen-top feedback for paper-based interfaces
Babenko et al. MarkHub Cloud Online Editor as a modern web-based book creation tool
US9141867B1 (en) Determining word segment boundaries
US7519901B2 (en) Methods and systems for selecting objects by grouping annotations on the objects
Kruse et al. Digital writing technologies in higher education: theory, research, and practice
US10437464B2 (en) Content filtering system for touchscreen devices
Jembu Rajkumar et al. Improving PDF accessibility tools for content developers: looking towards the future
CN111475156B (zh) 页面代码生成方法和装置、电子设备和存储介质
US10168890B2 (en) Document content reordering for assistive technologies by connecting traced paths through the content
KR20180137369A (ko) 이북 및 워드 문서의 요약노트 작성 방법과 이를 이용한 암기학습 시스템 및 방법
JP4963633B2 (ja) 情報処理装置及び情報処理方法
KR101891754B1 (ko) 학습 애플리케이션 제공 단말, 단말의 학습 애플리케이션 제공 방법 및 학습 콘텐츠 제공 서버
Lambert Microsoft Word step by step (Office 2021 and Microsoft 365)
JP5785989B2 (ja) 画像形成システム、画像形成装置、および表示装置
KR20130016625A (ko) 전자책 환경에서 문단을 선택하기 위한 방법 및 시스템
US20240126978A1 (en) Determining attributes for elements of displayable content and adding them to an accessibility tree
JP2002278874A (ja) 電子伝言板システムおよび伝言板プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230301

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231219

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240219

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240326

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240508

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240521

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240619

R150 Certificate of patent or registration of utility model

Ref document number: 7508446

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150