JP2023505411A

JP2023505411A - ウェブブラウザ内でドキュメントのアノテーションを作成、整理、表示、および接続するための方法、コンピュータ可読媒体、およびシステム

Info

Publication number: JP2023505411A
Application number: JP2022526392A
Authority: JP
Inventors: ピナマネニ・スニル; スファキアナキス・ロナ
Original assignee: Individual
Current assignee: Individual
Priority date: 2019-11-10
Filing date: 2020-11-09
Publication date: 2023-02-09
Also published as: US11681859B2; US20240119217A1; US20210141991A1; US11886791B2; WO2021092592A2; WO2021092592A3; US20220207230A1; CN115087984A; US20220207231A1; EP4055496A2; US20220129615A1; IL292851A; CA3156976A1; US20220129616A1; US20220222417A1; US11113449B2; US11681861B2; US20220207232A1; US11681860B2; EP4055496A4

Abstract

本発明は、アノテーションが可能にされたウェブブラウザ内でウェブドキュメントのアノテーションを作成、整理、表示、および接続するための方法、コンピュータ可読媒体(CRM)、およびシステムに関する。アノテーション強調表示されたテキスト、アノテーションコメント、ユニフォーム・リソース・ロケータ(URL)、ドキュメントオブジェクトモデル(DOM)コンテキスト、マークされたアノテーション強調テキストを含むスクリーンショット、およびアノテーションシンボルをアノテーションサーバーに送信するアノテーション可能なウェブブラウザのための方法、CRM、およびシステムが提示される。さらに、アノテーション編成コンテキスト領域内でアノテーションを編成する方法、CRM、およびシステム、ウェブドキュメント内のアノテーションを閲覧および認識するための視覚的キュー、およびウェブドキュメント間でアノテーションを接続するためのメモ帳が提示される。本発明は、ウェブドキュメント内でのメモ作成、これらのメモの整理、ウェブドキュメントの特定の側面を複数の人々と話し合うこと、および自分自身または他人のためのリマインダーとして複数のウェブドキュメントにまたがるガイド付きツアーを作成することに関連する。

Description

ワールドワイドウェブ（WWW）、ウェブブラウザ、およびブラウザ拡張機能はよく知られている。WWWは、ウェブページ、PDFドキュメント、画像、ビデオなどの資産が一意のユニフォーム・リソース・ロケータ（URL）によって識別されるグローバルな情報源であり、ウェブブラウザは、WWW上の情報にアクセスするために設計されたソフトウェア・アプリケーションである。また、ブラウザの機能を拡張するために作られたソフトウェアがブラウザ拡張機能である。
ウェブブラウザの機能は、ウェブブラウザのソフトウェア・コードベースを変更するか、またはそのような手段による機能の追加をサポートするウェブブラウザのためのウェブブラウザ拡張機能を提供することによって変更できることが知られている。

ワールドワイドウェブの人気が高まるにつれて、人々は、平均して、ワールドワイドウェブを使用する毎日の時間を過去よりも長くしている。ワールドワイドウェブを使用する平均時間が増加したため、人々は、以前にWWWで見た情報を検索すること、ウェブドキュメント内のテキストのスニペットを友人や同僚に送信して議論すること、ウェブドキュメント内の特定のテキスト片またはコンテキストを参照すること、ウェブドキュメントの一部について特定の質問をすること、ウェブドキュメント間で情報を接続すること、後で使用するコンテンツおよびスニペットを見つけて整理すること、群衆調達情報の価値を評価すること、ウェブドキュメントに対する他の人々のパブリックコメントにアクセスしてこれらのコメントをコンテキストで配置することなどのニーズが増えてきている。

これらのユースケースに対処するために、人々は通常、以前にアクセスしたコンテンツを見つけるために検索を繰り返し、ウェブドキュメントをブックマークし、見たことを思い出すスニペットのために記事を再スキャンし、友人や同僚と共有するためにテキストのセクションを電子メールメッセージまたは他のドキュメントにコピー＆ペーストし、電話で議論している間に番号またはウェブページの位置によって文または段落を参照し、記事のコメントセクションで質問し、コメント中にカット＆ペーストして所望のテキストを参照する、ウェブページをダウンロードし、または個人用ワープロまたはスプレッドシートドキュメントにスニペットをコピーしている。このため、多くのユーザにとって非効率で時間の無駄が発生している。さらに、不正確な情報を特定し、この知識を他のユーザに広めるためのツールがないため、不正確な情報が必要以上に長く存続することを許している。これらの作業をより効率的に処理するための方法、コンピュータ可読媒体、およびシステムを提供することは、有利なことである。

本発明の目的は、インターネット上の別の場所にいるユーザが、同じくそのようなアノテーション可能なウェブブラウザを使用して、ユーザアノテーション・コメントまたはアノテーション強調テキストを読まずに、質問、興味深い点、同意する記述、および同意しない記述を特定できるように、ウェブページおよびドキュメントにアノテーションを付けるアノテーション可能なウェブブラウザをユーザに提供することである。このような仕組みにより、ユーザがWWW上の膨大な情報を選別する際の効率が向上する。

本発明のさらなる目的は、インターネット上の別の場所にいるユーザもそのようなアノテーション可能なウェブブラウザを使用してこれらの画像、ビデオ、および録音アノテーションを見ることができるように、ウェブページにアップロードまたは埋め込まれた画像、ビデオ、および録音にアノテーションを付けるためのアノテーション可能なウェブブラウザをユーザに提供することである。

本発明の別の目的は、アノテーションが追加された後、アノテーションのないドキュメント表示コンテキストと比較して、ドキュメント表示コンテキストが最小限の方法で変更されることを保証することである。最小限の方法で変更されるドキュメント閲覧コンテキストを使用することにより、ユーザは、アノテーションに気を取られることなくコンテンツを消費することができ、同時に、適切なタイミングでアノテーションを見つけ、利用することができるようになる。

本発明のさらなる目的は、広告をユーザに非侵入的に提示することである。ひとつの目的は、これらのユーザが好奇心によって引き起こされる行動を開始した後に、ユーザに広告コンテンツを示すことであり、好奇心は、ウェブページ内の特定の場所又はコンテキストにおける広告の提示によって引き起こされる。この位置やコンテキストは、広告がユーザの現在のニーズに関連している可能性を示唆している。さらに、コンテンツなしで提示された広告は、完全な広告のいくつかの側面を含むことができるが、ユーザの現在のニーズに基づいて選択的かつ透過的にユーザを対象とするコンテキストメソッドによって植え付けられた好奇心によって引き起こされる行動をユーザが開始するまで、完全な詳細が表示されない。

本発明の他の目的は、ワールドワイドウェブドキュメント閲覧コンテキスト領域とは別個のアノテーション閲覧コンテキスト領域を提供することである。このアノテーション閲覧コンテキスト領域は、検索及びフィルタリングに加えて、ユーザが、馴染みのあるサイトやアノテーションのおおよその位置を理解できるようにアノテーションをユーザに提示するメカニズムを有している。さらに、強調テキストやユーザのアノテーション・コメントを読まなくても、アノテーションや強調テキストのコンテキストの他のエレメントが明らかになることもある。このような仕組みにより、多数のアノテーションの中から特定のアノテーションを探し出すことが容易になる。

本発明のさらなる目的は、ユーザがアノテーションをスキャンして意味のあるグループ分けに整理することを可能にするアノテーション編成コンテキスト領域を提供することである。このオブジェクトの利点は、ユーザが最初にアノテーションの作成に集中し、アノテーションが作成された後にアノテーションの整理に集中できるようにすることである。さらに、アノテーションのデフォルトの編成は、元に戻す必要がない。

本発明の別の目的は、ユーザがアノテーションのページを表示し、後でレビューするためにいくつかのアノテーションを利用可能に保ち、他のアノテーションを検索し続けることを可能にするアノテーション表示コンテキスト領域をユーザに提供することである。さらに、興味のないアノテーションを視覚的ビューの外に移動させながら、アノテーションを視覚的ビューに維持することによって、精神的な追跡を容易にする方法である。

本発明の追加の目的は、プライバシー設定をユーザに常に透過的に伝えることである。プライバシー設定を伝えることで、ユーザが共有したくない情報を誤って共有することを回避することができる。

本発明のさらなる目的は、グローバルインターネット上の一連のウェブサイトを通るガイドツアーを作成する方法であり、同時に各サイトの顕著な関心ポイントにユーザの注意を引くことである。この目的は、さらに、ツアーを修正し、ユーザに対してツアーを提示する方法を含む。

本発明の別の目的は、グループがアクセス制御許可を管理し、メッセージングを通じて通信する方法を提供することである。

本発明のより完全な理解のために、以下の説明および添付の図面を参照することができる。

図1は、アノテーションが作成され、2つの異なるコレクションに移動され、コレクションを介して他の人と共有されるフローチャートを示す。

図2は、2つの別個の日に2つの別個のウェブページで閲覧されるアノテーションのフローチャートを示す。

図3は、アノテーションプロセスが開始される前に、アノテーションを作成する能力がないウェブブラウザが、アノテーション能力を提供するウェブブラウザ拡張機能で拡張された例示的な実施形態における、アノテーション可能なウェブブラウザを表す。

図4は、テキストが強調された後のアノテーション可能なウェブブラウザを示す。

図5は、アノテーションシンボルが選択される前のアノテーション可能なウェブブラウザを示す。

図6は、アノテーションシンボルが選択された後のアノテーション可能なウェブブラウザを示す。

図7は、アノテーションが作成され、表示されたアノテーションシンボルが開状態になった後のアノテーション可能なウェブブラウザを示す。

図8は、アノテーションが行われた後のアノテーション可能なウェブブラウザを示す。
が作成され、表示されたアノテーションシンボルが閉じた状態であることを示す。

図9は、強調されたアノテーションテキストに隣接する既存のウェブドキュメント上のオーバーレイとして提示されず、別個のコンテキスト領域で提示された場合に、アノテーションのコンテキストを提供するアノテーションアイテムボックスを示す。

図10は、アノテーション強調テキストを含む元のウェブドキュメントとは別個のコンテキスト領域内にアノテーションアイテムボックスと表示された書き込み可能なコレクションを提示するアノテーション編成コンテキスト領域を示す。

図11は、アノテーションおよび他のアイテムのグループ化であるコレクションにアノテーションを移動および複製するプロセスを示すアノテーション編成コンテキストエリアを示す。

図12は、閉じた状態で表示されたアノテーションシンボルを持つウェブドキュメントを表示されたアノテーション可能なウェブブラウザを示す。

図13は、表示されたアノテーションシンボルが閉じた状態のウェブドキュメントを、対応する表示されたアノテーションシンボルビーコンで表示するアノテーション可能なウェブブラウザを示す。

図14は、アノテーション可能なウェブサーバ、訪問先URLのデータを提供するウェブサーバ、アノテーションサーバ、電子データベース、およびCDN間の通信を示すシーケンス図を示す。

図15は、アノテーションを整理するためのウェブブラウザ、アノテーションサーバ、電子データベース、およびCDN間の通信を示すシーケンス図を示す。

図16は、アノテーション可能なウェブブラウザと、訪問先URLのデータを提供するウェブサーバと、アノテーションサーバと、電子データベースとの間の通信を示すシーケンス図を示す。

図17は、データエレメントのバンドルの受信と保存を示すフローチャートを示す。

図18は、バンドル表示セットのコンパイルと送信を示すフローチャートを示す。

図19は、ユーザ、ウェブブラウザ、ウェブブラウザ拡張機能コンテンツスクリプト、およびウェブブラウザ拡張機能バックグラウンドスクリプトが、ユーザがウェブページを表示し、ページ上にアノテーションを作成することを可能にする相互作用を示すフローチャートを示す。

図20は、ユーザ、ウェブブラウザ、ウェブブラウザ拡張機能背景スクリプト、およびウェブブラウザ拡張機能コンテンツスクリプトが、ユーザがページ上にアノテーションを持つウェブページを見ることを可能にする相互作用の方法を示すフローチャートを示す。

図21は、この例示的な実施形態を使用する看護師が、患者と共有するためにグリセミック指数に関するメモ帳を作成する方法を示すフローチャートを示す。

図22は、看護師から提供されたメモ帳を患者がどのように使用するかを示すフローチャートを示す。

図23は、拡張機能内のメモ帳のユーザインターフェースを示す。

図24は、メモ帳が作成され、1つのアノテーションが作成されてメモ帳に追加される様子を示すシーケンス図を示す。

図25は、メモ帳が閲覧され、最初のアノテーションがクリックされ、ブラウザがそのURLにナビゲートし、適切な場所にスクロールした後にアノテーションを表示するシーケンス図を示す。

図26は、メモ帳が作成され、既に作成されたアノテーションがメモ帳に追加される様子を示すフローチャートを示す。

図27は、メモ帳が閲覧され、メモ帳のアノテーションが開かれる様子を示すフローチャートを示す。

図28は、システム図の例示的な実施形態を示す。

図29は、アノテーションサーバ及び電子データベースのためのコンポーネント図の別の例示的な実施形態を示す。

図30は、アノテーションサーバのためのクライアント電子デバイスを示す例示的な実施形態を示す。

図31は、アメリカ史コレクションのためのコレクションアイテムページの例示的な実施形態を提示する。

図32は、コレクションページの例示的な実施形態を示す。

図33は、システム・メッセージを示すインボックスページの例示的な実施形態を示す。

図34は、ユーザがシステム・メッセージに応答し、他のユーザもメッセージを送信した後のインボックスページの例示的な実施形態を示す。

図35は、画像・アノテーション表示および画像・アノテーション・グループ作成インターフェースを示す。

図36は、1つのアノテーション・グループリストアイテムがアノテーション・グループ候補リストに追加された画像・アノテーション・グループ作成インターフェースを示す。

図37は、第2の非衝突画像・アノテーションが候補アノテーション・グループリストに追加されていない1つのアノテーション・グループリストアイテムを有する画像・アノテーション・グループ作成インターフェースを示す。

図38は、2つのアノテーション・グループリストアイテムがアノテーション・グループ候補リストに追加された画像・アノテーション・グループ作成インターフェースを示す。

図39は、1つのアノテーション・グループリストアイテムが候補アノテーション・グループリストに追加され、第2の衝突画像・アノテーションが候補アノテーション・グループリストに追加されていない画像・アノテーション・グループ作成インターフェースを示す。

図40は、ビデオ・アノテーション閲覧およびビデオ・アノテーション・グループ作成インターフェースを示す。

図41は、ビデオ・アノテーションエレメントのためのモーションパスを有するアノテーション・グループ候補リストボックスに1つのビデオ・アノテーションが追加されたビデオ・アノテーション表示およびビデオ・アノテーション・グループ作成インターフェースを示す。

図42は、第2のビデオ・アノテーションエレメントのためのモーションパスを有する候補アノテーション・グループリストに2つのアノテーション・グループリストアイテムが追加されたビデオ・アノテーション・グループ作成インターフェースを示す。

図43は、1つのアノテーション・グループリストアイテムが候補アノテーション・グループリストに追加され、第2の衝突ビデオ・アノテーションが候補アノテーション・グループリストに追加されていない状態のビデオ・アノテーション・グループ作成インターフェースを示す。

図44は、タイムライン音アノテーションと派生音アノテーション作成インターフェースの音アノテーション閲覧及び音アノテーション・グループ作成インターフェースを示す。

図45は、タイムライン・ビデオ・アノテーションと派生したビデオ・アノテーション作成インターフェースを有するビデオ・アノテーション表示およびビデオ・アノテーション・グループ作成インターフェースを示す。

図46は、ビデオ・アノテーションビーコンが埋め込まれたビデオを表示するアノテーション可能なウェブブラウザを示す。

図47は、画像・アノテーションが作成され、埋め込まれた表示された画像・アノテーションがオープン状態になった後の、アノテーション可能なウェブブラウザを示す。

図48は、ビデオ・アノテーションが作成された後のアノテーション可能なウェブブラウザを示し、ビデオ・アノテーション再生範囲の間、埋め込まれた表示されたビデオ・アノテーションが開状態であることを示す。

図49は、音声アノテーションが作成され、埋め込まれた表示された音声アノテーションが、音声アノテーションの再生範囲中に開いた状態にある後の、アノテーション可能なウェブブラウザを示す。

ウェブブラウザ内でウェブページ、ドキュメント、画像、ビデオ、および録音にアノテーションを付け、これらのアノテーションを整理し、これらのアノテーションを閲覧し、これらのアノテーションを一連のアノテーションを含む有用なデジタルメモ帳に接続する方法、非一時的なコンピュータ可読媒体（CRM）、およびシステムが提供されている。ウェブドキュメントはURLを持ち、ウェブブラウザで表示されるウェブページ、pdfドキュメント、および他のドキュメントタイプを含む。さらに、これらの方法、非一時的なCRM、およびシステムは、コンテンツのキュレーション、他のユーザとのコンテンツの共有、およびアクセス制御の管理のための設備を提供する。本明細書には、本システムおよび非一時的なCRMを使用するためのユーザの根拠を示すフローチャートが含まれる。さらに、グラフィカルユーザインターフェース（GUI）図は、コンピュータ可読媒体の指示の最終結果およびシステムが表示するものを示す。さらに、シーケンス図は様々なコンポーネント間の相互作用とデータフローを示し、フローチャートは方法を説明する。さらに、スイムレーン図は、様々なコンポーネントの動作を示す。

アノテーションとは、テキスト、図、画像、ドキュメント、ビデオ、または録音に追加される説明のメモ、コメント、または図面のことである。方法、非一時的なCRM、及びシステムを説明する場合、用語は、ウェブページ、ウェブドキュメント、ドキュメント、画像、ビデオ、及び録音内だけでなく、別のコンテキスト領域内のアノテーションのコンテキストに追加するアノテーション及びオブジェクトを表すためのデータエレメント及び構造とともに、別個のコンテキスト内のアノテーションを説明するために導入される。

図1では、アノテーション可能なウェブブラウザの例示的な実施形態を使用する教師のフローチャートが示されている。この教師は、2つの別個の目標を有する。第1の目標は、教師のクラスの学生のために、大統領に関する学習問題のリストを作成することである。教師のクラスは少人数であり、描かれている例示的な実施形態内のこの例では、学生は互いの回答を見ることができる。第2の目標は、教師が教えている学校の近くで売りに出されている家を見つけることである。図1に示すように、1日目の教師は、［1］エイブラハム・リンカーンのウィキペディアのページを訪問し、質問アノテーション［4］を作成し、次にウッドロウ・ウィルソンのウィキペディアのページを訪問し、質問アノテーション［5］を作成する。図1に示すように、2日目 [2] の教師は、Zillow ページを訪問し、職場の近くで売りに出されている家のダガーアノテーション [6] を作成する。図1に示すように、10日目の教師[3]は、アメリカ大統領学習ガイドと不動産という2つのコレクションを設定し [7] 、アメリカ大統領学習ガイドコレクションに学生を追加し、不動産コレクションにルームメイトを追加し [8] 、エイブラハム・リンカーンとウッドロウ・ウィルソンの質問アノテーションをアメリカ大統領学習ガイドに移動し [9] 、職場近くの売り家に関するダガーアノテーションを不動産コレクションに移動し [10] 、アメリカ大統領学習ガイドコレクションを学生と共有し [11]、さらに、アメリカ大統領学習ガイドと不動産コレクションにルームメイトを追加する。

図2において、アノテーション可能なウェブブラウザの例示的な実施形態を使用する学生のフローチャートを示す。学生の目標は、教師によって提供された学習質問に答えることである。図2に示すように、11日目の学生［12］は、エイブラハム・リンカーンのウィキペディアのページを訪問し［14］、エイブラハム・リンカーンのウィキペディアのページを読み［15］、エイブラハム・リンカーンのウィキペディアのページを読みながら教師の閉じた質問の表示されたアノテーションシンボルを見て［16］、教師の閉じた質問の表示されたアノテーションシンボルをクリックして、質問の表示されたアノテーションシンボルを開いた状態に移行し教師のアノテーション・コメントを表示し［17］、教師の質問アノテーション・コメントに回答で応答している。［18］図2に示すように、12日目の学生［13］は、ウッドロウ・ウィルソンのウィキペディアのページを訪問し［19］、ウッドロウ・ウィルソンのウィキペディアのページを読み［20］、ウッドロウ・ウィルソンのウィキペディアのページを読みながら教師の閉じた質問の表示されたアノテーションシンボルを見て［21］、教師の閉じた質問の表示されたアノテーションシンボルをクリックすると、質問の表示されたアノテーションシンボルは開いた状態に移り、教師のアノテーション・コメントを表示し［22］教師の質問アノテーション・コメントに回答で応答している。［23］

図3において、アノテーション可能なウェブブラウザ[24]の例示的な実施形態を示す。
描かれているウェブブラウザの表示領域に表示されている横長の短い長方形は、テキストを表している。第1段落には11行のテキストを表す矩形が11個あり、第2段落には5行のテキストを表す矩形が5個ある。この例示的な実施形態では、ウェブ拡張機能の追加をサポートするウェブブラウザは、アノテーション機能を追加するウェブブラウザ拡張機能[25]の例示的な例で変更された。ウェブブラウザ拡張機能［25］は、ウェブブラウザによってメモリにロードすることができる非一時的なコンピュータ可読媒体に典型的に存在するソフトウェアパッケージであり、ウェブ拡張機能の追加をサポートし、ウェブブラウザプリケーション自体は、メモリにロードされて電子計算装置のプロセッサ上で実行されるソフトウェア・アプリケーションである。ウェブブラウザプリケーションがウェブブラウザ拡張機能［25］をメモリにロードすると、ウェブブラウザ拡張機能［25］の指示セットは、ウェブブラウザのライフサイクルの特定の時点でウェブブラウザプリケーションの指示セットによってトリガされることができる。ユーザに提示されるユーザインターフェースに対するウェブブラウザ拡張機能[25]指示セットの効果のいくつかを、図5、図6、図7、図8、図12、図13、図23、図46、図47、図48、および図49に示している。

図4において、アノテーション可能なウェブブラウザ［24］の例示的な実施形態は、通常の強調テキスト［26］と呼ばれるユーザがテキストを選択した後、ウェブブラウザ拡張機能［25］指示セットがトリガされる前を示している。

図5では、ユーザがテキストを選択した後、ウェブブラウザ拡張機能［25］指示セットがトリガされ、アノテーションシンボル選択ボタンバー［28］が表示された後のアノテーション可能なウェブブラウザ［24］の例示的実施形態が示されている。さらに、選択されたテキストは、図4に描かれた例示的な実施形態の状態に示されるように、通常の強調テキスト［26］と区別するために、アノテーション強調テキスト［27］と呼ばれることになる。通常の強調テキスト［26］は、ウェブブラウザ拡張機能［25］指示セットがトリガされる前の選択されたテキスト、またはアノテーション機能を有しないウェブブラウザにおける選択されたテキストである。ウェブブラウザ拡張機能[25]指示セットは、ユーザが図5のアノテーションシンボル選択ボタンバー[28]に示されているボタンのいずれかをクリックした後に入力を処理する。

例示的な実施形態において、図6は、図5に図示されたアノテーションシンボル選択ボタンバー［28］においてユーザがクェスチョンマークアノテーションシンボルボタンをクリックすることの影響を描写するものである。代替の例示的な実施形態では、図5のアノテーションシンボル選択ボタンバー［28］に示されるアノテーションシンボルは、水平方向の行とは対照的に、垂直方向の列でそれぞれの上に配置され得る。図6に描かれた例示的な実施形態では、開かれた質問の表示されたアノテーションシンボルシンボル［29］とアノテーション・コメント入力ボックス［30］とが示されている。開かれた質問の表示されたアノテーションシンボルシンボル［29］は、ユーザがアノテーション強調テキスト［27］に関する質問をアノテーション・コメント入力ボックス［30］に入力する予定であることを示すことができる。アノテーション・コメント入力ボックス[30]は、アノテーション可能なウェブブラウザ[24]のユーザが、1つ以上のコンピュータシステムに保存されるテキストを入力するための入力領域である。ユーザがテキストの入力を終了し、テキストを入力する動作の完了をアノテーション可能なウェブブラウザ[24]に伝えると、ウェブブラウザ拡張機能[25]指示セットがアノテーション可能なウェブブラウザ[24]を図7で描かれた状態に遷移させる。

図7に描かれた例示的な実施形態では、アノテーションが作成され、表示されたアノテーションシンボルが開いた状態で視覚的に表示された後に、アノテーション可能なウェブブラウザ［24］の状態が表示される。開いている状態の表示されたアノテーションシンボルには、アノテーション強調テキスト［27］、アノテーション・コメント［32］、レピュテーションセレクタ［33］、開かれた質問の表示されたアノテーションシンボルシンボル［29］、およびアノテーションコメントボックス［31］などの画面エレメントが表示される。アノテーション・コメント［32］は、前述したように、ユーザが入力したテキストに由来する。アノテーションコメントボックス［31］には、コンテクスト・バリアント・アノテーション・コントロール・バー［34］もある。コンテクスト・バリアント・アノテーション・コントロール・バー［34］により、ユーザは、アクセス制御ルールに従って、プライバシー設定の変更、ソーシャルメディアや電子メールによる共有、アノテーションへのフラグ付け、アノテーションの削除を行うことができる。レピュテーションセレクタ[33]により、ユーザはアノテーション・コメント[32]に割り当てる評価を選択することができる。例えば、ユーザは、コメントが思慮深いと思う場合、アノテーション・コメント[32]に思慮深い評価を割り当てることができる。アノテーション強調テキスト［27］、開かれた質問の表示されたアノテーションシンボル［29］、アノテーションコメントボックス［31］の外側をクリックすることによって、ユーザは、表示されたアノテーションシンボルを閉状態に遷移させアノテーションを閉じることができる。別の実施形態では、レピュテーションセレクタ［33］は、アノテーション・コメント［32］に隣接して配置されるのとは対照的に、コンテキストバリアントアノテーション・コントロール・バー［34］の内部に表示される可能性がある。

図8に描かれた例示的な実施形態では、アノテーションが作成され、表示されたアノテーションシンボルが閉じた状態で表示された後のアノテーション可能なウェブブラウザ[24]の状態が示されている。図8には、閉じた質問の表示されたアノテーションシンボル[35]が表示されている。閉じた質問の表示されたアノテーションシンボル[35]は、見えるが、ユーザがテキストの残りの部分から注意をそらされないように設計されている。

ユーザがアノテーション可能なウェブブラウザ［24］を使用してアノテーションを作成した後、アノテーションを表すデータエレメントのバンドルがサーバに送信される。このデータエレメントのバンドルは、図9に描かれた例示的な実施形態に示されるように、別のコンテキスト領域で、アノテーションアイテムボックス［36］を構築するために使用することができる。図9に描かれた例示的な実施形態では、アノテーションアイテムボックス［36］は、マークされたテキストを有するスクリーンショット［37］、別個のコンテキスト・アノテーション強調テキスト［38］、別個のコンテキスト質問の表示されたアノテーションシンボル［39］、別個のコンテキスト・アノテーション・コメント［40］、別個のコンテキストバリアント・アノテーションコントロール・バー［41］、および別個のコンテキストレピュテーションセレクタ［42］を含んでいる。この例示的な実施形態では、マークされたテキストを有するスクリーンショット［37］は、アノテーションが存在するウェブページおよびウェブページ内のアノテーションの位置をユーザが決定することを可能にすることを意図したサムネイルサイズの関連するマークされたスクリーンショットである。図7および図9は、同じ例示的な実施形態の2つの異なるコンテキストとして、または2つの異なる例示的な実施形態として見ることができる。別個のコンテキスト・アノテーション強調テキスト［38］、別個のコンテキスト質問の表示されたアノテーションシンボル［39］、および別個のコンテキスト・アノテーション・コメント［40］を理解する目的で、これらの2つの図を同じ例示的な実施形態の2つの異なるコンテキストとして見ることが有用である。別個のコンテキスト・アノテーション強調テキスト［38］は、アノテーションアイテムボックス［36］の別個のコンテキスト領域でアノテーション強調テキスト［27］を提示する。この状況における別個のコンテキスト領域の記載は、コンテキストが、アノテーション強調テキスト［27］が発生する元のウェブページ又はウェブドキュメントとは異なることを示す。別個のコンテキスト質問の表示されたアノテーションシンボル[39]は、アノテーションアイテムボックス[36]の別個のコンテキスト領域で質問アノテーションシンボルを提示する。別個のコンテキスト・アノテーション・コメント［40］は、アノテーションアイテムボックス［36］の別個のコンテキスト領域でアノテーション・コメント［32］を提示する。別個のコンテキスト・バリアント・アノテーション・コントロール・バー［41］は、ユーザがプライバシー設定を変更したり、ソーシャルメディアや電子メールで共有したり、アノテーションに分類評価を関連付けたり、アノテーションを削除したりできるようにするためのものである。

アイテムボックスがアノテーションを代表する場合、それはアノテーションアイテムボックス［36］と呼ばれ、図9の例示的な実施形態で描かれている。例示的な実施形態では、アイテムボックスは、ウェブページ、ドキュメント、画像、ビデオ、及び録音のアノテーションと同様に、ウェブページ、ドキュメント、画像、ビデオ、録音を表すことができる。
アイテムボックスは、ウェブページアイテムボックス、ドキュメントアイテムボックス、画像アイテムボックス、ビデオアイテムボックス、録音アイテムボックス、アノテーションアイテムボックス、画像・アノテーションアイテムボックス、ビデオ・アノテーションアイテムボックス、録音アノテーションアイテムボックス、埋め込み画像・アノテーションアイテムボックス、埋め込みビデオ・アノテーションアイテムボックス、埋め込み録音アイテムボックス、アノテーショングループアイテムボックス、派生アノテーショングループアイテムボックス、派生アノテーション付アノテーショングループアイテムボックスであってよい。コレクションは、アノテーションを含むアイテムグループの代表であり、書き込み可能なコレクションは、ユーザが何らかの形で変更できるコレクションである。変更の一形態は、書き込み可能なコレクションにアイテムを追加することである。コレクションは、アノテーションを含むアイテムを意味のあるグループに整理するために使用される。例として、図1において、教師は、1つは「アメリカ大統領学習ガイド」と題され、もう1つは「不動産」と題された2つのコレクションを作成した。

図9に描かれた例示的な実施形態では、アノテーションアイテムボックス[36]が、別個のコンテキスト・バリアント・アノテーション・コントロール・バー [41] に別個のコンテキストレピュテーションセレクタ [42] を含み、アノテーションアイテムボックス [36] の形式のアノテーションを共有するユーザが、ドロップダウンから選択することによってレピュテーションに投票できるようにしている。このレピュテーションは、アノテーションに割り当てられる。このレピュテーションは、ソーシャルコミュニティ内で価値を持つ。有用、面白い、または思慮深いとレピュテーションのアノテーションや、アノテーション強調テキストへの反対意見を表明するアノテーションは、ユーザが選択し、他のいくつかの図に示されているアノテーションサーバ[61]が有用と判断した様々な基準に基づいて選択的に表示することができる。ユーザはこの基準に基づいてアノテーションをフィルタリングすることができ、ユーザの集約されたレピュテーションは、ユーザが作成するアノテーションのレピュテーションに接続することもできる。スターベースの投票とは対照的に、オンラインコミュニティ内の他のユーザにとってアノテーションが価値ある理由についての詳細なアノテーション固有の意味情報をユーザから収集することができる。

さらに、アノテーションシステムは、アノテーションにレピュテーションを与えることに加えて、ユーザがアノテーションに返信することができると、よりよく機能する。さらに、他のユーザも、返信のレピュテーションに投票することができる。このシステムは、ユーザが返信とレピュテーションを通じてフィードバックを提供するため、コミュニティが不正確な可能性のあるアノテーションを特定するのに役立つ。

図7に描かれた例示的な実施形態と図9に描かれた例示的な実施形態は共に、アノテーションを表すものである。図7は、それがアノテーションを付けているウェブドキュメント内に埋め込まれたアノテーションを表し、一方、図9は、ウェブドキュメントの外側にあるアノテーションを表す。図9は、ウェブドキュメントの周囲のコンテキストを持たないので、アノテーションアイテムボックス［36］を見るユーザに、より多くのコンテキストを与えるために、サムネイルマーク付きのスクリーンショットが提供される。図7および図9は、同じ例示的な実施形態の2つのコンテキストを潜在的に描写することができ、またはそれらは、2つの異なる例示的な実施形態を潜在的に描写することができる。図7および図9の両方は、レピュテーション投票を可能にする。図7では、レピュテーションセレクタ［33］は、ユーザがアノテーション・コメント［32］にレピュテーションを割り当てることを可能にする。図9では、別のコンテキストレピュテーションセレクタ[42]によって、ユーザがアノテーション・コメント[32]にレピュテーションを割り当てることができる。これにより、アノテーションを共有するユーザは、異なるコンテキストからアノテーションのレピュテーションを評価することができる。

図9に描かれた例示的な実施形態では、アノテーションアイテムボックス［36］は、ユーザがプライバシー設定を変更することを可能にする別個のコンテキスト・バリアント・アノテーション・コントロール・バー［41］を含んでいる。例示的な実施形態では、濃い灰色は、アノテーションの作成者以外の誰もアノテーションを見ることができない最もプライベートな設定を示し、薄い灰色は、アノテーションを特定のグループのユーザと共有できることを示し、白色は、アノテーションをプラットフォームの全てのユーザが見ることができることを示している。

図9に描かれたアノテーションアイテムボックス［36］をレンダリングすることができる別個のコンテキスト領域の1つは、図10に描かれた例示的な実施形態のアノテーション編成コンテキスト領域［43］にある。図10のアノテーション編成コンテキスト領域［43］はまた、アイテムボックスを表示するためのアイテムビン［44］と、書き込み可能なコレクションを表示するための書き込み可能なコレクションビン［45］を含む。図9では、アイテムビン[44]の中にアノテーションアイテムボックス[36]が描かれ、書き込み可能なコレクションビン[45]の中に表示された書き込み可能なコレクション[50]が描かれている。さらに、検索フィルタ[46]を用いて、アイテムビン[44]に表示されたアイテムボックスを変更することができる。さらに、コレクション検索フィルタ[47]を使用して、書き込み可能なコレクションビン[45]に表示された書き込み可能なコレクションの表示を変更することができる。さらに、ページング機構[48]は、アイテムビン[44]に表示されるアイテムボックスのページを変更するために使用することができ、コレクションページング機構[49]は、書き込み可能なコレクションビン[45]に表示される表示された書き込み可能コレクションのコレクションページを変更するために使用することができる。

図10に描かれた例示的な実施形態では、アイテムビン［44］にページング機構［48］があり、書き込み可能なコレクションビン［45］にコレクションページング機構［49］があるのがわかる。これらのページング機構は、独立して動作する。アイテムビン[44]のページング機構[48]は、表示される例示的な実施形態の6アイテムのページを通して前方及び後方に移動する。図10に示されているアイテムは、アノテーションを表している。これらのアイテムはすべて順次に並べられている。ページング機構を前方に移動させると、順次配列されたアイテムのうち、次の6アイテムが表示される。ページング機構が後方に移動されると、順次に順序付けられたアイテムの集合における前の6つのアイテムが示される。書き込み可能なコレクションビン［45］内のコレクションページング機構［49］は、表示される例示的な実施形態における3つのコレクションのページを通して前方及び後方に移動する。図10に示されているコレクションは、アノテーションを含むアイテムのグループを表している。各コレクションは、1つ以上のアイテムのグループを代表し、アイテムは、ウェブページアイテム、ドキュメントアイテム、画像アイテム、ビデオアイテム、録音アイテム、アノテーション・アイテム、画像・アノテーション・アイテム、ビデオ・アノテーション・アイテム、録音アノテーション・アイテム、埋め込み画像・アノテーション・アイテム、埋め込みビデオ・アノテーション・アイテム、埋め込み録音アイテム、アノテーション・グループ・アイテム、派生アノテーション・グループ・アイテム、派生アノテーション・アイテム付きアノテーション・グループ、を含む。これらのコレクションはすべて順次に並べられる。ページング機構を前方に移動させると、順次順序付けられたコレクションの集合の次の3つのアイテムが表示される。ページング機構を後方に移動させると、順次配列されたコレクションの前の3つのアイテムが表示される。サイズ変更操作後にブラウザの表示可能領域が変化すると、アイテムビン［44］内の表示されたアイテムの数及び書き込み可能なコレクションビン［45］内の表示された書き込み可能なコレクションの数が変化する。代替の例示的な実施形態では、明示的な書き込み可能な許可が存在しない場合がある。この場合、書き込み可能なコレクションビン［45］は、表示されたコレクションを含むことになる。ページング機構［48］及びコレクションページング機構［49］は、このシフトを考慮し、そして、新しいページサイズで動作する。

図10では、ページング機構［48］に加えて、アイテムビン［44］に位置するすべてのアノテーションアイテムボックス［36］のピンも見ることができる。図10に表示される例示的な実施形態では、アノテーションを代表する6つのアイテムが示されている。これら6つのアイテムの各々は、ピン留めされていない状態またはピン留めされた状態であることができる。表示されるように、ページサイズは6であり、これらのアイテムの1つがピン留めされる場合、ページサイズは5に減少する。固定された結果、ページング機構[48]を前後に動かしても、固定されたアイテムは表示領域にとどまる。ページング機構[48]を前進させると、固定されたアイテムはビューイングエリアに残り、残りの5アイテムがビューイングエリアから移動する。そして、順次の順序で次の5つのアイテムが、取り除かれた5つのアイテムを置き換える。ページング機構が後方に移動した場合、ピン留めされていない5つのアイテムが表示領域から削除され、アイテムの順次順序で前の5つのアイテムが、表示領域から削除された5つのアイテムを置き換えます。2つのアイテムがピン留めされている場合、ページサイズは4に縮小される。ピン留めは、書き込み可能なコレクションビン[45]内のコレクションに対しても同様に機能する。

アイテムがピン留めされるたびに、ピン留めされたアイテムは、他のいくつかの図に示されているアノテーションサーバ［61］によって順次順序付けられるアイテムのセットから除外される。これにより、ピン留めされたアイテムが表示領域に2回表示されることを回避することができる。2つのアイテムを固定した場合、固定された2つのアイテムは、アノテーションサーバ[61]によって順番に並べられるアイテムのセットから除外される。順次並べ替えからの除外は、ページサイズの変更に加えて行われる。アノテーションサーバ[61]による順次順序の除外は、書き込み可能なコレクションビン [45] のコレクションに対しても同様に機能する。

図10の例示的な実施形態に示される検索フィルタ［46］のようなフィルタは、ユーザからの入力を受信するために使用される。アイテムビン[44]の検索フィルタ[46]の場合、それは検索フレーズである。これらの入力は、他のいくつかの図に示されているアノテーションサーバ[61]に送られるパラメータ値に変換される。これらのパラメータ値は、アノテーションサーバ[61]によって、他のいくつかの図に示されている電子データベース[62]によって使用される要求クエリにパラメータを入力するために使用される。リクエストクエリには、パラメータ値とページ番号が含まれる。パラメータ値を含むリクエストクエリは、アイテムのセットとそれらのアイテムの順序を指定するために使用される。ページ番号は、特定のページを指定する。さらに、要求クエリは、クライアント電子デバイス上で実行されているウェブブラウザに送信されるべきアイテムの指定数を含むことができる。この要求クエリは、検索フレーズなどのフィルタ値のパラメータと、指定されたアイテムのリストから除外するアイテムの除外リストとを含み、要求クエリは、パラメータ及びアイテムの除外リストとともに、そのアイテムのリストに対する順次順序付けを導入している。

図10の例示的な実施形態に示されるコレクション検索フィルタ[47]のようなフィルタは、ユーザからの入力を受け取るために使用される。書き込み可能なコレクションビン［45］のコレクション検索フィルタ［47］の場合、それはコレクション検索フレーズである。これらの入力は、他のいくつかの図に示されているアノテーションサーバ[61]に送られるパラメータ値に変換される。これらのパラメータ値は、アノテーションサーバ[61]によって、他のいくつかの図に示されている電子データベース[62]によって使用されるコレクション要求クエリにパラメータを入力するために使用される。コレクション要求クエリには、パラメータ値とページ番号が含まれる。コレクション要求クエリは、コレクション・パラメータ値とともに、コレクションの集合と、それらのコレクションに対する順序付けを指定するために使用される。ページ番号は、特定のページを指定する。さらに、コレクション要求クエリは、クライアント電子デバイス上で実行されているウェブブラウザに送信されるべきコレクションの指定数を含むことができる。このコレクション要求クエリは、コレクション検索フレーズなどのコレクション・フィルタ値のパラメータと、指定されたコレクションのリストから除外するコレクションの除外リストとを含み、このコレクション要求クエリは、パラメータ及びコレクションの除外リストとともに、そのコレクションのリストに対する順序付けを導入している。

ユーザがアノテーションを作成した後、図10に描かれた例示的な実施形態では、アノテーションがアイテムビン［44］に表示される。ドラッグアンドドロッププロセスを使用して、ユーザは、図11に描かれた例示的な実施形態のように、アノテーションアイテムボックス［36］をコレクションに移動させるか、または複製することができる。図11に描かれた例示的な実施形態では、移動するアノテーションアイテムボックス［51］が描かれている。移動アノテーションアイテムボックス［51］が、図10に描かれた例示的な実施形態の状態のように、表示された書き込み可能なコレクション［50］に近づくと、表示された書き込み可能なコレクション［50］の視覚形態が、移動ターゲット［52］及び複製ターゲット［53］を含む画面エレメントを表示している図11に描かれるように変化する。この例示的な実施形態では、移動アノテーションアイテムボックス［51］のドラッグを描写するマウスポインタが、移動ターゲット［52］によって示される領域内にあり、離されると、移動アクションがトリガされる。この例示的な実施形態では、移動するアノテーションアイテムボックス［51］のドラッグを示すマウスポインタが、複製ターゲットで指定された領域で解放されると、複製動作が開始される．

図12に描かれた例示的な実施形態では、ユーザは、閉じた質問の表示されたアノテーションシンボル［35］、閉じた感嘆の表示されたアノテーションシンボル［54］、閉じたチェックの表示されたアノテーションシンボル［55］、および閉じた不正解の表示されたアノテーションシンボル［56］を提示される。これら4つのアノテーションシンボルは、表示されたアノテーションシンボルの例である。例示的な実施形態では、表示されたアノテーションシンボルは、少なくとも2つの可能な状態を有する。これらの状態には、開状態及び閉状態が含まれる。閉じた状態では、表示されたアノテーションシンボルは可視であり、表示されたアノテーションシンボルは、ユーザがウェブドキュメントを読んでいる間にユーザの気を散らすことを避けるために、低い可視性を有するように設計されている。開状態において、追加の情報がウェブブラウザの表示領域に表示される。図7の例示的な実施形態では、開かれた状態における表示されたアノテーションシンボルが描かれている。この表示されたアノテーションシンボルは、質問の表示されたアノテーションシンボルである。図7の例示的な実施形態では、開かれた質問の表示されたアノテーションシンボル［29］は、アノテーション強調テキスト［27］及びアノテーションコメントボックス［31］と共に示されている。

アノテーションシンボルは、アノテーションの意味的関係のグループのエレメントに関連付けられる。各アノテーションの意味的関係は、図7の例示的な実施形態に描かれているように、アノテーション強調テキスト［27］とアノテーション・コメント［32］との間の、典型的にはユーザ選択に基づく関係を示している。アノテーションの意味的関係のグループ内の各関係に関連付けられるのは、異なるアノテーションシンボルである。一例として、図8の例示的な実施形態に描かれているように、閉じた質問の表示されたアノテーションシンボル［35］は、アノテーションの作成者がアノテーション・コメントをアノテーション強調テキストに関する質問であるとマークしたことを示す。この閉じた質問の表示されたアノテーションシンボル［35］は、例示的な実施形態がどのように機能するかを熟知しているユーザが、ユーザが実際にクリックする動作を行う前に、図7に描かれているように、閉じた質問の表示されたアノテーションシンボル［35］をクリックしてアノテーション強調テキスト［27］についての質問であるアノテーション・コメントを見ることができることを知ることを可能にする。

一旦クリックされると、図8に描かれた例示的な実施形態の状態のように、閉じた質問の表示されたアノテーションシンボル［35］は、図7に描かれた例示的な実施形態の状態のように、アノテーション強調テキスト［27］及びアノテーションコメントボックス［31］を示す開いた質問の表示されたアノテーションシンボル［29］となる。また、図8に描かれた例示的な実施形態の状態において、図8に描かれた例示的な実施形態の状態のように、閉じた質問の表示されたアノテーションシンボル［35］のマウスオーバーでアノテーション強調テキスト［27］、開いた質問の表示されたアノテーションシンボル［29］、アノテーションコメントボックス［31］が可視となり、クリックで固定されることが可能である。この処理をユーザに反射的に行わせるために、図7におけるアノテーション強調テキスト［27］に、そのアノテーションシンボルに基づく色を割り当てることができる。すなわち、アノテーション強調テキスト［27］の色は、アノテーション強調テキスト［27］とアノテーション・コメントとの間のアノテーションの意味的関係に基づいて決定される。

例示的な実施形態をさらに説明するために、以下を観察する。閉じた感嘆の表示されたアノテーションシンボル［54］は、アノテーションの作成者が、アノテーション・コメントを、アノテーション強調テキストに関する注意点または興味深い事実を示す感嘆の声明であるとしてマークしたことを示す。閉じたチェックの表示されたアノテーションシンボル[55]は、アノテーションの作成者がアノテーション・コメントをアノテーション強調テキストに同意するステートメントであるとマークしたことを示す。また、閉じた不正解のアノテーションシンボル [56] は、アノテーションの作成者が、アノテーションの強調表示されたテキストに同意しないステートメントであるとしてアノテーション・コメントをマークしたことを示す。

これまで議論してきたアノテーションシンボルと、図12に描かれている表示されたアノテーションシンボルに加えて、広告アノテーションシンボルを使用して、アノテーションの意味的関係のグループ内の別の関係を示すことが可能である。この関係は、図7に描かれた例示的な実施形態の状態におけるようなアノテーション・コメント［32］が、アノテーション強調テキスト［27］に関連する広告であることを示す。この状況では、図8に描かれた例示的な実施形態の状態のように、閉じた質問の表示されたアノテーションシンボル［35］は、広告の表示されたアノテーションシンボルに置き換えられることになる。

図12に描かれた例示的な実施形態では、いくつかの表示されたアノテーションシンボルが見られる。この例示的な実施形態では、質問アノテーションシンボル、不同意アノテーションシンボル、同意アノテーションシンボル、感嘆アノテーションシンボル、及び広告アノテーションシンボルに対応するのは、アノテーションの意味的関係のグループにおける5つの関係である。これらのアノテーションの意味的関係は、質問関係、不同意関係、合意関係、感嘆関係、及び広告関係である。

例示的な実施形態では、機械学習及び深層学習モデルを使用して、アノテーション強調テキストとアノテーション・コメントの間のアノテーションの意味的関係を自動的に決定することができる。さらに、ユーザがアノテーションの意味的関係を決定し、アノテーション・コメントを書くことで収集されるユーザデータは、深層学習モデルを訓練するために使用することができ、これらの訓練されたモデルの副産物は、他の自然言語処理目的のために使用することができる。ユーザが作成したデータを深層学習ベースの自然言語処理モデルを学習する目的で使用することに対し、オプトインまたはオプトアウトのオプションをユーザに与えることができる。文の埋め込みを計算するために、最終的な最大プーリング層を持つ双方向性長期短期記憶（BiLSTM）モデルを使用することができる。また、他の機械学習や深層学習の手法も文埋め込みの作成に用いることができる。文埋め込みは、2つの文の類似性を判断するために用いることができる。アノテーション強調テキスト、アノテーション・コメント、およびアイテムや返信に発生する他の文の分析を通じて、コレクション内のすべての文について文埋め込みを計算したら、これらの文埋め込みのベクトルを使用して、アイテムがコレクション内の他のアイテムと類似しているかどうかを判断したり、2つのコレクションの類似性を判断したりすることができる。この類似性分析に基づき、アイテムは、読書、他のユーザとの議論、またはコレクションへの追加をユーザに提案することができる。また、ユーザが検索、閲覧、または投稿したコレクションに基づいて、類似のコレクションをユーザに提案することができる。また、ウェブページ上のアノテーションは、文の埋め込みベクトルに基づく類似性分析により、他のウェブページやドキュメント内の類似したアノテーションやコンテンツにリンクすることができる。また、文の類似度分類器と組み合わせて、畳み込みニューラルネットワーク（CNN）モデルを用いて、ユーザが指定したアノテーションの意味的関係を検証することができる。ユーザが提供したアノテーションの意味的関係データは、ユーザレピュテーションと組み合わせて、ユーザが選択したアノテーションの意味的関係を検証し、ユーザが生成・投稿した不適切なコンテンツを潜在的に特定するために使用することができる。トランスフォーマーからの双方向エンコーダ表現（BERT）は、ウェブページおよびウェブドキュメント内の名前付きエンティティを識別し、ユーザが潜在的に関心を持つアイテムを自動アノテーションするために使用することができる。これらの名前付き実体は、ウィキペディアに存在する実体や、オンラインマーケットプレイスで販売されている商品である可能性がある。ユーザが生成したアノテーションのモデレーションには、感情分析用に微調整された事前学習済みのBERTを使用して、ユーザが生成した不適切なコンテンツにフラグを立てることができる。

図13に描かれた例示的な実施形態では、ユーザは、シンボル・ビーコン・トリガボタン［57］を押すことによってシンボル・ビーコンをトリガし、閉じられた表示されたアノテーションシンボルをより顕著にさせることができる。シンボル・ビーコンは、トリガされていない状態でもトリガされた状態でもよい。シンボル・ビーコン・トリガボタン[57]が押されると、シンボル・ビーコンは非トリガ状態からトリガ状態に遷移する。シンボル・ビーコンのトリガ機構は、キーボードキーの押下やマウスボタンのクリックのシーケンスであることも可能である。トリガ機構は、アノテーションが可能なウェブブラウザ[24]内のメニューオプションに配置することもできる。アノテーション可能なウェブブラウザ[24]の表示領域で利用可能なボタン、アノテーション可能なウェブブラウザ[24]のメニューオプション、キーボードのキープレスとマウスボタンのクリックの組み合わせ、タッチスクリーン装置上の入力ジェスチャ、または入力装置を介した入力ジェスチャであろうと、これらのトリガを利用可能にするのはウェブブラウザ拡張機能[25]指示セットであり、各表示された各アノテーションシンボルの1つの表示されたアノテーションシンボルビーコン[58]をトリガする。

次に、異なるエンティティ間でどのようにメッセージが送信されるかを示すシーケンス図が示される。メッセージには、アノテーション可能なウェブブラウザ［24］または通常のウェブブラウザへのユーザ入力と、電子デバイスとコンピュータシステムとの間の電子メッセージとが含まれる。アノテーション可能なウェブブラウザ［24］は、図3の例示的な実施形態に示されている。これらのシーケンス図は、例示的な実施形態のクラスに適用される。シーケンス図が提示された後、いくつかのメッセージのバリエーションが提示される。メッセージをより正確に特定することによって、特定の例示的な実施形態を論じることができる。

図14は、例示的な実施形態のクラスに適用されるシーケンス図である。図14において、シーケンス図は、ユーザ［59］、アノテーション可能なウェブブラウザ［24］、URL用サーバ［60］、アノテーションサーバ［61］、電子データベース［62］、及びコンテンツデリバリーネットワーク［63］間のインタラクションを示す。ユーザ[59]がURLを訪問すると[64]、アノテーション可能なウェブブラウザ[24]がウェブドキュメントを要求し[65]、URL用サーバ[60]がウェブドキュメントを返すと[66]、アノテーション可能なウェブブラウザ[24]はユーザ[59]にドキュメントを表示する[67]。次に、ユーザ[59]はアノテーションを作成するためのインプットを入力し[68]、アノテーション可能なウェブブラウザ[24]はアノテーションサーバ[61]にアノテーションを表すデータエレメントのバンドルを送り[69]、サーバはコンテンツデリバリーネットワーク[63]に保存用の画像[70]を送り、送られた画像の URLを返送する[71]。次に、アノテーションサーバ[61]は、電子データベース[62]に、CDN からのデータエレメントと URL の非画像バンドルをアノテーション・オブジェクトとして格納する指示を出し[72]、電子データベースはアノテーション・オブジェクトの格納を確認する[73]。その後、アノテーションサーバ[61]は受信したデータエレメントのバンドルを確認し、アノテーション表示バンドルをアノテーション可能なウェブブラウザ[24]に送信し[74]、アノテーションが正常に作成されたことを示す表示されたアノテーション・バンドルをユーザ[59]に表示する[75]。[69]では、アノテーションを表すデータエレメントのバンドルに言及されている。データエレメントのバンドルは、例示的な実施形態の実装の詳細及びアノテーションのタイプに応じて変化し得る。

図14において、例示的な実施形態のクラスに適用されるシーケンス図が提示された。アノテーションまたは強調テキストを表すデータエレメントのバンドルの特性に応じて、アノテーションサーバ［61］は異なるデータを記録し、アノテーション可能なウェブブラウザ［24］は、アノテーションまたは強調テキストの表示表現を生成する際に異なるデータが受信され、選択可能であるという事実により異なるビューを表示することがある。次に、図14のデータエレメントのバンドルの役割を果たし得るスクリーンショットバンドル及びアノテーションシンボルバンドルが、例示的な実施形態において議論される。さらに、図14は、アノテーション表示バンドルがスクリーンショット表示バンドルまたはアノテーションシンボル表示バンドルである例示的な実施形態に適用され得る。スクリーンショットバンドルに対応するのは、スクリーンショット表示バンドルであり、アノテーションシンボルバンドルに対応するのは、アノテーションシンボル表示バンドルである。これらの対応する組は、図14がデータエレメントのバンドルとアノテーション表示バンドルを使用する場合に使用される。

例示的な実施形態におけるスクリーンショットバンドルは、ドキュメントのユニフォーム・リソース・ロケータ（URL）、アノテーションを表す選択されたテキスト片を含んだドキュメントから選択されたテキスト片のデータ、及び選択されたテキスト片が視覚的にマークされて選択されたテキスト片を表示するドキュメントの一部のマーク付きスクリーンショットを含む。スクリーンショットバンドルは、ドキュメント内の選択されたテキスト片を見つけるための情報を含むこともできる。ドキュメント内の選択されたテキストの部分を見つけるためのこの情報は、典型的には、ドキュメントオブジェクトモデル（DOM）情報を含む。アノテーションスクリーンショットバンドルは、図7に描かれた例示的な実施形態に示されるように、アノテーション・コメント［32］も含まれるスクリーンショットバンドルである。スクリーンショットバンドルは、アノテーションシンボルを表現するためのデータも含むことができる。また、アノテーション・コメント［32］を含まないスクリーンショットバンドルを使用することもできる。そのような場合、アノテーション・コメント［32］なしで強調テキストを表すデータは、強調テキストを代表する関連するマーク付きのスクリーンショットとともに、スクリーンショット表示バンドルに含まれる。

例示的な実施形態におけるアノテーションシンボルバンドルは、ドキュメントのユニフォーム・リソース・ロケータ（URL）、ドキュメントから選択されたテキスト片を表すためのデータであって、選択されたテキスト片がアノテーション、アノテーション・コメント［32］、およびアノテーションシンボルを表している。図7の例示的な実施形態は、参考となり得る。スクリーンショットバンドルはまた、ドキュメント内の選択されたテキスト片を見つけるための情報を含む。ドキュメント内の選択されたテキストの部分を見つけるためのこの情報は、典型的には、ドキュメントオブジェクトモデル（DOM）情報を含む。アノテーションシンボルバンドルは、選択されたテキストの部分が視覚的にマークされている、選択されたテキストの部分を示すドキュメントの部分のマークされたスクリーンショットを含むこともできる。所望の動作に応じて、マークされたスクリーンショットは必要な場合もあれば、必要でない場合もある。

例示的な実施形態では、ドキュメント内の選択されたテキストの部分を見つけるためのDOM情報は、選択されたテキストの最初の文字を含むDOM内のエレメントを見つけるための情報、及び強調テキストの最後の文字を含むDOM内のエレメント、並びに強調テキスト自体を見つけるための情報を含むことができる。この2つのエレメントを、強調表示開始エレメントと強調表示終了エレメントと呼ぶ。強調表示開始エレメントと強調表示終了エレメントについて記録されている情報は、タグ、ID、クラス、インデックス、コンテンツ、XPath、及び親である。さらに、強調表示されたテキスト開始エレメントの祖先エレメントも記録される。強調表示開始エレメントの祖先エレメントには、タグ、ID、クラス、インデックス、コンテンツが記録される。指定された強調テキストを後の時点で見つけるために、DOMは、タグとID、XPath、タグとクラスとインデックス、タグとクラス、タグとインデックス、そしてタグだけで検索される。ウェブページに編集が加えられたり、ウェブページのDOM構造がDOMにエレメントを挿入するJavaScriptコードの実行の結果として変化したりすることがあるので、単純なXPath検索では十分ではない。この例示的な実施形態では、ウェブページに編集が加えられた場合でも、選択されたテキストを見つけることが目的である。異なるシナリオで選択されたテキストを見つけやすくするために、複数の検索方法が使用される。強調テキストの開始エレメントと強調テキストの終了エレメントが見つかれば、選択された強調テキストを見つけることが容易になる。

もう一つの懸念は、訪問したウェブページのJavaScriptコードによってウェブページのDOMにエレメントが挿入されることである。これらの挿入されたエレメントには、アノテーションを付けることができる。このプロセスを容易にするために、ブラウザの変異オブザーバを使用することができる。変更が検出されると、DOM構造検出コードを再実行することができる。強調テキストの開始エレメントと終了エレメントが見つかれば、強調テキストを挿入することができる。アノテーション付き強調テキストの場合は、表示されたアノテーションシンボルも挿入することができる。

送信されたスクリーンショットバンドルまたはアノテーションシンボルバンドルがマークされたスクリーンショットを含む場合、画像のストレージセットは、リサイズ、トリミング、および画像変更を含む様々な操作によって、このマークされたスクリーンショットから作成される。これらの操作は、異なるサイズのスクリーン上の異なる表示領域で見栄えのする画像を生成するために実施される。このマークされたスクリーンショットのストレージセットが作成されると、これらのマークされたスクリーンショットをコンテンツデリバリネットワーク（CDN）に保存するかどうかを決定することに意味がある。サムネイルマーキングされたスクリーンショットの場合、スクリーンショットバンドルまたはアノテーションシンボルバンドルの他のすべてのデータと共にデータを保存する利点があるかもしれない。より大きなマーク付きスクリーンショットの場合は、通常、これらの画像をデリバラブルなCDNを使用して保存する方がよいでしょう。いくつかの図に示すように、アノテーションサーバ［61］は、通常、いくつかの図に示すように、ストレージセット内のどの画像を電子データベース［62］に格納し、どの画像をCDNに送信するかを決定する。CDNは、典型的には、画像が格納されると、URLを返信する。これらのURLは、スクリーンショットバンドルやアノテーションシンボルバンドルの残りとともに保存される。

デリバラブルスクリーンショットは、一部の図に示すように、電子データベース[62]に格納された実際の画像またはURLのいずれかである。クライアント装置にデータを送信する場合、URLを使用してCDNから画像を読み込むことができる。また、画像を直接送信する場合は、単に画像を表示させればよい。最終的に、電子データベースに格納されるのは、アノテーション・オブジェクトである[62]。アノテーション・オブジェクトには、通常、スクリーンショットバンドルまたはアノテーションシンボルバンドル内の受信データすべてと、ストレージセット内の各マーク付きスクリーンショットのデリバラブルスクリーンショットが含まれている。

広告主が、ユーザが現在関与しているコンテンツに関連する関連広告で顧客に到達するために、広告スクリーンショットバンドル及び広告アノテーションシンボルバンドルは、それぞれの広告スクリーンショット表示バンドル及び広告アノテーションシンボル表示バンドルと共に潜在的に展開されることができる。表示された広告スクリーンショットバンドルは、広告スクリーンショット表示バンドル内のデータの視覚的に表示された形態であり、表示された広告アノテーションシンボルバンドルは、広告アノテーションシンボル表示バンドル内のデータの視覚的に表示された形態である。図7は、説明のために使用することができるが、表示されたアノテーションシンボルは、広告の表示されたアノテーションシンボルに置き換えられる。例示的な実施形態では、広告スクリーンショットバンドルは、アノテーション強調テキスト［27］に関連する、広告主によって作成されたアノテーション・コメント［32］を含む。広告アノテーションシンボルバンドルは、広告を示すアノテーションシンボルを含む。アノテーションシンボルバンドルはアノテーションシンボルを含むが、スクリーンショットバンドルはアノテーションシンボルを含むこともある。スクリーンショットバンドルがマークされたスクリーンショットを含む一方で、アノテーションシンボルバンドルはマークされたスクリーンショットを含んでもよい。図9は、説明のために使用することができるが、表示されたアノテーションシンボルは、広告の表示されたアノテーションシンボルに置き換えられる。さらに、アノテーション・コメントは、他のエレメントとともに広告主によって作成されるが、全体の形態は、他のアノテーションアイテムボックスに類似していることが好ましい。マークされたスクリーンショットが含まれる場合、実行可能なシステムを設計するには、ストレージセットの作成と、これらのマークされたスクリーンショットを配布するためのCDNの使用が必要となる場合がある。例示的な実施形態では、これらの広告スクリーンショットバンドルおよび広告アノテーションシンボルバンドルは、しばしば、アノテーションサーバと通信する広告サーバを介して格納および管理される。広告サーバは、シーケンス図に明示的に示されないが、挿入することができる。広告を1つ組み込むために、ページサイズを1つ小さくすることができる。いくつかの図に示すように、アノテーションサーバ[61]がアノテーションを表すアイテムのページを用意した後、アノテーションサーバ[61]は広告サーバと通信して1つの広告を取得することができる。

意味的ウェブは、ある種の記述論理の実装であるオントロジーを通じて、WWW上で利用可能ないくつかのウェブページやドキュメントの意味的な記述を提供するものである。これらのオントロジーは、異なるドメインのために作成される必要があり、これらのオントロジーは、記述論理で行われるように、そのドメイン内の概念を論理形式で表現する能力を有する。既存のオントロジーのコレクションは、KBPediaなどのプロジェクトで公開されている。記述論理は数理論理学で定義される論理の一種で、一階論理の特徴をいくつか持っている。論理族の特性によって、計算上の性質が異なる。存在するオントロジーを用いて、通常、論理的なステートメントを作成することができる。例示的な実施形態では、これらの論理的なステートメントは、自然言語に翻訳することができ、自然言語のいくつかの文は、ニューラル機械翻訳技術を使用して、記述論理内で作られるステートメントに翻訳することができる。他の深層学習技法も使用することができる。機械学習および深層学習モデルは、いくつかの自然言語の文を特定のオントロジーの中のステートメントに翻訳することができる。この例示的な実施形態内では、この方法論は、広告の目的のために使用され得る。広告主は、製品またはサービスに関連するオントロジー内で、製品またはサービスに関する概念を表現し、論理ステートメントを書くことができる。これらの論理文は、次に、広告プラットフォームに入力することができる。広告サーバは、広告対象の製品やサービスに関する概念を表現するために広告主が選択したオントロジー内のステートメントに翻訳できる自然言語テキストを含むウェブページやドキュメントを特定することができる。さらに、広告サーバは、これらのウェブページおよびドキュメントのうち、広告主によって表現されたものと類似するまたは論理的に関連するステートメントを表現する自然言語テキストを含むものを決定することができる。ドキュメント内の対応する場所と一緒にこれらのウェブページやドキュメントが識別されると、広告主は、ウェブページやドキュメントまたはその特定の場所にリンクしているどこかの特定の場所で広告を出す機会を与えることができる。ロジックアナライザーを使用すると、ウェブページやドキュメントで発生するステートメントのさまざまな結果を決定することができる。この情報をもとに、ウェブページやドキュメントとその中の場所を絞り込み、広告主にとって最適な場所を見つけることができる。画像、ビデオ、音声を、画像キャプション、音声認識、テキスト化することで、テキストに変換することができる。場合によっては、このテキストを広告主が使用するオントロジーと同じステートメントに翻訳することもできる。この後、ロジックアナライザーを使って、広告主に見せるべき最適な候補を決定し、広告主が検討することができる。広告主の選択に基づいて、広告プラットフォームは、広告サーバに配置する広告を生成することができる。さらに、この例示的な実施形態では、保険、金融サービス、法律サービス、ヘルスケアなどの異なるドメインで販売される製品およびサービスに関する事実を表現する目的で、オントロジーを作成することができる。これらのオントロジーは、次に、ウェブページ、ウェブドキュメント、画像、ビデオ、および録音などのメディアを検索するために、それらの製品およびサービスに関する論理的に正しく表現された文を作成するために、これらのドメインにおいてサービスを広告および販売する様々なグループによって使用されることができる。このメディアは、その後、このメディアを消費するオーディエンスに到達することができ、広告主は、このオーディエンスが、オントロジーにおいて広告主によってなされたステートメントに精通する可能性が高いことを知ることができる。さらに、この例示的な実施形態では、メディアソース自体が広告主のステートメントと論理的関係を有し、広告主は、この論理的関係を使用して、顧客のニーズを満たすよりテーラーメイドの製品およびよりテーラーメイドのターゲティングを提供することができる。

図14が例示的な実施形態の詳細を指定するために、ストレージセットおよびデリバラブルスクリーンショットに関する詳細とともに、データエレメントのバンドルが指定されるべきである。データエレメントのバンドルは、その関連するデータエレメントを有するスクリーンショットのバンドルとすることができる。データエレメントのバンドルは、関連するデータエレメントを有するアノテーションシンボルのバンドルとすることも可能である。異なるタイプのマーク付きスクリーンショットのストレージセット、サイズ、解像度、クロッピング、及び他の特性は、決定されるべきである。これは通常、表示されたビューのサイズと共に、これらのマークされたスクリーンショットが表示されるディスプレイのタイプの考察に基づいている。場合によっては、サムネイルでマークされたスクリーンショットがストレージセットに含まれることがある。これらのサムネイルのサイズが小さい場合、CDNを使用してこれらの画像を保存することは、最も効率的なアプローチではない可能性がある。
コンテンツデリバリーネットワーク[63]よりも、電子データベース[62]、ローカルファイルシステム、またはその他のローカルロケーションに画像を保存する方が効率的かもしれない。デリバラブルスクリーンショットが実際の画像であるか、電子データベースに格納されたURLであるかを指定することは、実装の詳細を指定するために考慮すべきもう1つの決定である。画像の保存と検索のために、様々な細かいバリエーションを導入できることは、当業者にとって明らかであろう。また、これらのバリエーションは互換性があり、その差は実質的でないことも、当業者には明らかであろう。

図14および他のいくつかの図における電子データベース[62]は、リレーショナル・データベースから非リレーショナル・データベースまで様々な形態をとることができる。さらに、電子データベース［62］は、1つまたは複数のコンピュータシステム上で実装される分散型電子データベースシステムであってもよい。データベースの最も有利な特性は、データベースクライアントの数およびこれらのデータベースクライアントの使用パターンに応じて変化し得る。例示的な実施形態の場合、アノテーションサーバ[61]はデータベースクライアントである。一貫性、可用性、及び永続性のニーズ、並びに異なるレイテンシ要件を有する多数のアノテーションサーバを処理するために、電子データベース又は分散電子データベースシステムの特性は変化してもよい。さらに、分散電子データベースシステムは、さまざまな方法で実装することができる。

さらに、電子データベース[62]に画像を格納することは、時にパフォーマンスに影響を与えることがあることに留意すべきである。そのような場合、データベースに参照を格納し、特定の画像に対して別の格納機構を使用することが有益である。コンテンツデリバリーネットワーク[63]の場合、参照はURLとなる。しかしながら、URLでない参照を格納し、その後、電子データベースに格納された参照を使用して検索可能な方法で画像を格納するために、代替メカニズムを使用することが可能である。例示的な実施形態では、画像は、ローカルファイルシステム上に格納することができ、データベース内の参照は、ファイルのパスに対応することができる。このような場合、電子データベースとの保存場所は、より性能の高い方法で画像を保存する分散型電子データベースと見なされるべきである。当業者であれば、画像の保存及び検索のために、この技術の様々なマイナーな変形を導入することができることは明らかであろう。また、これらのバリエーションは交換可能であり、その差は実質的でないことも、当業者には明らかであろう。

図15は、例示的な実施形態のクラスに適用されるシーケンス図である。図15が例示的な実施形態の詳細を指定するためには、アノテーション表示バンドルおよび表示されたアノテーション・バンドルが指定される必要がある。さらに、図15は、アノテーション表示バンドルがスクリーンショット表示バンドルに置き換えられ、表示されたアノテーション・バンドルが表示されたスクリーンショットバンドルに置き換えられる例示的な実施形態に適用され得る。この場合、含めるべきデータエレメントを有するスクリーンショット表示バンドルが指定される必要があり、デリバラブルスクリーンショットを取得するメカニズムも指定される必要がある。ユーザインターフェース図、スクリーンショットバンドルのために記述されたデータエレメント、および前に議論された考慮事項は、アノテーション表示バンドルおよび表示されたアノテーション・バンドルを指定するために使用され得る。表示されたスクリーンショットバンドルは、一般的に、アノテーション・コメントなしでアノテーション強調とマークされたスクリーンショットがあるときに使用される。表示されたアノテーションスクリーンショットバンドルは、マークされたスクリーンショット、アノテーション強調、およびアノテーション・コメントがある場合に使用される。図15は、ユーザ［59］、アノテーション可能なウェブブラウザ［24］、アノテーションサーバ［61］、電子データベース［62］、コンテンツデリバリーネットワーク［63］の間のインタラクションを示すシーケンス図である。ユーザ［59］がアノテーションサーバのURLを訪問すると［76］、アノテーション可能なウェブブラウザ［24］はアノテーションサーバ［61］にアノテーションサーバのオーガナイズページを要求し［77］、電子データベース［62］にページ構成に必要なアノテーション・オブジェクトを求め［78］、アノテーションサーバ［61］にアノテーション・オブジェクトが返される［79］。次に、アノテーションサーバ[61]は、アノテーション可能なウェブブラウザ[24]に、アノテーションサーバのオーガナイズページをアノテーション表示バンドルとともに返し[80]、アノテーションサーバのオーガナイズページが返ってきたときに返ってきたアノテーション表示バンドルURLの画像を要求する[81]。最後に、コンテンツデリバリーネットワーク[63]はアノテーション可能なウェブブラウザ[24]に要求された画像を返し[82]、ユーザ[59]に表示されたアノテーション・バンドルを伴うオーガナイズページを表示する[83]。次に、ユーザ[59]は、アノテーション可能なウェブブラウザ[24]にアノテーションを移動させるためのインプットを行い[84]、アノテーションサーバ[61]は電子データベース[62]にアノテーションサブジェクトの移動指示を出すことで[86]、アノテーションを移動するよう要求する[85]。これを受けて、電子データベース[62]はアノテーションサーバ[61]にアノテーション・オブジェクトの移動を認め[87]、アノテーションサーバはアノテーションが移動したことを認め[88]、アノテーション可能なウェブブラウザ[24]は新しい場所に表示されたアノテーション・バンドル付きのコンテンツをユーザ[59]に表示させる。

表示されたアノテーションスクリーンショットバンドルやアノテーションアイテムボックスは、図の一部に示すように、アノテーションサーバ[61]から送信されるアノテーションスクリーンショット表示バンドルのデータを使用して作成される。アノテーションスクリーンショット表示バンドルは、一部の図に示すように、電子データベースから取得したアノテーション・オブジェクトのデータを使用して作成される[62]。図10の例示的な実施形態に示すように、オーガナイズウェブページのアノテーション編成コンテキスト領域［43］のアイテムビン［44］のようなスクリーンショットバンドル表示領域でアノテーションのページを表示する場合、アノテーションサーバ［61］から送られるデータは、サムネイル表示バンドルが表示されたページとなる。これらのサムネイル表示バンドルは、少なくとも、電子データベース［62］に格納されているアノテーション・オブジェクトの格納グループ内のサムネイルマーク付きスクリーンショットに対するデリバラブルスクリーンショットを含んでいる。図9は、説明のために使用することができる。例示的な実施形態では、サムネイル表示バンドルは、ウェブブラウザによって表示可能な可読形式で、別個のコンテキスト・アノテーション強調テキスト［38］、別個のコンテキスト・アノテーション・コメント［40］、および別個のコンテキスト質問の表示されたアノテーションシンボル［39］を表すデータも含んでいる。さらに、別個のコンテキストアノテーション強調テキスト[38]と別個のコンテキスト質問の表示されたアノテーションシンボル[39]は色分けされている。これらすべてのデータが一緒に働くことで、ユーザは一目でより多くの情報を得ることができる。また、表示されたアノテーションのスクリーンショットは、アノテーションの詳細ページで表示することができ、1つのアノテーションに関するより詳細な情報と、そのアノテーションに関する多くのユーザのコメントやリプライを提供することができる。

図16は、例示的な実施形態のクラスに適用されるシーケンス図である。図16が例示的な実施形態を明示的に指定するためには、視覚的外観と共に含めるべきデータエレメントを有するアノテーションシンボル表示バンドルおよび対応する表示されたアノテーションシンボルバンドルが指定される必要がある。この指定には、ユーザインターフェース図、アノテーションシンボルバンドルについて記述されたデータエレメント、および先に説明した考察を用いることができる。図16において、ユーザ[59]、アノテーション可能なウェブブラウザ[24]、URL用サーバ[60]、アノテーションサーバ[61]、電子データベース[62]の間のインタラクションを示すシーケンス図である。ユーザ［59］がURLを訪問すると［90］、アノテーション可能なウェブブラウザ［24］はURL用サーバ［60］にウェブドキュメントを要求し［91］、サーバはアノテーション可能なウェブブラウザ［24］にウェブドキュメントを返す［92］。次に、アノテーション可能なウェブブラウザ[24]は、アノテーションサーバ[61]にアノテーションを表すアノテーションシンボル表示バンドルを要求し[93]、アノテーションサーバは電子データベース[62]にアノテーション・オブジェクトを要求する[94]。その後、電子データベース[62]はアノテーションサーバ[61]にアノテーション・オブジェクトを返し[95]、アノテーションサーバはアノテーション可能なウェブブラウザ[24]にアノテーションを表すアノテーションシンボル表示バンドルを返し[96]、閉じられた表示されたアノテーションシンボルとマウスオーバーまたはクリックすると開くことができるアノテーションとともにウェブドキュメントを表示する[97]。

図17は、例示的な実施形態のクラスに適用されるフローチャートを示す。特定の例示的な実施形態は、受信され記憶されるデータエレメントのバンドルが正確に指定される場合、指定することができる。例えば、スクリーンショットバンドルをその全てのデータエレメントと共に明示的に指定することができ、又は、アノテーションシンボルバンドルをその全てのエレメントと共に明示的に指定することができる。この場合、スクリーンショットバンドルまたはアノテーションシンボルバンドルが受信されるデータエレメントのバンドルとなる。さらに、データエレメントのバンドルがマークされたスクリーンショットを含む場合、配信されるスクリーンショットのストレージセット及びストレージ機構を指定する必要がある。これらの詳細は、実装を説明するのに役立つ。例示的な実施形態では、ストレージセットは、アイテムボックスのためのサムネイルマーク付きスクリーンショットと同様に、大型モニタ、ノートパソコン、タブレット、及び電話機での表示のためのマーク付きスクリーンショットを含むことができる。正確なサイズは、これらのディスプレイの現在使用中である最も一般的なサイズに調整することができる。さらに、サーバは、クライアント・サーバ・アーキテクチャにおいて、アノテーションを表すデータエレメントのバンドルを受け取り［98］、アノテーションまたは単純な強調を作成するユーザのクライアント装置のアノテーション可能なウェブブラウザによってなされる要求を満たすために、1つまたは複数のコンピュータシステムを用いて受け取ったデータエレメントおよび新たに作成したエレメントを保存する［99］。図17では、クライアント-サーバアーキテクチャにおいてサーバを代表する1つ以上のコンピュータシステムによって実施される方法のフローチャートが示されている。この方法は、同じクライアントまたは異なるクライアントのクライアントユーザインターフェースによって要求され得るデータの共有を可能にするために、サーバによって実装される。この方法のステップは、アノテーションを表すデータエレメントのバンドルを受け取り［98］、1つ以上のコンピュータシステムを用いて、受け取ったデータエレメント及び新たに作成されたエレメントを保存する［99］。

図18は、例示的な実施形態のクラスに適用されるフローチャートを示す。バンドル表示セットに含まれるデータエレメントが正確に指定される場合、特定の例示的な実施形態が指定され得る。これは、表示バンドルに含まれるデータエレメントを指定することを意味する。例示的な実施形態において、表示バンドルは、スクリーンショット表示バンドルまたはアノテーションシンボル表示バンドルであり得る。表示バンドルがスクリーンショット表示バンドルである場合、バンドル表示セットは、図18のスクリーンショット表示バンドル表示セットとなる。表示バンドルがアノテーションシンボル表示バンドルである場合、バンドル表示セットは、図18のアノテーションシンボルバンドル表示セットであろう。さらに、サーバは、クライアント-サーバアーキテクチャにおいて、1つ以上のコンピュータシステムを用いて、表示バンドルのページを含むバンドル表示セットをコンパイルし［100］、ウェブドキュメントまたは別のコンテキスト領域内のアノテーションのページを閲覧するユーザのクライアント装置上で実行されているアノテーション可能なウェブブラウザによって行われる要求を満たすために、電子機器上で実行されているウェブブラウザによって表示バンドルが表示できるフォーマットでバンドル表示セットを送信する［101］ことになる。図18に示すフローチャートは、1つまたは複数のコンピュータシステムによって実施される。

図19は、例示的な実施形態のクラスに適用されるフローチャートである。
特定の例示的な実施形態は、データエレメントのバンドルが明示的に指定されると指定することができる。例えば、含めるべきデータエレメントを有するスクリーンショットのバンドルを明示的に指定することができ、または含めるべきデータエレメントを有するアノテーションシンボルのバンドルを明示的に指定することができる。図19では、例示的な実施形態において、ブラウザ拡張機能の追加をサポートするウェブブラウザをアノテーション可能なウェブブラウザに変換するウェブブラウザ拡張機能の指示セットによって実施されるステップを示すアノテーション作成のフローチャートが示されている［24］、いくつかの図に示されているように、アノテーション作成は、ブラウザ拡張機能によって実施される。図19は、アノテーションを作成する際にユーザ[59]、ウェブブラウザ[102]、ウェブブラウザ拡張機能コンテンツスクリプト[103]、ウェブブラウザ拡張機能バックグラウンドスクリプト[104]によって実行されるステップを示す。ユーザ[59]は、ブラウザを開き[105]、ウェブブラウザ[102]がブラウザ拡張機能を読み込む[106]。次に、ユーザ[59]は、URLを訪問し[107]、ウェブブラウザ[102]は、アクセスしたURLから送られてきたデータを読み込み[108]、コンテンツスクリプトを注入する[109]。ここで、ユーザ[59]は、ウェブページを閲覧し[110]、テキストを強調する[111]。このとき、ウェブブラウザ拡張機能コンテンツスクリプト[103]は、ウェブブラウザ拡張機能の指示を実行した結果、アノテーションシンボル選択ボタンバーを利用可能にする[112]。次に、ユーザ[59]は、アノテーションシンボル選択ボタンバーの1つのアノテーションシンボルに対応するボタンを押し[113]、ウェブブラウザ拡張機能コンテンツスクリプト[103]は、これに応じてアノテーション入力ボックスを使用可能な状態にする[114]。次に、ユーザ[59]がテキストを入力してエンターキーを押すと[115]、ウェブブラウザ拡張機能コンテンツスクリプト[103]はデータエレメントのバンドルをバックグラウンドスクリプトに送信する[116]。このとき、ウェブブラウザ拡張機能のバックグラウンドスクリプト[104]は、コンテンツスクリプトからデータエレメントのバンドルを受け取り[117]、データエレメントのバンドルをアノテーションサーバに送信する[118]。

図19において、ユーザ［59］がテキストを入力してエンターを押した［115］後、ウェブブラウザ拡張機能コンテンツスクリプト［103］は、アノテーションシンボルバンドルまたはスクリーンショットバンドルいずれかを生成することが望ましい。例示的な実施形態は、アノテーションシンボルバンドルがマークされたスクリーンショットを含むことを要求し得る。マークされたスクリーンショットがサーバ側で生成される場合、ウェブページは再レンダリングされなければならないか、またはスクリーンショットがマークされなければならない可能性がある。このようなことを行うと、計算量が多くなり、エラーが発生しやすくなる。ブラウザ拡張機能を使用してマークされたスクリーンショットを生成することは、これらの問題が発生することはない。ブラウザ拡張機能では、ユーザのプライバシーが確実に保護される必要がある。スクリーンショットは、デスクトップまたは他のブラウザタブを含むべきではない。さらに、例示的な実施形態では、スクリーンショットには、アノテーション強調テキスト［27］とアノテーションコメントボックス［31］が付されていることが望ましい。アノテーション強調テキスト［27］およびアノテーションコメントボックス［31］は、図7に表示され、この場合、説明のために有用であり得る。例示的な実施形態では、スクリーンショットが撮影される前に、単純な遅延を実装することができる。この遅延は、アノテーション強調テキスト［27］及びアノテーションコメントボックス［31］がほとんどのデバイス上に存在することを確実にするのに十分であるべきである。代替の例示的な実施形態では、よりパフォーマンスの高い方法を実装することができ、ウェブブラウザ拡張機能コンテンツスクリプト［103］は、ドキュメントのDOM構造におけるアノテーション強調テキスト［27］及びアノテーションコメントボックス［31］の存在を検索し、これらのエレメントが存在するとスクリーンショットを撮影する。ドキュメントDOM構造におけるアノテーション強調テキスト［27］及びアノテーションコメントボックス［31］の存在に対する検索は、先に説明した単純な遅延時間よりも短い時間スケールで周期的な間隔で発生することになる。例示的な実施形態において、周期的な間隔は、選択されたであろう単純な遅延の長さの3分の1であることが可能である。

図20は、例示的な実施形態のクラスに適用されるフローチャートである。特定の例示的な実施形態は、表示されたアノテーションシンボルバンドルがそのすべてのデータエレメントで明示的に指定されると、指定することができる。図20では、例示的な実施形態において、ブラウザ拡張機能の追加をサポートするウェブブラウザをアノテーション可能なウェブブラウザに変換するウェブブラウザ拡張機能の指示セットによって遂行されるステップを示すアノテーションの表示のフローチャートが提示される。図20は、アノテーションを閲覧する際に、ユーザ［59］、ウェブブラウザ［102］、ウェブブラウザ拡張機能コンテンツスクリプト［103］、およびウェブブラウザ拡張機能バックグラウンドスクリプト［104］によって遂行されるステップを示す。ユーザ[59]はブラウザを開き[119]、ウェブブラウザ[102]はブラウザ拡張機能をロードする[120]。次に、ユーザ[59]はURLにアクセスし[121]、ウェブブラウザ[102]はアクセスしたURLから送られたデータを読み込み[122]、コンテンツスクリプトを注入する[123]。ここで、ウェブブラウザ拡張機能バックグラウンドスクリプト[104]は、URLに対するアノテーションを表すアノテーションシンボル表示バンドルを読み込み[124]、コンテンツスクリプトにアノテーションシンボル表示バンドルを送信する[125]。さて、ウェブブラウザ拡張機能コンテンツスクリプト[103]は、バックグラウンドスクリプトからアノテーションシンボル表示バンドルを受け取り[126]、ウェブページに閉じた状態のアノテーションシンボルを表示する[127]。さて、ユーザ[59]は、閉じた状態で表示されたアノテーションシンボルを持つウェブページを閲覧し[128]、閉じた状態で表示されたアノテーションシンボルをクリックする[129]。これを受けて、ウェブブラウザ拡張機能コンテンツスクリプト[103]は、アノテーションシンボルを開いた状態で表示する[130]。次に、ユーザ[59]は、選択表示されたアノテーションシンボルをオープン形式で表示したウェブページを閲覧する[131]。

図31に描かれた例示的な実施形態では、コレクションアイテムウェブページが示されている。コレクションアイテムページコンテキスト領域［258］は、表示されたアイテムの表示領域、コレクションアイテムページング機構［259］、コレクションアイテム検索フィルタ［260］、及びコレクションアクションメニュー・トリガ［261］である。コレクションアクションメニュー［262］は、コレクションへのメッセージ送信オプション［263］、ユーザ招待オプション［264］、ユーザ権限変更オプション［265］を表示する。コレクションアクションメニュー・トリガ[261]は、コレクションアクションメニュー[262]をトリガするために使用される。コレクションアイテムページングメカニズム[259]は、コレクションアイテムページコンテキストエリア[258]に表示される表示されたコレクションのページを変更するために使用されることがある。メッセージをコレクションに送るオプション [263] は、最初のテキストメッセージでメッセージ・チェーンを作成し、コレクションに対して読み取り可能な権限以上の権限を持っているコレクションのメンバーに送信する。メッセージ・チェーンは、ユーザの受信トレイに表示される。ユーザの受信トレイの例示的な実施形態は、図33に描かれている。図33の例示的な実施形態では、アメリカ史コレクション・メッセージ・チェーン[281]が示されている。コレクションにメッセージを送信オプション［263］を使用してそのコレクションのメンバーに送信されたメッセージは、メッセージが送信されたコレクションの下に分類された受信者の受信トレイに表示される。コレクションに所属するメンバーのうち、可読以上のパーミッションを持つすべてのメンバーがメッセージを読むことができ、メッセージ可能以上のパーミッションを持つすべてのメンバーが返信することができる。ユーザを招待オプション[264]は、コレクションに新しいユーザを招待するために使用される。招待状は、招待されたユーザの受信トレイに送信される。ユーザ権限の変更オプション[265]は、そのコレクションのメンバーのパーミッションを変更することに使用できる。メッセージ・チェーン内のメッセージの形で、変更の通知が、パーミッションが変更されたユーザの受信トレイに送信されることがある。

図31の例示的な実施形態に示されるコレクションアイテム検索フィルタ[260]のようなコレクションアイテムフィルタは、ユーザからの入力を受信するために使用される。コレクションアイテムページコンテキスト領域［258］コレクションアイテム検索フィルタ［260］の場合、それはコレクションアイテム検索フレーズである。これらの入力は、いくつかの図に示すように、アノテーションサーバ[61]に送信されるコレクションアイテムパラメータ値に変換される。これらのコレクションアイテムパラメータ値は、アノテーションサーバ［61］によって、いくつかの図に示すように、電子データベース［62］によって使用されるコレクションアイテム要求クエリに、コレクションアイテムパラメータを入力するために使用される。コレクションアイテム要求クエリは、コレクションアイテムパラメータ値及びコレクションアイテムページ番号を含む。コレクションアイテムパラメータ値を含むコレクションアイテム要求クエリは、コレクションアイテムのセットと、それらのコレクションアイテムの順次順序を指定するために使用される。コレクションアイテムページ番号は、特定のコレクションアイテムページを指定する。さらに、コレクションアイテム要求クエリは、クライアント電子デバイス上で実行されているウェブブラウザに送信されるべき指定された数のコレクションアイテムを含むことができる。このコレクションアイテム要求クエリは、コレクションアイテム検索フレーズなどのコレクションアイテムフィルタ値のコレクションアイテムパラメータと、指定されたコレクションアイテムのリストから除外するコレクションアイテムの除外リストと、そのコレクションアイテムのリストに対する順次順序付けを含む。

図32に描かれた例示的な実施形態では、コレクション・ウェブ・ページが示されている。コレクションページ・コンテキスト・エリア［266］は、表示されたコレクション、コレクションページ・ページング・メカニズム［267］、コレクションページ検索フィルタ［268］、及びコレクションページ・アクション・メニュー・トリガ［269］の表示エリアである。コレクションページアクションメニュー [270] は、所有フィルタオプション [271] 、アドミニストレータブルフィルタオプション [272] 、書き込み可能フィルタオプション [273] 、メッセージ可能フィルタオプション [274] 、閲覧可能フィルタオプション [275] 、サブスクライブフィルタオプション [276] を表示する。コレクションページ・アクション・メニュー・トリガ[269]は、コレクションページのアクションメニュー［270］をトリガするために使用される。コレクションページのページング機構[267]は、コレクションページコンテキストエリア[266]に表示される表示されたコレクションのウェブページを変更するために使用することができる。所有フィルタオプション [271] 、アドミニストレータブルフィルタオプション [272] 、書き込み可能フィルタオプション [273] 、メッセージ可能フィルタオプション [274] 、閲覧可能フィルタオプション [275] 、サブスクライブフィルタオプション [276] は、ユーザ権限に基づきコレクションをフィルタリングする。所有パーミッションは最高レベルのパーミッションであり、所有パーミッションはコレクションの作成者と所有者に与えられます。所有パーミッションは、他のユーザにそのコレクションのアドミパーミッションを与え、下位のパーミッションが許可することを何でも行うことを可能にする。アドミパーミッションは所有パーミッションより下位のパーミッションで、非アドミのパーミッションを上げたり、その他のアドミニストレーティブタスクを処理したり、下位のパーミッションで許可されていることを何でも実行することができる。書き込み可能なパーミッションはアドミパーミッションよりも低く、ユーザはコレクションにアイテムを追加したり、下位レベルのパーミッションが許可するあらゆることを行うことができる。メッセージ可能パーミッションは書き込み可能パーミッションより低く、ユーザはコレクションの他のメンバーにメッセージを送ることができ、閲覧可能パーミッションで許可されたことは何でも行うことができる。可読パーミッションはメッセージ可能パーミッションよりも低く、ユーザはコレクション内のすべてのアイテムを閲覧し、そのコレクションに対するすべてのコレクション・メッセージを読むことができる。サブスクライブパーミッションはユーザにパブリック・コレクションに対する可読パーミッションを与える。サブスクライブパーミッションは、コレクションと関連するメッセージが公開されているため、通常、パーミッションを要求したユーザにアドミの介入なしに付与される。ユーザがプライバシー設定を視覚化できるようにするため、背景色は色に基づいて割り当てられている。短い波長に関連する色はより大きな許可を意味し、長い波長に関連する色はより小さな許可を意味する。つまり、虹の色が許可に関連づけられるのである。紫は、所有するコレクションに対応する。青は、アドミラブルコレクションに対応する。緑色は、書き込み可能なコレクションに対応する。黄色は、メッセージ可能なコレクションに対応する。オレンジは、閲覧可能なコレクションに対応する。そして、赤はサブスクライブコレクションに対応する。デザインの目的で、これらの色のパステルカラーのバリエーションが使用されるかもしれません。または、値のスペクトルを意味する別の背景のセットを使用することができる。これらの背景は、図32の例示的な実施形態における表示されたコレクションに適用される。図31の例示的な実施形態について、ウェブページの背景は、そのコレクションの許可に関連する色に対応するように変更される。

例示的な実施形態では、単一のコレクションにあるアノテーションを含む多数のアイテムに目を通すことを容易にするために、アノテーションは、表示されたアノテーションアイテムのスタックセットにグループ化されることが可能である。表示されたアノテーションアイテムのそのようなスタックセットは、積み重ねられたアイテムの視覚的外観を有する、単一のアイテムとして現れる。同じURLからのアノテーション、最大9つのアノテーションまたは別の固定設定可能な値、表示されたアノテーションアイテムを、表示されたアノテーションアイテムのスタックセットに配置することが有益である。このような表示を容易にするために、ページング機構は、この形式のアイテムのリターンをサポートする必要がある。例として、10個のアイテムのうち8個が同じURLに属するアノテーションアイテムであることを想像してください。これらの8つのアイテムが表示されたアノテーションアイテムのスタックセットにグループ化されると、コレクションアイテムページには3つのアイテムが存在することになる。表示されたアノテーションアイテムのスタックセットが使用される場合でも10個のアイテムが存在することを保証するために、アノテーションサーバによってより多くのアイテムが返される必要がある[61]。例示的な実施形態では、リレーショナル・データベース［246］が使用され、ウィンドウ機能を使用する複雑な構造化クエリ言語（SQL）クエリが必要とされる場合がある。一般的に、オブジェクトリレーショナルマッピング（ORM）システムは、リレーショナル・データベース［246］にアクセスするために、ほとんどの最新のウェブフレームワークによって使用される。例示的な実施形態では、ORMシステムは、ウィンドウ関数に対応しなかった。この制限を克服するために、ORMシステムによって使用される基礎的な関係代数ライブラリが使用された。この関係代数を使用して、適切なウィンドウ関数を使って複雑なSQLクエリが生成された。これにより、表示されたアノテーションアイテムのセットを積み重ねたコレクションアイテムのページを表示することができるようになった。

図32の例示的な実施形態に示されるコレクションページ検索フィルタ[268]などのコレクション・フィルタは、ユーザからの入力を受信するために使用される。コレクションページ・コンテキスト・エリア［266］コレクションページ検索フィルタ［268］の場合、それはコレクション検索フレーズである。これらの入力は、いくつかの図に示すように、アノテーションサーバ[61]に送信されるコレクション・パラメータ値に変換される。これらのコレクション・パラメータ値は、一部の図に示すように、アノテーションサーバ[61]が、電子データベース[62]が使用するコレクション要求クエリに、コレクション・パラメータを入力するために使用される。コレクションリクエストクエリは、コレクション・パラメータ値とコレクションページ番号を含む。コレクション・パラメータ値を含むコレクション要求クエリは、コレクションのセットと、それらのコレクションに対する順序付けを指定するために使用される。コレクションページ番号は、特定のコレクションページを指定する。さらに、コレクション要求クエリは、クライアント電子デバイス上で実行されているウェブブラウザに送信されるべきコレクションの指定数を含むことができる。このコレクション要求クエリは、コレクション検索フレーズなどのコレクション・フィルタ値のコレクション・パラメータと、指定されたコレクションのリストから除外するコレクションの除外リストと、そのコレクションのリストに対する順次順序付けとを含む。

図33に描かれた例示的な実施形態では、受信トレイ・ページが示されている。コレクション・メッセージ・チェーンセクション及びタイトル［277］は、アメリカ史コレクション・メッセージ・チェーンセクション及びタイトル［279］及び車コレクション・メッセージ・チェーンセクション及びタイトル［280］を含む。コレクション・メッセージ・チェーンは、コレクションに関連するメッセージ・チェーンである。これらのコレクション・メッセージ・チェーンは、コレクション・メッセージ・チェーンが属するコレクションの名称の下の「コレクション・メッセージ」セクションに出現する。この例示的な実施形態では、アメリカ史コレクション・メッセージ・チェーンのセクションとタイトル[279]にはアメリカ史コレクション・メッセージ・チェーン[281]が、車コレクション・メッセージ・チェーンのセクションとタイトル[280]には車コレクション・メッセージ・チェーン1 [282] と車コレクション・メッセージ・チェーン2 [283] がリストされる。タグなしメッセージ・チェーンは、どのコレクションにも関連付けられていないメッセージ・チェーンである。タグ無しメッセージ・チェーンは、「タグ無しメッセージ」セクションに表示される。例示的な実施形態では、タグなしメッセージ・チェーンセクション及びタイトル［278］は、タグなしメッセージ・チェーン1［284］、タグなしメッセージ・チェーン2［285］、及びタグなしメッセージ・チェーン3［286］を含む。ユーザがメッセージ・チェーンをクリックすると、メッセージ・チェーンコンテキストエリア[287]にメッセージ・チェーンが表示される。メッセージ・チェーンコンテキスト領域[287]には、アメリカ史メッセージ・チェーンの最初のシステム・メッセージ[288]が、システム・メッセージ受理ボタン[289]とシステム・メッセージ拒否ボタン[290]とともに表示されている。ユーザは、システム・メッセージ受入ボタン [289] を押してコレクションへの招待を受け入れるか、システム・メッセージ拒否ボタン [290] を押してコレクションへの招待を拒否することができる。

図34に描かれた例示的な実施形態では、ユーザがコレクションに参加するための招待を受け入れた後に、受信トレイ・ページが表示される。システム・メッセージ通知[291]は、ユーザがコレクションに参加するための招待を受け入れたことを示す。メッセージ・チェーンメッセージ分割器[292]は、あるユーザのメッセージを他のユーザのメッセージから分離する。また、メッセージ・チェーンメッセージ分割器[292]は、このコンテキストであるユーザのメッセージを別のユーザのメッセージから分離するために、様々な視覚的デザイン技術を使用して実装できることは、当技術分野で通常の技術を有する者には明らかであるはずである。次に、アメリカ史メッセージ・チェーンの第1テキストメッセージ［293］、アメリカ史メッセージ・チェーンの第2テキストメッセージ［294］、アメリカ史メッセージ・チェーンの第3テキストメッセージ［295］が示される。そして、メッセージ作成セクションとタイトル[296]が、メッセージ作成ボックス[297]とメッセージ送信ボタン[298]と共に表示されている。この受信トレイは、権限管理システムとコレクションへの接続を備えている。メッセージ・チェーンに権限を与えると、メッセージ・チェーンが作成されたときにもともとアクセス権を持っていなかったユーザでも、メッセージ・チェーン内の他のすべてのメッセージが表示されるようになる。これにより、議論が容易になり、アクセスはメッセージ・チェーンのレベルで制御される。さらに、システムのメッセージ・チェーンは、通常、コレクションのアドミがグループのメンバーの活動や権限について情報を得ることを保証する。さらに、メッセージ可能な権限を持つユーザは、コレクション内のユーザまたはコレクション内の選択されたグループに対して、1つのメッセージでメッセージ・チェーンを送信することができる。コレクションチェーンを作成できることで、議論の対象を明確にし、ユーザが集中して行いたいコレクションやタスクに注意を向けることができる。

受信箱は、ユーザがすでにサイトにいる場合、コレクションにユーザを招待する有効な手段である。また、インボックスは、ユーザが既にサイトにいる場合、アイテムを他の人と共有するのにも効果的である。ユーザがサイトにいないときにアイテムやコレクションの共有を容易にするために、暗号ハッシュを持つリンクが使用される。このリンクは推測が不可能であり、リンクを持つユーザはリンクにアクセスするためにアカウントを作成する必要はない。リンクを所持しているだけで共有することができる。また、アノテーションやコレクションなどのパブリックアイテムは、ソーシャルメディアを通じて共有することができる。

図21では、いくつかの図に示すように、アノテーション可能なウェブブラウザ［24］の例示的な実施形態を使用する看護師のフローチャートが示されている。この看護師は、患者に、糖尿病患者にはご飯が良くないことを教え、次に、好きな料理が糖尿病患者にとってより優しいものになるように修正できることを示したいと考えている。このメモ帳を作成したら、患者さんと共有することができる。初日 [132] の看護師は、グリセミック指数のウィキペディアのページを訪れ、「アメリカ糖尿病協会が支持」を強調し、「ほとんどの医師は、高グリセミック指数の食品は糖尿病患者の健康に悪影響を与えると強く信じている」というアノテーション・コメントとともにチェックアノテーションを作成し[134]、そしてメモ帳にアノテーションを追加する[135]。次に、看護師は allrecipes.com を訪問し、"風味豊かなスパニッシュライスアンドビーンズ" という料理を見つけ、"1 カップの生白米" を強調し、"コメのグリセミック指数は非常に高いですが、パール大麦で同じレシピを作成可能" というアノテーション・コメントと共に感嘆アノテーションを作成し[136]、そしてメモ帳にアノテーションを追加する[137]。その後、看護師はハーバード・ヘルスのウェブサイトを訪れ、100以上の食品のグリセミック指数のページを見つけ、「白米を炊いたもの*」を強調し、感嘆アノテーションを付けて、「ほとんどの人は白米がこんなに高いグリセミック指数を持っているとは気づいていません。73であり、ほとんどの食品よりも高いことに注目してください。」と述べ[138]、メモ帳にアノテーションを追加する[139]。次に、看護師はハーバード・ヘルスのウェブサイトを訪問し、100以上の食品のグリセミック指数のページを見つけ、ダガーアノテーションで「パール大麦」を強調し、「ほとんどの人はパール大麦がこれほど低いグリセミック指数であることに気づいていません。28であり、ほとんどの食品より低いことに注目してください。」と述べ[140]、メモ帳にアノテーションを追加する [141]。その後、看護師はターゲットのウェブサイトを訪問し、パール大麦の商品ページを見つけ、ダガーアノテーションが入った「パール大麦 - 1lb - Market Pantry」を選択し、「パール大麦は米と同様に炊飯器で作ることができる。さらに、調理されたパール大麦は穀物のような見た目と食感で、お米の代わりとして最適である。米を必要とするレシピで米の代わりに使用できる。」と記載し[142]、そしてメモ帳にアノテーションを追加する[143]。メモ帳の作成後、2日目 [133] の看護師は、糖尿病でスパニッシュライスを作るのが好きな患者とメモ帳を共有する [144]。

図22において、看護師によって作成されたメモ帳を見るために、メモ帳機能付きアノテーション可能なウェブブラウザ［24］の例示的な実施形態を使用する患者のフローチャートが示される。2日目の患者［145］は、メモ帳リンクを開き、メモ帳に埋め込まれた最初に表示されたアノテーションスクリーンショットバンドルをクリックし［147］、グリセミック指数のウィキペディアのタイトルを読み、チェックマーク表示アノテーションシンボルを観察した後に強調テキスト「アメリカ糖尿病協会が支持」を読み、アノテーション・コメント「ほとんどの医師は、高グリセミック指数食品は糖尿病患者の健康に悪影響を与えると強く信じている」を読み上げる[148]。次に、患者は、メモ帳に埋め込まれた2番目に表示されたアノテーションのスクリーンショットバンドルをクリックし［149］、allrecipes.comのタイトル「風味豊かなスパニッシュライスアンドビーンズ」を読み、感嘆の表示されたアノテーションシンボルを見て、強調テキスト「1カップの生白米」を読み、次にアノテーション・コメント「コメのグリセミック指数は非常に高いですが、パール大麦で同じレシピを作成可能」を読む[150]。その後、患者は、メモ帳に埋め込まれた3番目に表示されたアノテーションのスクリーンショットバンドルをクリックし［151］、ハーバード・ヘルスのウェブサイトのタイトル「100種類以上の食品のグリセミック指数」を読み、そして感嘆アノテーションシンボルを見た後に強調表示されたテキスト「ボイルされた白米*」を読み、そして「ほとんどの人は白米のグリセミック指数はこれほど高いことに気づいていません。それは73であり、ほとんどの食品よりも高いことに注目してください。」とのアノテーション・コメントを読む[152]。次に、患者は、メモ帳に埋め込まれた4番目に表示されたアノテーションのスクリーンショットバンドルをクリックし［153］、ハーバード・ヘルスのウェブサイトのタイトル「100種類以上の食品のグリセミック指数」を読み、そして、ダガーの表示されたアノテーションシンボルを見た後に、強調表示されたテキストを読み、「パール大麦」を読み、「多くの人々は、パール大麦のグリセミック指数がこれほど低いことに気づいていません。それは28でほとんどの食品より低いことに注目してください。」とのアノテーション・コメントを読む[154]。その後、患者は、メモ帳に埋め込まれた5番目に表示されたアノテーションスクリーンショットバンドルをクリックし［155］、対象ウェブサイトのタイトルを読み、それがパール大麦の製品ページであることに気付き、ダガーの表示されたアノテーションシンボルを見た後に強調テキスト「パール大麦 - 1lb - Market Pantry」を読み、そして「パール大麦はご飯と同じように炊飯器で作ることができます。さらに、調理されたパール大麦は穀物のような見た目と食感で、ご飯の代わりになります。これは、ご飯を必要とするレシピで、ご飯の代わりに使用できます。」と述べたアノテーション・コメントを読む[156]。メモ帳の内容を理解した後、食料品買い出しの日 [146] に患者はターゲットに行き、パール大麦を買って「風味豊かなスパニッシュ大麦とビーンズ」を作る [157]。

図23に描かれた例示的な実施形態では、メモ帳機能付きアノテーション可能なウェブブラウザ[24]が提示される。メモ帳機能付きアノテーション可能なウェブブラウザは、アクティブなメモ帳が存在するか否かを追跡し、ユーザがアクセス可能なメモ帳のグループからアクティブなメモ帳を選択することを可能にする。図23は、アクティブなノートパッド[159]と、ノートパッドに埋め込まれたアノテーション[160]を示している。アクティブなノートパッド[159]が存在する場合、ノートパッド機能付きアノテーション可能なウェブブラウザは、アクティブなノートパッドが存在する状態であり、アクティブなノートパッド[159]が存在しない場合、ノートパッド機能付きアノテーション可能なウェブブラウザは、アクティブなノートパッドが存在しない状態である。表示されるノートパッドには、多くのメモ帳埋め込みアノテーション[160]が含まれている。メモ帳埋め込みアノテーション[160]は、アノテーション表示バンドルに含まれるデータを示す表示されたアノテーション・バンドルを含むコンテナである。例示的な実施形態では、メモ帳埋め込みアノテーション[160]は、アノテーションシンボルも含む表示されたアノテーションスクリーンショットバンドルを含む。代替の実施形態では、メモ帳埋め込みアノテーション[160]は、アノテーションシンボルまたはアノテーション・コメントを含まない表示されたスクリーンショットバンドルを含むことができる。ユーザは、図23に描かれたメモ帳に追加アイコンボタン［158］をクリックすることによって、メモ帳にアノテーションを追加することができる。メモ帳は、アノテーション・オブジェクトへの参照のリストを含む。いくつかの図に示されるように、電子データベース［62］は、アノテーション・オブジェクトへの参照のリストと共に、ノートパッドオブジェクトを格納する。アノテーションサーバ[61]は、一部の図に示すように、アノテーション可能なウェブブラウザ[24]からの要求を受信すると、電子データベース[62]からメモ帳オブジェクトとアノテーション・オブジェクトを取得し、メモ帳をアノテーション可能なウェブブラウザに送信する。
ウェブブラウザ[24]で表示される。アクティブなノートパッド［159］が表示されると、ユーザは、図23のメモ帳埋め込みアノテーション［160］に描かれているように、メモ帳埋め込みアノテーション［160］をクリックするだけでアノテーションにナビゲートすることができる。例示的な実施形態のクラスでは、各メモ帳はバンドル表示セットと関連付けられる。例示的な実施形態では、各メモ帳は、スクリーンショットバンドル表示セットと関連付けられ得る。別の例示的な実施形態では、各メモ帳は、アノテーションスクリーンショットバンドル表示セットと関連付けられ得る。

メモ帳は、アノテーション・コメントとともに他の情報源へのリンクを通じて豊富な情報を含んでいる。この情報は、メモ帳の作成者によって書かれた説明によって補強される可能性がある。これらのメモ帳を使用して、PDF、Microsoft Word、その他様々なオープンソースおよび独自のドキュメント形式を含む様々な形式でプレゼンテーションを作成することができる。これらのプレゼンテーションは、図9に示すように、各アノテーションについて、マークされたテキストを含む関連するスクリーンショット［37］、別個のコンテキスト・アノテーション強調テキスト［38］、別個のコンテキスト質問の表示されたアノテーションシンボル［39］、および別個のコンテキスト・アノテーション・コメント［40］を順次含めることによって作成される。さらに、この情報は、画像キャプション技術とともに自然言語処理技術を使用して生成されたリンクされた記事のテキスト要約で補強することができる。さらに、ユーザは、指定した箇所に追加する説明文を作成することができ、これらの説明文は、プレゼンテーションの出力に含まれることになる。

図24に描かれた例示的な実施形態において、メモ帳を作成するためのユーザ[59]、メモ帳機能付きアノテーション可能なウェブブラウザ[161]、URL用サーバ[60]、アノテーションサーバ[61]、電子データベース[62]、コンテンツデリバリーネットワーク[63] の間の相互作用を、シーケンス図によって示している。まず、ユーザ［59］は、メモ帳機能付きアノテーション可能なウェブブラウザ［161］のURLを訪問し［162］、URL用サーバ［60］にウェブドキュメントを要求し［163］、URL用サーバはウェブドキュメントをメモ帳機能付きアノテーション可能なウェブブラウザ［161］に返し［164］、ユーザ［59］にウェブドキュメントを表示する［165］。次に、ユーザ[59]は、メモ帳機能付きアノテーション可能なウェブブラウザ[161]に「風味豊かなスパニッシュ大麦とビーンズ」のメモ帳の作成入力を行い[166]、「風味豊かなスパニッシュ大麦とビーンズ」のメモ帳を作るための要求をメモ帳サーバ[61]に送り[167]、メモ帳オブジェクトの作成指示を電子データベース[62]に送信する[168]。次に、電子データベース[62]は、メモ帳オブジェクトの作成をアノテーションサーバ[61]に認め[169]、アノテーションサーバは、メモ帳機能付きアノテーション可能なウェブブラウザ[161]にメモ帳の作成を認め[170]、表示されたメモ帳をユーザ[59]に表示する[171]。次に、ユーザ[59]は血糖値アノテーションを作成するための入力を行い[172]、アノテーションサーバ[61]にアノテーション画面バンドルを送り[173]、サーバは必要に応じて保存用の画像をコンテンツデリバリーネットワーク[63]に送る[174]。コンテンツデリバリーネットワーク[63]は、保存画像のURLをアノテーションサーバ[61]に返し[175]、CDNのURLを持つグリセミック指数アノテーション・オブジェクト作成指示を電子データベース[62]に送信する[176]。次に、電子データベース[62]は、アノテーションサーバ[61]にアノテーション・オブジェクト作成を許可し[177]、アノテーションサーバは、受け取ったアノテーションスクリーンショットバンドルをメモ帳機能付きアノテーション可能なウェブブラウザ[161]に送り[178]、表示されたアノテーションスクリーンショットバンドルはユーザ[59]に提示される[179]。次に、ユーザ[59]は、メモ帳機能付きアノテーション可能なウェブブラウザ[161]のメモ帳に血糖値アノテーションを追加し[180]、アノテーションサーバ[61]は、メモ帳に血糖値アノテーション・オブジェクト参照を追加することを要求し[181]、メモ帳へのグリセミックスインデックスアノテーション・オブジェクト参照追加の指示が電子データベース[62]に送られる[182]。そして、電子データベース[62]は、アノテーションサーバ[61]にアノテーション・オブジェクト参照追加を認め[183]、アノテーションサーバは、メモ帳機能付きアノテーション可能なウェブブラウザ[161]にメモ帳への血糖値アノテーション・オブジェクト参照追加を認め[184]、表示されたアノテーションスクリーンショットバンドルを追加したメモ帳付きのウェブドキュメントがユーザ[59]に示される[185]。

図25に描かれた例示的な実施形態において、シーケンス図は、ユーザ［59］、メモ帳機能付きアノテーション可能なウェブブラウザ［161］、URL用サーバ［60］、アノテーションサーバ［61］、電子データベース[62]、及びコンテンツデリバリーネットワーク[63]であってメモ帳閲覧目的のための間のインタラクションを示す。まず、ユーザ[59]は、メモ帳機能付きアノテーション可能なウェブブラウザ[161]で任意のURLにアクセスし[186]、アノテーションサーバ[61]に「味わい深いスペインの大麦と豆」のメモ帳を要求し[187]、電子データベース[62]にメモ帳オブジェクトを要求する[188]。次に、電子データベース[62]は、メモ帳オブジェクトをアノテーションサーバ[61]に返し[189]、アノテーションサーバは、メモ帳機能[161]を持つアノテーション可能なウェブブラウザに、メモ帳を返す[190]。次に、メモ帳機能付きアノテーション可能なウェブブラウザ[161]は、アノテーションサーバ[61]に、アノテーションシンボルデータ付き血糖値アノテーション画面表示バンドルを要求し[191]、電子データベース[62]に血糖値アノテーション・オブジェクトを要求し[192]、CDN URL付アノテーション・オブジェクトをアノテーションサーバ[61]に返却し[193]、CDN URL及びアノテーションシンボルデータ付きアノテーション画面表示バンドルをメモ帳機能付きアノテーション可能なウェブブラウザ[161]に返却する[194]。次に、メモ帳機能付きアノテーション可能なウェブブラウザ[161]は、コンテンツデリバリーネットワーク[63]にCDN URLを用いてCDNからの画像を要求し[195]、指定したURL のCDNからの画像をメモ帳機能付きアノテーション可能なウェブブラウザ[161]に戻し[196]、表示されているメモ帳をユーザ[59]に表示する[197]。次に、ユーザ[59]は、メモ帳機能付きアノテーション可能なウェブブラウザ[161]において、最初に表示されたアノテーションスクリーンショットバンドルをクリックし[198]、URL[60]に対してサーバにウェブドキュメントを要求し[199]、ウェブドキュメントがメモ帳機能付きアノテーション可能なウェブブラウザ[161]に返されて[200]、開いた状態で表示されたアノテーションシンボルがウェブドキュメント上に表示される[201]。そして、メモ帳機能付きアノテーション可能なウェブブラウザ[161]は、表示されたアノテーションシンボルを開いた状態でメモ帳を横に置き、ブラウザを適切な位置にスクロールさせたウェブドキュメントをユーザ[59]に表示する[202]。

図26に描かれた例示的な実施形態において、ブラウザ拡張機能の追加をサポートするウェブブラウザを、メモ帳機能付きアノテーション可能なウェブブラウザに変換するウェブブラウザ拡張機能の指示セットによって実行されるステップを示すメモ帳作成のフローチャートが提示されている。ユーザ[59]は、ブラウザを開き[203]、次に、ウェブブラウザ[102]は、ブラウザ拡張機能を読み込む[204]。次に、ユーザ[59]は、URLに訪問する[205]。その後、ウェブブラウザ[102]は、訪問した URL から送信されたデータを読み込み[206]、コンテンツスクリプトを注入する[207]。その後、ユーザ[59]は、ウェブページを閲覧し[208]、メモ帳を作成する[209]。その結果、ウェブブラウザ拡張機能コンテンツスクリプト[103]がメモ帳を作成し[210]、ウェブブラウザ拡張機能バックグラウンドスクリプト[104]がアノテーションサーバにメモ帳作成要求を送信する[211]。次に、ウェブブラウザ拡張機能コンテンツスクリプト［103］は、表示されたメモ帳を表示し［212］、ユーザ［59］は表示されたメモ帳を閲覧し、既に作成されているアノテーションをメモ帳に追加する［213］。その後、ウェブブラウザ拡張機能コンテンツスクリプト[103]は、既に作成されているアノテーションをメモ帳に追加し[214]、ウェブブラウザ拡張機能バックグラウンドスクリプト[104]は、メモ帳へのアノテーション・オブジェクト参照追加要求をアノテーションサーバに送信する[215]。

図27に描かれた例示的な実施形態において、ブラウザ拡張機能の追加をサポートするウェブブラウザを、メモ帳機能付きアノテーション可能なウェブブラウザに変換するウェブブラウザ拡張機能の指示セットによって実行されるステップを示すメモ帳表示のフローチャートが提示されている。ユーザ[59]は、ブラウザを開き[216]、ウェブブラウザ[102]は、ブラウザ拡張機能を読み込む[217]。その後、ユーザ[59]は、任意のUR Lを訪問する [218]。次に、ウェブブラウザ[102]は、訪問したURLから送信されたデータを読み込み[219]、コンテンツスクリプトを注入する[220]。その後、ユーザ[59]はメモ帳を開き[221]、ウェブブラウザ拡張機能コンテンツスクリプト[103]がメモ帳を要求する[222]。次に、ウェブブラウザ拡張機能バックグランドスクリプト[104]は、アノテーションサーバに、アノテーション・オブジェクトへの参照リストの中の対応する全てのアノテーション・オブジェクトに対するアノテーションスクリーンショット表示バンドルとアノテーションシンボルデータとのメモ帳を要求し[223]、ウェブブラウザ拡張機能コンテンツスクリプト[103]は表示されたメモ帳を表示する[224]。その後、ユーザ[59]は表示されたメモ帳を閲覧し、最初に表示されたアノテーションスクリーンショットバンドルをクリックし[225]、ウェブブラウザ拡張機能コンテンツスクリプト[103]はURLを訪問するようにブラウザにメッセージを送信する[226]。すると、ウェブブラウザ[102]はURLにアクセスし[227]、URLから送られたデータを読み込む[228]。次に、ウェブブラウザ拡張機能バックグランドスクリプト[104]は、アノテーションサーバにアノテーション・コメントの返信など追加のアノテーション・オブジェクト情報を要求し[229]、アノテーションサーバから追加のアノテーション・オブジェクト情報を取得する[230]。次に、ウェブブラウザ拡張機能コンテンツスクリプト[103]は、表示されたアノテーションシンボルを開いた状態で表示し[231]、表示されたアノテーションシンボルの位置までスクロールさせる[232]。その後、ユーザ[59]は、開かれた状態で表示されたアノテーションシンボルの位置までスクロールしたページを閲覧する[233]。

図28に描かれた例示的な実施形態では、第1のユーザ［234］、第2のユーザ［235］、第3のユーザ［236］、第1のユーザのブラウザ［237］、第2のユーザのブラウザ［238］、第3のユーザのブラウザ［239］、アノテーションサーバ［61］、コンテンツデリバリーネットワーク［63］、及び電子データベース［62］がいかに相互作用するかを示すシステム図が提示されている。ユーザは、アノテーションサーバ[61]と通信し、アノテーションサーバは画像をコンテンツデリバリーネットワーク[63]にプッシュする。また、ユーザは、コンテンツデリバリーネットワーク[63]と通信して、画像やその他のファイルを取得する。ユーザは、電子データベース[62]と直接通信することはない。この例示的な実施形態では、アノテーションサーバ［61］は、1つのコンピュータシステムに置かれ、電子データベース［62］は、第2のコンピュータシステムに置かれる。電子データベース[62]をアノテーションサーバ[61]と同じマシンに配置することで、使用するマシンの数を減らすことができる。ここで問題になるのは、システムの同時使用者数である。この問題が解決されれば、システムの大きさを決めることができる可能性がある。この例示的な実施形態におけるコンテンツデリバリーネットワーク［63］は、第三者によって運営される。コンテンツデリバリーネットワーク（CDN）は、第三者によって提供されてもよい。多くのサードパーティは、CDNを提供している。これらのCDNは、ウェブインターフェースを用いて構成することができ、ファイルは、アプリケーションプログラミングインターフェース（API）を介してアップロード及びアクセスされることができる。このAPIは、REST（representational state transfer）APIである場合がある。このようなサードパーティのCDNを、そのサードパーティのドキュメントに基づいて設定および使用することは、当業者には明らかであるはずである。

図29に描かれた例示的な実施形態では、異なるコンポーネントを分離することを可能にする、より堅牢なシステムを構築する方法を示すコンポーネント図が提示されている。関心事を分離することは、セキュリティを向上させ、マシンのネットワークへの再現可能なソフトウェア展開を容易にするのに有利であり得る。追加されたセキュリティ、懸念の分離、および再現可能な配備は、多数のユーザを処理するためのシステムのスケーリングを容易にすることができる。図29は、ロード・バランサ［241］、フロントエンドウェブサーバ［242］、アノテーションAPIサーバ［243］、深層学習API［244］、及びメッセージブローカー［245］を含むアノテーションサーバ［61］を示す代替の例示的実施形態の次に通信するアノテーションサーバ［61］及び電子データベース［62］の単純バージョンを示す図である。また、リレーショナル・データベース［246］及びキーバリューストアデータベース［247］を含む電子データベース［62］が示されている。この例示的な実施形態では、ロード・バランサ［241］、フロントエンドウェブサーバ［242］、アノテーションAPIサーバ［243］、深層学習API［244］、メッセージブローカー［245］、リレーショナル・データベース［246］、及びキーバリューストアデータベース［247］はそれぞれ、1以上の中央処理装置（CPU）、メモリ、及び非一時的なコンピュータ可読記憶媒体を有する別のマシン上で実行されている。さらに、深層学習API［244］は、グラフィカル処理ユニット（GPU）、テンソル処理ユニット（TPU）、またはフィールドプログラマブルゲートアレイ（FPGA）のうちの少なくとも1つを備える。図29に描かれた例示的な実施形態では、ロード・バランサ［241］マシンは、4コアを有する1つの中央処理装置（CPU）、8gbのランダムアクセスメモリ（RAM）、および250gbのソリッドステートドライブ（SSD）を備え、フロントエンドウェブサーバ［242］マシンは、4コアを有する1つのCPU、8gbのRAM、および250gbのSSDを備えている。アノテーションAPIサーバ[243]のマシンは、各CPUに32コアを持つ2つのCPUで、合計64コア、64gbのRAM、2tbのSSDを搭載している。ディープラーニングAPI [244] マシンは、32コアのCPUが1つ、128gbのRAM、それぞれ11gbのRAMを持つGPUが2つ、2tbのSSDが搭載されている。メッセージブローカー[245]マシンは、4コアのCPU×1、32gbのRAM、1tbのSSDを搭載している。リレーショナル・データベース[246]マシンには、32コア、128gbのRAM、2tbのSSDが1つ、キーバリューストアデータベース[247]マシンには、4コア、128gbのRAM、1tbのSSDのCPUが1つ搭載されている。これらのハードウェア仕様を満たすマシンは、このシステムが複数の同時利用者を持つ多くのユーザをサポートすることを可能にする。

図29に描かれた例示的な実施形態において、ハードウェアの仕様が説明された。次に、これらの仕様の理論的根拠について説明する。ロード・バランサ［241］は、単に要求を適切な場所にルーティングするだけである。その結果、このマシンの非一時的なコンピュータ可読記憶領域の要件は、250gbのSSDで満たされるはずである。システムの他の部分で実行される計算と比較すると、ロード・バランサ[241]は計算負荷もメモリ負荷も低くなっている。その結果、1コアあたり2gbで十分であり、システムの残りの部分を考慮すると4コアで十分である。システムの規模が大きくなると、1秒間に実行する指示数が増え、CPUコアが増えることで、ロード・バランサ[241]がボトルネックにならないようにすることができるかもしれません。しかし、図29に描かれた例示的な実施形態について与えられた仕様からすると、ロード・バランサ[241]がボトルネックになる可能性は低い。フロントエンド・ウェブサーバ［242］も、多くの非一時的なコンピュータ可読記憶領域、多くのCPUコア、または多くのメモリを必要としない。このマシンは、ユーザデータを格納せず、それが格納するフロントエンド・コードは、割り当てられた記憶スペースによってサポートされ得る。さらに、フロントエンドウェブサーバ[242]マシンのCPUコアは、要求されたリソースをユーザに送信するだけで、ユーザのブラウザがアノテーションAPIサーバ[243]にapiコールを行うように、ユーザがフロントエンド・コードを要求することは通常の使用ではあまりない。その結果、フロントエンドのウェブサーバ[242]マシンのCPUコアは、アノテーションAPIサーバ[243]マシンよりも計算負荷とメモリ要件が低くなる。アノテーションAPIサーバ[243]は、アノテーションの作成・整理・閲覧時にユーザのウェブブラウザからAPIリクエストが行われるため、計算負荷が大きくなる。アノテーションAPIサーバ[243]マシンの総計算能力は、多数の同時利用者がいる場合、ボトルネックになる可能性がある。例示的な実施形態では、このマシンは64個のCPUコアと64gbのRAMを備えている。アノテーションAPIサーバ[243]のコードがスレッドセーフな方法で書かれている場合、CPUコアあたり1gbのRAMがあれば十分である。コードがスレッドセーフでない場合、またはウェブフレームワークがメモリを大量に消費する場合は、アノテーションAPIサーバ[243]にCPUコアあたり2gbのRAMを使用することが望ましい場合がある。アノテーションAPIサーバ [243] を拡張して多くのユーザに対応するには、各マシンに多くのCPUコアと多くのRAMを用意するよりも、マシンを追加した方が費用対効果が高くなる。アノテーションAPIサーバ[243]のハードディスクのサイズは、主にログファイルの保存を可能にするためのものである。深層学習API[244]は、深層学習モデルを実行するために、十分なGPU RAMを持つ2つのGPUがあるとよいでしょう。CPUコアとRAMは、CPUに集中するデータ処理ステップを処理し、GPUが消費するデータをメモリに取り込むために使用する。2tb SSDは、大規模なディープラーニングモデルと、これらのモデルのためのその他のデータを格納することができる。メッセージブローカー[245]は、システムが稼働しているときはいつでも動作するはずであるが、計算能力の不足に直面することはないでしょう。32gbのRAMは、画像を含む可能性のある大きなメッセージを保存するために十分なRAMを確保するために存在する。これらの画像は長期間保存されることはないため、32gbのRAMで十分である。さらに、メッセージブローカー[245]は、4コアで十分である。メッセージブローカー[245]は、この例示的な実施形態において、アノテーションAPIサーバ[243]よりも1秒あたりの指示数という点で計算処理要件が低い。キーバリューストアデータベース[247]は、この例示的な実施形態において1つのコアを使用する。しかし、キーバリューストアデータベース［247］は、アノテーション・オブジェクトなどの様々なアイテムオブジェクトのレピュテーションと、これらのアイテムオブジェクトに対するユーザレピュテーション票をメモリに格納するために、RAMを使用する。さらに、ディスクスペースは、ロギングと、メモリ内のキーバリューストアデータベースのバックアップを一時的に格納するために使用される。リレーショナル・データベース[246]は、運用中にデータベース内のすべてのデータをRAMに保存できるように128gbのRAMを持ち、ロギングに十分なストレージスペースを確保するために2tbのSSDを持ち、アノテーションAPIサーバ[243]から送られるクエリを処理する計算能力を提供するために32コアを備えているのだそうである。

図29の例示的な実施形態に描かれたシステムをスケールアップするために、以下のステップを踏むことができる。新しい例示的な実施形態は、1つ以上のロード・バランサ［241］、1つ以上のフロントエンドウェブサーバ［242］、1つ以上のアノテーションAPIサーバ［243］、及び1つ以上の深層学習API［244］を有することになる。ロード・バランサ、フロントエンドウェブサーバ、アノテーションAPIサーバ、ディープラーニングAPIサーバは、システム全体のパフォーマンスを向上させるために追加することができる。多くの場合、メッセージブローカーはメッセージブローカークラスターに編成することができる。メッセージブローカークラスターは、新しい例示的な実施形態をスケールアップするために使用することができる。ほとんどのキーバリューストアデータベース[247]ソフトウェアは、キーバリューストアデータベースクラスターを作成する能力も有する。

新しい例示的な実施形態において、リレーショナル・データベース［246］が最も多くのユーザを処理できるようにするために、プロセスとは対照的にスレッドを使用するリレーショナル・データベース［246］を使用することが理想的である。場合によっては、スレッドが1スレッド当たり約256kbのメモリを取るのに対し、プロセスは1プロセス当たり10mbのメモリを取る。このため、スレッドに依存するリレーショナル・データベースは、プロセスに依存するリレーショナル・データベースに比べ、20倍以上のオープンな接続を持つことができる。プロセスに依存するリレーショナル・データベースが使用するコネクション・プーリング・ツールを使用しても、アノテーションAPIサーバが行う接続のスタイルには、スレッドベースの接続が適している[243]。アノテーションAPIサーバ[243]はトランザクションに依存しており、パフォーマンスが必要である。その結果、SQL セッション・プーリングや SQL ステートメント・プーリングではなく、SQL トランザクション・プーリングを使用することが理想的である。SQL セッション・プーリングはパフォーマンスが低く、SQL ステートメント・プーリングは SQL トランザクション・プーリングを使用するよりもトランザクションの実装が難しくなる。SQLトランザクション・プーリングを使用する場合、スレッドベースの接続は、コンピュータの指示がリレーショナル・データベースで使用されていないプロセッサで実行される必要がある場合に、最高のパフォーマンスをもたらす[246] 外部プロセッサで作業が行われている間、接続は開いたままだからである。その結果、リレーショナル・データベース[246]は、リレーショナル・データベース[246]が処理できるよりも少ないSQLステートメントを実行するように与えられるかもしれない。この結果、全体的にスループットが低下する。

リレーショナル・データベース[246]の能力をさらに高めるには、リードレプリカを作成することによってリレーショナル・データベース[246]をリードスケーリングすることが有利である。リレーショナル・データベース［246］の書き込み負荷を低減することにより、システムをさらにスケールアップすることができる。書き込み負荷は、新しい例示的な実施形態において、キーバリューストアデータベース［247］を通じてレピュテーション投票を実施することによって低減することができる。リレーショナル・データベースの容量をさらに拡張するために、新しい例示的な実施形態では、リレーショナル・データベース［246］マシンのCPUコアおよびRAMの数を増加させることができる。取ることができる別のステップは、ほとんどのリレーショナル・データベースの完全な耐久性保証なしにSQLを実装するインメモリリレーショナル・データベース［246］を使用することである。このようなシステムは、チェックポイント保存とライトアヘッドロギングを備えたインメモリデータベースを使用して、停電の際に、インメモリデータベースに最後の数秒以内に到着したデータベースデータ以外のデータベースデータを失わないようにすることができる。これらのステップを経て、リレーショナル・データベースはさらに拡張することができる。
HPC クラスターでは、InfiniBand ネットワーキングを介したリモートダイレクトメモリーアクセス（RDMA）により、リレーショナルデータベースが 1 台のマシンでローカルに利用可能なメモリ以上のメモリを使用できるようにする。この HPC クラスターは数百台、数千台まで拡張できるため、対応するリレーショナル・データベース [246] は多数の同時ユーザをサポートすることができる。

図30に描かれた例示的な実施形態では、アノテーションサーバ［61］およびコンテンツデリバリーネットワーク［63］と通信できる異なるタイプのクライアント電子デバイス［248］が示されている。示されているデバイスは、ノートパソコン［249］、デスクトップ［250］、アイパッド［251］、アンドロイドタブレット［252］、アイフォン［253］、アンドロイド携帯電話［254］、Apple TV via Air- ウェブ［255］、アンドロイド TV［256］、およびラズベリーパイ［257］である。ノートパソコン［249］、デスクトップ［250］、アンドロイドタブレット［252］、アンドロイド携帯電話［254］、およびラズベリーパイ［257］では、ウェブブラウザおよびウェブブラウザ拡張機能の導入によりノートパッド機能付きアノテーション機能ウェブブラウザをサポートする。また、アイパッド[251]、アイフォン[253]では、ウェブブラウザ「Safari」とアプリの拡張機能をインストールすることで、アノテーション可能なウェブブラウザをサポートしている。Air Web経由でApple TV[255]とアンドロイド TV[256]は、ウェブブラウザとウェブブラウザ拡張機能を含むアノテーション可能なウェブブラウザのインストールに現在適していない可能性がある。さらに、フォームファクタがアノテーションの作成に理想的でない場合もある。しかし、これらのデバイスのために、アノテーションサーバと通信するプログレッシブウェブアプリケーションを作成することは可能である。そうすれば、デジタルフォトフレームが画像を表示するように、アノテーションされた資料を表示することができる。そうすれば、これらのデバイスは、図30に示す他のデバイスを使用して作成された豊富なアノテーションを表示することができるようになる。

次に、画像、ビデオ、及び録音のアノテーションについて説明する。例示的な実施形態におけるGUI図は、システムが表示するもの、及びプロセッサ上で実行されるウェブブラウザで実行される非一時的なコンピュータ可読媒体指示の最終結果を示すものとして提示されるであろう。例示的な実施形態において、非一時的なコンピュータ可読媒体指示は、プロセッサ上で実行されるウェブブラウザ用であってもよく、または非一時的なコンピュータ可読媒体指示は、アノテーション可能なウェブブラウザに組み込んでもよい。先に説明したように、例示的な実施形態におけるアノテーション可能なウェブブラウザは、ウェブブラウザ拡張機能を有するウェブブラウザである。アノテーション可能なウェブブラウザを使用する場合、任意のウェブページ内に埋め込まれた画像、ビデオ、及び音声記録をアノテーションすることができる。アノテーションされるウェブサイトは、埋め込まれた画像、ビデオ、および録音にアノテーションするためのコンピュータ可読媒体指示を含む必要はない。通常のウェブブラウザを使用する場合、非一時的なコンピュータ可読媒体の指示が特定のウェブサイトを介して配信され、コンテンツのアノテーションがその特定のウェブサイト上で行われる場合、画像、ビデオ、および録音をアノテーションすることができる。

ワールドワイドウェブ上のドキュメントおよびメディアにアノテーションを付けるアノテーション可能なウェブブラウザに加えて、モバイルデバイスおよびインターネットテレビ用のソフトウェア・アプリケーションも、インターネットまたはローカルイントラネット上のユーザのグループが利用できる画像、ビデオおよび録音にアノテーションを付けるために、本書に記載された方法、技術およびインターフェースを実装する非一時的なコンピュータ読み取り可能媒体指示を使用することができる。

GUIについて説明した後、コンポーネント間でデータを伝送するために作成されたデータのバンドルについて説明する。関連するデータのバンドルが議論されると、方法およびシステムアーキテクチャが、既に議論されたシステムアーキテクチャおよびコンポーネントのコンテキストで議論される。

図35に描かれた例示的な実施形態では、画像［299］が、画像・アノテーションサブジェクト［300］、画像・アノテーションサブジェクのバウンディングボックス［301］、画像・アノテーション矢印［302］、及びボックス内の画像・アノテーション・コメント[303]と共に示されている。画像・アノテーションサブジェクト[300]は、画像に含まれる注目のエンティティである。画像・アノテーションサブジェクト[300]は、人、車、サッカーボール、テニスボール、または人間またはコンピュータシステムによって画像内で識別可能な他の物体であり得る。画像・アノテーションサブジェクトのバウンディングボックス[301]は、ユーザまたはコンピュータシステムによって画像・アノテーションサブジェクト[300]の周囲に描かれたバウンディングボックスである。ボックス内の画像・アノテーション・コメント[303]は、ユーザによって作成され、アノテーション・コメントは画像・アノテーションサブジェクト[300]に関連する必要がある。画像・アノテーション矢印[302]は、画像・アノテーションサブジェクトのバウンディングボックス[301]とボックスの画像・アノテーション・コメント[303]を結ぶ、両側に矢印の頭を持つこともある線である。画像・アノテーションサブジェクトのバウンディングボックス[301]、画像・アノテーションアロー[302]、ボックス内の画像・アノテーション・コメント[303]は、ユーザが作成したもので、画像・アノテーションに含まれるオブジェクトである。ユーザは、ウェブページ上のパネルやフローティングツールバーから矩形ツールを選択し、画像・アノテーションのサブジェクト境界枠［301］を描くことができる。さらに、ユーザはテキストとボックス内の画像・アノテーション・コメント[303]の位置を入力できる。画像・アノテーションのサブジェクトバウンディングボックス［301］とボックス内の画像・アノテーション・コメント［303］は、画像・アノテーション矢印［302］で結ばれている。画像・アノテーションのオブジェクトは、すべて同時に表示されるとは限りません。例えば、画像・アノテーションサブジェクトのバウンディングボックス[301]だけが表示され、画像・アノテーションの他のオブジェクトは、画像・アノテーションサブジェクト[300]または画像・アノテーションサブジェクトのバウンディングボックス[301]上でマウスを動かすと表示されるようにすることが可能である。画像・アノテーションの可視エレメントは、他のエレメントをマウスオーバーすることなく可視化されるエレメントである。画像・アノテーションのマウスオーバーエレメントは、ユーザが画像・アノテーションの可視エレメントにマウスオーバーしたときに可視になるエレメントである。

画像[299]の下には、画像前アノテーション矢印ボタン[304]、画像次アノテーション矢印ボタン[305]、画像衝突を含むボタン[306]、画像候補アノテーション・グループに追加ボタン[307]、画像候補アノテーション・グループリストボックス[308]、画像・アノテーション・グループ作成ボタン[309] を含むコントロールパネルが表示されている。画像をアノテーション・グループ候補に追加ボタン[307]のラベルは、「アノテーション・グループに追加」という短い名前になっている。しかし、画像・アノテーションは、まず画像候補アノテーション・グループに追加され、その後、ユーザが画像作成アノテーション・グループボタン［309］をクリックすると、画像・アノテーション・グループとなる。画像・アノテーションには、画像・アノテーションサブジェクトのバウンディングボックス[301]、画像・アノテーションアロー[302]、ボックス内の画像・アノテーション・コメント[303]などのオブジェクトが含まれる。1つの画像・アノテーションには、1つ以上のアノテーションサブジェクトが含まれても良い[300]。電子データベース[62]では、画像・アノテーションは、画像・アノテーション・オブジェクトとして格納される。この画像・アノテーション・オブジェクトは、電子データベース [62] によって、画像・アノテーションに順次的な順序を付与される。この画像・アノテーションの順序付けが、前と次の画像・アノテーションという概念に意味を与えている。画像前アノテーション矢印ボタン[304]は、現在の画像・アノテーションが画像・アノテーション候補でないと仮定して、現在の画像・アノテーションに含まれるオブジェクトを表示されたビューから削除し、前の画像・アノテーションのオブジェクトを表示されたビューに追加するものである。画像ネクストアノテーション矢印ボタン[305]は、現在の画像・アノテーションが画像・アノテーション候補でない場合、現在の画像・アノテーションに含まれるオブジェクトを表示されたビューから削除し、次の画像・アノテーションのオブジェクトを表示されたビューに追加する。画像・アノテーション・グループは、複数の画像・アノテーションを含む。画像・アノテーション・グループを作成する前に、画像・アノテーションを選択する必要がある。選択された画像・アノテーションは、候補画像・アノテーションとなる。候補画像・アノテーションは、画像候補アノテーション・グループリストボックス［308］にリストアップされる。図35は、画像・アノテーションがまだ画像候補アノテーション・グループリストボックス［308］に追加されていないシナリオを描いている。従って、画像候補アノテーション・グループリストボックス[308]のメッセージは、画像候補アノテーション・グループリスト空メッセージ[310]である。

画像衝突を含むボタン[306]は、画像候補アノテーション・グループリストボックス[308]にリストされた画像・アノテーション候補と衝突する画像・アノテーションの表示プロパティを決定する。可能な状態は、衝突を除外することと衝突を含むことである。画像衝突を含むボタン［306］がクリックされた場合、画像候補アノテーション・グループリストボックス［308］にリストされた候補画像・アノテーションと衝突する画像・アノテーションが表示される。図35に描かれた例示的な実施形態では、ボタンのラベルは「衝突を除外する」に変更される。このボタンがもう1回クリックされると、画像候補アノテーション・グループリストボックス[308]にリストされた画像・アノテーション候補と衝突する画像・アノテーションは表示されなくなる。画像・アノテーション・グループ作成ボタン[309]をクリックすると、画像・アノテーション・グループ作成ボタン[309]をクリックした時点で画像・アノテーション・グループ候補リストボックス[308]にリストアップされている全ての画像・アノテーションを含む画像・アノテーション・グループを表示するアイテムが作成される。

代替実施形態では、画像・アノテーションサブジェクトのバウンディングボックス[301]と画像・アノテーション矢印[302]は表示されなくてもよい。代替の実施形態では、画像・アノテーションサブジェクトのバウンディングボックス［301］とボックス内の画像・アノテーション・コメント[303]だけが存在する。あるいは、別の代替実施形態では、ボックス内の画像・アノテーション・コメント[303]だけが画像・アノテーションサブジェクト[300]の近くに存在する。

図36に描かれた例示的な実施形態では、画像候補アノテーション・グループリストボックス［308］に第1の画像候補アノテーション・グループリストアイテム［311］が追加された画像［299］が表示される。］この状態は、図35に描かれた例示的な実施形態の状態において、画像・アノテーション候補グループへの追加ボタン[307]をクリックすることによって生成される。画像・アノテーションが画像・アノテーション候補グループリストに追加された後、図36に描かれた例示的な実施形態の状態において、画像次アノテーション矢印ボタン［305］をクリックすることによって、図37に描かれた状態が作り出される。

図37に描かれた例示的な実施形態では、第2の画像・アノテーションサブジェクト［312］が、ユーザが作成した第2の画像・アノテーションサブジェクのウンディングボックス［313］、第2の画像・アノテーション矢印［314］、およびボックス内第2の画像・アノテーション・コメント［315］とともに表示される。図37に示す例示的な実施形態の状態で、画像・アノテーション候補グループへの追加ボタン[307]がクリックされると、図38に示す例示的な実施形態の状態が生成される。

図38に描かれた例示的な実施形態では、第2の画像候補アノテーション・グループリストアイテム[316]が示される。画像作成アノテーション・グループボタン［309］が押された場合、図38の画像候補アノテーション・グループリストボックス［308］に描かれた2つのアノテーションを含むアノテーション・グループが作成されることになる。

図39に描かれた例示的な実施形態では、ユーザは、衝突する画像・アノテーションが示されることを可能にする図36の画像含衝突ボタン［306］を以前にクリックした。図36に描かれた状態から画像次アノテーション矢印ボタン［305］を押した後、図39に描かれた状態がもたらされ得る。図39では、衝突画像・アノテーション矢印[317]とボックス[318]内の衝突画像・アノテーション・コメントが表示されている。

図40に描かれた例示的な実施形態では、ビデオ[319]が、ビデオ・アノテーション再生[320]と共に示されている。ビデオ[319]は、ビデオ・アノテーションサブジェクト[321]、ビデオ・アノテーションサブジェクトのバウンディングボックス[322]、ビデオ・アノテーション矢印[323]、及びボックス内のビデオ・アノテーション・コメント[324]を示している。アノテーションサブジェクト[321]は、映像中の注目すべきエンティティである。ビデオ・アノテーションサブジェクト[321]は、人、車、サッカーボール、テニスボール、または人間やコンピュータシステムによってビデオ内で識別可能な他の物体である可能性がある。ビデオ・アノテーションサブジェクトのバウンディングボックス［322］は、ユーザまたはコンピュータシステムによってビデオ・アノテーションサブジェクト［321］の周囲に描かれたバウンディングボックスである。ビデオ・アノテーションコメントボックス[324]は、ユーザによって作成され、アノテーション・コメントはビデオ・アノテーションサブジェクト[321]に関連する必要がある。ビデオ・アノテーション矢印[323]は、ビデオ・アノテーションサブジェクのバウンディングボックス[322]とボックス[324]のビデオ・アノテーション・コメントを接続する、両側に矢印の頭を持つことができる線である。ビデオ・アノテーションサブジェクのバウンディングボックス[322]、ビデオ・アノテーション矢印[323]、ビデオ・アノテーション・コメント入力枠[324]は、ユーザが作成し、ビデオ・アノテーションに含まれるオブジェクトである。ユーザは、ウェブページ上のパネルやフローティングツールバーから矩形ツールを選択し、最初のビデオ・アノテーションのサブジェクトバウンディングボックス[322]を描画することができる。さらに、テキストを入力し、ビデオ・アノテーションのコメントをボックス［324］に配置し、ビデオ・アノテーションの矢印［323］でつなげることができる。ビデオ[319]が再生されると、ビデオ・アノテーションの再生[320]も行われる。ビデオ・アノテーション再生[320]の再生中、ビデオ・アノテーションを作成するユーザは、ビデオ・アノテーションのサブジェクトのバウンディングボックス[322]をマウスを使用して移動し、ビデオ・アノテーションサブジェクトのバウンディングボックス[322]がビデオ全体に適切に配置されていることを確認することができる。ユーザは、ボックス[324]内のビデオ・アノテーション・コメントをマウスで動かして、ボックス[324]内のビデオ・アノテーション・コメントがビデオ全体に適切に配置されていることを確認することができる。ビデオ・アノテーションサブジェクトのバウンディングボックス［322］とボックス［324］のビデオ・アノテーション・コメントのモーションパスが分かれば、ビデオ・アノテーションサブジェクトのバウンディングボックス［322］とボックス［324］のビデオ・アノテーション・コメントのモーションパスに対応するような、時間的回転、時間的収縮、時間的拡張、時間的位置と一緒にビデオ・アノテーション矢印［323］のモーションパスが計算可能である。また、ユーザは、ビデオを一時停止し、ビデオ・アノテーションサブジェクトのバウンディングボックス［322］およびボックス［324］内のビデオ・アノテーション・コメントをリサイズすることができる。ビデオ・アノテーションのオブジェクトは、すべて同時に表示されるとは限りません。例えば、ユーザがビデオ・アノテーションサブジェクト［321］またはビデオ・アノテーションサブジェクのバウンディングボックス［322］をマウスオーバーした後に、ビデオ・アノテーションの他のオブジェクトが表示され、ビデオ・アノテーションサブジェクのバウンディングボックス［322］だけが表示されることが可能である。ビデオ・アノテーションの可視エレメントは、他のエレメントにマウスオーバーすることなく可視化されるエレメントである。ビデオ・アノテーションのマウスオーバーエレメントは、ユーザがビデオ・アノテーションの可視エレメントにマウスオーバーしたときに可視になるエレメントである。

ビデオ[319]の下には、ビデオ前アノテーション矢印ボタン[325]、ビデオ次アノテーション矢印ボタン[326]、ビデオ含む衝突ボタン[327]、ビデオ候補アノテーション・グループへ追加ボタン[328]、ビデオ候補アノテーション・グループリストボックス[329]、ビデオ・アノテーション・グループ作成ボタン[330] を含むコントロールパネルが表示される。ビデオ・アノテーション・グループ候補に追加ボタン［328］のラベルは、「追加アノテーション・グループ」という短い名前になっている。しかし、ビデオ・アノテーションは、まずビデオ候補アノテーション・グループに追加され、ユーザがビデオ作成アノテーション・グループボタン［330］をクリックした後に、ビデオ・アノテーション・グループになる。ビデオ・アノテーションには、ビデオ・アノテーションサブジェクトのバウンディングボックス［322］、ビデオ・アノテーション矢印［323］、ビデオ・アノテーション・コメントインボックス［324］などのオブジェクトが含まれる。ビデオ・アノテーションは、複数のビデオ・アノテーションサブジェクト[321]を含むことができる。電子データベース [62] では、ビデオ・アノテーションは、ビデオ・アノテーション・オブジェクトとして格納される。そして、これらのビデオ・アノテーション・オブジェクトは、電子データベース [62] によって、ビデオ・アノテーションに順次的な順序を付与される。このビデオ・アノテーションの順序付けが、前と次のビデオ・アノテーションという概念に意味を与えている。ビデオ前アノテーション矢印ボタン[325]は、現在のビデオ・アノテーションがビデオ・アノテーション候補ではないとして、現在のビデオ・アノテーションに含まれるオブジェクトを表示されたビューから削除し、前のビデオ・アノテーションのオブジェクトを表示されたビューに追加するものである。ビデオ次のアノテーション矢印ボタン［326］は、現在のビデオ・アノテーションが候補ビデオ・アノテーションでないと仮定して、現在のビデオ・アノテーションに含まれるオブジェクトを表示されたビューから削除し、次のビデオ・アノテーションのオブジェクトを表示されたビューに追加する。ビデオ・アノテーション・グループは、複数のビデオ・アノテーションを含む。ビデオ・アノテーション・グループが作成される前に、ビデオ・アノテーションを選択する必要がある。選択プロセスでは、ビデオ・アノテーションは候補ビデオ・アノテーションとなる。候補ビデオ・アノテーションは、ビデオ候補アノテーション・グループリストボックスにリストされる［329］。図40は、ビデオ・アノテーションがまだビデオ・アノテーション候補グループリストボックス［329］に追加されていないシナリオを描いている。従って、映像アノテーション候補グループリストボックス[329]のメッセージは、映像アノテーション候補グループリスト空メッセージ[331]である。

ビデオ含む衝突ボタン[327]は、ビデオ候補アノテーション・グループリストボックス[329]にリストされた候補ビデオ・アノテーションと衝突するビデオ・アノテーションの表示プロパティを決定する。ビデオ・アノテーションの場合、衝突は2つのビデオ・アノテーションがある時点で衝突することを意味する。衝突は、ビデオ・アノテーションの再生ライン上に赤色で表示されることがある[320]。ビデオ含む衝突ボタン［327］がクリックされると、ビデオ候補アノテーション・グループリストボックス［329］にリストされた候補ビデオ・アノテーションと衝突しているビデオ・アノテーションが表示される。図40に描かれた例示的な実施形態では、ボタン・ラベルは「衝突を除外する」に変更される。このボタンがもう1回クリックされると、ビデオ候補アノテーション・グループリストボックス［329］にリストされたビデオ・アノテーション候補と衝突するビデオ・アノテーションは表示されなくなる。ビデオ・アノテーション・グループ作成ボタン[330]をクリックすると、以下のようなアイテムが作成される。
ビデオ作成アノテーション・グループボタン［330］がクリックされた時点でビデオ候補アノテーション・グループリストボックス［329］にリストされた全てのビデオ・アノテーションを含むビデオ・アノテーション・グループを生成する。図40の例示的な実施形態で描かれた状態でビデオ追加候補アノテーション・グループボタン［328］がクリックされると、図41の例示的な実施形態で描かれた状態が、ビデオ候補アノテーション・グループリストボックス［329］に最初のビデオ候補アノテーション・グループリストアイテム［335］が追加されて生み出される。

代替の実施形態では、ビデオ・アノテーションサブジェクトのバウンディングボックス［322］とビデオ・アノテーション矢印［323］は表示されないことがある。代替の実施形態では、ビデオ・アノテーションサブジェクトのバウンディングボックス［322］とボックス［324］内のビデオ・アノテーション・コメントだけが存在する。または、別の代替実施形態では、ボックス[324]内のビデオ・アノテーション・コメントだけが、ビデオ・アノテーションサブジェクト[321]の近くに存在する。

図40に描かれた例示的な実施形態では、ビデオ［319］プレーヤコントロールは、ビデオ・アノテーション再生［320］から分離されている。代替の実施形態では、両方のコントロールを1つの再生コントロールに統合することが可能である。これは、より複雑な入力インターフェースになるかもしれないが、画面上に表示されるエレメントの数を減らすことができる。ふたつの再生コントロールの統合に関するこのコメントは、図41、図42、図43、図44、および図45に描かれた例示的な実施形態にも適用される。

図41に描かれた例示的な実施形態において、映像アノテーションサブジェクトのバウンディングボックスモーションパス［332］、映像アノテーション矢印モーションパス［333］、及び映像アノテーション・コメント入力ボックスモーションパス［334］が示される。映像アノテーションサブジェクトのバウンディングボックスモーションパス[332]は、映像アノテーションサブジェクト[321]が映像内を移動する際のバウンディングボックス[322]のモーションパスを示したもので、映像アノテーションサブジェクト[321]のバウンディングボックスとして機能するはずのものである。ビデオ・アノテーション矢印モーションパス[333]は、ビデオ[319]が時間的に進行するにつれてビデオ・アノテーション矢印[323]が移動するときのビデオ・アノテーション矢印[323]のモーションパスを示している。ビデオ・アノテーション矢印[323] は、ビデオ・アノテーションサブジェクトのバウンディングボックス[322] とビデオ・アノテーション・コメント[319] から時間的に平行移動、回転、拡張、収縮していることが分かる。
ボックス[324]が時間的に移動する。ビデオ・アノテーション・コメント入力ボックスモーションパス[334]は、ビデオ[319]の時間的進行に伴ってボックス[324]内のビデオ・アノテーション・コメントが移動する際のモーションパスを示すものである。

図に描かれた例示的な実施形態において42は、第2のビデオ・アノテーションサブジェクト［336］、第2のビデオ・アノテーションサブジェクトのバウンディングボックス［337］、第2のビデオ・アノテーション矢印［338］、ボックス内の第2のビデオ・アノテーション・コメント［339］、第2のビデオ・アノテーションサブジェクトのバウンディングボックスモーションパス［340］、第2のビデオ・アノテーション矢印モーションパス1［341］、第2のビデオ・アノテーション矢印モーションパス2［342］、最終第2のビデオ・アノテーションサブジェクトのバウンディングボックス位置［343］および最終第2のビデオ・アノテーション矢印位置［344］が示される。第2映像アノテーションサブジェクトのバウンディングボックス［337］は、第2映像アノテーションサブジェクトのバウンディングボックスモーションパス［340］に沿って第2映像アノテーションサブジェクト［336］を最終第2映像アノテーションサブジェクトのバウンディングボックス位置［343］に追従する。第2の映像アノテーション矢印［338］は、時間とともに最終的な第2の映像アノテーション矢印位置［344］に変換される。移動、回転、収縮を含む変換は、第2のビデオ・アノテーション矢印のモーションパス1［341］と第2のビデオ・アノテーション矢印のモーションパス2［342］によって描かれる。ボックス[339]内の第2映像アノテーション・コメントは、時間的に固定されたままである。第2のビデオ・アノテーション候補グループリストアイテム[345]は、ユーザがビデオ・アノテーション候補グループへの追加ボタン[328]をクリックしたときに起こるビデオ・アノテーション候補グループリストボックス[329]に表示される。

図43に描かれた例示的な実施形態において、ユーザは、図41の例示的な実施形態に描かれた状態において、ビデオ含む衝突ボタン［327］を以前にクリックしたことがある。その結果、候補アノテーション・グループリスト内のビデオ・アノテーションとの衝突を有するビデオ・アノテーションが表示される。図41の例示的な実施形態で描かれた状態で、ビデオ次アノテーション矢印ボタン［326］をクリックした後、ビデオ含む衝突ボタン［327］をクリックすると、衝突ビデオ・アノテーション矢印［346］及びボックス［347］内の衝突ビデオ・アノテーション・コメントが表示されることがある。図43の例示的な実施形態では、衝突が描かれている。しかし、衝突は、特定のビデオフレームに描かれていないポイントで発生してもよい。そのような場合、衝突は、例示的な実施形態内のビデオ・アノテーション再生［320］のタイムラインにおいて赤色で描かれてもよい。

図44に描かれた例示的な実施形態では、録音再生［348］と録音アノテーション再生［349］が示される。録音アノテーション再生［349］の下方には、録音アノテーション矢印［350］、録音アノテーションコメントボックス［351］、録音アノテーション接続矢印［352］、及び録音派生アノテーションコメントボックス［353］が示されている。録音アノテーション再生［349］の下には、録音前アノテーション矢印ボタン［354］、録音次アノテーション矢印ボタン［355］、録音候補アノテーション・グループ追加ボタン［356］、録音派生アノテーション作成ボタン［357］、録音候補アノテーション・グループリストボックス［358］、録音派生アノテーション・グループ作成ボタン［359］、および録音派生アノテーション・コメント入力ボックス［360］などのコントロールパネルがある。録音候補アノテーション・グループに追加ボタン［356］のラベルは、「追加アノテーション・グループ」と短い名前になっている。しかし、録音アノテーションは、まず録音候補アノテーション・グループに追加され、ユーザが録音アノテーション・グループ作成ボタン［359］をクリックした後に、録音アノテーション・グループになる。

図44に描かれた例示的な実施形態において録音アノテーションを作成するために、ユーザはマウスを使用して録音アノテーション再生[349]の短いセグメントを選択する。選択がなされた後、録音アノテーション矢印［350］及び録音アノテーションコメントボックス［351］が選択の中央を起点として現れ、ユーザは録音アノテーションコメントボックス［351］に録音アノテーション・コメントを作成することができる。録音アノテーションには、録音アノテーション矢印[350]や録音アノテーションコメントボックス[351]などのオブジェクトがある。録音アノテーション再生の短いセグメント[349]は、図49の埋込録音アノテーション再生範囲[393]で示されるようにマークすることができる。図49は、埋込み録音を示し、マークされた短いセグメントは、録音再生[348]のための再生バー上にあるが、マークされたセグメントの同じスタイルを、録音アノテーション再生[349]で使用することができる。また、セグメントをマークしないままにすること、又は選択したセグメント、録音アノテーション矢印[350]、若しくは録音アノテーションコメントボックス[351]をマウスオーバーすると、マークされたセグメントが表示されるようにすることが可能である。さらに、図49の質問埋め込み音アノテーションシンボル［394］と同様の動作をする質問音アノテーションシンボルを導入することができる。

録音アノテーションは、1つ以上の選択された音のセグメントを含むことができる。電子データベース[62]において、録音アノテーションは、録音アノテーション・オブジェクトとして格納される。これらの録音アノテーション・オブジェクトは、次に、電子データベース[62]によって、録音アノテーションに順次の順序付けを与える。この録音アノテーションの順序付けが、前の録音アノテーションと次の録音アノテーションという概念に意味を与えている。録音前アノテーション矢印ボタン[354]は、現在の録音アノテーションが録音アノテーション候補ではないとして、現在の録音アノテーションに含まれるオブジェクトを表示されたビューから削除し、前の録音アノテーションに含まれるオブジェクトを表示されたビューに追加するボタンである。録音次アノテーション矢印ボタン[355]は、現在の録音アノテーションが録音アノテーション候補でないとして、現在の録音アノテーションに含まれるオブジェクトを表示されたビューから削除し、次の録音アノテーションのオブジェクトを表示中のビューに追加する。録音アノテーション・グループは、ユーザがグループ化したい録音アノテーションのグループである。これらのグルーピングは1つのアイテムとして表示され、録音アノテーション・グループから1つ以上の録音アノテーションを使用し、これらの1つ以上の録音アノテーションを関連付ける派生録音アノテーションを作成することができる。さらに、派生した録音アノテーションとそれが依存する録音アノテーションを一つのアイテムとして表示することができる。録音アノテーションは、録音アノテーション候補グループへの追加ボタン[356]をクリックすることにより、録音アノテーション・グループに追加することができる。その結果、新しい録音アノテーションが録音アノテーション候補グループリストボックスに表示される〈 358 〉。録音アノテーションが録音アノテーション・グループに追加されると、ユーザは録音由来のアノテーションを作成することができる。録音派生アノテーションとは、他の録音アノテーションをリンクさせ、複数の録音アノテーションコメントボックスに接続された録音派生アノテーションコメントボックス［353］にコメントを追加するアノテーションのことである。録音派生アノテーションコメントボックス[353]は、録音アノテーション接続矢印[352]を用いて各音源アノテーションコメントボックス[351]と接続されている。録音派生アノテーションは、所望の録音アノテーションを選択し、録音派生アノテーション作成ボタン[357]をクリックすることにより作成される。次に、録音派生アノテーション・コメント入力ボックス［360］に録音派生アノテーション・コメント［361］を入力し、エンターを押す。録音候補アノテーション・グループリストボックス[358]には、録音候補アノテーション・グループリストアイテム[362]がある。このリストには、録音アノテーションと録音由来アノテーションの両方が含まれている。録音候補アノテーション・グループリストアイテム[362]の最初のアイテムは、最初の録音候補アノテーション・グループリストアイテム[363]である。

図45に描かれた例示的な実施形態では、ビデオ［319］およびビデオ・アノテーション再生［320］が示される。ビデオ・アノテーション再生［320］の下には、ビデオ・アノテーション矢印［364］、ビデオ・アノテーションコメントボックス［365］、ビデオ・アノテーション接続矢印［366］、及びビデオ派生アノテーションコメントボックス［367］が示される。ビデオ・アノテーション再生［320］の下には、ビデオ前のアノテーション矢印ボタン［325］、ビデオ次のアノテーション矢印ボタン［326］、ビデオ含む衝突ボタン［327］、ビデオ候補アノテーション・グループに追加ボタン［328］、ビデオ派生アノテーション作成ボタン［368］、ビデオ候補アノテーション・グループリストボックス［329］、ビデオ作成アノテーション・グループボタン［330］、ビデオ派生アノテーション・コメント入力ボックス［369］を含む制御パネルが示されている。ビデオ追加ボタン[328]のラベルは、「追加アノテーション・グループ」という短い名前になっている。ただし、ビデオ・アノテーションは、まずビデオ候補アノテーション・グループに追加され、ユーザがビデオ・アノテーション・グループ作成ボタン［330］をクリックした後に、ビデオ・アノテーション・グループになる。例示的な実施形態においてビデオ・アノテーションを作成するために、ユーザは、マウスを使用してビデオ・アノテーション再生[320]の短いセグメントを選択する。選択が行われた後、ビデオ・アノテーション矢印［364］及びビデオ・アノテーションコメントボックス［365］が、選択の中央を起点として現れ、ユーザは、ビデオ・アノテーションコメントボックス［365］にビデオ・アノテーション・コメントを作成することができる。ビデオ・アノテーション再生[320]の短いセグメントは、図46の埋め込みビデオ・アノテーション再生範囲[375]で示すようにマークすることができる。図46は埋め込みビデオを示し、マークされた短いセグメントはビデオ［319］の再生バー上にあるが、同じスタイルのマークされたセグメントは、ビデオ・アノテーション再生［320］で使用することができる。セグメントをマークしないようにすること、又は選択したセグメント、ビデオ・アノテーションの矢印[364]、若しくはビデオ・アノテーションのコメントボックス[365]にマウスオーバーすると、マークされたセグメントが表示されるようにすることが可能である。さらに、図46の質問埋め込みビデオ・アノテーションシンボル［376］と同様の動作をする質問ビデオ・アノテーションシンボルを導入することができる。

別の例示的な実施形態について先に述べたように、ビデオ・アノテーションは、ビデオ・アノテーションサブジェクトのバウンディングボックス［322］、ビデオ・アノテーション矢印［323］、及びボックス内ビデオ・アノテーション・コメント［324］などのオブジェクトを含む。ビデオ・アノテーションは、複数のビデオ・アノテーションサブジェクト[321]を含むことができる。電子データベース [62] では、ビデオ・アノテーションは、ビデオ・アノテーション・オブジェクトとして格納される。そして、これらのビデオ・アノテーション・オブジェクトは、電子データベース [62] によって、ビデオ・アノテーションに順次的な順序を付与される。このビデオ・アノテーションの順序付けが、前と次のビデオ・アノテーションという概念に意味を与えている。ビデオ前アノテーション矢印ボタン[325]は、現在のビデオ・アノテーションがビデオ・アノテーション候補ではないとして、現在のビデオ・アノテーションに含まれるオブジェクトを表示されたビューから削除し、前のビデオ・アノテーションのオブジェクトを表示されたビューに追加するものである。ビデオ次のアノテーション矢印ボタン［326］は、現在のビデオ・アノテーションがビデオ候補アノテーションでないとして、現在のビデオ・アノテーションに含まれるオブジェクトを表示されたビューから削除し、次のビデオ・アノテーションのオブジェクトを表示されたビューに追加する。ビデオ・アノテーション・グループは、ユーザがグループ化したいビデオ・アノテーションをまとめたものである。これらのグルーピングは1つのアイテムとして表示され、ビデオ・アノテーション・グループから1つ以上のビデオ・アノテーションを使用し、これらの1つ以上のビデオ・アノテーションを関連付ける派生ビデオ・アノテーションを作成することができる。さらに、派生したビデオ・アノテーションは、それが依存するビデオ・アノテーションとともに、1つのアイテムとして表示されることができる。ビデオ・アノテーションをビデオ候補アノテーション・グループに追加するには、ビデオ候補アノテーション・グループへの追加ボタン[328]をクリックする。その結果、新しいビデオ・アノテーションがビデオ・アノテーション候補グループリストボックスに表示される〈329〉。ビデオ・アノテーションがビデオ候補アノテーション・グループに追加されると、ユーザはビデオ由来のアノテーションを作成することができる。ビデオ派生アノテーションとは、他のビデオ・アノテーションをリンクし、複数のビデオ・アノテーションコメントボックスに接続されたビデオ派生アノテーションコメントボックス[367]にコメントを追加するアノテーションのことである。ビデオ派生アノテーションコメントボックス［367］は、ビデオ・アノテーション接続矢印［366］を用いて各ビデオ・アノテーションコメントボックス［365］に接続されている。ビデオ派生アノテーションは、所望のビデオ・アノテーションを選択し、ビデオ派生アノテーション作成ボタン[368]をクリックすることで作成される。次に、ビデオ由来のアノテーション・コメント入力ボックス［369］にビデオ由来のアノテーション・コメント［370］を入力し、エタンーを押す。ビデオ候補アノテーション・グループリストボックス［329］には、ビデオ候補アノテーション・グループリストアイテム［371］が表示される。このリストには、ビデオ・アノテーションとビデオ由来のアノテーションの両方が含まれる。ビデオ候補アノテーション・グループリストアイテム[371]の最初のアイテムは、最初のビデオ候補アノテーション・グループリストアイテム[372]である。ビデオ作成アノテーション・グループボタン[330]をクリックすると、ビデオ候補アノテーション・グループリストボックス[329]のビデオ候補アノテーションを含むアノテーション・グループを作成することができる。ビデオ含む衝突ボタン［327］は、図40、図41、図42、および図43に描かれた例示的実施形態におけるビデオ含む衝突ボタン［327］と同じように作用する。

図46に描かれた例示的な実施形態では、埋め込みビデオ[373]及び埋め込みビデオ再生[374]が示されている。埋め込みビデオ[373]及び埋め込みビデオ再生[374]は、アノテーション可能なウェブブラウザで閲覧されているウェブページ内に存在する。図46に描かれた例示的な実施形態では、埋め込みビデオ・アノテーション再生範囲［375］、質問埋め込みビデオ・アノテーションシンボル［376］、不同意埋め込みビデオ・アノテーションシンボル［377］、埋め込みビデオ・アノテーションビーコン［378］、埋め込みビデオ・アノテーションビーコン質問シンボル［379］、埋め込みビデオ・アノテーションビーコン不同意シンボル［380］、埋め込みビデオ・アノテーションビーコン再生時間［381］が示されている。シンボル・ビーコン・トリガボタン［57］は、埋め込みビデオ［373］が3つ以上のビデオ・アノテーションを含んでいない限り、埋め込みビデオ［373］の各ビデオ・アノテーションに対して1つの完全に表示されたビデオ・アノテーションビーコンを表示することをトリガする。3つ以上のビデオ・アノテーションが存在する場合、代替の表示方法論により、ユーザは、見ることができるビデオ・アノテーションをより良く視覚化することができる。完全に表示されたビデオ・アノテーションビーコンは、埋め込みビデオ・アノテーション再生範囲［375］、埋め込みビデオ・アノテーションシンボル、埋め込みビデオ・アノテーションビーコン［378］、埋め込みビデオ・アノテーションビーコンシンボル、及び埋め込みビデオ・アノテーションビーコン再生時間［381］を含む。埋め込みビデオ・アノテーション再生範囲[375]は、ユーザがビデオ・アノテーションに関連すると考える時間範囲を強調表示する。質問埋め込みビデオ・アノテーションシンボル［376］や不同意埋め込みビデオ・アノテーションシンボル［377］などの埋め込みビデオ・アノテーションシンボルは、選択されたビデオセグメントとビデオ・アノテーション・コメントとの間のアノテーションの意味的な関係を伝えるものである。埋め込みビデオ・アノテーションビーコン[378]は、ビデオ・アノテーションの存在とその特性のいくつかにユーザの注意を喚起する役割を果たす。埋め込みビデオ・アノテーションビーコンシンボルは、選択されたビデオセグメントとビデオ・アノテーション・コメントの間のアノテーションの意味的関係を埋め込みビデオ・アノテーションビーコン[378]の近傍に配置する。埋め込みビデオ・アノテーションビーコンシンボルの2つの例は、埋め込みビデオ・アノテーションビーコン質問シンボル[379]と埋め込みビデオ・アノテーションビーコン不同意シンボル[380]である。埋め込みビデオ・アノテーションビーコン［378］の近傍に置かれる埋め込みビデオ・アノテーションビーコン再生時間［381］は、ビデオ・アノテーション・コメントに関連するビデオセグメントの長さを伝えるものである。

図46に描かれた例示的な実施形態では、埋め込まれたビデオアノテーショの再生範囲[375]と質問埋め込みビデオ・アノテーションシンボル[376]は、埋め込みビデオ[373]と埋め込みビデオ再生[374]のコンテキストで示されている。しかし、ビデオ・アノテーション再生範囲とビデオ・アノテーションシンボルは、図45に描かれたビデオ・アノテーション再生［320］上でも使用することができる。

図47に描かれた例示的な実施形態では、埋め込み画像[382]が示されている。埋め込み画像［382］は、ウェブページ内に存在し、埋め込み画像・アノテーションサブジェクト［383］は、埋め込み画像［382］内に発生する。図47に描かれた例示的な実施形態において、埋め込み画像・アノテーションサブジェクトのバウンディングボックス［384］、埋め込み画像・アノテーション矢印［385］、及びボックス［386］内の埋め込み画像・アノテーション・コメントが示される。埋め込み画像・アノテーションサブジェクト[383]は、画像内の関心対象である。埋め込み画像・アノテーションサブジェクト[383]は、人、車、サッカーボール、テニスボール、または人間またはコンピュータシステムによって画像内で識別可能な他の物体であり得る。埋め込み画像・アノテーションサブジェクトのバウンディングボックス［384］は、ユーザ又はコンピュータシステムによって埋め込み画像・アノテーションサブジェクト［383］の周囲に描かれるバウンディングボックスである。ユーザは、ウェブページ上のどこかのパネルまたはフローティングツールバーから矩形ツールを選択し、埋め込み画像・アノテーションサブジェクトのバウンディングボックス[384]を描くことができる。さらに、ユーザはテキストを入力し、ボックス[386]内の埋め込み画像・アノテーション・コメントを配置することができる。ボックス[386]内の埋め込み画像・アノテーション・コメントは、ユーザが作成し、アノテーション・コメントは埋め込み画像・アノテーションサブジェクト[383]に関連している必要がある。埋め込み画像・アノテーション矢印[385]は、埋め込み画像・アノテーションサブジェクのバウンディングボックス[384]とボックス[386]の埋め込み画像・アノテーション・コメントを結ぶ、両側に矢印の頭を持つことができる線である。埋め込み画像・アノテーションのサブジェクト境界ボックス[384]、埋め込み画像・アノテーション矢印[385]、埋め込みボックス内の画像・アノテーション・コメント[386]は、ユーザが作成し、画像・アノテーションに含まれる埋め込みオブジェクトである。

画像・アノテーションの埋め込みオブジェクトは、すべて同時に表示されないこともある。一例として、埋め込み画像・アノテーションサブジェクトのバウンディングボックス[384]のみが、
ユーザが埋め込まれた画像・アノテーションサブジェクト［383］または埋め込まれた画像・アノテーションサブジェクトのバウンディングボックス［384］をマウスオーバーした後に可視化される画像・アノテーションの他の埋め込みオブジェクトとともに、可視可能である。画像・アノテーションの可視エレメントは、他のエレメントをマウスオーバーすることなく可視化される埋め込みエレメントである。画像・アノテーションのマウスオーバー埋め込みエレメントは、ユーザが画像・アノテーションの可視埋め込みエレメントにマウスオーバーすると見えるようになる埋め込みエレメントである。画像・アノテーションの埋め込みオブジェクトにマウスオーバーすると、コンテクスト・バリアント・アノテーション・コントロール・バー・ボックス[387]が表示される。ユーザは、コンテキスト・バリアント・アノテーション・コントロール・バー・ボックス［387］に埋め込まれたコンテキスト・バリアント・アノテーション・コントロール・バー［34］を使用して、プライバシー設定の変更、電子メールによる共有、ソーシャルメディアによる共有、画像・アノテーションを不適切としてフラグ付け、十分な許可を前提として電子データベース［62］から画像・アノテーション・オブジェクトを削除、または画像・アノテーションからなる埋め込みオブジェクトを編集することが可能である。さらに、ユーザは、レピュテーションセレクタ［33］を使用して、画像・アノテーションに対するレピュテーションに投票することができる。

図48に描かれた例示的な実施形態において、埋め込みビデオ[373]が示される。埋め込みビデオ［373］及び埋め込みビデオ再生［374］は、ウェブページ内に存在し、埋め込みビデオ・アノテーションサブジェクト［388］は、埋め込みビデオ［373］内に発生する。図48に描かれた例示的な実施形態では、埋め込みビデオ・アノテーションサブジェクトのバウンディングボックス［389］、埋め込みビデオ・アノテーション矢印［390］、及びボックス［391］内の埋め込みビデオ・アノテーション・コメントが示されている。埋め込みビデオ・アノテーションサブジェクト[388]は、ビデオ内の関心のあるエンティティである。埋め込みビデオ・アノテーションサブジェクト[388]は、人、車、サッカーボール、テニスボール、または人間またはコンピュータシステムによってビデオ内で識別可能な他のオブジェクトである可能性がある。埋め込みビデオ・アノテーションサブジェクトのバウンディングボックス［389］は、ユーザ又はコンピュータシステムによって埋め込みビデオ・アノテーションサブジェクト［388］の周囲に描かれるバウンディングボックスである。埋め込みビデオ・アノテーションサブジェクト［388］がビデオ内を移動すると、埋め込みビデオ・アノテーションサブジェクトのバウンディングボックス［389］は、埋め込みビデオ・アノテーションサブジェクト［388］のバウンディングボックスとして機能し続けることが望ましい。ボックス[391]内の埋め込みビデオ・アノテーション・コメントは、ユーザによって作成され、アノテーション・コメントは、埋め込みビデオ・アノテーションサブジェクト[388]に関連する必要がある。埋め込みビデオ・アノテーション矢印[390]は、埋め込みビデオ・アノテーションサブジェクのバウンディングボックス [389]とボックス[391]の埋め込みビデオ・アノテーション・コメントを接続する、両側に矢印の頭を持つことができる線である。埋め込みビデオ・アノテーションサブジェクのバウンディングボックス[389]、埋め込みビデオ・アノテーション矢印[390]、埋め込みビデオ・アノテーション・コメントインボックス[391]は、ユーザによって作成され、ビデオ・アノテーションに含まれる埋め込みオブジェクトである。

ユーザは、ウェブページ上のどこかのパネルまたはフローティングツールバーから矩形ツールを選択し、最初の埋め込みビデオ・アノテーションサブジェクトのバウンディングボックス［389］を描画することができる。さらに、ユーザはテキストを入力し、ボックス[391]に埋め込みビデオ・アノテーション・コメントを配置し、埋め込みビデオ・アノテーション矢印[390]でそれらを接続することができる。ビデオの再生時にオブジェクトが適切に配置されるようにするために、ユーザまたはコンピュータシステムのいずれかが、埋め込みビデオ・アノテーションサブジェクトのバウンディングボックス［389］のモーションパスを決定する必要がある。ビデオ・アノテーションを作成するユーザは、ビデオが時間的に再生されるときに、埋め込まれたビデオ・アノテーションサブジェクトのバウンディングボックス［389］のパスをトレースするオプションがある。埋め込みビデオ再生［374］の再生中、ビデオ・アノテーションを作成するユーザは、埋め込みビデオ・アノテーションサブジェクのバウンディングボックス［389］をマウスで移動させて、埋め込みビデオ・アノテーションサブジェクのバウンディングボックス［389］が埋め込みビデオ全体に適切に配置されていることを確認することができる。ユーザは、ボックス[391]内の埋め込みビデオ・アノテーション・コメントをマウスで移動させ、ボックス[391]内の埋め込みビデオ・アノテーション・コメントがビデオ全体に適切に配置されていることを確認することができる。アノテーション可能なウェブブラウザ、ウェブブラウザの拡張機能、またはウェブページのコードのいずれかが、ユーザがマウスをドラッグしたときのモーションパスを記録する。次にビデオが再生されると、埋め込みビデオ・アノテーションサブジェクトのバウンディングボックス［389］とボックス［391］内の埋め込みビデオ・アノテーション・コメントの経路は、それぞれのモーションパスに沿って進化する。埋め込みビデオ・アノテーションサブジェクトのバウンディングボックス［389］とボックス［391］内の埋め込みビデオ・アノテーション・コメントのモーションパスが分かれば、埋め込みビデオ・アノテーション矢印［390］のモーションパスとその時間的回転、時間的収縮、時間的拡張及び時間的位置は、埋め込みビデオ・アノテーションサブジェクトのバウンディングボックス［389］とボックス［391］内の埋め込みビデオ・アノテーション・コメントのモーションパスに対応して算出することができる。また、ビデオの再生に伴い、埋め込みビデオ・アノテーションサブジェクトのバウンディングボックス［388］の所望のサイズが変化した場合、ユーザはビデオを一時停止し、埋め込みビデオ・アノテーションサブジェクトのバウンディングボックス［389］及びボックス内埋め込みビデオ・アノテーション・コメント［391］をリサイズすることができる。

ビデオ・アノテーションの埋め込みオブジェクトは、すべて同時に可視化されるとは限りません。例として、ユーザが埋込ビデオ・アノテーションサブジェクト［388］または埋込ビデオ・アノテーションサブジェクのバウンディングボックス［389］をマウスオーバーした後にビデオ・アノテーションの他の埋込オブジェクトが可視になるように、埋込ビデオ・アノテーションサブジェクのバウンディングボックス［389］のみが可視であることが可能である。ビデオ・アノテーションの可視エレメントは、他のエレメントをマウスオーバーすることなく可視化される埋め込みエレメントである。ビデオ・アノテーションのマウスオーバー埋め込みエレメントは、ユーザがビデオ・アノテーションの可視埋め込みエレメントにマウスオーバーすると可視化される埋め込みエレメントである。ビデオ・アノテーションの埋め込みオブジェクトにマウスオーバーすると、コンテキスト・バリアントアノテーションコントロール・バー・ボックス[387]が表示される。ユーザは、コンテキスト・バリアント・アノテーション・コントロール・バー・ボックス［387］に埋め込まれたコンテキスト・バリアント・アノテーション・コントロール・バー［34］を使用して、プライバシー設定の変更、電子メールによる共有、ソーシャルメディアによる共有、ビデオ・アノテーションを不適切としてフラグ付け、十分な許可を前提として電子データベース［62］からビデオ・アノテーション・オブジェクトを削除、またはビデオ・アノテーションからなる埋め込みオブジェクトを編集することが可能である。さらに、ユーザは、レピュテーションセレクタ[33]を使用して、ビデオ・アノテーションのレピュテーションに投票することができる。アノテーションの意味的関係のグループ内の各関係に関連するのは、異なるビデオ・アノテーションの埋め込みシンボルである。一例として、質問埋め込みビデオ・アノテーションシンボル［376］は、ビデオ・アノテーションの作成者が、ビデオの選択部分とビデオ・アノテーション・コメントとの間のアノテーションの意味的関係を質問関係として指定したことを示す。質問埋め込みビデオ・アノテーションシンボル［376］は、例示的な実施形態がどのように機能するかを熟知しているユーザが、ユーザが実際にクリックする動作を行う前に、質問埋め込みビデオ・アノテーションシンボル［376］をクリックして、埋め込みビデオ・アノテーション再生範囲［375］についての質問であるビデオ・アノテーション・コメントを見ることができることを知ることができるようにするものである。質問アノテーションシンボル、不同意アノテーションシンボル、同意アノテーションシンボル、感嘆アノテーションシンボル、広告アノテーションシンボルに対応するのは、アノテーションの意味的関係というグループの5つの関係である。これらのアノテーションの意味的関係は、質問関係、不同意関係、同意関係、感嘆関係、広告関係である。これらのビデオ・アノテーションシンボルとビデオ・アノテーションの意味的関係は、埋め込みビデオ・アノテーションの再生範囲[375]と埋め込みビデオ・アノテーションのコメント入力欄[391]の関係に適用される。

図49に描かれた例示的な実施形態では、埋め込みサウンド録音[392]は、埋め込みサウンド録音アノテーション再生範囲[393]と質問埋め込みサウンドアノテーションシンボル[394]と共に示されている。埋込録音アノテーション再生範囲［393］は、音アノテーションに対応する録音物の選択された部分を指定する。埋め込み音アノテーションシンボルは、アノテーションの意味的関係のグループのエレメントに関連付けられる。各アノテーションの意味的関係は、埋め込まれた録音アノテーション再生範囲[393]とサウンドアノテーション・コメントの間の関係を示している。アノテーションの意味的関係のグループの各関係に関連付けられるのは、異なる埋込音アノテーションシンボルである。一例として、質問埋め込みサウンドアノテーションシンボル［394］は、サウンドアノテーションの作成者が、録音の音の選択部分とサウンドアノテーション・コメントの間のアノテーションの意味的関係を質問関係として指定したことを示す。質問埋め込みサウンドアノテーションシンボル[394]は、例示的な実施形態がどのように機能するかを熟知しているユーザが、ユーザが実際にクリックする動作を行う前に、質問埋め込みサウンドアノテーションシンボル[394]をクリックして、埋め込み録音アノテーション再生範囲[393]に関する質問であるサウンドアノテーション・コメントを見ることができることを知ることができるようにするものである。アノテーションコメントボックス[31]は、埋め込み録音アノテーション再生範囲[393]の上にマウスを置くと表示される。ユーザは、アノテーションコメントボックス［31］に埋め込まれたコンテキスト・バリアントアノテーション・コントロール・バー［34］を使用して、プライバシー設定の変更、電子メールによる共有、ソーシャルメディアによる共有、サウンドアノテーションを不適切とするフラグ、十分な許可を前提とした電子データベース［62］からのサウンドアノテーション・オブジェクトの削除、またはサウンドアノテーションからなる埋め込みオブジェクトを編集することができる。さらに、ユーザは、レピュテーションセレクタ[33]を使用して、サウンドアノテーションに対するレピュテーションを投票することができる。質問アノテーションシンボル、不同意アノテーションシンボル、同意アノテーションシンボル、感嘆アノテーションシンボル、広告アノテーションシンボルに対応するのは、アノテーションの意味的関係というグループの5つの関係である。これらのアノテーションの意味的関係は、質問関係、不同意関係、同意関係、感嘆関係、および広告関係である。これらの音のアノテーションシンボルと音のアノテーションの意味的関係は、埋込録音アノテーション再生範囲[393]と音アノテーション・コメント[32]の関係に適用される。

本発明の側面は、図35、図36、図37、図38、図39、図40、図41、図42、図43、図44、図45、図46、図47、図48、および図49で説明された通りであり、これらのGUI図の各アイテムは、コンピュータ可読プログラム指示によって実装され得ることが理解されよう。次に、図35、図36、図37、図38、図39、図40、図41、図42、図43、図44、図45、図46、図47、図48、および図49の例示的実施形態に描かれた特徴および能力に関連する方法およびシステムを説明し、以前に提示した資料と関連付けることにする。これらの方法およびシステムを説明することは、データを受信し格納するために使用されるデータエレメントのバンドル、およびクライアントデバイスに視覚的エレメントを送信し表示するために使用される表示バンドルについて説明することを含む。ディスプレイエレメントのバンドルが説明されるとき、様々なアイテムボックスが説明される。これらのアイテムボックスを説明した後、ユーザインターフェースを含む提示された他のエレメントとの関係を説明する。これから説明するデータエレメントのバンドル、表示バンドル、およびアイテムボックスは、例示的な実施形態のコンテキスト内での説明と解釈される。

例示的な実施形態のコンテキストにおいて、クライアントデバイスからデータを受信し、1つまたは複数のコンピュータシステムを使用してこのデータを格納するために使用されるデータエレメントのバンドルについて、次に説明する。データエレメントのバンドルは、画像・アノテーション・バンドル、ビデオ・アノテーション・バンドル、録音アノテーション・バンドル、埋め込み画像・アノテーション・バンドル、埋め込みビデオ・アノテーション・バンドル、埋め込み録音アノテーション・バンドル、アノテーション・グループバンドル、派生アノテーション・グループバンドル、及び派生アノテーション付きアノテーション・グループバンドルである。

例示的な実施形態のコンテキストでは、画像・アノテーション・バンドルは、1つ以上の画像・アノテーションアトムを含む。画像・アノテーションアトムは、画像をアノテーションするためにそれ自体で意味を持って使用することができるユニットである。例えば、画像・アノテーションアトムは、図36に描かれた例示的な実施形態に示されるように、画像・アノテーションサブジェクトのバウンディングボックス［301］、ボックス内の画像・アノテーション・コメント［303］、及び画像・アノテーション矢印［302］を含むことができる。しかし、ボックス内の画像・アノテーション・コメント[303]は、画像・アノテーションサブジェクト[300]の近くに単独で使用することも可能である。このように、ボックス内の画像・アノテーション・コメント[303]は、それ自体で画像・アノテーションアトムとなり得るのである。画像・アノテーション・バンドルには、画像・アノテーションアトムに加え、アノテーションされる画像のフレーム情報が含まれる。フレーム情報には、x軸の画素数とy軸の画素数で指定される画像サイズが含まれる。画像サイズが指定されると、フレーム情報に基づいて、画像・アノテーションアトムを構成するエレメントである画像・アノテーションサブジェクトのバウンディングボックス［301］、ボックス内の画像・アノテーション・コメント［303］、画像・アノテーション矢印［302］に相対座標が付与される。画像・アノテーションサブジェクのバウンディングボックス[301]が、その中心のX、Y座標、幅、長さで指定される場合は、画像の左下隅を基準とした座標が指定される。ボックス内の画像・アノテーション・コメント[303]は、ボックス内の画像・アノテーション・コメント[303]に含まれるアノテーション・コメントのマークアップ情報とともに、同様の方法で指定することができる。このマークアップ情報には、テキストのフォントサイズと書式情報が含まれる。また、テキストの作成メカニズムに関する情報は、画像・アノテーション・バンドルに含まれる。作成のメカニズムは、ユーザが書いたもの、人工知能（AI）または深層学習モデルを用いた画像キャプション、別のアノテーション、または複数の手法の組み合わせであり得る。さらに、ユーザ名、機械学習モデル、および他のアノテーションデータのうち少なくとも1つが記録される。技術の組み合わせが使用される場合、その情報は画像・アノテーション・バンドルにも含まれる。画像・アノテーション矢印［302］は、その始点と終点のX、Y座標と、始点に矢印の頭があるか、終点に矢印の頭があるかを指定する情報により指定することができる。この場合も、画像の左下隅を基準とした座標で指定する。アノテーションアトムに含まれる各エレメントは、相対座標情報以外に、生成機構を指定する。生成機構は、そのエレメントがユーザ、機械学習モデル、または単純なアルゴリズムのいずれによって生成されたかを指定する。また、ユーザ名、機械学習モデル名、アルゴリズム名のうち少なくとも1つを記録する。さらに、オーバルも使用できる。楕円は、画像の左下隅に対する中心のX、Y座標と、楕円の幅、高さ、回転で指定される。さらに、ユーザ名、機械学習モデル名、アルゴリズム名の少なくとも1つとともに、生成機構が記録される。

例示的な実施形態のコンテキストでは、埋め込まれた画像・アノテーション・バンドルは、画像・アノテーション・バンドル内のすべての情報だけでなく、画像が位置するウェブページまたはドキュメントのURLを含む。画像・アノテーション・バンドルについて書かれた説明は、埋め込み画像・アノテーションサブジェクト［383］を画像・アノテーションサブジェクト［300］に、埋め込み画像・アノテーションサブジェクのバウンディングボックス［384］を画像・アノテーションサブジェクのバウンディングボックス［301］に、埋め込み画像・アノテーション矢印［385］を画像・アノテーション矢印［302］に、ボックス内の埋め込み画像・アノテーション・コメント［386］をボックス内の画像・アノテーション・コメントに代えて解釈することが望ましい。図FIG.36と図FIG.47は、詳細を検討する必要がある。また、ドキュメントがpdfや複雑なウェブページの場合は、pdfドキュメントのページや画像のDOMロケータなど、画像を探すための情報も格納される。

例示的な実施形態のコンテキストにおいて、ビデオ・アノテーション・バンドルは、1つまたは複数のビデオ・アノテーションアトムを含む。ビデオ・アノテーションアトムは、ビデオをアノテーションするためにそれ自体で有意義に使用することができるユニットである。例えば、ビデオ・アノテーションアトムは、図41に描かれた例示的な実施形態に示されるように、ビデオ・アノテーションサブジェクトのバウンディングボックス［322］、ビデオ・アノテーションサブジェクトのバウンディングボックスモーションパス［332］、ビデオ・アノテーション・コメント入力ボックス［324］、ビデオ・アノテーション・コメント入力ボックスモーションパス［334］、ビデオ・アノテーション矢印［323］、及びビデオ・アノテーション矢印モーションパス［333］を含むことができる。しかし、ビデオ再生中に、ボックス[324]内のビデオ・アノテーション・コメントをビデオ・アノテーションサブジェクト[321]の近くに置いて、ボックス[324]とビデオ・アノテーション・コメント入力ボックスモーションパス[334] を単独で使用することも可能である。したがって、ボックス[324]内のビデオ・アノテーション・コメントとビデオ・アノテーション・コメント入力ボックスのモーションパス[334]はそれ自体でビデオ・アノテーションアトムとすることができる。ビデオ・アノテーション・バンドルには、ビデオ・アノテーションアトムに加え、アノテーションされるビデオに関するフレーム情報が含まれる。フレーム情報には、x軸方向の画素数とy軸方向の画素数で指定される映像サイズが含まれる。これは、ビデオの領域[319]を含み、ビデオ・アノテーションの再生領域[320]は含まない必要がある。ビデオサイズが指定されると、フレーム情報に基づき、ビデオ・アノテーションサブジェクのバウンディングボックス［322］、ビデオ・アノテーションサブジェクのバウンディングボックスモーションパス［332］、ビデオ・アノテーション・コメント入力ボックス［324］、ビデオ・アノテーション・コメント入力ボックスモーションパス［334］、ビデオ・アノテーション矢印［323］、ビデオ・アノテーション矢印モーションパス［333］などのビデオ・アノテーションアトム構成エレメントを相対座標で指定する。ビデオ・アノテーションサブジェクのバウンディングボックス[322]が、その中心のX、Y座標、幅、長さで指定される場合、その座標はビデオの左下隅からの相対座標で指定される。ビデオ・アノテーションサブジェクトのバウンディングボックスモーションパス[332]は、ビデオ・アノテーションサブジェクトのバウンディングボックス[322]の時間的な進化を指定する必要がある。これは、その中心のX、Y座標、その幅、その長さの時間的な変化を指定する。この指定は、映像アノテーション再生範囲内の離散的な時点における映像の左下隅を基準としたX、Y座標をこれらの離散時間ステップ間の補間メカニズムとともに指定することにより行われる。相対x座標、相対y座標、幅、長さは実数なので、離散的な時点の値を記憶し、補間方法を指定する方法は、4つの値とも同じで十分である。補間方法としては、直線補間、スプライン曲線、ベジェ曲線などが考えられる。ボックス[324]の映像アノテーション・コメント、映像アノテーション・コメント入力ボックスのモーションパス[334]も同様の方法で指定することができ、ボックス[324]の映像アノテーション・コメントに含まれるアノテーション・コメントのマークアップ情報も指定することができる。このマークアップ情報には、テキストのフォントサイズや書式情報が含まれる。さらに、テキストの作成メカニズムに関する情報がビデオ・アノテーション・バンドルに含まれる。作成メカニズムは、ユーザが書いたもの、AIや深層学習モデルを用いたビデオキャプション、別のアノテーション、または複数の手法の組み合わせであり得る。さらに、ユーザ名、機械学習モデル、および他のアノテーションデータのうち少なくとも1つが記録される。技術の組み合わせが使用される場合、その情報もビデオ・アノテーション・バンドルに含まれる。ビデオ・アノテーション矢印［323］とビデオ・アノテーション矢印モーションパス［333］は、その始点と終点の相対X、Y座標と、始点に矢印の頭があるか、終点に矢印の頭があるかを指定する情報により指定することができる。ビデオ・アノテーション矢印モーションパス[333]の指定は、ビデオ・アノテーション再生範囲内の離散的な時点における始点と終点の相対的なX、Y座標と、これらの離散的な時間ステップ間の補間機構を指定することによって行われる。ここでも、座標は映像の左下隅を基準として指定される。アノテーションアトムに含まれる各エレメントは、相対座標情報以外に、生成機構を指定する。生成メカニズムは、そのエレメントが、ユーザ、AIまたはディープラーニングモデル、別のアノテーション、または技術の組み合わせのいずれによって作成されたかを指定する。さらに、ユーザ名、AIまたはディープラーニングモデル名、アルゴリズム名のうち少なくとも1つが記録される。さらに、オーバルも使用することができる。楕円は、映像の左下隅に対する中心のX、Y座標、楕円の幅、高さ、回転によって指定される。さらに、生成の仕組みを、ユーザ名、AIまたはディープラーニングのモデル名、アルゴリズム名の少なくとも1つと共に記録する。ビデオ・アノテーションシンボル情報は、ビデオ・アノテーション・バンドルに含まれることも可能である。

例示的な実施形態のコンテキストでは、埋め込まれたビデオ・アノテーション・バンドルは、ビデオ・アノテーション・バンドル内のすべての情報だけでなく、ビデオが位置するウェブページまたはドキュメントのURLを含む。ビデオ・アノテーション・バンドルのために書かれた説明は、埋め込まれたビデオ・アノテーションサブジェクト[388]がビデオ・アノテーションサブジェクト[321]に、埋め込まれたビデオ・アノテーションサブジェクのバウンディングボックス[389]がビデオ・アノテーションサブジェクのバウンディングボックス[322]に、埋め込まれたビデオ・アノテーション矢印[390]がビデオ・アノテーション矢印[323]に、埋め込まれたボックス内のビデオ・アノテーション・コメント[391]がボックス内のビデオ・アノテーション・コメント[324]に、埋め込まれたビデオ・アノテーションサブジェクのバウンディングボックスモーションパスがビデオ・アノテーションサブジェクのバウンディングボックスモーションパス［332］に、埋め込まれたビデオ・アノテーション矢印モーションパスがビデオ・アノテーション矢印モーションパス［333］に、埋め込まれたボックス内のビデオ・アノテーション・コメントモーションパスがビデオ・アノテーション・コメント入力ボックスモーションパス［334］に、及び、埋め込まれたビデオ・アノテーションシンボルがビデオ・アノテーションシンボルに、それぞれ代用して解釈される必要がある。
図の形及び図48を参照して詳細を検討する必要がある。ドキュメントがpdfや複雑なウェブページである場合、pdfドキュメントのページやビデオのDOMロケータなど、ビデオを見つけるための情報も格納される。

例示的な実施形態のコンテキストにおいて、録音アノテーション・バンドルは、1つまたは複数の録音アノテーションアトムを含む。録音アノテーションアトムは、それ自体で録音をアノテーションするために有意義に使用することができる単位である。例えば、録音アノテーションアトムは、録音アノテーション再生範囲、録音アノテーションシンボル、及び録音アノテーション・コメントを含むことができる。ただし、録音アノテーション再生範囲と録音アノテーション・コメントのみを使用することも可能である。したがって、録音アノテーション再生範囲と録音アノテーション・コメントは、それだけで録音アノテーション原子を構成することも可能である。録音アノテーション・コメントは、録音アノテーション・コメントのマークアップ情報を関連付けて持つことができる。このマークアップ情報には、テキストのフォーマット情報の他、フォントサイズも含まれる。さらに、テキストの作成メカニズムに関する情報は、録音アノテーション・バンドルにある。作成メカニズムは、ユーザが書いたもの、AIやディープラーニングモデルによる音認識、他のアノテーションのコピー、または複数の手法の組み合わせが考えられる。さらに、ユーザ名、AIまたはディープラーニングモデル名、および他のアノテーション参照の少なくとも1つとともに、作成メカニズムが記録される。技術の組み合わせが使用される場合、1つ以上のソース名のタイプが記録される。また、録音アノテーションの再生範囲は、音検索に基づいて決定することができる。したがって、録音再生範囲の生成機構も、ユーザ名、AIまたはディープラーニングのモデル名、その他のアノテーション・コメントの少なくとも1つとともに記録されることが望ましい。生成機構や音源情報は、複数の手法を組み合わせて使用する場合に、複数記録される。さらに、録音アノテーション再生コントロールに録音アノテーション再生範囲を配置しやすくするために、録音フレーム情報を記録する。

例示的な実施形態のコンテキストでは、埋め込み型録音アノテーション・バンドルは、録音アノテーション・バンドル内のすべての情報だけでなく、録音が位置するウェブページまたはドキュメントのURLを含む。録音アノテーション・バンドルについて書かれた説明は、埋め込み録音アノテーション再生範囲［393］を録音再生範囲に、埋め込み録音アノテーションシンボルを録音アノテーションシンボルに、埋め込み録音アノテーション・コメントを録音アノテーション・コメントに置き換えて解釈する必要がある。さらに、埋込録音アノテーション再生範囲[393]を埋込録音再生コントロールに配置しやすくするために、埋込録音フレーム情報が埋込録音アノテーション・バンドルで記録されていることを理解すべきである。図44及び図49の形を参照して詳細を検討する必要がある。ドキュメントが複雑なウェブページである場合、録音音のDOMロケータなど、録音音の位置を特定するための情報も格納される。

例示的な実施形態のコンテキストにおいて、アノテーション・グループバンドルは、その特定のアノテーション・グループに含まれるすべてのアノテーションへの参照を含む。さらに、アノテーションが衝突するかどうかに関する情報は、アノテーション・グループがいつ作成されたかを示すメタデータ、及び衝突検出がユーザ又はAI又はディープラーニングモデルによって行われたかどうかを示すメタデータと共に格納される。衝突検出を行ったユーザとAIまたはディープラーニングモデルの少なくとも一方も、アノテーション・グループバンドルに格納される。

例示的な実施形態のコンテキストでは、派生アノテーション・グループバンドルは、その特定の派生アノテーション・グループに含まれるすべてのアノテーションへの参照を含む。さらに、アノテーションが衝突するかどうかに関する情報は、アノテーション・グループがいつ作成されたかを示すメタデータと、衝突検出がユーザまたはAIまたはディープラーニングモデルによって行われたかどうかと共に格納される。衝突検出を行ったユーザとAIまたはディープラーニングモデルの少なくとも一方も、派生アノテーション・グループバンドルに格納される。派生アノテーション・グループバンドルは、その特定のアノテーション・グループに含まれるすべてのアノテーションへの参照とともに、1つの派生アノテーションを含む。アノテーション接続矢印は、派生アノテーション・グループバンドル内に存在するアノテーション参照から決定することができる。この例示的な実施形態では、1つの派生アノテーションのみが存在し、これは、アノテーション接続矢印を描くためのすべての情報を提供する。さらに、派生アノテーション・コメントは、派生アノテーション・グループバンドルに格納される。派生アノテーション・コメントのためのマークアップ情報も格納される。このマークアップ情報には、テキストのフォントサイズと書式情報が含まれる。さらに、派生アノテーション・グループバンドルには、テキストの作成メカニズムに関する情報が格納される。作成メカニズムは、ユーザが書いたもの、AIまたはディープラーニングモデルが生成したもの、コピーされた別のアノテーション、または複数の技術の組み合わせであり得る。さらに、ユーザ名、機械学習モデル、および他のアノテーションデータの少なくとも1つが記録される。技術の組み合わせが使用された場合、その情報も派生したアノテーション・グループバンドルに含まれる。

例示的な実施形態のコンテキストにおいて、派生アノテーション付きアノテーション・グループバンドルは、その特定の派生アノテーション付きアノテーション・グループに存在するすべての派生アノテーション及びアノテーションへの参照を含む。さらに、アノテーションが衝突するかどうかに関する情報は、派生アノテーションを有するアノテーション・グループがいつ作成されたかを示すメタデータ、および衝突検出がユーザまたはAIまたはディープラーニングモデルによって行われたかどうかと共に格納される。衝突検出を行ったユーザとAIまたはディープラーニングモデルの少なくとも一方も、アノテーション・グループバンドルに格納される。

次に、いくつかのタイプの表示バンドルおよびアイテムボックスについて説明する。これらの説明は、例示的な実施形態のコンテキストにあるものと解釈される。例示的な実施形態のコンテキストにおいて、説明される表示バンドルは、画像・アノテーション表示バンドル、ビデオ・アノテーション表示バンドル、録音アノテーション表示バンドル、埋め込み画像・アノテーション表示バンドル、埋め込みビデオ・アノテーション表示バンドル、埋め込み録音アノテーション表示バンドル、アノテーション・グループ表示バンドル、派生アノテーション・グループ表示バンドル、及び派生アノテーション付きアノテーション・グループ表示バンドルである。例示的な実施形態のコンテキストにおいて、説明されるアイテムボックスは、画像・アノテーションアイテムボックス、ビデオ・アノテーションアイテムボックス、録音アノテーションアイテムボックス、埋め込み画像・アノテーションアイテムボックス、埋め込みビデオ・アノテーションアイテムボックス、埋め込み録音アイテムボックス、アノテーション・グループアイテムボックス、派生アノテーション・グループアイテムボックス、および派生アノテーションを有するアノテーション・グループアイテムボックスである。例示的な実施形態における表示バンドルの1つの目的は、ウェブブラウザが、そのタイプのアノテーションまたはメディアアイテムに関連付けられた対応するアイテムボックスを表示するためのデータを提供することである。したがって、アイテムボックスは、図9に描かれた例示的な実施形態において提示されるアノテーションアイテムボックス［36］に関連して説明される。アノテーションアイテムボックス内の番号付けされたアイテムに加えて、アノテーションアイテムボックスは、アイテムボックスアノテーション強調テキスト、アイテムボックスアノテーションシンボル、アイテムボックスアノテーション・コメント、及びアイテムボックスURLも含む。例示的な実施形態のコンテキストで様々なアイテムボックスが説明されると、様々な表示バンドルに対応するデータ構造が例示されることができる。さらに、表示されたバンドルを参照することは、説明のために役立つことがある。表示されたバンドルは、表示バンドルを使用して作成された視覚的出力である。この視覚的出力は、アイテムボックスの中に含まれる。メモ帳のようなコンテキストでは、表示されたバンドルは、アイテムボックス全体が存在しなくても存在することができる。

例示的な実施形態において、画像・アノテーションアイテムボックスは、図9の例示的な実施形態に示すように、アノテーションアイテムボックス［36］のように、別個のコンテキスト・バリアント・アノテーション・コントロール・バー［41］及び別個のコンテキストレピュテーションセレクタ［42］を含むことになる。マークされたテキストを有するスクリーンショット［37］の代わりに、画像・アノテーションアイテムボックスは、サムネイル画像の上に表示された画像・アノテーションと共に画像のサムネイルを含む。別個のコンテキスト・アノテーション強調テキスト［38］、別個のコンテキスト質問の表示されたアノテーションシンボル［39］、別個のコンテキスト・アノテーション・コメント［40］の代わりに、画像・アノテーションアイテムボックスには画像・アノテーション・コメントが表示される。URL は、画像・アノテーションアイテムボックスには表示されませんが、埋め込まれた画像・アノテーションアイテムボックスには表示される。ウェブブラウザがこれらの画像・アノテーションアイテムボックスを表示できるように、画像・アノテーション表示バンドルは、画像・アノテーションのサブジェクト境界ボックス[301]、ボックス内の画像・アノテーション・コメント[303]、画像・アノテーション矢印[302]などのオブジェクトとその上に表示された画像とマークの付いたサムネイル画像を適切にリサイズしてオーバーレイして含む必要がある。さらに、画像・アノテーション表示バンドルには、画像・アノテーション・コメント、ユーザ名、レピュテーション情報を含める必要がある。

例示的な実施形態では、埋め込まれた画像・アノテーションアイテムボックスは、アノテーションアイテムボックス［36］のように、別個のコンテキスト・バリアント・アノテーション・コントロール・バー［41］及び別個のコンテキストレピュテーションセレクタ［42］を含むことになる。マークされたテキストを含むスクリーンショットの代わりに、埋め込み画像・アノテーションアイテムボックスは、埋め込み画像のサムネイルを含み、サムネイル画像の上に表示される画像・アノテーションを含む。別個のコンテキスト・アノテーションの強調テキスト［38］、別個のコンテキストの質問の表示されたアノテーションシンボル[39]、及び別個のコンテキスト・アノテーション・コメント[40]の代わりに、埋め込み画像・アノテーションアイテムボックスが埋め込み画像・アノテーション・コメントを有する。そのURLは、画像・アノテーションが施された埋め込み画像を含むURLに対応する。ウェブブラウザがこれらの埋め込み画像・アノテーションアイテムボックスを表示できるように、埋め込み画像・アノテーション表示バンドルは、埋め込み画像・アノテーションサブジェクトのバウンディングボックス［384］、ボックス内の埋め込み画像・アノテーション・コメント［386］、埋め込み画像・アノテーション矢印［385］などのオブジェクトが適切にリサイズされてオーバーレイされた、画像・アノテーションが表示されている埋め込み画像のマーク付きサムネイルイメージが含まれている必要がある。さらに、埋め込み画像・アノテーション表示バンドルには、埋め込み画像・アノテーション・コメント、ユーザ名、レピュテーション情報を含める必要がある。

例示的な実施形態では、ビデオ・アノテーションアイテムボックスは、図9の例示的な実施形態に示すように、アノテーションアイテムボックス［36］のように、別個のコンテキスト・バリアント・アノテーション・コントロール・バー［41］及び別個のコンテキストレピュテーションセレクタ［42］を含むことになる。マークされたテキストを有するスクリーンショット［37］の代わりに、ビデオ・アノテーションアイテムボックスは、同じ選択された時点におけるビデオフレームのサムネイル上に表示されるビデオ・アノテーションとともに、ある選択された時点におけるビデオフレームのサムネイルを含む。さらに、再生ボタンは、サムネイルビデオとビデオ・アノテーションの一部を示すサムネイルビデオを再生することができる。別個のコンテキスト・アノテーションの強調テキスト[38]の代わりに、ビデオ内のサウンドを要約する機械生成のテキストであるビデオサウンドサマリゼーションテキストが表示されることになる。次に、ビデオ・アノテーションアイテムボックスには、ビデオ・アノテーション・コメントが表示され、ビデオ・アノテーションアイテムボックスには、ビデオ音声要約テキストとビデオ・アノテーション・コメント間のアノテーションの意味的関係を決定するビデオ・アノテーションシンボルも表示される。URLは、ビデオ・アノテーションアイテムボックスには存在しないが、埋め込みビデオ・アノテーションアイテムボックスには存在する。ウェブブラウザがこれらのビデオ・アノテーションアイテムボックスを表示できるようにするために、ビデオ・アノテーション表示バンドルは、ビデオ・アノテーションサブジェクのバウンディングボックス[322]、ボックス内のビデオ・アノテーション・コメント[324]、ビデオ・アノテーション矢印[323]といったオブジェクトを適切にリサイズしてオーバーレイ表示した、ビデオフレームのマーク付きサムネイル画像とその上の選択した時点のビデオを含むことが必要である。ユーザが再生ボタンを押した場合、ビデオ・アノテーション表示バンドルには、ビデオ・アノテーションがオーバーレイ表示されたサムネイルビデオが含まれる必要がある。さらに、ビデオ・アノテーション表示バンドルには、ビデオ音声要約テキスト、ビデオ・アノテーションシンボル、ビデオ・アノテーション・コメント、ユーザ名、およびレピュテーション情報が含まれなければならない。さらに、ユーザは機械的に生成されたビデオ・アノテーションを修正することができるようになる。

例示的な実施形態において、埋め込まれたビデオ・アノテーションアイテムボックスは、図9の例示的な実施形態に示すように、アノテーションアイテムボックス［36］のように、別個のコンテキスト・バリアント・アノテーション・コントロール・バー［41］及び別個のコンテキストレピュテーションセレクタ［42］を含むことになる。マークされたテキストを有するスクリーンショット［37］の代わりに、埋め込みビデオ・アノテーションアイテムボックスは、同じ選択された時点における埋め込みビデオフレームのサムネイル上に表示される埋め込みビデオ・アノテーションとともに、ある選択された時点における埋め込みビデオフレームのサムネイルを含む。さらに、再生ボタンは、サムネイルビデオ及びビデオ・アノテーションの一部を示すサムネイルビデオを再生することを可能にすることができる。別個のコンテキスト・アノテーション強調テキスト[38]の代わりに、ビデオ内のサウンドを要約する機械生成テキストの一部である埋め込みビデオサウンド要約テキストとなる。次に、埋め込みビデオ・アノテーションアイテムボックスは、埋め込みビデオ・アノテーション・コメントを持ち、埋め込みビデオ・アノテーションアイテムボックスは、埋め込みビデオ音声要約テキストと埋め込みビデオ・アノテーション・コメント間のアノテーションの意味的関係を決定する埋め込みビデオ・アノテーションシンボルも持つことになる。ビデオが埋め込まれているウェブページのURLは、埋め込みビデオ・アノテーションのアイテムボックスに表示される。ウェブブラウザがこれらの埋め込みビデオ・アノテーションアイテムボックスを表示できるようにするために、埋め込みビデオ・アノテーション表示バンドルは、埋め込みビデオ・アノテーションサブジェクトのバウンディングボックス［389］、ボックス内の埋め込みビデオ・アノテーション・コメント［391］、埋め込みビデオ・アノテーション矢印［390］などのオブジェクトが適切にリサイズされてオーバーレイされ、埋め込みビデオ・アノテーションがその上に表示されて、ある選ばれた時点における埋め込みビデオのフレームのマーク付きサムネイル画像を含む必要がある。ユーザが再生ボタンを押した場合、埋め込みビデオ・アノテーション表示バンドルは、埋め込みビデオ・アノテーションがオーバーレイされたサムネイルビデオを含む必要がある。さらに、埋め込みビデオ・アノテーション表示バンドルには、埋め込みビデオ音声要約テキスト、埋め込みビデオ・アノテーションシンボル、埋め込みビデオ・アノテーション・コメント、ユーザ名、およびレピュテーション情報を含める必要がある。さらに、ユーザは、機械的に生成されたビデオ・アノテーションの側面を修正することができるようになる。

例示的な実施形態において、録音アノテーションアイテムボックスは、図9の例示的な実施形態に示すように、アノテーションアイテムボックス［36］のように、別個のコンテキスト・バリアント・アノテーション・コントロール・バー［41］及び別個のコンテキストレピュテーションセレクタ［42］を含むことになる。マークされたテキストを有するスクリーンショット[37]の代わりに、録音アノテーションアイテムボックスは、サムネイル関連録音画像と呼ばれる録音を代表するサムネイルを含むことになる。これは、まず、録音をテキスト表現に変換する録音要約テキストを作成することによって行われる。これは、音声認識などの音声理解技術を利用して行う。テキスト表現ができたら、AIやディープラーニングのモデルを使って、その録音要約テキストに関連する画像を見つける。この画像を関連録音画像と呼ぶことにする。関連する録音画像のサムネイル表現が、サムネイル関連録音画像である。別個のコンテキスト・アノテーションの強調テキスト[38]の代わりに、録音要約テキストとする。次に、録音アノテーションアイテムボックスは、録音アノテーション・コメントを有し、録音アノテーションアイテムボックスは、録音要約テキストと録音アノテーション・コメントとの間のアノテーションの意味的関係を決定する録音アノテーションシンボルも有することになる。URLは、録音アノテーションアイテムボックスには存在しないが、埋め込み録音アノテーションアイテムボックスには存在する。ウェブブラウザがこれらの録音アノテーションアイテムボックスを表示できるように、録音アノテーション表示バンドルは、サムネイルに関連付けられた録音画像、録音要約テキスト、録音アノテーション・コメント、録音アノテーションシンボル、ユーザ名、およびレビテーション情報を含む必要がある。さらに、ユーザは、録音アノテーションの機械的に生成された部分を修正することができるようになる。

例示的な実施形態では、埋込録音アノテーションアイテムボックスは、アノテーションアイテムボックス［36］のように、別個のコンテキスト・バリアント・アノテーション・コントロール・バー［41］及び別個のコンテキストレピュテーションセレクタ［42］を含むことになる。マークされたテキストを含むスクリーンショット[37]の代わりに、埋め込み録音アノテーションアイテムボックスは、サムネイル関連付け埋め込み録音画像と呼ばれる埋め込み録音を代表するサムネイルを含むことになる。これは、まず、埋め込み録音をテキスト表現に変換する埋め込み録音要約テキストを作成することによって行われる。これは、音声認識などの音声理解技術を利用して行う。テキスト表現ができると、AIやディープラーニングのモデルを用いて、その埋め込み録音要約テキストに関連する画像を見つけることができるようになる。この画像を関連づけられた埋込録音画像と呼ぶことにする。関連する埋込録音画像のサムネイル表現は、サムネイル関連埋込録音画像とする。別個のコンテキスト・アノテーションの強調テキスト[38]の代わりに、埋め込み録音要約テキストとする。次に、埋め込み録音アノテーションアイテムボックスは、埋め込み録音アノテーション・コメントを有し、埋め込み録音アノテーションアイテムボックスは、埋め込み録音要約テキストと埋め込み録音アノテーション・コメントとの間のアノテーションの意味的関係を決定する埋め込み録音アノテーションシンボルも有することになる。埋め込み録音アノテーションアイテムボックスには、埋め込み録音が発見されたウェブサイトの URL が表示される。ウェブブラウザがこれらの埋め込み録音アノテーションアイテムボックスを表示できるように、埋め込み録音アノテーション表示バンドルは、サムネイルに関連付けられた埋め込み録音画像、埋め込み録音要約テキスト、埋め込み録音アノテーション・コメント、埋め込み録音アノテーションシンボル、ユーザ名、およびレピュテーション情報を含む必要がある。さらに、ユーザは録音アノテーションの機械的に生成された部分を修正することができるようになる。

例示的な実施形態では、アノテーション・グループアイテムボックスは、図9の例示的な実施形態に示すように、アノテーションアイテムボックス［36］のように、別個のコンテキスト・バリアント・アノテーション・コントロール・バー［41］及び別個のコンテキストレピュテーションセレクタ［42］を含むことになる。マークされたテキストを有するスクリーンショット［37］の代わりに、アノテーション・グループ・アイテムボックスは、アノテーション・グループを代表するサムネイルを含むことになる。画像・アノテーションの場合、これは、アノテーション・グループに含まれるすべての画像・アノテーションを有する画像のサムネイル画像を意味する。画像・アノテーションとアノテーション・グループには、埋め込まれた画像のアノテーションが含まれる。ビデオ・アノテーションの場合、ある時点のビデオのサムネイル画像と、その同じ時点のアノテーション・グループに含まれるすべてのビデオ・アノテーションを意味する。さらに、サムネイルビデオでは、サムネイルビデオ全体にアノテーション・グループのすべてのビデオ・アノテーションが表示されたサムネイルビデオが含まれることになる。ビデオ・アノテーションとアノテーション・グループは、埋め込まれたビデオのビデオ・アノテーションを含む。録音アノテーションについては、アノテーション・グループ内のすべての録音アノテーションについて、すべての録音再生範囲について音を代表するサムネイル画像を意味する。このような画像は、すべての録音再生範囲に対する録音要約テキストに基づくであろう。別個のコンテキスト・アノテーションの強調テキスト[38]の代わりに、その特定のアノテーション・グループ内のアノテーションのリストが表示される。別個のコンテキスト・アノテーション・コメントの代わりに、[40]は、その特定のアノテーション・グループに関するユーザ生成コメントとなる。さらに、機械で生成された画像とデフォルトのテキストが適切でない場合、これらのエレメントはユーザによって変更することができる。別の実施形態では、アノテーション・グループのアノテーションのリストは、人間によって生成されたより適切な要約テキストによって置き換えることができる。URLは、埋め込まれたアノテーションを持たないアノテーション・グループ・アイテムボックスには存在しないが、埋め込まれたアノテーションを含むアノテーション・グループ・アイテムボックスには存在することになる。埋め込まれたアノテーション・グループアノテーションシンボルは、アノテーション・グループ内のソース素材とアノテーションの間の意味的な関係を示すために使用することができる。アノテーション・グループアイテムボックスには、アノテーション・グループ内のアノテーションの数も表示される。ウェブブラウザがこれらのアノテーション・グループ・アノテーションアイテムボックスを表示できるように、アノテーション・グループ表示バンドルは、関連するサムネイル画像またはサムネイルビデオ、アノテーション・オブジェクトへの参照リスト、関連する要約テキスト、関連するアノテーション・コメント、関連するアノテーション・グループアノテーションシンボル、ユーザ名、およびレピュテーション情報を含む必要がある。さらに、ユーザは、アノテーション・グループの機械的に生成された側面を修正することができるようになる。

例示的な実施形態では、派生アノテーション・グループアイテムボックスは、図9の例示的な実施形態に示すように、アノテーションアイテムボックス［36］のように、別個のコンテキスト・バリアント・アノテーション・コントロール・バー［41］及び別個のコンテキストレピュテーションセレクタ［42］を含むことになる。マークされたテキストを有するスクリーンショット［37］の代わりに、派生アノテーション・グループ・アイテムボックスは、派生アノテーション・グループを代表するサムネイルを含むことになる。画像・アノテーションの場合、これは、派生アノテーション・グループに含まれるすべての画像・アノテーションを有する画像のサムネイル画像を意味する。画像・アノテーションと派生アノテーション・グループには、埋め込み画像の画像・アノテーションが含まれる。ビデオ・アノテーションの場合、ある時点のビデオのサムネイル画像と、その同じ時点の派生アノテーション・グループに含まれるすべてのビデオ・アノテーションを意味する。さらに、サムネイルビデオには、派生したアノテーション・グループに含まれるすべてのビデオ・アノテーションがサムネイルビデオ全体に表示されたサムネイルビデオが含まれることになる。ビデオ・アノテーションと派生アノテーション・グループは、埋め込みビデオのビデオ・アノテーションを含む。録音アノテーションの場合、派生アノテーション・グループのすべての録音アノテーションのすべての録音再生範囲について、音を代表するサムネイル画像を意味する。このような画像は、すべての録音再生範囲に対する録音要約テキストに基づくであろう。別個のコンテキスト・アノテーションの強調テキスト[38]の代わりに、その特定の派生アノテーション・グループ内のアノテーションのリストが表示される。別個のコンテキスト・アノテーション・コメントの代わりに、[40]は、その特定の派生アノテーション・グループに関するユーザ生成コメントとなる。さらに、機械で生成された画像及びデフォルトのテキストが適切でない場合、これらのエレメントは、ユーザによって修正することができる。代替実施形態では、派生アノテーション・グループのアノテーションのリストは、人間によって生成されたより適切な要約テキストで置き換えることができる。URLは、埋め込まれたアノテーションを持たない派生アノテーション・グループアイテムボックスには存在しないが、埋め込まれたアノテーションを含む派生アノテーション・グループアイテムボックスには存在する。派生アノテーション・グループアノテーションシンボルは、アノテーション・グループ内のソース素材とアノテーションの間の意味的な関係を示すために使用されることがある。ウェブブラウザがこれらのアノテーション・グループアノテーションアイテムボックスを表示できるように、アノテーション・グループ表示バンドルは、関連するサムネイル画像またはサムネイルビデオ、アノテーション・オブジェクトへの参照リスト、関連する要約テキスト、関連する派生アノテーション・コメント、関連する派生アノテーション・グループアノテーションシンボル、ユーザ名、およびレピュテーション情報を含む必要がある。さらに、ユーザは、派生アノテーション・グループの機械的に生成された部分を修正することができるようになる。

この時点で、アノテーション・グループと派生アノテーション・グループは、これまで説明してきた例示的な実施形態のコンテキストの中で類似しているように見えるかもしれない。しかし、派生アノテーション・グループ、派生アノテーション・グループアイテムボックス、及び派生アノテーション・グループ表示バンドルは、使用される場合、アノテーション・グループ、アノテーション・グループアイテムボックス、及びアノテーション・グループ表示バンドルとは異なるように取り扱われることになる。アノテーション・グループは、アノテーション間のリンクをより密接に示し、派生アノテーション・グループは、アノテーション・グループに組み込むことができる。これらの違いの影響は、図44および図45を検討することによって見ることができる。

例示的な実施形態では、派生アノテーション付きアノテーション・グループは、図9の例示的な実施形態に示すように、アノテーションアイテムボックス［36］のような別個のコンテキスト・バリアント・アノテーション・コントロール・バー［41］および別個のコンテキストレピュテーションセレクタ［42］を含むことになる。派生アノテーション付きアノテーション・グループアイテムボックス及び対応する派生アノテーション付きアノテーション・グループ表示バンドルは、その構成アノテーション及び派生アノテーション・コメントなどの派生アノテーションに関する情報が派生アノテーション・グループごとに存在することを除いて、アノテーション・グループアイテムボックス及びアノテーション・グループ表示バンドルに類似している。この情報が存在することにより、図44および図45に描かれているような派生アノテーションの表示が可能となる。さらに、派生アノテーション付きアノテーション・グループのアイテムボックスには、派生アノテーション付きアノテーション・グループ内のアノテーションの数および派生アノテーション・グループの数が表示される。これらの情報は、すべて派生アノテーション付きアノテーション・グループ表示バンドルに反映される。派生アノテーション付きアノテーション・グループ・アイテムボックスには、アノテーションアイテムボックス[36]と同様に、別個のコンテキスト・バリアント・アノテーション・コントロール・バー[41]と別個のコンテキストレピュテーションセレクタ[42]が表示される。マークされたテキストを含むスクリーンショットの代わりに、派生アノテーション付きアノテーション・グループ・アイテムボックスには、派生アノテーション付きアノテーション・グループの代表的なサムネイルが表示される［37］。画像・アノテーションの場合、派生アノテーションのアノテーション・グループに含まれるすべての画像・アノテーションを含む画像のサムネイルイメージを意味する。派生アノテーション・グループは、派生アノテーション・グループに含まれるアノテーションによって画像を変化させるため、重要なのは派生アノテーション・グループに含まれるすべてのアノテーションの集合である。画像・アノテーションとアノテーション・グループには、埋め込まれた画像のアノテーションが含まれる。ビデオ・アノテーションの場合、ある時点のビデオのサムネイル画像と、その同じ時点の派生アノテーションを持つアノテーション・グループに含まれるすべてのビデオ・アノテーションを意味する。さらに、サムネイルビデオには、派生したアノテーションを持つアノテーション・グループに含まれるすべてのビデオ・アノテーションがサムネイルビデオ全体に表示されたサムネイルビデオが含まれることになる。ここでも、重要なのは、派生アノテーションを持つアノテーション・グループに含まれるすべてのアノテーションの集合である。ビデオ・アノテーションとアノテーション・グループは、埋め込まれたビデオのビデオ・アノテーションを含む。録音アノテーションの場合、派生アノテーションを持つアノテーション・グループに含まれるすべての録音アノテーションのすべての録音再生範囲に対する音を代表するサムネイル画像を意味する。このような画像は、派生アノテーションを有するアノテーション・グループのすべてのアノテーションの集合におけるすべての録音再生範囲に対する録音要約テキストに基づくことになる。別個のコンテキスト・アノテーションの強調テキスト[38]の代わりに、その特定のアノテーション・グループのアノテーションのリストが派生したアノテーションとなる。別個のコンテキスト・アノテーションの代わりに、コメント[40]は、その特定のアノテーション・グループに関するユーザ生成コメントとなる。さらに、機械生成された画像及びデフォルトのテキストが適切でない場合、これらのエレメントは、ユーザによって修正することができる。代替実施形態では、派生アノテーションを持つアノテーション・グループのアノテーションのリストは、人間によって生成されたより適切な要約テキストによって置き換えることができる。URLは、埋め込まれたアノテーションを持たない派生アノテーション付きアノテーション・グループアイテムボックスには存在しないが、埋め込まれたアノテーションを含む派生アノテーション付きアノテーション・グループアイテムボックスには存在することになる。派生アノテーションシンボルを含む埋め込みアノテーション・グループを使用して、ソース資料と派生アノテーションを含むアノテーション・グループ内のアノテーションとの間の意味的関係を示すことができる。派生アノテーション付きアノテーション・グループのアイテムボックスには、派生アノテーション付きアノテーション・グループ内のアノテーションの数と派生アノテーション・グループの数が表示される。ウェブブラウザがこれらの派生アノテーション付きアノテーション・グループのアイテムボックスを表示できるように、派生アノテーション付きアノテーション・グループ表示バンドルには、関連サムネイル画像またはサムネイルビデオ、アノテーション・オブジェクトへの参照リスト、関連要約テキスト、関連アノテーション・コメント、関連派生アノテーション・グループシンボル、ユーザ名、およびレピュテーション情報を含める必要がある。さらに、ユーザは、派生アノテーションを持つアノテーション・グループの機械的に生成された側面を修正することができるようになる。

例示的な実施形態のコンテキスト内でデータエレメントのバンドル、表示バンドル、およびアイテムボックスの様々なタイプについて説明してきたが、図14、図15、図16、図17、および図18に対して行われる必要がある変更が説明されるであろう。これらの変更は、記載された説明並びに図35、図36、図37、図38、図39、図40、図41、図42、図43、図44、図45、図46、図47、図48、及び図49に描かれた例示的な実施形態において示され説明された特徴並びに能力に関連する実施方法並びにシステムにこれらのシーケンスダイヤグラム並びにフローチャートを適合させるものである。図14のシーケンス図は、異なるタイプのアノテーションが実装される場合に、アノテーション作成プロセスが先に説明した異なるタイプのアノテーションに対して異なる、その対応する表示バンドルおよびその対応する表示されたバンドルと共に先に説明したデータエレメントのバンドルのうちの1つで適用される。表示バンドルは、図14がアノテーション表示バンドルを使用する場合に発生し、表示されたバンドルは、図14が表示されたアノテーション・バンドルを使用する場合に発生する。図15のシーケンス図も、先に説明した表示バンドルと表示されたバンドルとで適用される。これらの表示されたは、図15においてアノテーションの表示されたバンドルが発生する場所で発生し、表示されたバンドルは、図15が表示されたアノテーション・バンドルを使用する場所で発生する。表示バンドルは、その対応するアイテムボックスまたはその対応する表示されたバンドルいずれかを表示するためのデータを有する。例示的な実施形態に応じて、アイテムボックスまたは表示されたバンドルのいずれかが、ユーザインターフェースに表示され得る。典型的には、アイテムボックスは、別個のコンテキスト・バリアント・アノテーション・コントロール・バー［41］及び別個のコンテキストレピュテーションセレクタ［42］とともに表示されたバンドルである。別個のコンテキスト・バリアント・アノテーション・コントロール・バー［41］及び別個のコンテキストレピュテーションセレクタ［42］は、図9に示す例示的実施形態におけるアノテーションアイテムボックス［36］に対して示されている。図16のシーケンス図は、アノテーションシンボル表示バンドルを適切な埋め込みアノテーション表示バンドルに置き換え、閉じられた表示されたアノテーションシンボルを適切な埋め込みアノテーションの可視エレメントに置き換えて適用される。埋め込みアノテーション表示バンドルおよび埋め込みアノテーションの可視エレメントについては、先に説明したとおりである。図17および図18は、データエレメントのバンドルおよび表示バンドルが、本明細書において以前に規定されたタイプから選択される場合、そのまま適用される。

例示的な実施形態では、図10のアノテーション編成コンテキスト領域［43］内のアイテムビン［44］は、アノテーションアイテムボックス、埋め込み画像・アノテーションアイテムボックス、埋め込みビデオ・アノテーションアイテムボックス、埋め込み録音アイテムボックス、アノテーション・グループアイテムボックス、派生アノテーション・グループアイテムボックス、派生アノテーション・グループアイテムボックス、およびメモ帳を含むことが可能である。メモ帳は、メモ帳アイテムボックスとして表示することもできる。これらのタイプのアイテムボックスはすべて、アノテーションアイテムボックス[36]について描かれているように、別個のコンテキスト・バリアント・アノテーション・コントロール・バー[41]を備えている。アノテーションアイテムボックス［36］の他のエレメントは他のタイプのアイテムボックスのために変わるが、別のコンテクスト・バリアントアノテーション・コントロール・バー［41］とアイテムボックスの表示されたフォームファクタは変化しない。これにより、これらの新しいタイプのアイテムボックスをアイテムビンに統合することができる[44]。これらのアイテムタイプはすべて外部サイトで作成され、ユーザがこれらのアイテムを作成するとすぐにアイテムビンに表示される [44]。これは、アクセス制御とユースケースに基づいて表示バンドルを受け取るべきアノテーションサーバ [61] から、接続されたすべてのウェブブラウザに情報をプッシュするウェブソケットを使用することで容易に実現される。アイテムボックスは、図11の例示的な実施形態に描かれているように、アイテムビン［44］から、表示された書き込み可能なコレクション［50］によって表される書き込み可能なコレクションに移動させることができる。さらに、アノテーションアイテムボックス、埋め込み画像・アノテーションアイテムボックス、埋め込みビデオ・アノテーションアイテムボックス、および埋め込みサウンド録音アイテムボックスは、図23の例示的な実施形態に描かれているように、コンテキスト・バリアント・アノテーション・コントロール・バー［34］にあるノートパッドに追加アイコン［158］ボタンを使用してアクティブノートパッド［159］に追加することが可能である。ノートパッドに追加するアイコン［158］ボタンは、すべての図にラベル付けされたコンテキストバリアントアノテーション・コントロール・バー［34］に表示されていない。しかし、そのようなボタンは、例示的な実施形態内でコンテキストバリアントアノテーション・コントロール・バー［34］に追加することができる。他のアイテムタイプも、ノートパッドへの追加を実行するためのトリガを使用して、アクティブなノートパッド[159]に追加することができる。すべての場合において、アクティブなノートパッド[159]内のアイテムボックスをクリックすると、ブラウザタブで関連するアイテムを開き、アノテーションの位置までスクロールし、アノテーションを表示する必要がある。すべての異なるタイプのアイテムボックスは、コレクション内に表示することができる。図31に描かれた例示的な実施形態で表示されるコレクションは、アノテーションアイテムボックスのみを示すが、すべてのタイプのアイテムボックスがコレクション内に存在することができる。表示されたアノテーションアイテムのスタックセットに関するコメントはすべて、様々なタイプのアイテムのスタックセットに適用される。さらに、ウィンドウ機能に関するコメントも適用される。積み重ねられたアイテムのセットは、URLに基づいて、またはアノテーションされている画像アイテム、ビデオアイテム、録音アイテム、またはドキュメントアイテムに基づいてグループ化されることができる。さらに、コレクションに含まれるアイテムのタイプは、コレクションの他のプロパティを変更することはない。表示されたコレクションによって表されるコレクションは、図32の例示的な実施形態に示されるものと同様のページ上に表示することができる。

前述のように、図10の例示的な実施形態に示される検索フィルタのようなフィルタは、ユーザからの入力を受信するために使用される。アイテムビン［44］の検索フィルタ［46］の場合、それは検索フレーズである。これらの入力は、アノテーションサーバ[61]に送られるパラメータ値に変換される。これらのパラメータ値は、アノテーションサーバ[61]で、電子データベース[62]で使用されるリクエストクエリにパラメータを入力するために使用される。リクエストクエリには、パラメータ値とページ番号が含まれる。パラメータ値を含むリクエストクエリは、アイテムのセットと、それらのアイテムの順序を指定するために使用される。これらのアイテムには、ウェブページアノテーション、埋め込み画像・アノテーション、埋め込みビデオ・アノテーション、埋め込み録音アノテーション、画像・アノテーション、ビデオ・アノテーション、録音アノテーション、アノテーション・グループ、派生アノテーション・グループ、派生アノテーション付きアノテーション・グループ、PDFドキュメントアノテーション、PDFドキュメント、画像、ビデオ、リンク、通常のコメントなどが含まれる。フィルタは、特定のアイテムタイプに制限することもできる。ページ番号は、特定のページを指定する。さらに、要求クエリは、クライアント電子デバイス上で実行されているウェブブラウザに送信されるべきアイテムの指定数を含むことができる。この要求クエリは、検索フレーズなどのフィルタ値のパラメータと、指定されたアイテムのリストから除外するアイテムの除外リストと、そのアイテムのリストに対する順次順序付けとを含む。先に説明したように、この順次順序付けは、図10および図31に描かれた例示的な実施形態におけるページングのための情報を提供する。コレクション・フィルタおよびコレクションページングは、図10および図32に描かれた例示的な実施形態の説明について先に説明したように動作する。同じことが、ピン留め機能にも当てはまる。

図33に描かれた例示的な実施形態で説明されたインボックスは、コレクションが異なるアイテムタイプを含む場合、同様の方法で機能するであろう。変更点は、ユーザがコレクション・メッセージ内でより多くのアイテムタイプの詳細について議論できるようになったことであろう。さらに、各タイプのアイテムに特化したメッセージ・チェーン内に機能を構築することができる。そして、アノテーションの構成エレメントであるオブジェクトを変更したり、アノテーションの変更を承認したり、現在のコレクションに追加されたアノテーションをフォークしたりする機能を実装することができる。また、画像・アノテーションを中心に議論する場合、画像・アノテーションの各オブジェクトに対するセレクタを使用することで、議論を円滑に進めることができる。さらに、ビデオ・アノテーションや録音アノテーションなど、他のアイテムタイプ用のセレクタをメッセージ・チェーン機能に組み込むことも可能である。このような機能により、ビデオ・アノテーションのサブジェクトバウンディングボックス［322］、ボックス内のビデオ・アノテーション・コメント［324］、又はアノテーション矢印［323］を変更することができ、並びにビデオ・アノテーションサブジェクトのバウンディングボックスのモーションパス［332］ビデオ・アノテーション矢印モーションパス［333］、及び、ビデオ・アノテーション・コメント入力ボックスモーションパス［334］を変更することができる。メッセージ・チェーンで変更が提案された後、アイテムの所有者は変更を承認することができ、またアドミは現在のコレクションのコンテキストでアイテムを新しいアイテムにフォークすることを承認することができる。

図28及び図29に描かれた例示的な実施形態は、複数のアイテムタイプが存在する場合にも適用される。この状況では、アノテーションサーバ［61］及び電子データベース［62］は、これらの異なるタイプのアイテムを処理することになる。例示的な実施形態では、アノテーションサーバ［61］は、異なるアイテムタイプを処理するためのREST APIを有していてもよく、電子データベース［62］は、様々なタイプのバンドル内の異なるデータエレメントを処理するスキーマを有している。ハードウェア要件は、次のような影響を受けます。ビデオ[319]がローカルに保存されず、URLを介して参照される場合、ビデオ[319]の存在は、ビデオ[319]がローカルに保存される場合ほどにはストレージ要件を増加させないであろう。ローカルに保存されている場合、またはコンテンツデリバリーネットワーク[63]を介して保存されている場合、ビデオ[319]はストレージ要件に大きな影響を与えるでしょう。録音再生[348]の存在により、音声および音認識を処理するためにディープラーニングモデルを使用する必要性が生じる可能性がある。ビデオ[319]の存在は、一般的に他のメディアタイプよりも大きな計算処理要件を持つため、システムの計算処理要件を増加させるでしょう。

例示的な実施形態においてユーザに追加のアノテーション機能を提供するために、機械学習及び深層学習モデルは、アノテーション可能なウェブブラウザのウェブブラウザ拡張機能を介して展開及び構成され得る。アノテーション可能なウェブブラウザがウェブブラウザ拡張機能の使用を通じて構築されていない場合、アノテーション可能なウェブブラウザを通じて直接、展開および構成を処理することも可能である。この機能は、ウェブページのどこかにあるパネルやフローティングツールバーを通じて、ユーザが利用できるようにすることができる。この機能は、メニューオプションや固定されたブラウザツールバーを通じて公開することもできる。フローティングツールバーは、ページの割り当てに添付したり、ウェブブラウザのサイドパネル内に配置することもできる。画像および埋め込み画像の場合、このパネルまたはフローティングツールバーは、画像内のオブジェクトの認識、画像内のテキストの認識、オブジェクトおよびテキスト検出器の認識特性の設定、およびアノテーションエレメントの特性の設定のタスクを処理するためのボタンを利用できるようにすることができる。アノテーションエレメントとしては、アノテーションサブジェクトのバウンディングボックス、アノテーションアロー、アノテーションコメントボックスがある。オブジェクト認識ボタンにより、アノテーションサブジェクト候補の周囲に破線のアノテーションサブジェクトのバウンディングボックスが描画される。ユーザは、このバウンディングボックスを選択し、アノテーション・コメント入力ボックスにアノテーション・コメントを書き込むことができる。設定により、アノテーション矢印が自動的に作成される場合もある。ユーザは、複数のアノテーションサブジェクトのバウンディングボックスを選択するオプションを提供することもでき、その結果、各アノテーションサブジェクトのバウンディングボックスに対して1つのアノテーション矢印が作成され、各アノテーション矢印の一端はアノテーションサブジェクトのバウンディングボックスを指し、他端はアノテーション・コメントが書き込まれているかどうかによってアノテーション・コメント入力ボックスまたはアノテーションコメントボックスを指す。矢印の配置は設定可能なプロパティである。他の設定可能な特性は、アノテーションサブジェクトのバウンディングボックス、アノテーション矢印、及びアノテーションコメントボックスの可視性特性である。可視性特性には、可視、マウスオーバー、不可視がある。可視は、常に表示されるアノテーションエレメント用である。マウスオーバーは、対象領域へのマウスオーバーで可視化されるアノテーションエレメントに対応する。そして、不可視は、常に不可視であるアノテーションエレメントに対応する。マウスオーバーターゲット領域は、可視であるアノテーションサブジェクト又はアノテーションエレメントの少なくとも1つであり得る。代替の実施形態では、アノテーションサブジェクトのピクセルを含む閉じた領域を囲む、アノテーションサブジェクトアウトラインが使用される。アノテーションサブジェクトのバウンディングボックスとは対照的に、これらのアノテーションサブジェクトアウトラインを使用することができる。さらに、オブジェクトアウトラインは、可視エレメントとは対照的に、マウスオーバーエレメントとすることができ、この可視特性は、構成設定を通じて制御することができる。また、アノテーションサブジェクトのバウンディングボックスとアノテーションサブジェクトアウトラインのどちらを使用するかをユーザが選択できるようにする構成設定を有することも可能である。アノテーションサブジェクトのバウンディングボックスまたはアノテーションサブジェクトアウトラインを決定することは、オブジェクトを認識してアノテーションサブジェクトのバウンディングボックスまたはアノテーションサブジェクトのアウトラインを決定できる機械学習モデルまたはディープラーニングモデルに依存する。ディープラーニングモデルは、クライアント電子デバイスのCPUまたはGPUを使用することによって、クライアント電子デバイス上で動作するウェブブラウザで実行することができる。GPUは、最新のウェブブラウザによって公開されるウェブGLインターフェースの使用を通じて使用することができ、その結果、クライアント電子デバイスのGPUを使用することができる。アノテーションサブジェクトのバウンディングボックスおよびアノテーションサブジェクトのアウトラインは、次に、領域ベースの畳み込みニューラルネットワーク（R-CNN）を用いるアノテーション・オブジェクト検出器の使用を通じて、または領域ベースの畳み込みニューラルネットワーク（R-CNN）を用いるオブジェクトセグメンテーションを通じて、決定され得る。R-CNNベースのモデルに加えて、代替的な実施形態は、他の機械学習または深層学習方法を採用することができる。異なる深層学習モデルは異なる認識特性を有するので、ユーザは、オブジェクト検出器及びテキスト検出器の所望の認識特性を入力することができる。それらの特性に基づいて、異なる機械学習又は深層学習モデルを選択することができる。また、文字や数字を認識するCNN（Convolution Neural Network）を用いて画像中の文字を認識することができる。さらに、設定オプションで、個々の文字を単語にまとめるかどうか、個々の単語をn-gramにまとめるかどうかを選択することができる。さらに、認識特性の設定オプションで単語やタグを入力することで、ユーザが入力した特定の種類のオブジェクトに限定して認識することも可能である。また、ビデオや埋め込みビデオを扱うために、アノテーションエレメントのモーションパスを設定するためのボタンが追加されている。また、画像で説明した技術は、ビデオの個々のフレームに実装することも可能である。さらに、深層学習モデルは、時間を通してアノテーションサブジェクトを追跡し、アノテーションサブジェクトのバウンディングボックスとアノテーションサブジェクトのアウトラインがアノテーションサブジェクトとともに移動することを保証することができる。これは、離散点での個々のフレーム分析、および離散点間の補間方法を使用することによって行うことができる。これにより、アノテーションサブジェクトのバウンディングボックスとアノテーションサブジェクトアウトラインのモーションパスが得られる。また、アノテーションサブジェクトアウトラインの輪郭移動も計算される。これらのモーションパスとアノテーションアウトラインの進化の設定は、アノテーションエレメントのモーションパスの設定オプションを扱うパネル、メニューオプション、ブラウザツールバー、またはフローティングツールバーの追加ボタンによって、ユーザが利用可能である。アノテーション目的のビデオにおける音声および音認識のための機械学習および深層学習モデルは、パネル、メニューオプション、ブラウザツールバー、またはフローティングツールバーにおける別の設定オプションによって取り扱うことができる。

本明細書で使用されるように、単語「例示的」は、「例、インスタンス、またはイラストレーションとして機能する」ことを意味する。本明細書で「例示的」として説明される任意の実装は、必ずしも他の実装よりも好ましいまたは有利であると解釈されるものではなく、また、文字通り複製されなければならないモデルとして解釈されることを意図していない。したがって、本明細書は、本発明を制限するものではなく、例示的なものとみなされる。

特に「できる(can)」、「できた(could)」、「かもしれない(might)」、又は「かもしれない(may)」などの条件付き言語は、特に他に明記されない限り、又は使用されるコンテキスト内で理解されない限り、特定の実施形態が含み、他の実施形態が特定の特徴、エレメント及び／又はステップを含まないことを伝えるように一般に意図されている。したがって、このような条件付き言語は、特徴、エレメント、および／またはステップが1つまたは複数の実施形態に何らかの形で必要であること、または1つまたは複数の実施形態が、これらの特徴、エレメント、および／またはステップが任意の特定の実施形態に含まれるかどうか、または実行されるかどうかを、ユーザ入力または促しとともに決定する論理を必ずしも含むことを意味することは一般に意図されていない。本明細書で使用される見出しは、読者の便宜のためであり、本発明または特許請求の範囲を限定することを意図するものではない。

本明細書で使用されるように、アイテムのリストの「少なくとも1つ」に言及する語句は、単一メンバーを含む、それらのアイテムの任意の組み合わせを指す。例として、「A、B、またはCのうちの少なくとも1つ」は、A、B、C、AおよびB、AおよびC、BおよびC、ならびにA、B、およびCをカバーすることを意図している。「X、YおよびZのうちの少なくとも1つ」という句のような接続言語は、特に他に明記しない場合、アイテム、用語、などが、X、YまたはZのうちの少なくとも1つであり得ることを伝えるために一般的に用いられるものとしてコンテキスト内で他に理解される。したがって、このような接続語は、特定の実施形態がXの少なくとも1つ、Yの少なくとも1つ、およびZの少なくとも1つをそれぞれ存在させることを要求することを意図していない。

図中のフローチャート、GUI、シーケンス、システム、コンポーネント、およびスイムレーンアクティビティ図は、本発明の様々な実施形態による方法、コンピュータプログラム製品、およびシステムの可能な実装の使用例、機能性、アーキテクチャ、および動作を示すものである。この点に関して、フローチャート、GUI、シーケンス、システム、コンポーネント、およびスイムレーンアクティビティ図の各アイテムは、指定された論理機能（複数可）を実装するための1つまたは複数の実行可能指示からなる、指示のモジュール、セグメント、または部分を表すことができる。いくつかの代替的な実装では、アイテムに記された機能は、図に記された順序から外れて発生してもよい。例えば、連続して示された2つのアイテムは、実際には、実質的に同時に実行されるかもしれないし、アイテムは、関係する機能に応じて、時には逆の順序で実行されるかもしれない。また、フローチャート、GUI、シーケンス、システム、コンポーネント、およびスイムレーンアクティビティ図の、1人または複数のユーザを伴わない各アイテム、およびアイテムの組み合わせは、アイテムの組み合わせが1人または複数のユーザを伴わない、特別目的のハードウェアベースのシステムによって実装され得、特定の機能または行為を実行するか、特別目的のハードウェアとコンピュータ指示の組み合わせを実行することに注目されるであろう。

本発明の態様は、本発明の実施形態による方法、コンピュータプログラム製品、およびシステムのフローチャート、GUI、シーケンス、システム、コンポーネント、およびスイムレーンアクティビティ図を参照して、本明細書で説明される。フローチャート、GUI、シーケンス、システム、コンポーネント、およびスイムレーン活動図の、1人または複数のユーザを伴わない各アイテム、ならびにフローチャート、GUI、シーケンス、システム、コンポーネント、およびスイムレーン活動図の、1人または複数のユーザを伴わないアイテムの組み合わせは、コンピュータ読み取り可能プログラム指示によって実装できることが理解されよう。

これらのコンピュータ可読プログラム命令は、汎用コンピュータ、特殊目的コンピュータ、または他のプログラム可能なデータ処理装置のプロセッサに提供されて、コンピュータのプロセッサまたは他のプログラム可能なデータ処理装置を介して実行される命令を機械に生成され、 1人または複数のユーザをインボルブしない機能/行為を実装するための手段を作成し、フローチャート、GUI、シーケンス、システム、コンポーネント、およびスイムレーン活動図の1つまたは複数のアイテムで指定され、ここにおいて1つまたは複数のアイテムは1人または複数のユーザをインボルブしない。これらのコンピュータ可読プログラム指示は、コンピュータ、プログラム可能なデータ処理装置、およびまたは他の装置に特定の方法で機能するように指示することができるコンピュータ可読記憶媒体にも格納され、その中に格納された指示を有するコンピュータ可読記憶媒体が、フローチャート、GUI、シーケンス、システム、コンポーネント、およびスイムレーン活動図のアイテムまたはアイテムにおいて指定された、機能／行為の側面を実装する指示を含む製造品からなり、そのアイテムおよびアイテムは1人またはそれ以上のユーザを含まないようであってもよい。

このようなコードは、当業者には理解されるように、メモリチップ、ローカル又はリモートのハードディスク、光ディスク又は他の媒体のような1つ以上の有形の機械可読媒体に記憶されるか又は記憶用に適合されてもよく、これらは、プロセッサベースのシステムによってアクセスされ記憶されたコードを実行してもよい。有形の媒体は、指示が印刷された紙または他の適切な媒体で構成されてもよいことに留意されたい。例えば、指示は、紙または他の媒体の光学スキャンを介して電子的に捕捉され、その後、必要に応じて適切な方法でコンパイル、解釈またはその他の処理が行われ、その後、コンピュータメモリに格納される場合がある。さらに、有形媒体は、記憶用のメモリチップ、ローカル、またはリモートのハードディスク、光ディスク、または他の媒体を利用するバージョンコントロールリポジトリを構成してもよいことに留意されたい。例えば、指示は、バージョン管理リポジトリから取得され、その後、コンパイル、解釈、またはその他の適切な方法で処理され、その後、コンピュータメモリに格納されることができる。

コンピュータ可読プログラム指示は、コンピュータ、他のプログラム可能なデータ処理装置、または他の装置にロードされて、コンピュータ実装プロセスを生成するために、コンピュータ、他のプログラム可能な装置、または他の装置上で実行される指示が、フローチャート、GUI、シーケンス、システム、コンポーネント、スイムレーン活動図のアイテムまたはアイテムで指定される機能／行為を実施するように、一連の動作ステップを行わせることも可能である。

更に、本明細書に記載された方法、非一時的なコンピュータ可読媒体、システム、および装置は、様々な修正および代替形態に影響を受け得るが、その具体例が図面に示され、ここに詳細に説明されている。しかしながら、本発明は、開示された特定の形態または方法に限定されるものではなく、逆に、本発明は、記載された様々な実施態様および添付の請求項の精神および範囲内に入るすべての変更、等価物、および代替物を対象とするものであることを理解されたい。さらに、実装または実施形態に関連する任意の特定の特徴、態様、方法、特性、特徴、品質、属性、エレメントなどの本明細書の開示は、本明細書に記載される他のすべての実装または実施形態において使用することができる。本明細書に開示される任意の方法は、言及された順序で実行される必要はない。本明細書に開示された方法は、施術者が行う特定の動作を含むことができるが、方法は、明示的または暗示的に、それらの動作の任意の第三者による指示を含むこともできる。本明細書で開示される範囲はまた、任意の及び全ての重複、サブ範囲、及びそれらの組み合わせを包含する。

「少なくとも(at least)」、「最低でも(at a minimum)」などの言葉は、言及された数字を含む。「約(about)」または「約(approximately)」などの用語が先行する数字は、引用された数字を含み、状況に基づいて解釈されるべきである（例えば、状況下で合理的に可能な限り正確に、例えば-5％、5％、10％、15％、など）。例えば、"約3.5mm "は、"3.5mm "を含む。「実質的に」などの用語が先行するフレーズは、引用されたフレーズを含み、状況に基づいて解釈されるべきである（例えば、状況下で合理的に可能な限り）。例えば、"実質的に一定(substantially constant) "は、"一定(constant) "を含む。

詳細な説明は、当業者が本発明を製造及び使用できるようにするために提示され、特許を取得するための要件との関連で提供されている。例示的な実施形態に対する様々な修正は、当業者には容易に明らかであろうし、本発明の汎用原理は、他の実施形態に適用されてもよく、本発明のいくつかの特徴は、他の特徴の対応する使用なしに使用されてもよい。したがって、本発明は、示された実施形態に限定されることを意図するものではなく、本明細書に記載された原理および特徴と一致する最も広い範囲を与えるものである。

Claims

方法であって、
アノテーション可能なウェブブラウザからアノテーションを表すアノテーションシンボルバンドルを受信すること、前記アノテーションシンボルバンドルは、
ドキュメントのユニフォーム・リソース・ロケータ(URL）と、
選択されたテキスト片はアノテーションの代表である、ドキュメントから選択されたアノテーションを表すテキスト片のデータと、
ドキュメントの中から選択されたテキスト片を見つけるための情報と、
アノテーションコメントと、及び
アノテーションの意味的関係のグループからのユーザ選択を指定するアノテーションシンボルを表すデータと
を含み、
前記アノテーションの意味的関係のグループは
選択されたテキスト片とアノテーションコメントの間の不同意を示す不同意関係、及び
選択されたテキスト片に関する質問を問いかけるアノテーションコメントを示す質問関係を含み、
並びに
１つまたはそれ以上のコンピュータシステムを使用してアノテーションシンボルバンドルを保管すること、
を含む方法。
請求項1に記載の方法であって、
前記アノテーションの意味的関係のグループは、
選択されたテキスト片とアノテーションコメントの間の同意を示す同意関係と、及び、
選択されたテキスト片に関する、注意点である感嘆又は興味深い事実を指定するアノテーションコメントを示す感嘆関係と、
を更に含むこと、
を特徴とする請求項１に記載の方法。
請求項1に記載の方法であって、
前記アノテーションシンボルバンドルは、選択されたテキスト片を示すドキュメントの一部のマークされたスクリーンショットを更に含み、及び、選択されたテキストは視覚的にマークされること、
を特徴とする請求項１に記載の方法。
請求項3に記載の方法であって、
前記方法は、1つ以上のコンピュータシステムを用いて前記アノテーションシンボルバンドル内の前記のマークされたスクリーンショットから作成されたマークされたスクリーンショットのサムネイルトを作成することを更に含むこと、
を特徴とする請求項３に記載の方法。
請求項1に記載の方法であって、
前記方法は、アノテーションシンボルバンドルから、
選択されたテキスト片はアノテーションを表す、ドキュメントから選択されたテキスト片を表すデータと、
ドキュメント内の選択されたテキスト片を見つける情報と、
アノテーションコメントと、及び
アノテーションシンボルを表すデータ
を含むアノテーションシンボル表示バンドルを、１つ以上のコンピュータシステムを使用して作成することを更に含むこと、
を特徴とする請求項１に記載の方法。
請求項５に記載の方法であって、
電子機器上で動作するアノテーション可能なウェブブラウザからの要求を受けて、1つ以上のコンピュータシステムを使用して複数のアノテーションシンボル表示バンドルを含むシンボルバンドル表示セットをコンパイルすること、及び
電子機器上で動作するアノテーション可能なウェブブラウザによって、複数のアノテーションシンボル表示バンドルを表示する形式で、シンボルバンドル表示セットを送信すること、
を更に備える請求項５に記載の方法。
請求項６に記載の方法であって、
検索は広告アノテーションシンボル表示バンドルが広告でもあるアノテーションシンボル表示バンドルである、広告アノテーションシンボル表示バンドルを検索することを更に含むこと、及び
送信は電子機器上で動作するウェブブラウザにより広告アノテーションシンボル表示バンドルを表示する形式で広告アノテーションシンボル表示バンドルを送信することを更に含むこと、
を特徴とする請求項６に記載の方法。
非一時的なコンピュータ可読媒体であって、
少なくとも1つのプロセッサ上で動作するウェブブラウザアプリケーションによって実行可能なソフトウェアを表すそこに保存されているデータを有し、
その非一時的なコンピュータ可読媒体はウェブドキュメントのテキスト内に埋め込まれた複数の表示されたアノテーションシンボルを表示するための指示を備え、
表示されたアノテーションシンボルは状態のグループから選択された状態を有し、及び
前記状態のグループは、
閉じた状態、及び
開いた状態
を備え、
閉じた状態で表示されたアノテーションシンボルは、ウェブドキュメントの視覚的な変更を最小限に抑えて、ウェブドキュメントにアノテーションシンボルを表示し、
開いた状態で表示されたアノテーションシンボルはスクリーンエレメントを表示し、
そのスクリーンエレメントは、
選択されたテキスト片はアノテーションを表す、ドキュメントから選択されたテキスト片を強調するアノテーションと、
アノテーションコメントと、及び
アノテーションの意味的関係のグループからアノテーションの作成者による選択を指定する表示されたアノテーションシンボルと
を備え、
前記アノテーションの意味的関係のグループは、
選択されたテキスト片とアノテーションコメントの間の不同意を示す不同意関係と、及び
選択されたテキスト片に関する質問を問いかけるアノテーションコメントを示す質問関係と
を備える、
ことを特徴とする非一時的なコンピュータ可読媒体。
請求項８に記載の非一時的なコンピュータ可読媒体であって、
前記アノテーションの意味的関係のグループが、
選択されたテキスト片とアノテーションコメントとの間の合意を示す合意関係と、及び
選択されたテキスト片に関する注意点または興味深い事実である感嘆を指定するアノテーションコメントを示す感嘆関係と、
を更に含むこと、
を特徴とする請求項８に記載の非一時的なコンピュータ可読媒体。
請求項８に記載の非一時的なコンピュータ可読媒体であって、
選択されたテキスト片が、
選択されたテキスト片が、表示されたアノテーションシンボルが対応するアノテーションの意味的関係に応じて、表示されたアノテーションシンボルに事前に割り当てられた色で強調されること
を特徴する請求項８に記載の非一時的なコンピュータ可読媒体。
請求項8に記載の非一時的なコンピュータ可読媒体であって、
アノテーションコメントと、
プライバシー状態のグループから選択されるプライバシー設定をユーザが制御するためのコントロールを含むコンテキスト・バリアント・アノテーション・コントロールバーと、及び
異なる背景色がプライバシー状態のグループ内の各プライバシー状態に対して割り当てられ、プライバシーの設定を示すアノテーションコメントボックスの背景色と、
を含むアノテーションコメントボックスを表示する開いた状態で表示されたアノテーションシンボルを有する、
請求項8に記載の非一時的なコンピュータ可読媒体。
請求項8に記載の非一時的なコンピュータ可読媒体であって、
シンボルビーコンを表示するための指示を更に備え、
前記シンボルビーコンは
トリガされた状態と、及び
トリガされていない状態、
からなる状態のグループから選択された状態を持ち、
シンボルビーコンはシンボルビーコンをトリガされていない状態からトリガされた状態に遷移させるトリガ機構を備え、及び
シンボルビーコンがトリガされた状態にあると、表示されたアノテーションシンボルごとに1つの表示されたアノテーションシンボルビーコンを表示し、表示されたすべてのアノテーションシンボルがアノテーション可能なウェブブラウザのユーザが閲覧可能領域内でより目立つようにすること、
を特徴とする請求項８に記載の非一時的なコンピュータ可読媒体。
請求項１２に記載の非一時的なコンピュータ可読媒体であって、
表示されたアノテーションシンボルビーコンおよび対応する表示されたアノテーションシンボルは、表示されたアノテーションシンボルが対応するアノテーションの意味的関係に応じて、同じ事前割り当てられた色が割り当てられること、
を特徴とする請求項12に記載の非一時的なコンピュータ可読媒体。
請求項１２に記載の非一時的なコンピュータ可読媒体であって、
トリガ機構が、アノテーション可能なウェブブラウザの閲覧可能領域に表示されるボタンであること、
を特徴とする請求項12に記載の非一時的なコンピュータ可読媒体。
請求項１２に記載の非一時的なコンピュータ可読媒体であって、
前記トリガ機構が、
キーボード上のキーを押すこと、及び
マウスのボタンを押すこと
を含むグループから選択された事前に定義されたインプットの組み合わせであること、
を特徴とする請求項１２に記載の非一時的なコンピュータ可読媒体。
トリガ機構がアノテーション可能なウェブブラウザにおいてメニューオプションであることを特徴とする請求項13に記載の非一時的なコンピュータ可読媒体。
請求項８に記載の非一時的なコンピュータ可読媒体であって、
アノテーションの意味的関係のグループが、アノテーションコメントが選択されたテキスト片に関連する広告であることを示す広告関係をさらに含むこと、及び
アノテーションの作成者が広告主であること、及び
広告の表示されたアノテーションシンボルは、アノテーションコメントが選択されたテキスト片に関連する広告であることを示す関係に対応する表示されたアノテーションシンボルであること、
を特徴とする請求項８に記載の非一時的なコンピュータ可読媒体。
システムであって、
アノテーション可能なウェブブラウザからアノテーションを表すアノテーションシンボルバンドルを受信するように動作するアノテーションサーバを備え、
前記アノテーションシンボルバンドルが、
ドキュメントのユニフォーム・リソース・ロケータ(URL)と、
選択されたテキスト片がアノテーションを表す、ドキュメントから選択されたテキスト片を表すためのデータと、
ドキュメント内の選択されたテキスト片を見つけるための情報と、
アノテーションコメントと、
並びに
アノテーションの意味的関係のグループからのユーザ選択を指定するアノテーションシンボルを表すデータと
を有し、
前記アノテーションの意味的関係のグループが、
選択したテキスト片とアノテーションコメントの間の不同意を示す不同意関係と、及び
選択したテキスト片に関する質問を問いかけるアノテーションコメントを示す質問関係と
を有することを特徴とし、
並びに
アノテーションシンボルバンドルを保存するために機能する電子データベースと、
を備えるシステム。
請求項18に記載のシステムであって、
アノテーションの意味的関係のグループが、
選択されたテキスト片とアノテーションコメントとの間の合意を示す合意関係と、及び
選択されたテキスト片に関する注意点または興味深い事実である感嘆を指定するアノテーションコメントを示す感嘆関係と、
を更に備えること、
を特徴とする請求項１８に記載のシステム。
請求項18に記載のシステムであって、
アノテーションサーバが、アノテーション可能なブラウザから、アノテーションを表すアノテーションシンボルバンドル及び選択されたテキスト片を示すドキュメントの一部を含むマークされたスクリーンショットを受信するために動作可能であること、
並びに、
選択されたテキスト片が視覚的にマークされていること、
を特徴とする請求項18に記載のシステム。
マークされたスクリーンショットが、マークされたスクリーンショットのサムネイルであることを特徴とする請求項20に記載のシステム。
請求項１８に記載のシステムであって、
アノテーションサーバは、アノテーションシンボルバンドルからアノテーションシンボル表示バンドルを作成するための機能を更に備え、
アノテーションシンボル表示バンドルは、
選択されたテキスト片はアノテーションの代表である、ドキュメントから選択されたアノテーションを表すテキスト片のデータと、
ドキュメントの中から選択されたテキスト片を見つけるための情報と、
アノテーションコメントと、及び
アノテーションシンボルを表すデータを備える、
ことを特徴とする請求項１８に記載のシステム。
請求項２２に記載のシステムであって、
アノテーションサーバが、
コンパイルのための機能は、電子機器上で動作するアノテーション可能なウェブブラウザからの要求を受けて、1つ以上のコンピュータシステムを使用して複数のアノテーションシンボル表示バンドルを含むシンボルバンドル表示セットを取得することを含むこと、及び
送信のための機能は、電子機器上で動作するアノテーション可能なウェブブラウザによって、複数のアノテーションシンボル表示バンドルを表示する形式で、シンボルバンドル表示セットを送信することを含むこと、
を更に備えること、
を特徴とする請求項２２に記載のシステム。
請求項２３に記載のシステムであって、
コンパイルのための機能は広告アノテーションシンボル表示バンドルを取得することを含むこと、
広告アノテーションシンボル表示バンドルは広告でもあるアノテーションシンボル表示バンドルであること、
広告アノテーションシンボル表示バンドルは広告サーバから来ること、
送信のための機能は電子機器上で動作するウェブブラウザによって、広告アノテーションシンボル表示バンドルを表示する形式で、広告アノテーションシンボル表示バンドルを送信することを含むこと、
を特徴とする請求項２３に記載のシステム。
システムであって、
少なくとも1つのプロセッサおよびメモリを有するクライアント電子機器と、
ウェブブラウザと、及び
ウェブブラウザの修正されたグラフィカルユーザインターフェース（GUI）表示を作成するために機能するウェブブラウザ拡張機能、
を備えるシステムであって、
前記修正されたGUI表示は、
複数の表示されたアノテーションシンボルを備え、アノテーションサーバから受信され、ウェブドキュメントのテキスト内に埋め込まれ、表示されたアノテーションシンボルは状態のグループから選択された状態を有し、及び状態のグループは
閉じた状態、及び
開いた状態を備える、
ことを特徴する修正されたGUI表示であり、
閉じた状態で表示されたアノテーションシンボルは、
ウェブドキュメントの視覚的変化を最小限に抑えてウェブドキュメント上にアノテーションシンボルを表示し、並びに
開いた状態で表示されたアノテーションシンボルは、
アノテーションサーバから受信した、
選択されたテキスト片がアノテーションを表す、ドキュメントから選択されたテキスト片の強調のアノテーションと、
アノテーションコメントと、及び
アノテーションの意味的関係のグループからアノテーションの作成者による選択を指定する表示されたアノテーションシンボルと、
を備えるエレメントを表示し、
前記アノテーションの意味的関係のグループは、
選択されたテキスト片とアノテーションコメントとの間の不同意を示す不同意関係と、及び
選択されたテキスト片に関する質問を問いかけるアノテーションコメントを示す質問関係を有する、
ことを特徴とするシステム。
請求項２５に記載のシステムであって、
アノテーションの意味的関係のグループが、
選択されたテキスト片とアノテーションコメントとの間の合意を示す合意関係、及び
選択されたテキスト片に関する注意点または興味深い事実である感嘆を指定するアノテーションコメントを示す感嘆関係と、
を更に含むこと、
を特徴とする請求項２５に記載のシステム。
請求項２５に記載のシステムであって、
選択されたテキスト片が、表示されたアノテーションシンボルが対応するアノテーションの意味的関係に応じて、表示されたアノテーションシンボルに事前に割り当てられた色で強調されること
を特徴する請求項２５に記載のシステム。
請求項２５に記載のシステムであって、
アノテーションコメントと、
プライバシー状態のグループから選択されるプライバシー設定をユーザが制御するためのコントロールを表示するコントロールバーと、及び
異なる背景色がプライバシー状態のグルーブにおける各プライバシー状態に対して割り当てられるプライバシーの設定を示すアノテーションコメントボックスの背景色と、
を有するアノテーションコメントボックスを更に備えるエレメントを表示する、
開いた状態の表示されたアノテーションシンボルを有する、
請求項２５に記載のシステム。
請求項２５に記載のシステムであって、
修正されたＧＵＩ表示は、
トリガされた状態と、及び
トリガされていない状態
からなるグループから選択された状態を持つシンボルビーコンを更に備え、
シンボルビーコンはシンボルビーコンをトリガされていない状態からトリガされた状態に遷移させるトリガ機構を備え、及び
シンボルビーコンがトリガされた状態にあると、表示されたアノテーションシンボルビーコンを備えるスクリーンエレメントが表示され、
表示されたアノテーションシンボルの位置を、アノテーション可能なウェブブラウザのユーザ閲覧可能領域に表示された、表示されたアノテーションシンボル毎により顕著にすること
を特徴とする請求項２５に記載のシステム。
請求項２９に記載のシステムであって、
表示されたアノテーションシンボルビーコンおよび対応する表示されたアノテーションシンボルは、表示されたアノテーションシンボルが対応するアノテーションの意味的関係に応じて、事前に割り当てられた同じ色が割り当てられること、
を特徴とする請求項２９に記載のシステム。
請求項２９に記載のシステムであって、
トリガ機構が、アノテーション可能なウェブブラウザの閲覧可能領域に表示されるボタンであること、
を特徴とする請求項２９に記載のシステム。
請求項２９に記載のシステムであって、
キーボード上のキーを押すこと、及び
マウスのボタンを押すこと
を含むグループから選択された事前に定義されたインプットの組み合わせであるトリガ機構、
を特徴とする請求項２９に記載のシステム。
トリガ機構がアノテーション可能なウェブブラウザにおいてメニューオプションであることを特徴とする請求項２９に記載のシステム。
請求項２５に記載のシステムであって、
アノテーションの意味的関係のグループが、アノテーションコメントが選択されたテキスト片に関連する広告であることを示す広告関係をさらに含むこと、
アノテーションの作成者が広告主であること、
広告の表示されたアノテーションシンボルは、アノテーションコメントが選択されたテキスト片に関連する広告であることを示す関係に対応する、表示されたアノテーションシンボルであること、及び
広告は、広告サーバから発信されること、
を特徴とする請求項２５に記載のシステム。
方法であって、
アノテーション可能なウェブブラウザから、1つ以上のコンピュータシステムを使用して既に保存されているアノテーションオブジェクトへの参照のリストを含むメモ帳を作成するための作成指示を受信すること、
ここにおいてアノテーションオブジェクトは、
ドキュメントのユニフォーム・リソース・ロケータ(URL)と、
選択されたテキスト片がアノテーションを表す、ドキュメントから選択されたテキスト片を表すデータと、
ドキュメント内の選択されたテキスト片を見つけるための情報と、並びに
1つ以上のデリバラブルスクリーンショットのグループであって、
デリバラブルスクリーンショットは、ストレージグループ内のマークされたスクリーンショットに対応し、
デリバラブルスクリーンショットは、
マークされたスクリーンショット自体、及び
CDNからマークされたスクリーンショットを取得するためのURL
を備えるグループからの事前決定された選択を含む
ことを特徴とする1つ以上のデリバラブルスクリーンショットのグルーブと、
を備え、
保存されたグループが、
選択されたテキスト片を表すドキュメントの一部を含む最初にマークされたスクリーンショットから作成された1つ以上のマークされたスクリーンショットを含み、及び選択されたテキスト片は視覚的にマークされること、
を特徴とし、
1つ以上のコンピュータシステムを使用してメモ帳を作成すること、
アノテーション可能なウェブブラウザから、1つ以上のコンピュータシステムを用いてメモ帳のアノテーションオブジェクトへの参照のリスト内のアノテーションオブジェクトへの参照を追加するための追加指示を受信すること、並びに
メモ帳に対応するメモ帳オブジェクトを電子データベースに保存し、メモ帳オブジェクトがメモ帳のアノテーションオブジェクトへの参照のリストを有すること、
を備える方法。
ストレージグループ内の1つのマークされたスクリーンショットがマークされたスクリーンショットのサムネイルである請求項３５に記載の方法。
アノテーションオブジェクトへの参照のリストは最初は空である、請求項３５に記載の方法。
請求項３５に記載の方法であって、
1つ以上のコンピュータシステムを用いて、メモ帳のアノテーションオブジェクトへの参照のリスト内の参照を削除するための削除指示を受信すること、及び
削除指示によって生じる変化を反映するように電子データベース内のメモ帳オブジェクトを更新すること、
を更に含む請求項３５に記載の方法。
請求項３５に記載の方法であって、
アノテーション可能なウェブブラウザのユーザに関連付けられたユーザアカウントがメモ帳を見る許可を有するか否かを決定するアクセス制御規則のセットに基づいて、アノテーション可能なウェブブラウザにメモ帳を送信すること、
を更に含む請求項３５に記載の方法。
非一時的なコンピュータ可読媒体であって、
少なくとも1つのプロセッサ上で実行されるアノテーション可能なウェブブラウザアプリケーションによって実行可能なソフトウェアを表すデータを有し、
前記非一時的なコンピュータ可読媒体は、
メモ帳の状態を追跡する指示であって、
メモ帳の状態が
アクティブなメモ帳の存在、及び
アクティブなメモ帳の非存在
の状態のグループから選択される状態を有すること
を特徴とするメモ帳を追跡する指示と、
アクティブなメモ帳の設定の指示であって、
メモ帳の状態がアクティブなメモ帳が存在する状態を有するときにアクティブなメモ帳が存在し、
アクティブなメモ帳は、アノテーション可能なウェブブラウザを使用するユーザのユーザアカウントにアクセス可能な1つ以上のメモ帳のグループから選択され、
メモ帳は、アノテーションオブジェクトへの参照のリストを含み、並びに
アノテーションオブジェクトは、
ドキュメントのユニフォーム・リソース・ロケータ（ＵＲＬ）と、
選択されたテキスト片はアノテーションを表す、ドキュメントから選択されたテキスト片を表すためのデータと、
文書内の選択されたテキストを見つけるための情報と、並びに
1つ以上のデリバラブルスクリーンショットのグループであって、
デリバラブルスクリーンショットは保存グループ内のマークされたスクリーンショットに対応し、
デリバラブルスクリーンショットが
マークされたスクリーンショット自体、及び
ＣＤＮからマークされたスクリーンショットを取得するためのＵＲＬ、
を含むグループからの事前決定さたれ選択を含む、
1つ以上のデリバラブルスクリーンショットのグループと、
を備え、
ストレージグループは、選択されたテキスト片を示す文書の一部を含む最初にマークされたスクリーンショットから作成された1つ以上のマークされたスクリーンショットを含み、及び選択されたテキスト片は視覚的にマークされること、
を特徴とするアクティブなメモ帳を設定する指示と、
アクティブなメモ帳に関連付けられたスクリーンショットバンドル表示セットを表示する指示であって、
スクリーンショットバンドル表示セットは、1つのアノテーションオブジェクトに関連付けられた各スクリーンショット表示バンドルを有する複数のスクリーンショット表示バンドルを有し、
スクリーンショット表示バンドルは、
1つのデリバラブルスクリーンショットに基づいたマークされたスクリーンショットのサムネイルト、及び
関連するアノテーションオブジェクトのドキュメントから選択されたテキスト片
を備えること、
を特徴とするアクティブなメモ帳に関連付けられたスクリーンショットバンドル表示セットを表示する指示を、
を備え、
スクリーンショットバンドル表示セットのエレメントは、アノテーション可能なウェブブラウザの表示領域に表示されたスクリーンショットバンドルとして表示される、
ことを特徴とした非一時的なコンピュータ可読媒体。
請求項４０に記載の非一時的なコンピュータ可読媒体であって、
アノテーションオブジェクトがアノテーションコメントを更に含むこと、及び
スクリーンショット表示バンドルはアノテーションコメントを更に含むこと、
を特徴とする請求項４０に記載の非一時的なコンピュータ可読媒体。
請求項４１に記載の非一時的なコンピュータ可読媒体であって、
メモ帳機能付きアノテーション可能なウェブブラウザのユーザに、アクティブメモ帳のアノテーションオブジェクトに関するリストにアノテーションオブジェクト参照を追加する選択を許可し、
メモ帳機能付きアノテーション可能なウェブブラウザが、アクティブメモ帳にアノテーションオブジェクト参照を追加するためにアノテーションサーバへメッセージを送信する、
指示を更に備えること、
を特徴とする請求項４１に記載の非一時的なコンピュータ可読媒体。
請求項４２に記載の非一時的なコンピュータ可読媒体であって、
ユーザに、アクティブメモ帳のアノテーションオブジェクトに関するリストへアノテーションオブジェクト参照を追加する選択を許可する指示が、アノテーションコメントボックス内のコンテキストバリアント・アノテーションコントロールバーに位置するボタンのメモ帳への追加によって提供され、
アノテーションコメントボックスは、
アノテーションコメント、及び
アクティブなメモ帳のアノテーションオブジェクトへの参照のリストにアノテーションオブジェクト参照を追加することの少なくとも1つを含む機能をユーザに公開するボタンのグループを含むコンテキストバリアント・アノテーションコントロールバー、
を備える、
ことを特徴とする請求項４２に記載の非一時的なコンピュータ可読媒体。
請求項４３に記載の非一時的なコンピュータ可読媒体であって、
前記非一時的なコンピュータ可読媒体が、
メモ帳機能付きアノテーション可能なウェブブラウザのユーザに、表示領域に表示されたスクリーンショットバンドルをクリックすることを許可し、
メモ帳機能付きアノテーション可能なウェブブラウザが、
スクリーンショット表示バンドルで表されるアノテーションのURLのタブを開くこと、
ドキュメントから選択したテキスト片の場所までスクロールすること、及び
テキストが強調されたアノテーションとアノテーションコメントボックスを表示すること、
を有するアクションを実行する、
指示を更に備えること、
を特徴とする請求項４３に記載の非一時的なコンピュータ可読媒体。
請求項４１に記載の非一時的なコンピュータ可読媒体であって、
アノテーションオブジェクトは、表示されたアノテーションシンボルを表すデータを更に含むこと、
表示されたスクリーンショットバンドルは、表示されたアノテーションシンボルを更に含むこと、
表示されたアノテーションシンボルは、アノテーションの意味的関係のグループからのアノテーションの作成者による選択を含むこと、並びに
アノテーションの意味的関係のグループは、
選択されたテキスト片とアノテーションコメントとの間の不同意を示す不同意関係、及び
選択されたテキスト片に関する質問を問いかけるアノテーションコメントを示す質問関係、
を含むこと、
を特徴とする請求項４１に記載の非一時的なコンピュータ可読媒体。
請求項４５に記載の非一時的なコンピュータ可読媒体であって、
アノテーションの意味的関係のグループが、
選択されたテキスト片とアノテーションコメントとの間の合意を示す合意関係、及び
選択されたテキスト片に関する注意点または興味深い事実である感嘆のリマークを指定するアノテーションコメントを示す感嘆関係と、
を更に含むこと、
を特徴とする請求項４５に記載の非一時的なコンピュータ可読媒体。
選択されたテキスト片が、
表示されたアノテーションシンボルが対応するアノテーションの意味的関係に応じて、表示されたアノテーションシンボルに事前に割り当てられた色で強調されること、
を特徴する請求項４５に記載の非一時的なコンピュータ可読媒体。
請求項４５に記載の非一時的なコンピュータ可読媒体であって、
アノテーションの意味的関係のグループが、アノテーションコメントが選択されたテキスト片に関連する広告であることを示す広告関係をさらに含むこと、
アノテーションの作成者が広告主であること、及び
広告の表示されたアノテーションシンボルは、アノテーションコメントが選択されたテキスト片に関連する広告であることを示す関係に対応する表示されたアノテーションシンボルであること、並びに
広告は、広告サーバから発信されること、
を特徴とする請求項４５に記載の非一時的なコンピュータ可読媒体。
システムであって、
アノテーション可能なウェブブラウザから、1つ以上のコンピュータシステムを使用して既に保存されているアノテーションオブジェクトへの参照のリストを含むメモ帳を作成するための作成指示を受信するために作動するサーバ、
ここにおいてアノテーションオブジェクトが
ドキュメントのユニフォーム・リソース・ロケータ(URL)と、
選択されたテキスト片がアノテーションを表す、ドキュメントから選択されたテキスト片を表すデータと、
ドキュメント内の選択されたテキスト片を見つけるための情報と、並びに
1つ以上のデリバラブルスクリーンショットのグループであって、
デリバラブルスクリーンショットは、ストレージグループ内のマークされたスクリーンショットに対応し、並びに
デリバラブルスクリーンショットは、
マークされたスクリーンショット自体、及び
CDNからマークされたスクリーンショットを取得するためのURL
を備えるグループからの事前決定された選択を含む
ことを特徴とする1つ以上のデリバラブルスクリーンショットのグルーブと、
を備え、
保存されたグループが、
選択されたテキスト片を示すドキュメントの一部を含む最初にマークされたスクリーンショットから作成された1つ以上のマークされたスクリーンショットを含み、及び選択されたテキスト片は視覚的にマークされること、
を特徴とし、
1つ以上のコンピュータシステムを使用してメモ帳を作成するために作動するサーバ、
アノテーション可能なウェブブラウザから、1つ以上のコンピュータシステムを使用してメモ帳のアノテーションオブジェクトへの参照のリスト内のアノテーションオブジェクトへの参照を追加するための追加指示を、受信するために作動するサーバ、並びに
メモ帳に対応するメモ帳オブジェクトを保存するために作動する電子データベース、
を備えるシステム。
ストレージグループ内の1つのマークされたスクリーンショットがマークされたスクリーンショットのサムネイルであること、
を特徴とする請求項４９に記載のシステム。
アノテーションオブジェクトへの参照のリストは最初は空であること、
を特徴とする請求項４９に記載のシステム。
請求項４９に記載のシステムであって、
1つ以上のコンピュータシステムを用いて、メモ帳のアノテーションオブジェクトへの参照のリスト内の参照を削除するための削除指示を受信すること、及び
削除指示によって生じる変化を反映するように電子データベース内のメモ帳オブジェクトを更新することのために作動をするアノテーションサーバ、
を更に含む請求項４９に記載のシステム。
請求項４９に記載のシステムであって、
アノテーション可能なウェブブラウザのユーザに関連付けられたユーザアカウントがメモ帳を見る許可を有するか否かを決定するアクセス制御規則のセットに基づいて、アノテーション可能なウェブブラウザにメモ帳を送信するために作動をするアノテーションサーバ、
を更に備える請求項４９に記載のシステム。
システムであって、
少なくとも1つのプロセッサとメモリを有するクライアント電子機器と、
ウェブブラウザと、並びに
ウェブブラウザ拡張機能であって、
メモ帳機能付きアノテーション可能なウェブブラウザを作成するウェブブラウザの変更のために作動可能で、
メモ帳の状態であって、
メモ帳の状態が
アクティブなメモ帳の存在、及び
アクティブなメモ帳の非存在
を有する状態のグループから選択された状態を持つこと、
を特徴としたメモ帳の状態と、
アクティブなメモ帳であって、
メモ帳の状態がアクティブなメモ帳が存在する状態を有するときにアクティブなメモ帳が存在すること、
アクティブなメモ帳は、メモ帳機能付きアノテーション可能なウェブブラウザを使用するユーザのユーザアカウントにアクセス可能なメモ帳のグループから選択されること、
メモ帳は、アノテーションオブジェクトへの参照のリストを含むこと、並びに
アノテーションオブジェクトが、
ドキュメントのユニフォーム・リソース・ロケータ（ＵＲＬ）と、
選択されたテキスト片はアノテーションを表す、ドキュメントから選択されたテキスト片を表すためのデータと、
文書内の選択されたテキストを見つけるための情報と、並びに
1つ以上のデリバラブルスクリーンショットのグループであって、
デリバラブルスクリーンショットは保存グループ内のマークされたスクリーンショットに対応し、
デリバラブルスクリーンショットが
マークされたスクリーンショット自体、及び
ＣＤＮからマークされたスクリーンショットを取得するためのＵＲＬ、
を含むグループからの事前決定された選択を含む、
1つ以上のデリバラブルスクリーンショットのグループと、
を備えるアノテーションオブジェクトであること、
ストレージグループは、選択されたテキスト片を示すドキュメントの一部を含む最初にマークされたスクリーンショットから作成された1つ以上のマークされたスクリーンショットを含み、及び選択されたテキスト片は視覚的にマークされること、
を特徴とするアクティブなメモ帳と、
スクリーンショットバンドル表示セットであって、
1つのアノテーションオブジェクトに関連付けられた各スクリーンショット表示バンドル付の複数のスクリーンショット表示バンドルを有し、
スクリーンショット表示バンドルは、
1つのデリバラブルスクリーンショットに基づいたマークされたスクリーンショットのサムネイルと、及び
関連するアノテーションオブジェクトのドキュメントから選択されたテキスト片
を備えること、
を特徴とするスクリーンショットバンドル表示セットと、
を備え、
スクリーンショットバンドル表示セットのエレメントは、アノテーション可能なウェブブラウザの表示領域に表示されたスクリーンショットバンドルとして表示されること、
を特徴とするウェブブラウザ拡張機能と、
を備えるシステム。
請求項５４に記載のシステムであって、
アノテーションオブジェクトがアノテーションコメントを更に含むこと、及び
スクリーンショット表示バンドルはアノテーションコメントを更に含む、
を特徴とする請求項５４に記載のシステム。
請求項５５に記載のシステムであって、
メモ帳機能付きアノテーション可能なウェブブラウザが、
ユーザに、アクティブメモ帳のアノテーションオブジェクトに関するリストに追加するアノテーションオブジェクト参照の選択を許可し、
メモ帳機能付きアノテーション可能なウェブブラウザがアクティブメモ帳にアノテーションオブジェクト参照を追加するためにアノテーションサーバにメッセージを送信すること、
を特徴とする請求項５５に記載のシステム。
請求項５６に記載のシステムであって、
ユーザにアクティブメモ帳のアノテーションオブジェクトへの参照のリストに追加するアノテーションオブジェクト参照を選択することを可能にするための動作が、
アノテーションコメントボックス内のコンテキストバリアント・アノテーションコントロールバーに位置するボタンのメモ帳への追加によって提供され、
アノテーションコメントボックスは
アノテーションコメント、及び
アクティブなメモ帳のアノテーションオブジェクトへの参照のリストにアノテーションオブジェクト参照を追加することの少なくとも1つを含む機能をユーザに公開するボタンのグループを含むコンテキストバリアント・アノテーションコントロールバー、
を備える
ことを特徴とする請求項５６に記載のシステム。
請求項５７に記載のシステムであって、
アノテーション可能なウェブブラウザの表示領域は、ユーザが表示されたスクリーンショットバンドルをクリックすることを許可し、
メモ帳機能付きアノテーション可能なウェブブラウザが
スクリーンショット表示バンドルによって表示されるアノテーションのＵＲＬのためのタブを開くこと、
ドキュメントから選択されたテキスト片の位置へスクロールすること、及び
アノテーション強調テキストとアノテーションコメントボックスを表示すること、
を有するアクションを実行するメモ帳機能を有するように動作すること、
を特徴とする請求項５７に記載のシステム。
請求項５５に記載のシステムであって、
アノテーションオブジェクトは、表示されたアノテーションシンボルを表すためのデータを更に含むこと、
表示されたスクリーンショットバンドルは、表示されたアノテーションシンボルを更に含むこと、
表示されたアノテーションシンボルは、アノテーションの意味的関係のグループからのアノテーションの作成者による選択を含むこと、並びに
アノテーションの意味的関係のグループは、
選択されたテキスト片とアノテーションコメントとの間の不同意を示す不同意関係、及び
選択されたテキスト片に関する質問を問いかけるアノテーションコメントを示す質問関係、
を含むこと、
を特徴とする請求項５５に記載のシステム。
請求項５９に記載のシステムであって、
アノテーションの意味的関係のグループが、
選択されたテキスト片とアノテーションコメントとの間の合意を示す合意関係、及び
選択されたテキスト片に関する注意点または興味深い事実である感嘆を指定するアノテーションコメントを示す感嘆関係と、
を更に含むこと、
を特徴とする請求項５９に記載のシステム。
選択されたテキスト片が、
表示されたアノテーションシンボルが対応するアノテーションの意味的関係に応じて、表示されたアノテーションシンボルに事前に割り当てられた色で強調されること、
を特徴する請求項５９に記載のシステム。
請求項５９に記載のシステムであって、
アノテーションの意味的関係のグループが、アノテーションコメントが選択されたテキスト片に関連する広告であることを示す広告関係をさらに含むこと、
アノテーションの作成者が広告主であること、及び
広告の表示されたアノテーションシンボルは、アノテーションコメントが選択されたテキスト片に関連する広告であることを示す関係に対応する表示されたアノテーションシンボルであること、及び
広告は、広告サーバから発信されること、
を特徴とする請求項５９に記載のシステム。