JP7063347B2 - 記録されたメディアからの提案を含むための、既存のコンテンツ提案の人工知能を用いた更新 - Google Patents

記録されたメディアからの提案を含むための、既存のコンテンツ提案の人工知能を用いた更新 Download PDF

Info

Publication number
JP7063347B2
JP7063347B2 JP2020042544A JP2020042544A JP7063347B2 JP 7063347 B2 JP7063347 B2 JP 7063347B2 JP 2020042544 A JP2020042544 A JP 2020042544A JP 2020042544 A JP2020042544 A JP 2020042544A JP 7063347 B2 JP7063347 B2 JP 7063347B2
Authority
JP
Japan
Prior art keywords
document
media content
content
electronic document
electronic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020042544A
Other languages
English (en)
Other versions
JP2020149688A (ja
Inventor
エー ネルソン スティーブン
博之 北田
ウォン ラナ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Publication of JP2020149688A publication Critical patent/JP2020149688A/ja
Application granted granted Critical
Publication of JP7063347B2 publication Critical patent/JP7063347B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/103—Formatting, i.e. changing of presentation of documents
    • G06F40/117—Tagging; Marking up; Designating a block; Setting of attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/101—Collaborative creation, e.g. joint development of products or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/169—Annotation, e.g. comment data or footnotes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Business, Economics & Management (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Strategic Management (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Document Processing Apparatus (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

［関連出願］
本願は、米国特許出願番号第１４/９９２,２７３(代理人管理番号：４９９８６－０８５９)、名称「Electronic Meeting Intelligence」、２０１６年１月１１日出願；米国特許出願番号第１４/９９２,２７８(代理人管理番号：４９９８６－０８６０)、名称「Electronic Meeting Intelligence」、２０１６年１月１１日出願；米国特許出願番号第１５/２９０.８５５(代理人管理番号：４９９８６－０８８８)、名称「Managing Electronic Meetings Using Artificial Intelligence and Meeting Rules Templates」、２０１６年１０月１１日出願；米国特許出願番号第１５/２９０,８５６(代理人管理番号：４９９８６－０８８９)、名称「Creating Agendas for Electronic Meetings Using Artificial Intelligence」、２０１６年１０月１１日出願；米国特許出願番号第１５/２９０,８５８(代理人管理番号：４９９８６－０８９０)、名称「Selecting Meeting Participants for Electronic Meetings Using Artificial Intelligence」、２０１６年１０月１１日出願；米国特許出願番号第１５/２９０,８６０(代理人管理番号：４９９８６－０８９１)、名称「Real－Time (Intra－Meeting) Processing Using Artificial Intelligence」、２０１６年１０月１１日出願；米国特許出願番号第１５/２９０,８６１(代理人管理番号：４９９８６－０８９２)、名称「Post－Meeting Processing Using Artificial Intelligence」、２０１６年１０月１１日出願；米国特許出願番号第１５/４７７,２４０(代理人管理番号：４９９８６－０９０２)、名称「Electronic Meeting Intelligence」、２０１７年４月３日出願；米国特許出願番号第１５/４７７,２７６(代理人管理番号：４９９８６－０９０３)、名称「Electronic Meeting Intelligence」、２０１７年４月３日出願；米国特許出願番号第１５/７２８,３６０(代理人管理番号：４９９８６－０９０６)、名称「Person Detection, Person Identification and Meeting Start for Interactive Whiteboard Appliances」、２０１７年１０月９日出願；米国特許出願番号第１５/７２８,３６７(代理人管理番号：４９９８６－０９０７)、名称「Speech－to－Text Conversion for Interactive Whiteboard Appliances Using Multiple Services」、２０１７年１０月９日出願；米国特許出願番号第１５/７２８,３６８(代理人管理番号：４９９８６－０９１０)、名称「Speech－to－Text Conversion for Interactive Whiteboard Appliances in Multi－Language Electronic Meetings」、２０１７年１０月９日出願；米国特許出願番号第１５/７２８,３７２(代理人管理番号：４９９８６－０９１１)、名称「Attendance Tracking, Presentation Files, Meeting Services and Agenda Extraction for Interactive Whiteboard Appliances」、２０１７年１０月９日出願；米国特許出願番号第１５/７２８,３７６(代理人管理番号：４９９８６－０９１２)、名称「Interactive Whiteboard Appliances With Learning Capabilities」、２０１７年１０月９日出願；米国特許出願番号第１５/９１０,８７８(代理人管理番号：４９９８６－０９１９)、名称「Conducting Electronic Meetings over Computer Networks using Interactive Whiteboard Appliances and Mobile Devices」、２０１８年３月２日出願；米国特許出願番号第１６/１１２,３６１(代理人管理番号：４９９８６－０９３５)、名称「Electronic Meeting Intelligence」、２０１８年８月２４日出願；米国特許出願番号第XX/XXX,XXX(代理人管理番号：４９９８６－０９３７)、名称「Artificial Intelligence Assisted Review of Physical Documents」、２０１９年３月１５日出願；米国特許出願番号第XX/XXX,XXX(代理人管理番号：４９９８６－０９３８)、名称「Artificial Intelligence Assisted Review of Electronic Documents」、２０１９年３月１５日出願；米国特許出願番号第XX/XXX,XXX(代理人管理番号：４９９８６－０９４０)、名称「Generating a Meeting Review Document that Includes Links to One or More Documents」、２０１９年３月１５日出願；米国特許出願番号第XX/XXX,XXX(代理人管理番号：４９９８６－０９４１)、名称「Generating Document Edit Requests for Electronic Documents Managed by a Third Party Document Management Service using Artificial Intelligence」、２０１９年３月１５日出願；米国特許出願番号第XX/XXX,XXX(代理人管理番号：４９９８６－０９４４)、名称「Generating Suggested Document Edits from Recorded Media using Artificial Intelligence」、２０１９年３月１５日出願；に関連し、これらの出願の全内容は、参照により、本願明細書に完全に記載されたかのように、その全体が組み込まれる。
［技術分野］
実施形態は、概して、電子文書の処理に関し、より具体的には、電子文書内のコンテンツについての提案を分析し及び提案される編集を生成するコンピュータソフトウェアに関する。提案される技術グループユニット：２６５７。提案される分類：７０４。
この章に記載されるアプローチは、達成しようとされた可能性のあるアプローチであるが、必ずしも従前に考案され又は達成されたアプローチではない。したがって、特に示されない限り、本章に記載されるアプローチは、本願の請求項に対する従来技術ではなく、この章に含まれることにより従来技術と見なされるものではない。
専門の及び／又は学術的環境における最も一般的な活動の１つに、文書内で提示される情報のレビューがある。例えば、ビジネス環境では、従業員は１人以上の同業者によりレビューされる必要のある内容（コンテンツ）を含む文書を生成することがある。文書内の内容を議論し、内容に関するフィードバックを提供するために、文書レビュー会議が行われることがある。
例えば、文書レビュー会議中に、参加者は、提案される編集及びコメントを文書作成者に伝えることがある。文書作成者は、他の参加者からの入力を受けるとき、確実に全てのフィードバックを書き留め及びフィードバックが文書の改訂に適用されるように、会議中に傾聴しメモを取ることがある。さらに、一部の参加者は、文書の印刷バージョン又は文書の電子バージョン上にフィードバックを提供することがある。レビュー会議の結果は、キャプチャされたメモ、手書きコメント、及び電子コメントの形式の、コメント及び提案された編集の集まりであり得る。しかしながら、集められたコメントを統合することは、会議中に議論された全てのコメントが正確にキャプチャされるようにしようとするとき、課題があり得る。
以上に鑑み、会議参加者からのコンテンツ提案を自動的に受信し及び識別し、このような提案を文書に組み込むアプローチが必要である。
別の実施形態によると、機器は、１つ以上のプロセッサと、命令を記憶した１つ以上のメモリとを含む。１つ以上のプロセッサによる命令の処理は、電子マークアップ文書を生成するために、第１ユーザにより提供されるレビュー及びマークアップのための元のコンテンツを含む物理文書を受信するステップを生じさせる。電子マークアップ文書から、物理文書にマークアップを提供した第１ユーザを識別するユーザコードが識別される。第１ユーザに関連付けられる第１ユーザＩＤは、識別されたユーザコードに基づき決定される。第１ユーザにより提案されたコンテンツ提案を表す１つ以上の電子マークアップが、生成された電子マークアップ文書から識別される。識別された１つ以上のマークアップのうちの各マークアップについて、マークアップに対応する電子マークアップ文書の元のコンテンツの文書部分が識別される。マークアップ及び第１ユーザＩＤを含む注釈がマークアップについて生成される。該注釈を識別された文書部分に関連付ける１つ以上のマークアップから生成された１つ以上の注釈を有する元のコンテンツは、ディスプレイウインドウ内に電子的形式で表示される。
別の実施形態によると、機器は、１つ以上のプロセッサと、命令を記憶した１つ以上のメモリとを含む。１つ以上のプロセッサによる命令の処理は、レビューのための元の電子文書から元のコンテンツを含む電子文書、及び第１ユーザにより提供された電子マークアップを受信するステップを生じさせる。第１ユーザにより提案されたコンテンツ提案を表す１つ以上の電子マークアップが、電子文書から識別される。識別された１つ以上の電子マークアップのうちの各電子マークアップについて、該電子マークアップに対応する元のコンテンツの文書部分が識別され、電子マークアップ及び第１ユーザの第１ユーザＩＤを含む電子マークアップの注釈が生成され、該注釈を識別された文書部分に関連付ける。１つ以上の電子マークアップから生成された１つ以上の注釈を有する元のコンテンツは、ディスプレイウインドウ内に電子的形式で表示される。
別の実施形態によると、機器は、１つ以上のプロセッサと、命令を記憶した１つ以上のメモリとを含む。１つ以上のプロセッサによる命令の処理は、１人以上のユーザによる１つ以上の電子文書の議論からキャプチャされたコンテンツを表す１つ以上のメディアコンテンツアイテムを受信するステップを生じさせる。１つ以上の電子文書のためのコンテンツ提案に対応するメディアコンテンツ部分は、１つ以上のメディアコンテンツアイテムから識別される。メディアコンテンツ部分のうちの各メディアコンテンツ部分について、メディアコンテンツ部分に対応する１つ以上の電子文書から文書部分が識別され、メディアコンテンツ部分を提示する注釈が生成される。注釈は、１つ以上の電子文書のうちの特定電子文書内の文書部分に対応する位置に関連付けられる。メディアコンテンツ部分から生成された１つ以上の注釈を有する１つ以上の電子文書は、ディスプレイウインドウ内に電子的形式で表示される。
別の実施形態によると、機器は、１つ以上のプロセッサと、命令を記憶した１つ以上のメモリとを含む。１つ以上のプロセッサによる命令の処理は、１人以上のユーザによる電子文書の議論からキャプチャされたコンテンツを表す１つ以上のメディアコンテンツアイテムを受信するステップを生じさせる。電子文書のためのコンテンツ提案に対応するメディアコンテンツ部分は、メディアコンテンツアイテムから識別される。メディアコンテンツ部分のうちの各メディアコンテンツ部分について、該メディアコンテンツ部分に対応する電子文書の文書部分が識別され、電子文書の文書部分が既存の注釈に関連付けられているか否かに関する決定が行われる。電子文書の文書部分が既存の注釈に関連付けられていると決定すると、既存の注釈はメディアコンテンツ部分に基づき更新される。１メディアコンテンツ部分に関連付けられた１つ以上の更新された注釈を有する電子文書は、ディスプレイウインドウ内に電子的形式で表示される。
別の実施形態によると、機器は、１つ以上のプロセッサと、命令を記憶した１つ以上のメモリとを含む。１つ以上のプロセッサによる命令の処理は、第三者管理システムにより管理される電子文書内のコンテンツについてのコンテンツ提案を表すコンテンツ入力を受信するステップを生じさせる。１つ以上のコンテンツ提案は、コンテンツ入力から識別される。コンテンツ入力からの１つ以上のコンテンツ提案のうちの各コンテンツ提案について、該コンテンツ提案に対応する電子文書の文書部分が識別され、コンテンツ提案についての文書提案要求が生成される。文書提案要求は、コンテンツ提案、コンテンツ提案種類、コンテンツ提案に関連付けられたユーザの関連ユーザＩＤ、及び識別された文書部分に基づく電子文書位置を含む。１つ以上の生成された文書提案要求は、第三者管理システムへ送信される。
一実施形態によると、機器は、１つ以上のプロセッサと、命令を記憶した１つ以上のメモリとを含む。１つ以上のプロセッサによる命令の処理は、１つ以上の電子文書のレビュー会議からキャプチャされたコンテンツを表す１つ以上のメディアコンテンツアイテムを受信するステップを生じさせる。１つ以上のメディアコンテンツアイテムから、レビュー会議中に議論された１つ以上の議題が識別される。レビュー会議中に議論された１つ以上の電子文書のためのコンテンツ提案に対応するメディアコンテンツ部分は、次に、１つ以上のメディアコンテンツアイテムから識別される。メディアコンテンツ部分のうちの各メディアコンテンツ部分について、１つ以上の議題のうちの議題が、メディアコンテンツ部分に関連付けられ、１つ以上の電子文書から、メディアコンテンツ部分に対応する文書部分が識別される。メディアコンテンツ部分のトピックセットを生成するために、メディアコンテンツ部分は、それらの関連付けられた議題に基づき集約される。１つ以上のメディアコンテンツアイテムを再生するよう構成されるメディアコンテンツアイテムプレイヤを含む第１区域と、１つ以上の議題のリストを含む第２区域と、を含む会議要約文書が生成される。リストされた各議題は、メディアコンテンツ部分の対応するトピックセットを含む。会議要約文書は、ディスプレイウインドウ内に提示される。
添付の図面中、同様の参照符号は同様の要素を表す。
実施形態が実施され得る例示的なコンピュータアーキテクチャを示す。
マークアップ文書から提案された変更に基づき注釈を生成し、生成した注釈と共に文書を表示するアプローチを示すフロー図である。
レビューユーザ識別子を含む印刷された文書の例示的な実施形態を示す。
電子文書の元のコンテンツ及び元のコンテンツの上に重ね合わされた識別されたマークアップを表示するグラフィカルユーザインタフェースの例示的な実施形態を示す。
識別されたマークアップを表す注釈と共に表示された電子文書の例示的な実施形態を示す。
マークアップ電子文書から受信した提案に基づき注釈を生成し、生成した注釈と共に文書を表示するアプローチを示すフロー図である。
識別されたマークアップを表す注釈と共に表示された電子文書の例示的な実施形態を示す。
メディアコンテンツアイテムから提案された変更に基づき注釈を生成し、対応する提案された変更を含む更新された電子文書を生成するアプローチを示すフロー図である。
識別されたメディアコンテンツ部分を表す注釈と共に表示された電子文書の例示的な実施形態を示す。
メディアコンテンツアイテムから提案された変更に基づき既存の注釈を更新し、対応する提案された変更を含む更新された電子文書を生成するアプローチを示すフロー図である。
コンテンツ入力から受信した提案に基づき注釈要求を生成するアプローチを示すフロー図である。
文書レビュー会議の間にキャプチャされた議論のメディアコンテンツアイテムに基づき会議要約文書を生成するアプローチを示すフロー図である。
生成した会議要約文書の例示的な実施形態を示す。
本発明の実施形態が実装され得るコンピュータシステムのブロック図である。
以下の説明では、説明を目的として、本発明の実施形態の完全な理解を提供するために、多くの詳細事項が説明される。しかしながら、当業者は、本発明がそのような特定の詳細にかかわらず実施できることを理解するだろう。他の例では、良く知られた構造及び装置が、本発明を不必要に不明瞭にしないために、ブロック図で示される。本発明の種々の態様は、以下の章で記載される。
Ｉ．概略
ＩＩ．アーキテクチャ
Ａ．文書管理
Ｂ．知的コンテンツ認識モデル
１．コンテンツ認識サービス
２．マークアップ認識サービス
３．会話認識サービス
４．コンテンツ相関サービス
Ｃ．入力／出力サービス
ＩＩＩ．手続概要
Ａ．マークアップされた物理文書の処理
Ｂ．マークアップされた電子文書の処理
Ｃ．提案を含むメディアコンテンツアイテムの処理
Ｄ．追加提案による注釈の更新
Ｅ．第三者注釈要求の生成
Ｆ．会議要約文書の生成
ＩＶ．実装メカニズム
Ｉ．概略
人工知能が、文書処理に導入されて、様々な異なる種類のソースから、レビュー中の電子文書に関連するコンテンツ提案を識別する。コンテンツ提案は、レビュー中文書の中のコンテンツに対するコメント及び提案された編集を表してよい。コンテンツ提案は、文書の印刷されたバージョン上の物理的メモ及びマークアップから、又は文書の電子バージョンの中で識別された変更から、識別されてよい。さらに、コンテンツ提案は、文書レビュー会議のキャプチャされたオーディオ及びビデオ記録から識別されてよい。コンテンツ提案は、Interactive Whiteboard Applianceのような会議提示装置又は他のメディア装置からのスクリーンショット又は他のメディアの形式で受信されてもよい。人工知能は、物理又は電子文書及びメディアコンテンツのような受信したコンテンツ入力を分析し、受信したコンテンツ入力から、レビュー中の文書の文書部分に対応するコンテンツ提案を識別してよい。人工知能は、コンテンツ提案が文書の元のコンテンツに対するコメント又は提案された編集であるかを決定してよい。人工知能は、分析したコンテンツ提案から適切な注釈を生成し、該注釈を文書の元のコンテンツ内の位置に関連付けてよい。新しい注釈を有する文書は、次に、将来のレビューのために、文書作成者のようなユーザに提示されてよい。本願明細書に記載のアプローチは、外部のコンテンツ提案を文書内の元のコンテンツに相関する効率を向上する。したがって、コンテンツ提案を受信し、受信した提案をそれらの対応する文書部分に相関する、より効率的な方法を提供する。
ＩＩ．アーキテクチャ
図１は、実施形態が実施され得る例示的なコンピュータアーキテクチャを示す。図１は、外部コンテンツ入力の受信及びレビュー中文書の電子表現への統合をサポートする文書管理システム１００の種々の例を含む。文書管理システム１００は、文書管理サービス１０５、コンテンツ受信サービス１１０、ユーザ識別管理サービス１１５、注釈生成サービス１２０、知的コンテンツ認識モデル１３０、多機能印刷サービス１４０、文書提示サービス１５０、ネットワーク１６０、及びデータレポジトリ１７０を含む。図１に示す幾つかの要素は、説明の目的で他の図には示されないことがある。しかし、これらの要素は、他の図の要素に含まれてもよい。
文書管理システム１００によりサポートされる文書レビュー会議は、１つ以上の文書が１人以上の参加者によりレビューされる任意の種類の電子的又は直接会議を含んでよい。文書管理システム１００は、レビュー中文書のコンテンツを管理してよく、会議中に議論されたコンテンツ提案及び編集をレビュー中文書に自動的に適用してよい。
一実施形態では、文書管理システム１００は、コンピュータのネットワークを表す。「コンピュータ」は、１又は複数の物理的コンピュータ、仮想コンピュータ、及び／又はコンピューティング装置であってよい。コンピュータは、クライアント及び／又はサーバであってとい。本願明細書における「コンピュータ」への言及は、特に明示的に断りのない限り、１又は複数のコンピュータを意味することがある。図１に示したモジュール／サービスの各々は、実行可能命令がロードされ及び実行されると文書管理システム１００に該モジュールを参照して本願明細書に記載される機能又は動作を実行させる１つ以上のコンピュータ内の、ＲＡＭのようなメインメモリの１つ以上のページのセットを含んでよい。さらに、文書管理サービス１０５は、実行されると本願明細書に記載される電子文書管理及び記憶を実行させる命令を含むＲＡＭ内のページのセットを含んでよい。命令は、ＣＰＵの命令セットの中の機械実行可能コードの中にあってよく、JAVA（登録商標）、C、C++、OBJECTIVE－C、又は任意の他の人間により読み取り可能なプログラミング言語若しくは環境で、単独で又はJAVASCRIPT（登録商標）、他のスクリプト言語及び他のプログラミングソーステキストにおけるスクリプトと結合して、記述されたソースコードに基づきコンパイルされていてよい。用語「ページ」は、メインメモリ内の任意の領域を広義に表すことを意図する。システムにおいて使用される特定の用語は、メモリアーキテクチャ又はプロセッサアーキテクチャに依存して変化することがある。別の実施形態では、文書管理システム１００内の各コンポーネントは、また、１つ以上のコンピュータ内の不揮発性ＲＡＭ又はディスク記憶装置のような大容量記憶装置にデジタル方式で格納されたソースコードの１つ以上のファイル又はプロジェクトを表してよく、これは、コンパイルされ又はインタープリットされると実行可能命令の生成を生じ、実行可能命令は、実行されると、文書管理システム１００に、上述のモジュールを参照して本願明細書に記載される機能又は動作を実行させる。言い換えると、図面は、プログラマ又はソフトウェア開発者が、実行可能形式への後のコンパイル、又は文書管理システム１００による実行のためにバイトコード若しくは等価物へのインタープリットのために、ソースコードを編成し構成する方法を提示し得る。
Ａ．文書管理
一実施形態では、コンテンツ受信サービス１１０は、レビュー中文書に関連するコンテンツを受信するための命令を含んでよい。コンテンツ受信サービス１１０は、元のコンテンツ、マークアップされたコンテンツ、及び／又はレビュー中文書に関連する提案された変更若しくはコメントを受信してよい。例えば、コンテンツ受信サービス１１０は、レビューのための元の文書を含む電子ファイルを受信してよい。別の例では、コンテンツ受信サービス１１０は、元のコンテンツ及び元のコンテンツに対するマークアップの両方を含む電子ファイルを受信してよい。更に別の例では、コンテンツ受信サービス１１０は、オーディオファイル、ビデオファイル、又は画像ファイルのような、レビュー中文書に関連する提案された変更又はコメントを含むコンテンツメディアアイテムを受信してよい。
コンテンツ受信サービス１１０は、受信した電子文書を文書管理サービス１０５に送信するよう構成されてよい。一実施形態では、文書管理サービス１０５は、受信した電子文書について元のコンテンツを識別し、元の文書に対するマークアップとしてコンテンツを識別し、ユーザを彼らの対応するマークアップに関連付け、及び、或いは、コンテンツの記憶及び通信、及び電子文書に対するコンテンツ提案を管理する命令を含んでよい。例えば、コンテンツ受信サービス１１０は、文書の元のバージョンを表す電子文書を、文書管理サービス１０５に送信してよい。文書管理サービス１０５は、電子ファイルから、レビューのための文書の元のバージョンを表す元のコンテンツを識別してよい。別の例では、コンテンツ受信サービス１１０は、マークアップを含む文書のバージョンを文書管理サービス１０５に送信してよい。文書管理サービス１０５は、文書のマークアップバージョンの中の１つ以上のマークアップを識別するために、文書のマークアップバージョンからのコンテンツを、前に受信した文書の元のコンテンツと比較してよい。
一実施形態では、文書管理サービス１０５は、マークアップを作成したユーザを示す、文書のマークアップバージョンにおける１つ以上のコード及び／又はマークを識別してよい。例えば、コンテンツ受信サービス１１０により受信した文書のマークアップバージョンは、特定ユーザを識別するカスタムバーコード又はＱＲコード（登録商標）を含んだ、文書の印刷されたバージョンに起因していてよい。文書の印刷されたバージョンは、特定ユーザを、マークを手書きしたレビュアーとして識別するために使用され得るカスタムＩＤコードを含んでよい。文書管理サービス１０５は、文書のマークアップバージョン内のコードを識別してよく、該コードに関連付けられた特定ユーザを識別するために、識別したコードをユーザＩＤ管理サービス１１５に送信してよい。
一実施形態では、ユーザＩＤ管理サービス１１５は、マークアップ文書内のカスタムＩＤコードに関連付けられたユーザを識別するための命令を含んでよい。データレポジトリ１７０は、ユーザとカスタムＩＤコードとの間の関連付けを格納するよう構成されてよい。ユーザＩＤ管理サービス１１５は、受信したマークアップ文書にあるカスタムＩＤコードに関連付けられたユーザを決定するために、データレポジトリ１７０と通信して、ユーザ－ＩＤコード関連付けを読み出してよい。例えば、コンテンツ受信サービス１１０は、特定ＩＤコードを含むマークアップ文書を受信してよい。コンテンツ受信サービス１１０は、文書を文書管理サービス１０５に送信してよい。文書管理サービス１０５は、文書内で、特定ＩＤコードを識別してよく、特定ＩＤコードをユーザＩＤ管理サービス１１５に送信してよい。ユーザＩＤ管理サービス１１５は、特定ＩＤコードを受信してよく、データレポジトリ１７０にクエリして、特定ＩＤコードに関連付けられた特定ユーザを決定してよい。特定ＩＤコードに関連付けられた特定ユーザを決定すると、ユーザＩＤ管理サービス１１５は、特定ユーザの識別子を文書管理サービス１０５に送信してよい。その結果、文書管理サービス１０５は、受信した電子文書からのマークアップを、該マークアップを作成した適切なユーザに関連付けてよい。
一実施形態では、注釈生成サービス１２０は、１つ以上の注釈を生成し、注釈を文書の元のコンテンツ内の位置に関連付けるための命令を含んでよい。例えば、文書管理サービス１０５は、文書も元のコンテンツ、及び文書について識別されたマークアップを管理してよい。文書管理サービス１０５は、注釈生成サービス１２０に要求を送信してよい。注釈生成サービス１２０は、要求を受信してよく、識別されたマークアップを含む新しい注釈を生成してよく、新しく生成した注釈を、識別されたマークアップに対応する文書部分に対応する元のコンテンツ内の位置に関連付けてよい。別の例では、注釈生成サービス１２０は、追加マークアップを含めるために、既存の注釈を更新する要求を受信してよい。注釈生成サービス１２０は、既存の注釈を識別してよく、追加マークアップを既存の注釈に挿入してよい。
一実施形態では、新しい注釈を生成すること及び／又は既存の注釈を更新することは、コメントを生成すること及び／又は更新することに限定されない。注釈は、文書内のコンテンツに対する提案された編集を表してもよい。例えば、マークアップが単語「不可能な（impossible）」を「起こりにくい（highly unlikely）」に変更することを示す場合、注釈生成サービス１２０は、元のコンテンツからの単語「不可能な」を「起こりにくい」に更新する要求を受信してよい。注釈生成サービス１２０は、マークアップを表す提案された編集注釈を生成してよく、提案された編集及び編集を提案したユーザを示すコメントも含んでよい。
図３Ｂは、電子文書の元のコンテンツ及び元のコンテンツの上に重ね合わされた識別されたマークアップを表示するグラフィカルユーザインタフェースの例示的な実施形態を示す。注釈３３０Ａ及び３４０Ａは、注釈生成サービス１２０により生成された提案された編集である注釈を表す。注釈３３０Ａ及び３４０Ａは、提案された編集として解釈されているマークアップに基づく。注釈３３０Ａは、単語「this」に引かれた取消線を表すマーク３３０に基づく。取消線は、単語「this」を削除する提案として解釈されてよい。注釈３４０Ａは、単語「holigram」を囲む手書きされた円を表すマーク３４０に基づく。単語「holigram」は、単語「hologram」の誤記であり、マーク３４０は「holigram」のスペルを修正する提案として解釈されてよい。注釈３３５Ａは、「do we want to show the ２２” model?」という手書きメモへの線を有する単語の強調表示区域を表すマーク３３５に基づく。マーク３３５はコメントとして解釈されてよい。
一実施形態では、生成された注釈は、注釈種類を反映するためにカスタマイズされてよい。例えば、注釈３３５Ａは、コメント注釈を表すために、黄色のような１つの特定の色で着色されてよい。一方で、注釈３３０Ａ及び３４０Ａは、提案された編集注釈を表すために、赤のような別の色で着色されてよい。一実施形態では、注釈は、注釈に関連付けられたユーザのユーザＩＤを含んでよい。注釈は、注釈３４０Ａ内のチェックボタン３４１及び拒否ボタン３４２のような、提案された編集を受け入れる又は拒否するために使用されてよい選択可能アクションボタンを含んでもよい。注釈は、生成された注釈に関連するコンテンツ入力への電子リンクも含んでよい。例えば、注釈は、注釈に関連するキャプチャされた議論のオーディオファイルへの電子リンクを含んでよい。電子リンクは、スクリーンショット、又はマークアップの他の画像、又は提案されたコメント若しくは変更へのリンクであってもよい。電子リンクは、電子リンクにより指定されたファイル、ウェブページ、オブジェクト、又は任意の他の行き先への任意の種類のリンク、ハイパーリンク、又はショートカットであってもよい。
一実施形態では、ネットワーク１６０は、Ａ及びＢの間のデータ交換を提供する通信媒体又はメカニズムを表してよい。ネットワーク１６０の例は、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、イーサネット（登録商標）若しくはインターネットのようなネットワーク、又は１つ以上の地上波、衛星若しくは無線ネットワークを含むが、これらに限定されない。一実施形態では、データレポジトリ１７０は、文書、マークアップ、注釈、関連付けられたメディアコンテンツアイテム、及び文書及び注釈管理に関連付けられた任意の他のデータオブジェクトに関連する任意の種類のデータを格納するよう構成されてよい。
Ｂ．知的コンテンツ認識モデル
一実施形態では、知的コンテンツ認識モデル１３０は、受信した電子文書について文書種類及び文書部分を識別し、手書きメモから提案されたコンテンツを決定し、メディアコンテンツアイテムからコンテンツ提案を決定し、及びコンテンツ提案と文書部分との間の相関を決定するよう構成される１つ以上のサービスを実装するための命令を含んでよい。知的コンテンツ認識モデル１３０は、コンテンツ認識サービス１３１、マークアップ認識サービス１３２、会話認識サービス１３３、及びコンテンツ相関サービス１３４で構成されてよい。
一実施形態では、知的コンテンツ認識モデル１３０は、コンテンツ認識サービス１３１、マークアップ認識サービス１３２、会話認識サービス１３３、及びコンテンツ相関サービス１３４の各々により使用され得る１つ以上の機械学習モデルをトレーニングし及び実行するための命令を含んでよい。知的コンテンツ認識モデル１３０は、種々の機械学習アルゴリズム及び構造を使用して、１つ以上の機械学習モデルを実装してよい。例示的な機械学習アルゴリズムは、人工ニューラルネットワーク、深層ニューラルネットワーク、畳み込みニューラルネットワーク、再帰型ニューラルネットワーク、分類器、及び他の教師あり又は教師無し機械学習アルゴリズムを含む。提案される方法及びシステムは、任意の適切な機械学習アルゴリズム又はアーキテクチャを使用して実装されてよい。
１．コンテンツ認識サービス
一実施形態では、コンテンツ認識サービス１３１は、文書内のコンテンツ部分、文書のフォーマット及びスタイル、並びに元の電子文書のコンテンツ内の他の指示子に基づき、元の電子文書の文書種類を識別するよう構成された命令を含んでよい。例えば、コンテンツ認識サービス１３１は、入力として、特許出願書類の草案である元の電子文書を受信してよい。コンテンツ認識サービス１３１は、タイトル、章題、フォーマット、コンテンツ内のキーワード、及び元の電子文書の文書種類を示し得る任意の他の特性を含む、元の電子文書のコンテンツを分析してよい。例えば、元の電子文書が特許出願書類の草案である場合、コンテンツ認識サービス１３１は、「背景技術」、「図面の簡単な説明」、「発明を実施するための形態」、「特許請求の範囲」、及び「要約」のような章の名称を識別し及び分析し、章題に基づき、元の電子文書が特許出願のための文書種類であると決定してよい。
一実施形態では、コンテンツ認識サービス１３１は、電子文書の文書種類を決定するよう構成された機械学習モデルを実装するよう構成されてよい。機械学習モデルは、入力として電子文書を受信し、電子文書の文書種類を指定する出力を、タイトル、章題、フォーマット、コンテンツ内のキーワード、及び電子文書の任意の他の特性に基づき生成するよう構成されてよい。さらに、機械学習モデルは、決定した文書種類のコンテキスト固有特性のデータセットを出力してよい。例えば、コンテキスト固有特性は、キーワード、フレーズ、フォーマット、及び、受信したコンテンツ提案の提案種類及び位置を決定するのを助けるために使用され得る任意の他の特性を定めてよい。
一実施形態では、機械学習モデルは、各文書種類を定義する識別された文書特性に基づき特定文書種類として分類されている文書セットを含むトレーニングデータセットを用いて、文書種類を決定するようトレーニングされてよい。例えば、トレーニングデータセットは、文書を含み、及び、特許出願文書種類、契約文書種類、提案文書種類、技術仕様文書種類のいずれかとして分類される識別された文書特性を記録してよい。
一実施形態では、機械学習モデルは、マークアップを元のコンテンツに相関するときに使用され得る元のコンテンツからの文書部分を識別するよう構成されてよい。文書部分は、表題、章、段落、文、製品の説明及び名称のような、特定キーワード、及び特定フレーズを表してよい。例えば、文書種類が技術仕様文書である場合、文書内の章及び小区分は、部分として識別されてよい。さらに、「対話型支援サービス（Interactive Assistance Service）」及び「ＩＦＤＰ」のような特定の製品キーワードが、キーワード部分として識別されてよい。
２．マークアップ認識サービス
一実施形態では、マークアップ認識サービス１３２は、物理文書から識別された手書きメモを解釈し、該手書きメモの文字転写（Transcription）を生成するよう構成される命令を含んでよい。例えば、マークアップ認識サービス１３２は、入力として、マークアップ文書からの手書きメモ、つまり「このアイデアを拡張できるか（can we expand on this idea）」の画像を受信してよい。マークアップ認識サービス１３２は、手書きメモの画像を分析し、手書きメモの意味を決定し、メモの解釈を表すテキストを生成してよい。マークアップ認識サービス１３２は、手書きメモのテキスト転写及び意味に基づき、コメント又は提案された編集のようなコンテンツ提案種類を決定してよい。本例を用いると、メモ「can we expand on this idea」は、マークアップ認識サービス１３２によりコメントとして解釈されてよい。一方で、単語「impossible」の取消線に続き「change to ‘highly unlikely'」と記述している注を含む手書きメモは、提案された編集として解釈されてよい。
一実施形態では、マークアップ認識サービス１３２は、手書きメモをテキストに変換するよう構成された機械学習モデルを実装するよう構成されてよい。機械学習モデルは、手書きメモの画像を入力として受信するよう構成されてよく、変換された文字キャラクタセットを出力として生成してよい。一実施形態では、機械学習モデルは、手書きメモのトレーニング画像セット及び１人以上のユーザからの対応する文字転写を含むトレーニングデータセットを用いて、手書きメモの文字転写を決定するようトレーニングされてよい。例えば、トレーニング画像セットは、手書きの言葉、書簡、速記、及び１人以上のユーザにより使用され得る他の記号を含んでよい。一実施形態では、機械学習モデルは、文書種類をモデルに入力するよう更に構成されてよい。入力された文書種類は、各手書きメモの文書コンテキストを指定することにより、文字転写精度を向上するために使用されてよい。例えば、文書種類が化学に関連する学術論文である場合、機械学習モデルは、「CO２」という手書きメモを化合物として識別し、該メモを「CO２」又は「二酸化炭素」に変換するようにトレーニングされてよい。
一実施形態では、マークアップ認識サービス１３２により実装される機械学習モデルは、マークアップの文字転写に信頼スコアを割り当てるよう構成されてよい。信頼スコアは、モデルトレーニングデータに基づき、機械学習モデルの出力がどれくらい正確であるかを定める値を表してよい。例えば、機械学習モデルは、単語の上にある線の位置、線の角度、線の色、及び取り消しが他のマークに関連付けられるか否かに基づき、単語「this」の取り消しの解釈に高い信頼スコアを割り当ててよい。反対に、単語「this」の取り消しが単語の下に重なり、マークが取り消しか下線かが不明確である場合、機械学習モデルは低い信頼スコアを割り当ててよい。
３．会話認識サービス
一実施形態では、会話認識サービス１３３は、オーディオ及び／又はビデオからキャプチャした会話を変換された文字に翻訳するよう構成される命令を含んでよい。例えば、会話認識サービス１３３は、入力として、文書レビュー会議から、録音されたオーディオファイルの一部を受信してよい。会話認識サービス１３３は、オーディオコンテンツを分析し、オーディオコンテンツ内の発話された単語を表す変換された文字を決定してよい。
一実施形態では、会話認識サービス１３３は、キャプチャされた会話を変換された文字に翻訳するよう構成された機械学習モデルを実装するよう構成されてよい。機械学習モデルは、変換されるべきキャプチャされた会話を表すメディアコンテンツアイテムを含む入力を受信するよう構成されてよい。機械学習モデルは、出力として、キャプチャされた会話の文字転写を生成してよい。一実施形態では、機械学習モデルは、会話の部分及び対応する文字転写を含むトレーニングデータセットを用いてトレーニングされてよい。例えば、トレーニングデータは、複数の異なるユーザにより発話されたフレーズ、及び対応する意味を含んでよい。トレーニングデータ内の発話されたフレーズは、会話がどのように変換されるかに影響を与え得る、アクセント、主題、及び識別された背景雑音のような属性も含んでよい。
一実施形態では、会話認識サービス１３３の機械学習モデルは、コメント又は提案された編集のいずれかのコンテンツ提案を示すメディアコンテンツ部分を識別するよう構成されてよい。メディアコンテンツアイテム内の検出された会話は、会話から文字へと変換されてよい。文字は、次に、レビューされた文書の提案された編集又はコメントのいずれかを示し得る特定の単語又はフレーズについて分析されてよい。例えば、「the word... is duplicated」、「we need more examples」、「the introduction is too short」、「the word... is misspelled」、「could you update figure X」のような発言は、特定のメディアコンテンツ部分が文書について提案された編集又はコメントに関連することを示してよい。機械学習モデルは、「on the second page」、「the final paragraph」、「the sentence starting with」、等のような文書内の位置を示し得る発言も識別してよい。機械学習モデルの出力は、レビューされた文書についての可能性のある提案された編集として識別されたメディアコンテンツ部分のセットを含んでよい。
一実施形態では、会話認識サービス１３３により実装される機械学習モデルは、識別されたメディアコンテンツ部分のセットの文字転写に信頼スコアを割り当てるよう構成されてよい。信頼スコアは、モデルトレーニングデータに基づき、機械学習モデルの出力がどれくらい正確であるかを定める値を表してよい。信頼スコアの決定は、メディアコンテンツ部分内の会話の明確さ、及び機械学習モデルがメディアコンテンツ部分内の話された会話に変換された単語及びフレーズをどれだけ良好に一致させることができるか、に基づいてよい。例えば、会話が不明瞭である、又は話者が非常に速く話す場合、機械学習モデルは、変換された文字に低い信頼スコアを割り当ててよい。
４．コンテンツ相関サービス
一実施形態では、コンテンツ相関サービス１３４は、電子文書の文書部分と、手書きメモからの変換文字、キャプチャされた会話、スクリーンショット画像、及び任意の他のメディアとの間の一致を識別するよう構成される命令を含んでよい。例えば、コンテンツ相関サービス１３４は、入力として、電子文書の元のコンテンツ、及び手書きマークアップから又はキャプチャされた会話からのものであるコンテンツ提案の文字転写を受信してよい。コンテンツ相関サービス１３４は、元のコンテンツ内の文書部分を識別してよく、１つ以上の文書部分がコンテンツ提案の文字転写と一致するか否かを決定してよい。代替として、コンテンツ相関サービス１３４は、文書種類を指定する入力を受信してよい。該入力は、文字転写と元のコンテンツの文書部分との間の一致を決定するために更に使用されてよい。
一実施形態では、コンテンツ相関サービス１３４は、文字転写と文書部分との間の一致を決定するよう構成された機械学習モデルを実装するよう構成されてよい。機械学習モデルの入力は、文書の元のコンテンツ、文書種類、及び手書きメモから又はキャプチャされた会話から提案されたコンテンツを表す文字転写を含んでよい。機械学習モデルは、文字転写に対応する文書部分及び／又は元のコンテンツ内の前後関係に依存する（positional）位置を出力してよい。例えば、電子文書種類が研究論文であり、文字転写が「reference ４９ is incorrect」に等しい場合、機械学習モデルは、文字転写が電子文書内の参照脚注を表すことを、脚注を含む文書の文書種類及び識別された文書部分に基づき決定してよい。機械学習モデルは、脚注４９に対応する、元のコンテンツ内の位置を出力してよい。機械学習モデルは、電子文書の複数の文書部分及び電子文書の複数の文書部分からのコンテンツ提案の対応する文字転写を用いてトレーニングされていてよい。
Ｃ．入力／出力サービス
文書管理システム１００は、文書を受信し及び解釈された注釈を含む電子文書を提示する１つ以上の入力及び出力サービスを含んでよい。一実施形態では、多機能印刷サービス１４０は、物理文書をスキャンするよう構成される１つ以上の多機能プリンタ装置を表してよい。例えば、多機能印刷サービスは、元の文書又はマークアップ物理文書をスキャンするために使用されてよい。多機能印刷サービス１４０は、スキャンした文書を、データオブジェクトとして、処理のためにコンテンツ受信サービス１１０に送信してよい。別の実施形態では、多機能印刷サービス１４０は、レビュアー及び他のユーザに分配するために、電子文書の物理的バージョンを印刷するための要求を受信してよい。
一実施形態では、文書提示サービス１５０は、対応する注釈を含む１つ以上の電子文書を提示するグラフィカルユーザインタフェースを実装するための命令を含んでよい。例えば、文書提示サービス１５０は、電子文書からのコンテンツを表示するための１つ以上のコンテンツウインドウ枠、表示されたコンテンツに対応する１つ以上の注釈、及びレビュアー又は他のユーザに基づく注釈及び他のコンテンツをフィルタリングするための表示オプション制御を含むグラフィカルユーザインタフェースを生成してよい。
ＩＩＩ．手続概要
以下の章は、複数の異なる入力サービスからの文書提案を受信し及び合併することを含む、文書レビューを実装するための実施形態を説明する。
Ａ．マークアップされた物理文書の処理
一実施形態では、文書管理システム１００は、物理的な紙の形式の文書マークアップを受信し、コンテンツ提案を識別し、レビュー中文書のコンテンツ提案についての注釈を生成することにより、文書レビューを支援するために使用されてよい。例示的な機能は、限定ではなく、コンテンツ提案の１つ以上のマークアップを含む１つ以上のマークアップ文書を受信すること、コンテンツ提案の種類を識別すること、各コンテンツ提案の注釈を生成すること、生成した注釈をレビュー中文書の文書部分に関連付けること、ディスプレイウインドウ内に生成した注釈の中の文書を表示すること、を含む。
文書管理システム１００は、マークアップされていないコンテンツを含む元の文書を受信し、レビューのための元のコンテンツを決定するよう構成されてよい。元のコンテンツは、１人以上のユーザによるレビューを受けるコンテンツを表してよい。一実施形態では、多機能印刷サービス１４０は、紙文書を受け、スキャンするスキャナを表してよい。多機能印刷サービス１４０は、ＰＤＦ（Portable Document Format）ファイルのようなスキャンされた画像を生成してよい。多機能印刷サービス１４０は、元の文書のＰＤＦファイルを、コンテンツ受信サービス１１０に送信してよい。コンテンツ受信サービス１１０は、ＰＤＦファイルを文書管理サービス１０５に送信してよい。文書管理サービス１０５は、ＰＤＦファイルを分析し、レビューのためにマークされるべき元のコンテンツを識別してよい。文書管理サービス１０５は、元のコンテンツをデータレポジトリ１７０に格納してよい。
別の実施形態では、多機能印刷サービス１４０は、スキャンした物理文書から元のコンテンツを識別し及び元のコンテンツをデータレポジトリ１７０に格納する能力を有する多機能プリンタを表してよい。例えば、多機能印刷サービス１４０は、文書管理システム１００内の種々のサービスと通信するために、プラグインソフトウェアにより構成されてよく、又はＡＰＩ（application programming interface）を利用してよい。ＡＰＩは、元のコンテンツの識別及び元のコンテンツのデータレポジトリ１７０への記憶を実施する関数呼び出しを含んでよい。
スキャンした物理文書から元のコンテンツを識別すると、文書管理システム１００は、１人以上のレビューユーザに分配されてよい物理文書の１つ以上のコピーを生成してよい。一実施形態では、文書管理サービス１０５は、１つ以上の物理文書を生成するための印刷要求を、多機能印刷サービス１４０に送信してよい。印刷要求は、レビューユーザのユーザ識別子を含んでよい。例えば、文書レビュー会議がユーザＡ～Ｄにより予定されている場合、印刷要求はユーザＡ～Ｄを指定してよい。その結果、文書の４枚のコピーが印刷され、各々の印刷された文書はユーザＡ～Ｄのうちの１人を識別する識別子を含む。
一実施形態では、文書管理システム１００は、文書の元のコンテンツにより識別される名前に基づき、可能性のあるレビュアーを決定してよい。例えば、文書が複数の著者による研究論文である場合、文書管理システム１００は、著者の名前を識別してよく、物理文書の１つ以上のコピーを生成してよく、各コピーは著者の各々の識別子を含む。
一実施形態では、多機能印刷サービス１４０は、レビューユーザの印刷された名前、レビューユーザを識別する機械可読コード、又はその両方を有する文書を印刷してよい。図３Ａは、レビューユーザ識別子を含む印刷された文書の例示的な実施形態を示す。文書３０５は、多機能印刷サービス１４０により印刷された物理文書を示す。タイトル３１０は、物理文書の目的を示す文書レビュータイトルを表す例えば、タイトル３１０は、会議の時間及び場所を含む、文書レビュー会議を含んでよい。他の例では、タイトル３１０は、文書タイトルの前に「For Review」を追加されてよい。更に他の例では、タイトル３１０は、レビューユーザのために任意のタイトルを表示するようカスタマイズされてよい。
レビュアー部分３１５は、レビュアーの名前を含む印刷された部分を示してよい。例えば、レビュアー部分３１５は、Jane Doeのようなレビューユーザの名前を表示してよい。印刷された各物理的コピーは、レビューユーザ毎に異なるレビュアーの名前を含んでよい。追加の又は未だ識別されていないユーザが印刷された文書をレビューする場合、多機能印刷サービス１４０は、「Reviewer:________」を有する文書のコピーを印刷してよい。ここに、追加ユーザは、彼又は彼女の名前を書いてよい。
ユーザコード３２０は、ＱＲコード、バーコード、又は任意の他の機械可読コードのような任意的な印刷されたコードを示してよい。これは、文書のマークアップされたコピーがスキャンされ提案された編集及びコメントについて分析されるとき、レビューユーザを識別するために文書管理システム１００により使用されてよい。例えば、多機能印刷サービス１４０は、レビュアーJane Doeを識別するＱＲコードを印刷してよい。追加文書コピーが識別されたユーザ無しに印刷される例では、多機能印刷サービス１４０は、スキャンされたマークアップされた文書がアドホックレビュアーによりレビューされるという注意を与える（flag）ために使用され得るゲストユーザコード３２０を印刷してよい。一例では、文書管理システム１００がアドホックレビュアーを識別する場合、文書管理システム１００は、マークアップされた文書上の手書きの名前を分析して、ユーザの識別情報を決定してよい。ユーザの識別情報が決定されない場合、文書管理システム１００は、レビュアーによる任意のマークアップを「ゲストレビュアー」として関連付けてよい。「ゲストレビュアー」は次に適切なレビュアーに手動で割り当てられてよい。文書３０５内のコンテンツ３２５は、レビューされるべき元のコンテンツを表してよい。
文書管理システム１００は、多機能印刷サービス１４０を用いて文書のコピーを印刷することに限定されない。一実施形態では、文書管理サービス１０５は、それぞれのレビュアー毎に、タイトル３１０、レビュアー部分３１５、ユーザコード３２０、及びコンテンツ３２５の各々を含む文書ファイルを生成してよく、該文書ファイルを、別個の印刷装置で印刷するために各レビュアーに送信してよい。
物理文書を印刷し、文書を各レビュアーに分配すると、各レビュアーは、提案された編集及びコメントを物理文書に対して直接生成してよい。図２は、マークアップ文書から提案された変更に基づき注釈を生成し、生成した注釈と共に文書を表示するアプローチを示すフロー図である。処理２００は、単一のプログラム又は複数のプログラムにより実行されてよい。図２に示すような処理の動作は、コンピュータメモリに格納されたプロセッサ実行可能命令を用いて実装されてよい。より明確な例を提供することを目的として、図２の動作は、文書管理システム１００のサービスにより実行されるとして説明される。明確化の目的で、処理２００は単一のエンティティの観点で説明される。
ブロック２０２で、文書管理システム１００は、電子マークアップ文書を生成するために、第１ユーザにより提供されるレビュー及びマークアップのための元のコンテンツを含む物理文書を受信してよい。一実施形態では、多機能印刷サービス１４０は、元のコンテンツに対するマークアップを含む物理文書をスキャンし、電子マークアップ文書と呼ばれるスキャンをコンテンツ受信サービス１１０に送信してよい。コンテンツ受信サービス１１０は、電子マークアップ文書を受信し、電子マークアップ文書を文書管理サービス１０５に送信してよい。
図３Ｂは、文書管理システム１００により受信されたマークアップされた物理文書の例示的な実施形態を示す。一実施形態では、マークアップされた物理文書は、記述された単語、取消線、下線、囲まれた単語、強調表示、及び任意の他の種類の物理的マークのような、手書きの又はタイプされたマークアップを含んでよい。図３Ｂを参照すると、文書３０５は、図３Ａに示したものと同じ印刷された文書を表し、タイトル３１０、レビュアー部分３１５、ユーザコード３２０、及びコンテンツ３２５を含む。マークアップは、マーク３３０、３３５、及び３４０により示される。マーク３３０は、単語「this」の上の取消線を表す。マーク３３５は、コンテンツ３２５内の単語の強調表示された部分、及び「do we want to show the ２２” model?」という手書きメモへの線を表す。マーク３４０は、単語「holigram」の周囲の手書きの円を表す。
図２を参照すると、ブロック２０４で、文書管理システム１００は、物理文書上にマークアップを提供した第１ユーザを識別する。一実施形態では、文書管理サービス１０５は、電子マークアップ文書からユーザコード３２０を識別することにより、第１ユーザを識別してよく、ユーザコード３２０に関連付けられたユーザを決定するためにユーザＩＤ管理サービス１１５に要求を送信してよい。
別の実施形態では、物理文書がユーザコード３２０を含まない場合、文書管理サービス１０５は、手書きの名前に対応するレビュアー部分３１５内のマークを識別することにより、第１ユーザを識別してよい。文書管理サービス１０５は、マークアップ認識サービス１３２と通信して、手書きの名前に基づき第１ユーザを識別してよい。例えば、マークアップ認識サービス１３２は、レビュアー部分３１５から手書きの名前の画像クロップを受信してよく、画像クロップを分析して、第１ユーザの名前を表す文字セットを決定してよい。
マークアップ認識サービス１３２は、手書きの名前に対応するマークに基づき第１ユーザを識別することに限定されない。別の実施形態では、物理文書がユーザコード３２０を含まない場合、文書管理サービス１０５は、レビュアー部分３１５内の機械で印刷された名前を識別することにより、第１ユーザを識別してよい。物理文書がレビュアー部分３１５内に印刷された名前を含む、又はレビュアー部分３１５の近く若しくは周囲に印刷された名前を含む場合、文書管理サービス１０５は、マークアップ認識サービス１３２と通信して、印刷された名前に基づき第１ユーザを識別してよい。例えば、マークアップ認識サービス１３２は、印刷された名前の画像クロップを受信してよく、光学式文字認識（Optical Character Recognition：OCR）技術を実施して、画像クロップから、第１ユーザの名前を表す文字セットを識別してよい。
ブロック２０６で、文書管理システム１００は、識別された第１ユーザに関連付けられた第１ユーザＩＤを決定する。一実施形態では、識別された第１ユーザがユーザコード３２０に基づく場合、ユーザＩＤ管理サービス１１５は、データレポジトリ１７０にクエリして、ユーザコード３２０に関連付けられた関連する第１ユーザＩＤを読み出すことにより、第１ユーザＩＤを決定してよい。データレポジトリ１７０は、ユーザコード３２０及びユーザJane Doeのような、ユーザ、ユーザコード、及びユーザＩＤの間の関連付けを格納してよい。ユーザＩＤ管理サービス１１５は、データレポジトリ１７０から、Jane Doeの第１ユーザＩＤを受信してよい。第１ユーザＩＤは、従業員ＩＤ、電子メールに基づくＩＤ、又はユーザを識別するために使用されるよう構成された任意の他の識別子のような、任意の種類のユーザ識別子を表してよい。
別の実施形態では、識別された第１ユーザがレビュアー部分３１５から転写された手書きの名前に基づく場合、マークアップ認識サービス１３２は、データレポジトリ１７０にアクセスして、ユーザの名前が手書きの名前から転写された文字セットに一致するか否かを決定してよい。例えば、文字セット「Jane Doe」がマークアップ認識サービス１３２により識別された場合、マークアップ認識サービス１３２は、データレポジトリ１７０にクエリして、ユーザが「Jane Doe」の文字セットに一致するか否かを決定してよい。ユーザが「Jane Doe」に一致した場合、マークアップ認識サービス１３２は、データレポジトリ１７０にクエリして、ユーザ「Jane Doe」に関連付けられた第１ユーザＩＤを読み出してよい。
更に別の実施形態では、識別された第１ユーザがレビュアー部分３１５から転写された手書きの名前に基づき、マークアップ認識サービス１３２がユーザの名前を構成する文字セットを、ある信頼レベルで決定できない場合、文書管理サービス１０５は、「ゲストユーザ」又は「未識別ユーザ」に対応する第１ユーザＩＤを割り当ててよい。マークアップ認識サービス１３２がデータレポジトリ１７０内で一致するユーザを見付けることができなかった場合、第１ユーザＩＤは、「ゲストユーザ」又は「未識別ユーザ」ラベルに対応してもよい。一実施形態では、ユーザは、後に、ユーザＩＤを手動で割り当てて、「ゲストユーザ」又は「未識別ユーザ」ラベルを置き換えてよい。
ブロック２０８で、文書管理システム１００は、第１ユーザにより提案されたコンテンツ提案を表す１つ以上のマークアップを識別してよい。一実施形態では、文書管理サービス１０５は、電子マークアップ文書を元の文書からの元のコンテンツと比較して電子マークアップ文書内の元のコンテンツを識別することにより、電子マークアップの中のマークアップを識別してよい。次に、文書管理サービス１０５は、識別された元のコンテンツと別個のコンテンツを識別することにより、電子マークアップ文書内のマークアップを識別してよい。例えば、図３Ｂを参照すると、元のコンテンツは、コンテンツ３２５内の印刷されたコンテンツとして識別されてよい。文書管理サービス１０５は、次に、マーク３３０、３３５、３４０を、コンテンツ３２５と別個である１つ以上のマークアップとして識別してよい。一実施形態では、文書管理サービス１０５は、タイトル３１０、レビュアー部分３１５、及びユーザコード３２０のような、追加印刷コンテンツを、該コンテンツがマークアップとして又は元のコンテンツと考えられないので、無視されるべきコンテンツとして取り扱うよう構成されてよい。
一実施形態では、文書管理サービス１０５は、マークアップの意味を決定するために、マークアップ認識サービス１３２を使用して、識別されたマークアップの各々を分析してよい。例えば、マークアップは、文字に翻訳され得る手書きコメントを含んでよく、マークアップ内の他の線又は矢印が分析されて、それらの文書上の位置を参照して、マークアップの意味を決定してよい。例えば、マークアップは、重複する単語を削除する、句読点を追加する、誤記を修正する、単語を挿入する、等の線として識別されてよい。一実施形態では、マークアップ認識サービス１３２は、手書きメモを文字に変換し及び変換された文字の意味を決定するよう構成された機械学習モデルを実装してよい。機械学習モデルは、入力として、手書きマークアップの画像を受信してよく、手書きマークアップの文字転写を含む出力を生成してよい。線、矢印、円、又は任意の他の非文字書き込みを含むマークアップでは、機械学習モデルは、マークアップを説明する変換された文字、及びマークアップがコメントか提案された編集かの決定を出力してよい。例えば、マークアップが単語の取消線である場合、出力は、取り消された単語が削除されるべきであること、及びマークアップが提案された編集であること、を示す文字であってよい。図３Ｂを参照すると、マーク３３０は、単語「this」の上の取消線であり、「delete ‘this’?」を記述する文字に翻訳されてよい。
一実施形態では、マークアップ認識サービス１３２は、分析されたマークアップの提案種類を決定するよう構成されてよい。提案種類は、限定ではないが、コメント及び提案された編集を含んでよい。提案された編集は、元のコンテンツ内の文字を変更する提案を示す、手書きメモ又はマークを表してよい。例えば、単語が、該単語の上の取消線マークを有する場合、取消線マークは、該単語を削除するために提案された編集として解釈されてよい。他の例は、マーク及び手書き文字を含んでよい。例えば、単語「car」が円で囲まれてよく、その円の隣に「change to automobile」という手書き文字を有してよい。「change to automobile」という手書き文字は、単語「car」を囲む円と共に、単語carを単語automobileに変更するために提案された編集として解釈されてよい。
コメントは、元のコンテンツ内の１つ以上の単語又はフレーズに関連する、メモ、疑問、又は他のコメントを表してよい。例えば、元のコンテンツ内の文は、下線を引かれ又は円で囲まれてよく、「Should we expand upon this?」という手書きメモを含んでよい。この手書きメモは、明確に提案された編集を伝達しないので、コメントであると決定されてよい。反対に、手書きメモが下線を引かれた／円で囲まれた文の隣に「please remove」と言っている場合、マークアップ認識サービス１３２は、「please remove」というメモが下線を引かれた／円で囲まれた文を削除するために提案された編集であると決定してよい。
一実施形態では、マークアップ認識サービス１３２は、文書管理サービス１０５に出力を送信してよい。出力は、手書きマークアップの変換された文字、提案された編集又はコメントのような決定されたマークアップ種類、マークアップの画像、変換された文字に割り当てられた信頼レベルを説明する信頼スコア、を含むデータオブジェクトを含んでよい。例えば、メモ「please remove」を含む下線の引かれた文に対するマークアップを表すデータオブジェクトは、フレーズ「please remove」と記述する変換された文字、提案された編集として割り当てられたマークアップ種類、下線の引かれた文及び手書きメモの画像クロップ、及び変換された文字に関連付けられた信頼スコア、を含んでよい。
決定ブロック２１０で、文書管理システム１００は、分析すべき残りのマークアップがあるか否かを決定してよい。一実施形態では、文書管理サービス１０５は、識別されたマークアップの各々を繰り返し分析するよう構成されてよい。例えば、マーク３３０、３３５、及び３４０が識別され、文書管理サービス１０５は、各マークアップを繰り返し分析して、マークアップに対応する電子文書部分を決定してよい。一実施形態では、文書管理サービス１０５が、分析すべき残りのマークアップがあると決定した場合、文書管理サービス１０５はブロック２１２に進んでよい。
ブロック２１２で、文書管理システム１００は元のコンテンツから、特定マークアップに対応する文書部分を識別する。一実施形態では、文書管理システム１００は、１つ以上の機械学習モデルを実装して、元のコンテンツの文書種類を識別し、セクション、フレーズ、特定キーワード、及び任意の他のコンテンツ固有部分に対応する、元のコンテンツ内の特定文書部分を識別し、特定マークアップと元のコンテンツの特定文書部分との間の相関を決定してよい。
一実施形態では、コンテンツ認識サービス１３１は、文書からの元のコンテンツを分析して、文書種類を決定してよい。異なる文書種類は、それぞれ固有の用語、フレーズ、フォーマットを有してよい。これらは、特定のマークアップがどのように解釈され、文書部分と相関するかを決定するのを助けるために使用されてよい。例えば、元のコンテンツが特許出願文書種類である場合、「move limitation to a dependent」のようなフレーズを含む提案された編集は、請求項の限定又は提案された編集により強調表示されたフレーズを、独立請求項から新しい従属請求項へと移動するための提案として解釈されてよい。一実施形態では、コンテンツ認識サービス１３１は、電子文書の文書種類、及び電子文書の元のコンテンツを構成する特定文書部分を決定するよう構成された機械学習モデルを実装してよい。機械学習モデルは、入力として、元のコンテンツを電子文書から受信してよく、電子文書の文書種類及び元のコンテンツから識別された文書部分を出力してよい。
文書種類の決定は、マークアップとコンテンツ部分との間の相関の決定の精度を向上することができ、それにより、自動的に生成される注釈の品質を向上する。一実施形態では、文書管理サービス１０５は、文書種類及び元のコンテンツからの文書部分を含むコンテンツ認識サービス１３１の出力を、メモリに保存するよう構成されてよい。その結果、文書種類及び文書部分の決定が１回実行されればよい。元のコンテンツ及びマークアップの後の分析は、現在の文書に対応する文書種類及び文書部分の格納されたデータを参照してよい。
さらに、文書種類を決定すると、文書管理サービス１０５は、データレポジトリ１７０から文書種類属性を読み出してよい。文書種類属性は、格納されたキーワード、フレーズ、フォーマット、及び特定文書種類に関連付けられた任意の他の特性のような、特性値を含んでよい。例えば、文書種類がRicoh固有製品の技術仕様書である場合、文書種類の特性値は、製品の頭字語、技術仕様フォーマット、及び機械学習モデルをトレーニングするために使用される他の技術仕様文書から決定された製品固有フレーズを含んでよい。
元のコンテンツ内の文書部分を決定すると、文書管理サービス１０５は、特定のマークアップと文書部分との間の相関を決定してよい。一実施形態では、コンテンツ相関サービス１３４は、特定マークアップと元のコンテンツの文書部分との間の一致を識別してよい。コンテンツ相関サービス１３４は、特定のマークアップの文字転写と文書部分との間の一致を決定するよう構成される機械学習モデルを使用してよい。例えば、図３Ｂのマーク３３５は、「do we want to show the ２２” model?」として解釈されてよく、「２２’－８４’ IFDPs」として識別されるコンテンツの部分に相関されてよい。相関は、強調表示されたマークアップ部分、及びモデル２２を指定する文書部分内で識別されたモデル２２”を指定する変換された文字に基づいてよい。
特定マークアップを文書部分に相関すると、文書管理サービス１０５は、特定マークアップについて注釈を生成してよい。図２を参照すると、ブロック２１４で、文書管理システム１００は、マークアップの文字転写及び第１ユーザＩＤを含む特定マークアップの注釈を生成し、注釈を識別された文書部分に関連付けてよい。注釈は、文字転写を含む吹き出しコメントのような可視性コメント、又は追跡された変更として表現され得る提案された編集のように表現されてよい。例えば、マークアップ種類がコメントであると決定された場合、注釈は可視性コメントとして表現されてよい。しかしながら、マークアップが提案された編集である場合、注釈は、吹き出しコメント内に、マークアップ認識サービス１３２により決定された信頼スコアに基づき、追跡された変更又は提案された編集として表現されてよい。
図３Ｃは、識別されたマークアップを表す注釈と共に表示された電子文書の例示的な実施形態を示す。注釈３３５Ａは、マーク３３５について生成された注釈を表してよい。注釈３３５Ａは、特定マークアップの変換された文字、及び第１ユーザのＩＤを含む。別の例では、注釈３３０Ａは、マーク３３０について生成された注釈を表してよい。注釈３３０Ａは、マーク３３０が重複する単語「this」を削除するために提案された編集を表すことを説明する文字を含んでよい。マーク３３０が高い信頼スコアを有する場合、注釈３３０Ａは、注釈３３０Ａが既に適用された編集を表すことを示すために、異なる色を付けられてよい。しかしながら、マーク３３０が低い信頼スコアを有する場合、注釈３３０Ａは、ユーザの承認を必要とする保留中の変更として表示されてよい。一実施形態では、信頼閾値は、提案された編集に関連付けられた変更をコンテンツに適用すべきか否かを決定するために使用されてよい。例えば、信頼スコアが１００点の値尺度に基づく場合、信頼閾値は、８５に設定されてよい。ここで、８５より高い信頼値は自動的に適用され、８５より低い信頼値は自動的に適用されないが、注釈内に承認又は拒否ボタンと共に表示される。
一実施形態では、コンテンツ相関サービス１３４は、特定マークアップの変換された文字が直ぐに実施可能な命令を含むか否かを識別するよう更に構成されてよい。直ぐに実施可能な命令は、文書管理サービス１０５により自動化され得る外部コンテンツのための任意の種類のコマンドであってよい。例えば、変換された文字は、「プリンタモデル９２ＸＸの写真を挿入する」（insert a picture of printer model ９２XX）ためのコマンドを含んでよい。コンテンツ相関サービス１３４は、このコマンドを、ファイル、リンク、又は他のオブジェクトを読み出すためのコマンドとして識別してよい。コンテンツ相関サービス１３４は、コマンドを実行するための要求を文書管理サービス１０５に送信してよい。文書管理サービス１０５は、コマンドを受信し実行してよい。例えば、コマンドが変換された文字「プリンタモデル９２ＸＸの写真を挿入する」（insert a picture of printer model ９２XX）に基づく場合、文書管理サービス１０５は、画像の内部レポジトリから、又は公衆に利用可能な画像から、９２ＸＸプリンタの画像を読み出してよい。別の例では、文書管理サービス１０５は、公衆に利用可能な検索エンジンから、９２ＸＸプリンタの画像検索結果へのリンクを読み出してよい。
文書管理サービス１０５は、画像又は検索結果のページへのリンクであってよい実行したコマンドの結果を、注釈生成サービス１２０に送信してよい。注釈生成サービス１２０は、実行されたコマンドの結果を受信し、該結果を特定マークアップについて生成された注釈に挿入するよう構成されてよい。例えば、結果が内部又は外部画像である場合、注釈生成サービス１２０は、内部又は外部画像へのリンクを挿入してよい。結果が画像検索結果へのリンクである場合、注釈生成サービス１２０は、検索結果リンクを、特定マークアップについて生成した注釈に挿入してよい。
一実施形態では、特定マークアップについての注釈を生成すると、文書管理システム１００は、生成された注釈と識別された文書部分との間の関連付けをデータレポジトリ１７０に格納してよい。
注釈を生成すると、文書管理システム１００は、決定ブロック２１０に進み、分析される必要のある追加マークアップが存在するか否かを決定してよい。分析されるべき追加マークアップが存在する場合、文書管理システム１００は、ブロック２１２及び２１４を繰り返して、マークアップの各々について注釈を生成してよい。決定ブロック２１０で、分析されるべき追加マークアップが存在しないと決定された場合、文書管理システム１００はブロック２１６に進んでよい。
一実施形態では、文書管理システム１００は、ユーザから受信した、マークアップを含む各物理文書について、ブロック２０２～２１４を繰り返してよい。例えば、John Smithという名前の第２ユーザも、マークアップを含む物理文書を提供した場合、文書管理システム１００は、John Smithからマークアップされた文書を受信しスキャンし、物理文書からJohn Smithのユーザコードを識別し、John Smithにより生成された１つ以上のマークアップを識別し、John Smithにより提供されたマークアップに関連付けられた１つ以上の注釈を生成してよい。
ブロック２１６で、文書管理システム１００は、ディスプレイウインドウ内に電子的形式で、１つ以上の生成された注釈と共に元のコンテンツを表示してよい。一実施形態では、文書管理サービス１０５は、文書管理サービス１０５と通信して、クライアントコンピューティング装置上のディスプレイウインドウ内に１つ以上の生成された注釈と共に元のコンテンツを表示するグラフィカルユーザインタフェースを生成してよい。グラフィカルユーザインタフェースは、限定ではないが、文書の元のコンテンツ、生成された注釈、及び注釈に関連付けられたマークアップを、元のコンテンツのディスプレイに重ね合わせて表示することを含んでよい。
図３Ｃは、電子文書の元のコンテンツ、元のコンテンツの上に重ね合わされた識別されたマークアップ、及び生成された注釈、を表示するために使用されるグラフィカルユーザインタフェースの例示的な実施形態を示す。文書ウインドウ３５０は、電子文書の元のコンテンツ、重ね合わされたマークアップ、及びマークアップ及び／又は他の提案された編集に関連する他の改訂を表示するよう構成される表示要素を提示してよい。レビュアードロップダウンリスト３６０は、電子文書について提案される編集を提供した利用可能なレビュアーのドロップダウンリストを提示してよい。Jane Doeのような特定レビュアーが、レビュアードロップダウンリスト３６０から選択された場合、グラフィカルユーザインタフェースは、レビュアーJane Doeに関連付けられたマークアップ及び注釈を表示してよい。一実施形態では、レビュアードロップダウンリスト３６０は、選択されると提案された編集を提供した各レビュアーからのマークアップ及び注釈を表示し得る「全てのレビュアー」（all reviewers）選択を含んでよい。複数のレビュアーからの注釈を表示するとき、文書提示サービス１５０は、レビュアーに基づく注釈及び関連付けられたマークアップ毎の色コードをグラフィカルユーザインタフェースに構成してよい。例えば、全てのレビュアー選択が、Jane Doe及びJohn Smithからの提案された編集を表示する場合、表示されるグラフィカルユーザインタフェースは、Jane Doeに関連付けられたマークアップ及び注釈を赤で強調表示し、John Smithに関連付けられたマークアップ及び注釈を緑で強調表示してよい。
一実施形態では、レビュアーにより提案された編集を提示する注釈は、提案された編集を承認する又は拒否する制御ボタンを含んでよい。例えば、注釈３３０Ａは、チェックボタン３３１を含む。チェックボタン３３１が選択されると、重複する単語「this」を電子文書から削除する提案された編集を適用する。別の実施形態では、注釈３４０Ａは、提案された編集を適用するためのチェックボタン３４１、及び提案された編集を拒否するための拒否ボタン３４２を含む。チェックボタン３４１の選択は、文書管理サービス１０５に、「holigram」のスペルを「hologram」の正しいスペルに変更させる。拒否ボタン３４２の選択は、文書管理サービス１０５に、提案された編集を適用させず、電子文書内の「holigram」の元のスペルを維持させる。
グラフィカルユーザインタフェースを閲覧しているユーザは、表示された注釈の各々を承認する又は拒否することにより、レビュアーからの提案された編集を承認又は拒否してよい。一実施形態では文書管理サービス１０５は、電子文書に適用された変更を、データレポジトリ１７０内の電子文書の新しいバージョンとして保存してよい。電子文書の新しいバージョンは、１つ以上の変更を含んでよい。例えば、電子文書の新しいバージョンは、ユーザによるグラフィカルユーザインタフェースの単一のレビューセッションの間に承認された及び／又は拒否された全ての変更を含んでよい。別の例では、電子文書の各保存されたバージョンは、単一の承認された変更を含んでよい。別の実施形態では、文書管理サービス１０５は、特定の変更を含む電子文書の特定バージョンを生成するために、各承認された又は拒否された注釈を電子文書に選択的に適用され得るトランザクションのシリーズとして保存するよう構成されてよい。
Ｂ．マークアップされた電子文書の処理
一実施形態では、文書管理システム１００は、異なる電子文書から文書マークアップを収集し及び統合するために使用されてよい。文書管理システム１００は、レビューされた電子文書内のコンテンツについて、コンテンツ提案を識別し、注釈を生成してよい。例えば、文書は、Microsoft Word for Windows、Microsoft Word for Mac、Open Office、Google Docs、コメントを有するPDF文書、及び任意の他の文書編集プログラムのような複数の異なる文書編集プログラムを用いて複数のユーザによりレビューされてよい。文書編集プログラムの各々は、コメントを管理し、異なる方法で編集してよい。その結果、異なる編集プログラムからのコンテンツ提案を単一のディスプレイ内で閲覧することが課題となり得る。
文書管理システム１００は、編集又はマークアップされていない元の電子文書から、元のコンテンツを受信し及び管理してよい。文書管理システム１００は、元のコンテンツ及び元のコンテンツに対するマークアップを含む、後に受信した電子文書を受信し及び管理するよう構成されてよい。図４は、マークアップ電子文書から受信した提案に基づき注釈を生成し、生成した注釈と共に文書を表示するアプローチを示すフロー図である。処理４００は、単一のプログラム又は複数のプログラムにより実行されてよい。図４に示すような処理の動作は、コンピュータメモリに格納されたプロセッサ実行可能命令を用いて実装されてよい。より明確な例を提供することを目的として、図４の動作は、文書管理システム１００のサービスにより実行されるとして説明される。明確化の目的で、処理４００は単一のエンティティの観点で説明される。
ブロック４０２で、文書管理システム１００は、第１ユーザにより提供されるレビュー及び電子マークアップの元のコンテンツを含む電子マークアップ文書を受信してよい。一実施形態では、コンテンツ受信サービス１１０は、電子マークアップ文書を、第１ユーザのようなレビュアーから受信してよい。電子マークアップ文書は、指定されたウェブサイトへの直接アップロードから、文書管理システム１００に関連付けられた特定電子メールアカウントへ送信された電子メールから、又はBox、Google Drive、Drop Box又は任意の他のネットワークストレージサービスのようなネットワークストレージサービスに関連付けられたネットワーク位置から、受信されてよい。
一実施形態では、文書管理サービス１０５は、特定ユーザに関連付けられた特定識別子を識別することにより、特定ユーザを受信した電子マークアップ文書に関連付けてよい。電子マークアップ文書が文書管理システム１００に電子メールで送信された場合、特定識別子は、ユーザの電子メールアドレスを表してよい。別の例では、特定ユーザは、特定ユーザに関連付けられた特定ファイル名を有する電子文書を編集してよい。例えば、ユーザJane Doeは、電子マークアップ文書名「document１_userJaneDoe.doc」を編集し送信してよい。更に別の例では、レビューユーザに送信された電子文書は、文書メタデータ内に又は文書のファイル構造内に埋め込まれたユーザコードを含んでよい。埋め込まれたユーザコードは、次に、レビューユーザを識別するために、文書管理サービス１０５により抽出されてよい。
ブロック４０４で、文書管理システム１００は、第１ユーザにより提案されたコンテンツ提案を表す１つ以上のマークアップを識別してよい。一実施形態では、文書管理サービス１０５は、電子マークアップ文書を元の電子文書からの元のコンテンツと比較して電子マークアップ文書内の元のコンテンツを先ず識別することにより、電子マークアップの中のマークアップを識別してよい。文書管理サービス１０５は、識別された元のコンテンツと別個のコンテンツを識別することにより、電子マークアップ文書内のマークアップを識別してよい。
一実施形態では、文書管理サービス１０５は、マークアップの意味を決定するために、マークアップ認識サービス１３２を使用して、識別されたマークアップの各々を分析してよい。マークアップ認識サービス１３２は、挿入されたコメント及び追跡された変更を提示する種々の電子文書フォーマット内のオブジェクトを識別するよう構成されてよい。例えば、Microsoft Wordフォーマットの電子マークアップ文書は、コメントを提示するデータオブジェクト、及び追跡された変更として編集されて文字を提示するオブジェクトを含んでよい。
一実施形態では、マークアップ認識サービス１３２は、コメント又は編集を含み得る行内の文字変更を識別するよう構成されてよい。行内の文字変更は、コメント又は追跡された変更を提示するデータオブジェクト内で指定されない編集を提示してよい。例えば、第１ユーザは、コメントの前の開き括弧及びコメントの後の閉じ括弧を含むようフォーマットされた行内のコメントを挿入されてよい。マークアップ認識サービス１３２は、トレーニングされた機械学習モデルを実装して、コメントをマークするために使用される特殊文字に基づき行内のコメントを認識してよい。別の実施形態では、マークアップ認識サービス１３２は、電子マークアップ文書からのコンテンツを元の電子文書のコンテンツと比較することにより、マークされていない編集を識別するよう構成されてよい。追加された文字又は削除された文字のような変更されたコンテンツは、コンテンツ提案としてマークされてよい。
決定ブロック４０６で、文書管理システム１００は、注釈を生成するために分析すべき残りのマークアップがあるか否かを決定してよい。一実施形態では、文書管理サービス１０５は、識別されたマークアップの各々を繰り返し分析するよう構成されてよい。文書管理サービス１０５が、分析すべき残りのマークアップがあると決定した場合、文書管理サービス１０５はブロック４０８に進んでよい。しかしながら、分析すべき残りのマークアップが存在しない場合、文書管理サービス１０５はブロック４１２に進んでよい。
ブロック４０８で、文書管理システム１００は元の電子文書から、特定マークアップに対応する文書部分を識別する。一実施形態では、文書管理システム１００は、１つ以上の機械学習モデルを実装して、元の電子文書の文書種類を識別し、セクション、フレーズ、特定キーワード、及び任意の他のコンテンツ固有部分に対応する、元の電子文書内の特定文書部分を識別し、特定マークアップと元の電子文書の特定文書部分との間の相関を決定してよい。
一実施形態では、コンテンツ認識サービス１３１は、文書からの元の電子文書を分析して、文書種類を決定してよい。文書種類は、それぞれ固有の用語、フレーズ、フォーマットを有してよい。これらは、特定のマークアップがどのように解釈され、文書部分と相関するかを決定するのを助けるために使用されてよい。一実施形態では、コンテンツ認識サービス１３１は、電子文書の文書種類、及び元の電子文書の特定文書部分を決定するよう構成された機械学習モデルを実装してよい。機械学習モデルは、入力として、電子文書からの元のコンテンツを受信してよく、電子文書の文書種類及び元のコンテンツからの識別された文書部分を出力してよい。
元の電子文書内の文書部分を決定すると、文書管理システム１００は、特定のマークアップと文書部分との間の相関を決定してよい。一実施形態では、コンテンツ相関サービス１３４は、電子マークアップと元の電子文書の文書部分との間の一致を識別してよい。
ブロック４１０で、文書管理システム１００は、マークアップ及びマークアップを生成したユーザの第１ユーザＩＤを含む、特定マークアップについての注釈を生成してよい。注釈は、マークアップの文字転写を含む吹き出しコメントのような可視性コメント、又は提案された変更を記述する吹き出し変更により追跡された変更として表現され得る提案された編集のように表現されてよい。例えば、マークアップ種類がコメントであると決定された場合、注釈は可視性コメントとして表現されてよい。しかしながら、マークアップが提案された編集である場合、注釈は、吹き出しコメント内に、マークアップ認識サービス１３２により決定された信頼スコアに基づき、追跡された変更及び／又は提案された編集として表現されてよい。
図５は、識別されたマークアップを表す注釈と共に表示された電子文書の例示的な実施形態を示す。文書５０５は、文書レビュー会議中にレビューされた電子文書を表してよい。注釈５１０は、文書５０５内の画像に対応する文書部分に対応するコメント型の注釈を表してよい。注釈５１０は、「写真を別のものに変える」（Change the picture to the alternative）と記述する文字を含んでよく、電子マークアップ文書から電子コメント内で提供された別の写真へのリンクを含んでよい。注釈５１０は、「Jane Doe」のような第１ユーザＩＤを表示する。
注釈を生成すると、文書管理システム１００は、決定ブロック４０６に戻ってよい。決定ブロック４０６で、文書管理システム１００は、注釈を生成するために分析すべき残りのマークアップがあるか否かを決定してよい。分析すべき残りのマークアップがある場合、文書管理システム１００は、ブロック４０８及び４１０に進み、現在のマークアップに対応する文書部分を識別し、現在のマークアップについての注釈を生成してよい。
一実施形態では、ブロック４０２～４１０は、コンテンツ受信サービス１１０により受信された各電子文書について繰り返されてよい。例えば、文書レビュー会議の後に、複数のレビュアーは、彼らの提案したマークアップを、電子文書の形式で、コンテンツ受信サービス１１０に提出してよい。文書管理サービス１０５は、電子文書の各々をそれらが受信されると繰り返し処理することにより、受信した電子文書の各々を管理してよい。
決定ブロック４０６で、識別されたマークアップの全部が分析されると、文書管理システム１００は、ブロック４１２に進み、電子的形式で、ディスプレイウインドウ内に、生成された注釈と共に元の電子文書を表示してよい。一実施形態では、文書管理サービス１０５は、文書提示サービス１５０と通信して、クライアントコンピューティング装置上のディスプレイウインドウ内に１つ以上の生成された注釈と共に元のコンテンツを表示するグラフィカルユーザインタフェースを生成してよい。グラフィカルユーザインタフェースは、限定ではないが、電子文書の元のコンテンツ、表示された特定文書の文書部分に関連付けられた生成された注釈、及び注釈に関連付けられた適用された提案された編集を、特定文書の元のコンテンツの表示に重ね合わさせて表示することを含んでよい。一実施形態では、文書管理サービス１０５は、レビューされた１つ以上の文書の各々のコピーをデータレポジトリ１７０に格納してよい。
Ｃ．提案を含むメディアコンテンツアイテムの処理
多くの専門的及び学術的機関は、１つ以上の文書に対する変更を議論し提案するために、文書レビュー会議を行うことがある。文書レビュー会議は、レビュアー間の正式な会議、レビュアー間のアドホック会議、レビュアー間の電話及びテレビ会議を含んでよい。例えば、レビュアーJane Doeが、文書Ａを議論するためにJohn Smithとの電話呼を開始した場合、電話呼は、文書レビュー会議として考えられてよい。文書レビュー会議中、レビュアーは、文書に対する変更又は変更の提案を口頭で議論してよい。レビュアーは、ホワイトボード、黒板、対話型プロジェクタ、及び他の対話型装置上でメモを生成してもよい。文書提案は、ホワイトボード又は他の装置において口頭で又は書面で行われたかに拘わらず、提案をメディアコンテンツアイテムとしてキャプチャすることにより保存されてよい。メディアコンテンツアイテムは、限定ではないが、文書レビュー会議の録音されたオーディオ、文書レビュー会議の録画されたビデオ、文書レビュー会議からのメモの写真、及びプロジェクタ、対話型ホワイトボード機器（Interactive Whiteboard Appliance：IWB）、又は任意の他のメディア装置からのキャプチャされたスクリーンショット、を含む様々な異なる種類のメディアコンテンツを表してよい。
ＩＷＢは、一連のスタイラスペン入力の形式で、ＩＷＢディスプレイ上のユーザ入力をキャプチャするよう構成されてよい。例えば、スタイラスペンが、ＩＷＢディスプレイ上でマークを生成するために使用されるとき、ＩＷＢは、一連のデータオブジェクトを生成してよい。ここで、各オブジェクトは、タイムスタンプと、ＩＷＢがスタイラスペンを検出したＩＷＢディスプレイ上の位置に対応する（ｘ，ｙ）座標と、を含む。一連のデータオブジェクトは、スタイラスペンストロークの経路に対応してよい。別の例では、スタイラスペンストロークの経路は、ベジエ曲線点により表されてよい。ベジエ曲線は、経路をモデル化するために、コンピュータグラフィックで使用されるパラメトリック曲線を表す。一実施形態では、生成されたマークに対応する一連のデータオブジェクトは、スクリーンショットの座標と一緒にＩＷＢディスプレイのスクリーンショットも含み得るメディアコンテンツアイテムにパッケージ化されてよい。例えば、ＩＷＢからのキャプチャされたコンテンツを表すメディアコンテンツアイテムは、ＩＷＢディスプレイのスクリーンショットをスクリーンショット内の対応するピクセル座標と共に、及びスタイラスペンのような入力装置から生成されたマークに対応する一連のオブジェクトを、含んでよい。
一実施形態では、文書管理システム１００は、レビュー中の１つ以上の文書についてのコンテンツ提案を含むメディアコンテンツアイテムを受信することにより、文書レビュー会議において提案をキャプチャする際に支援するために使用されてよい。例えば、文書レビュー会議は、オーディオレコーダ又はビデオデコーダを用いて記録されてよい。記録は、文書管理システム１００により受信され得る、レビュー会議のメディアコンテンツアイテムを表してよい。文書管理システム１００は、次に、受信したメディアコンテンツアイテムを分析し、レビュー中文書についての１つ以上のコンテンツ提案を決定してよい。１つ以上のコンテンツ提案は、注釈を生成し、レビュー中文書の中の文書部分に生成された注釈を関連付けるために使用されてよい。
図６は、メディアコンテンツアイテムから提案された変更に基づき注釈を生成し、対応する提案された変更を含む更新された電子文書を生成するアプローチを示すフロー図である。処理６００は、単一のプログラム又は複数のプログラムにより実行されてよい。図６に示すような処理の動作は、コンピュータメモリに格納されたプロセッサ実行可能命令を用いて実装されてよい。より明確な例を提供することを目的として、図６の動作は、文書管理システム１００のサービスにより実行されるとして説明される。明確化の目的で、処理６００は単一のエンティティの観点で説明される。
ブロック６０２で、文書管理システム１００は、１人以上のユーザによる１つ以上の電子文書の議論からキャプチャされたコンテンツを表す１つ以上のメディアコンテンツアイテムを受信してよい。一実施形態では、コンテンツ受信サービス１１０は、１つ以上の文書の文書レビュー会議からのキャプチャされたコンテンツを含むメディアコンテンツアイテムを受信してよい。例えば、メディアコンテンツアイテムは、文書レビュー会議からの、記録されたオーディオ、ビデオ、及びキャプチャされたスクリーンショットを含んでよい。キャプチャされたスクリーンショットは、デジタルカメラによりキャプチャされたデジタル画像、又はＰＤＦ（Portable Document File）、ＰＮＧ（Portable Network Graphics）ファイル、ＪＰＥＧファイル、又は文書レビュー会議中に生成されたメモ若しくはマークアップの画像を含み得る任意の他のファイルのようなデジタル画像ファイルを表してよい。例えば、レビュアーは、ＩＷＢ機器を用いて、ＩＷＢディスプレイスクリーン内に表示された文書に対するメモ及び他の文書マークアップを生成してよい。ＩＷＢは、ＩＷＢ上にスタイラスにより生成された書き込まれたメモを含む、レビュー中文書のＰＤＦコピーを生成してよい。会議の終わりに、ＩＷＢは、生成したＰＤＦファイルをコンテンツ受信サービス１１０にアップロードしてよい。
ブロック６０４で、文書管理システム１００は、１つ以上のメディアコンテンツアイテムから、１つ以上の文書内の文書部分を表すメディアコンテンツの部分を識別してよい。メディアコンテンツ部分は、オーディオクリップ、ビデオクリップ、画像のコピー、又は任意の他のメディアコンテンツアイテムの部分集合のような、メディアコンテンツアイテムの部分集合を表してよい。一実施形態では、文書管理システム１００は、会話認識サービス１３３を用いて、メディアコンテンツアイテムの各々を分析して、レビューされた文書内の文書部分を表すメディアコンテンツ部分を識別してよい。例えば、会話認識サービス１３３は、レビューされる文書の、特定の単語、フレーズ、章に対する編集に関して話しているユーザのオーディオクリップを識別してよい。
一実施形態では、会話認識サービス１３３は、コメント又は提案された編集のいずれかのコンテンツ提案を示すメディアコンテンツ部分を識別するよう構成される機械学習モデルを実装してよい。機械学習モデルは、入力として、オーディオを含むメディアコンテンツアイテムを受信してよい。機械学習モデルは、メディアコンテンツアイテム内の検出された会話を分析し、会話を文字に変換してよい。文字は、次に、レビューされた文書の提案された編集を示し得る特定の単語又はフレーズについて分析されてよい。例えば、「the word... is duplicated」、「we need more examples」、「the introduction is too short」、「the word... is misspelled」、「could you update figure X」のような発言は、特定のメディアコンテンツ部分が文書についての提案又は編集に関連することを示してよい。機械学習モデルは、次に、コメント又は提案された編集のようなコンテンツ提案種類を、会話の変換された文字に基づき割り当ててよい。機械学習モデルは、「on the second page」、「the final paragraph」、「the sentence starting with」、等のような文書内の位置を示し得る発言も識別してよい。機械学習モデルの出力は、レビューされた文書についての可能性のある提案された編集として識別されたメディアコンテンツ部分のセットを含んでよい。
一実施形態では、機械学習モデルは、会話を分析して話者の識別情報を決定するよう更に構成されてよい。機械学習モデルは、従業員の会話クリップを用いてトレーニングされて、話者の識別情報を決定してよい。例えば、機械学習モデルは、頻度、ピッチ、及び他のオーディオ品質を分析して、会話のオーディオクリップが既知の従業員又は他の参加者の音声品質と一致するかどうかを決定してよい。
一実施形態では、受信したメディアコンテンツアイテムが、ビデオ、スクリーンショット、又はマークアップの画像を含む画像ファイルを含むメディアコンテンツを含む場合、文書管理システム１００は、マークアップ認識サービス１３２を用いて、提案された編集に対応するマークを識別してよい。マークアップ認識サービス１３２は、マークの意味を決定するために、手書きマークのようなマークを分析してよい。上述のように、マークアップ認識サービス１３２は、機械学習モデルを実装して、マーク、及びメディアコンテンツアイテムからのマークの意味を決定してよい。ビデオの例では、文書管理システム１００は、マークアップ認識サービス１３２及び会話認識サービス１３３の両方を用いて、ビデオによりキャプチャされたマーク及びビデオのオーディオによりキャプチャされたメディアコンテンツ部分から、提案された編集を識別してよい。
図６を参照すると、決定ブロック６０６で、文書管理システム１００は、分析されるべきメディアコンテンツ部分が存在するか否かを決定してよい。注釈を生成するために分析されるべきメディアコンテンツ部分が存在する場合、文書管理システム１００は、メディアコンテンツ部分からメディアコンテンツ部分を選択し、ブロック６０８に進んでよい。しかしながら、分析されるべき更なるメディアコンテンツ部分が存在しない場合、文書管理システム１００は、ブロック６１２に進み、生成された注釈を含む１つ以上の更新された電子文書を生成してよい。
ブロック６０８で、文書管理システム１００は、１つ以上の電子文書の電子文書部分から、メディアコンテンツ部分に対応する文書部分を識別してよい。一実施形態では、文書管理システム１００は、１つ以上の機械学習モデルを実装して、１つ以上の文書の各々の文書種類を識別し、セクション、フレーズ、特定キーワード、及び任意の他のコンテンツ固有部分に対応する、１つ以上の文書内の特定文書部分を識別し、メディアコンテンツ部分と文書部分との間の相関を決定してよい。
一実施形態では、文書管理サービス１０５は、どの文書がレビューされたかを、文書レビュー会議のまとめ役のようなユーザにより選択された文書ファイル名に基づき、又は受信したメディアコンテンツアイテムを分析してレビューされた文書のファイル名を識別することにより、決定してよい。一実施形態では、コンテンツ認識サービス１３１は、レビューされた１つ以上の文書のコンテンツを分析して、文書種類、及び各レビューされた文書の文書部分を決定してよい。コンテンツ認識サービス１３１は、文書のコンテンツを入力として用いて各文書の文書種類を決定するよう構成された機械学習モデルを実装してよい。機械学習モデルは、メディアコンテンツアイテムからのコンテンツ提案を文書内の位置に相関し得る、文書からの文書部分を識別するよう構成されてよい。
一実施形態では、文書管理サービス１０５は、メディアコンテンツ部分及び１つ以上の電子文書から識別された文書部分を、文書部分とメディアコンテンツ部分との間の相関を決定するために、コンテンツ相関サービス１３４に送信してよい。コンテンツ相関サービス１３４に送信されたメディアコンテンツ部分は、会話認識サービス１３３からの変換された文字及びその元の形式でメディアコンテンツ部分を含むデータオブジェクトの形式であってよい。文書部分は、各文書部分に関連付けられた電子文書、電子文書に関連付けられた文書種類、及びメディアコンテンツ部分と文書部分との間の一致を見付けるのに支援するために使用され得る任意の他の文書固有情報を定める、メタデータのような追加特性データを含んでよい。
一実施形態では、コンテンツ相関サービス１３４は、変換された文字と文書部分との間の一致を決定するよう構成された機械学習モデルを使用してよい。例えば、メディアコンテンツ部分の変換された文字が「要約の最初の文を書き換えてください」（Please reword the first sentence of the abstract）を含む場合、機械学習モデルは、電子文書の要約部分の第１文に対応する一致する文書部分が存在するか否かを決定してよい。機械学習モデルは、「要約」（abstract）のようなメディアコンテンツ部分内のキーワードを識別し、要約のキーワードが特許出願文書種類の中の章を参照することを決定してよい。機械学習モデルは、次に、要約のキーワードを用いて、一致する文書種類に基づき文書部分をフィルタリングしてよい。さらに、複数の文書種類が要約の章を有する場合、機械学習モデルは、一致する文書種類に関連付けられた各文書部分を分析してよい。コンテンツ相関サービス１３４は、文書管理サービス１０５に、メディアコンテンツ部分への参照及び一致する文書部分を送信してよい。対応する文書部分は、文書部分への参照、及び／又は一致する文書部分に対応する電子文書内の前後関係に依存する（positional）位置であってよい。
ブロック６１０で、文書管理システム１００は、メディアコンテンツ部分を表す注釈を生成し、注釈を、メディアコンテンツ部分に対応する文書部分に関連付けてよい。一実施形態では、注釈生成サービス１２０は、以下：メディアコンテンツ部分の文字転写、文字転写に関連付けられた信頼スコア、注釈がコメントか提案された編集かを指定する注釈種類、メディアコンテンツ部分へのリンク、のうちのいずれかを含むメディアコンテンツ部分の注釈を生成してよい。注釈種類は、メディアコンテンツ部分について決定された提案種類に基づいてよい。例えば、提案種類がコメントである場合、生成された注釈は吹き出しコメントであってよい。しかしながら、提案種類が提案された編集である場合、注釈は提案された編集として表示されてよい。
図７は、識別されたメディアコンテンツ部分を表す注釈と共に表示された電子文書の例示的な実施形態を示す。文書７０５は、文書レビュー会議中にレビューされた文書を表してよい。注釈７１０は、文書７０５内の文書部分「AI Ricoh Interactive Assistance Service」に対応するに対応するコメント型の注釈を表してよい。注釈７１０は、「今年はＲＡＩＳが説明されるべきかどうか、マーケティングにより調べる」（Check with marketing if RAIS should be demonstrated this year）の文字転写、及び文字転写を参照するメディアコンテンツ部分を含むメディアコンテンツアイテムへのリンクを含んでよい。一実施形態では、メディアコンテンツアイテムへのリンクは、ユーザにより選択されると、メディアコンテンツ部分の位置にキューに入れられたメディアプレイヤプログラムを開始させてよい。例えば、ユーザが注釈７１０内のリンクを選択すると、メディアプレイヤプログラムが起動してよく、メディアコンテンツ部分にキューに入れられてよい。
注釈７１５は、単語「exciting」を単語「amazing」で置き換えるために提案された編集の注釈を表す。文字転写は、「「exciting」を「amazing」で置き換える」（Replace: “exciting” with “amazing）を表示してよい。関連付けられた信頼スコアが特定信頼スコア閾より高い場合、注釈７１５の提案された編集は、図７に示されるように、文書７０５内の文書部分に適用されてよい。
一実施形態では、注釈生成サービス１２０は、提案が行われ及び／又は議論されたときを識別するために使用され得る会議固有情報により、注釈を更新してよい。例えば、注釈生成サービス１２０は、会議名、会議日時、会議場所、及び会議出席者のような、文書レビュー会議の詳細事項を含むよう注釈を更新してよい。会議特性の各々は、文書のグラフィカルディスプレイ内に表示され得る注釈をフィルタリングするために使用されてよい。
一実施形態では、会話認識サービス１３３は、メディアコンテンツアイテムを分析するとき、ユーザの音声が会話認識サービス１３３により識別された場合、特定ユーザを識別されたメディアコンテンツ部分に関連付けてよい。ユーザ識別情報は、会話認識サービス１３３内の機械学習モデルをトレーニングするために使用される履歴及び／又はトレーニングメディアコンテンツアイテムに基づいてよい。会話認識サービス１３３が、特定ユーザをメディアコンテンツ部分の中の会話に関連付ける場合、注釈生成サービス１２０は、話者として識別されたユーザのユーザＩＤを含むよう、生成された注釈を更新してよい。しかしながら、ユーザが識別されない場合、注釈生成サービス１２０は、グローバルユーザＩＤ、企業ＩＤ、又は特定企業の及び／又は文書レビュー会議を行った部門の部門ＩＤを含むよう、生成された注釈を更新してよい。
一実施形態では、文書所有者又は文書レビュアーのようなユーザは、注釈をレビューするとき、メディアコンテンツ部分に基づく注釈にユーザＩＤを割り当てるよう、注釈特性を更新してよい。例えば、James Smithが会議中に提案を行ったユーザである場合、ユーザJane Doeは、James SmithのユーザＩＤを注釈７１０に割り当てるよう、注釈７１０を更新してよい。別の実施形態では、複数のユーザが注釈７１０に関連する議論に従事した場合、ユーザJane Doeは、議論に参加したユーザの各々を含むよう、注釈７１０を更新してよい。
注釈を生成すると、文書管理システム１００は、決定ブロック６０６に進み、分析される必要のある追加メディアコンテンツ部分が存在するか否かを決定してよい。分析されるべき追加メディアコンテンツ部分が存在する場合、文書管理システム１００は、ブロック６０８及び６１０を繰り返して、メディアコンテンツ部分の各々について注釈を生成してよい。決定ブロック６０６で、分析されるべき追加メディアコンテンツ部分が存在しない場合、文書管理システム１００はブロック６１２に進んでよい。
ブロック６１２で、文書管理システム１００は、ディスプレイウインドウ内に電子的形式で、生成された注釈と共に１つ以上の文書を表示してよい。一実施形態では、文書管理サービス１０５は、文書提示サービス１５０と通信して、クライアントコンピューティング装置上のディスプレイウインドウ内に１つ以上の生成された注釈と共に元のコンテンツを表示するグラフィカルユーザインタフェースを生成してよい。グラフィカルユーザインタフェースは、限定ではないが、文書の元のコンテンツ、表示された特定文書の文書部分に関連付けられた生成された注釈、及び注釈に関連付けられた適用された提案された編集を、特定文書の元のコンテンツの表示に重ね合わさせて表示することを含んでよい。
一実施形態では、文書管理サービス１０５は、レビューされた１つ以上の文書の各々のコピーをデータレポジトリ１７０に格納してよい。文書の格納されたコピーは、各対応する文書に関連付けられた生成された注釈の各々を含んでよい。
Ｄ．追加提案による注釈の更新
一実施形態では、文書管理システム１００は、既存の注釈を既に有する元のコンテンツの文書部分を参照するマークアップを含む、メディアコンテンツアイテム、電子文書、及び物理文書から提案を受信してよい。例えば、特定文書部分は、導入部分の第１文を表してよく、文書管理システム１００は、コメントを含む注釈を特定文書部分に以前に関連付けていてよい。文書管理システム１００は、次に、導入部分の第１文を参照する同じ文書部分についての別の提案されたコメントを含むメディアコンテンツアイテムを受信してよい。文書管理システム１００は、メディアコンテンツアイテムからのコメントが既存の注釈に関連するか否かを決定してよい。関連する場合、文書管理システム１００は、メディアコンテンツアイテムからのコメントを含むよう注釈を更新してよい。
図４と共に説明したように、文書管理システム１００は、１つ以上のマークアップされた電子文書を受信し、１つ以上のマークアップされた電子文書からの受信した提案に基づき、注釈を生成してよい。文書管理システム１００は、１つ以上のマークアップされた電子文書を分析し、１つ以上のマークアップされた電子文書の中で提案されたマークアップの各々について注釈を生成してよい。文書管理システム１００は、生成した注釈を、更新された電子文書の部分としてデータレポジトリ１７０に格納してよい。一実施形態では、生成した注釈は、データレポジトリ１７０内に別個の注釈オブジェクトとして格納されてもよい。
図８は、メディアコンテンツアイテムから提案された変更に基づき既存の注釈を更新し、対応する提案された変更を含む更新された電子文書を生成するアプローチを示すフロー図である。処理８００は、単一のプログラム又は複数のプログラムにより実行されてよい。図８に示すような処理の動作は、コンピュータメモリに格納されたプロセッサ実行可能命令を用いて実装されてよい。より明確な例を提供することを目的として、図８の動作は、文書管理システム１００のサービスにより実行されるとして説明される。明確化の目的で、処理８００は単一のエンティティの観点で説明される。
ブロック８０２で、文書管理システム１００は、１人以上のユーザによる電子文書の議論からキャプチャされたコンテンツを表す１つ以上のメディアコンテンツアイテムを受信してよい。一実施形態では、コンテンツ受信サービス１１０は、電子文書の文書レビュー会議の記録を表すメディアコンテンツアイテムを受信してよい。メディアコンテンツアイテムの例は、文書レビュー会議からの、記録されたオーディオ、ビデオ、及びキャプチャされたスクリーンショットを含む。コンテンツ受信サービス１１０は、指定されたウェブサイトへの直接アップロードから、文書管理システム１００に関連付けられた特定電子メールアカウントへ送信された電子メールから、又はBox、Google Drive、Drop Box又は任意の他のネットワークストレージサービスのようなネットワークストレージサービスに関連付けられたネットワーク位置から、メディアコンテンツアイテムを受信してよい。
別の実施形態では、コンテンツ受信サービス１１０は、電子文書について提案された変更を含む、メディアコンテンツアイテム以外のファイルを受信してよい。例えば、コンテンツ受信サービス１１０は、追加のマークアップされた電子文書、マークアップされた物理文書のスキャンされたバージョン、及び電子文書に対する提案された変更に対応するマークアップを含み得る任意の他の種類のファイルを受信してよい。
ブロック８０４で、文書管理システム１００は、受信したメディアコンテンツアイテムから、電子文書についてのコンテンツ提案に対応するメディアコンテンツ部分を識別してよい。メディアコンテンツ部分は、オーディオクリップ、ビデオクリップ、画像のコピー、又は任意の他のメディアコンテンツアイテムの部分集合のような、メディアコンテンツアイテムの部分集合を表してよい。一実施形態では、文書管理システム１００は、会話認識サービス１３３を用いて、メディアコンテンツアイテムの各々を分析して、レビューされた文書内の文書部分を表すメディアコンテンツ部分を識別してよい。例えば、会話認識サービス１３３は、レビューされる文書の、特定の単語、フレーズ、章に対する編集に関して話しているユーザのオーディオクリップを識別してよい。
一実施形態では、会話認識サービス１３３は、電子文書に対する提案された変更を示すメディアコンテンツ部分を識別するよう構成される機械学習モデルを実装してよい。機械学習モデルは、入力として、オーディオを含むメディアコンテンツアイテムを受信してよい。機械学習モデルは、メディアコンテンツアイテム内の検出された会話を分析し、会話を文字に変換してよい。文字は、次に、レビューされた文書に対するコンテンツ提案を示し得る特定の単語又はフレーズについて分析されてよい。機械学習モデルは、「on the second page」、「the final paragraph」、「the sentence starting with」、等のような文書内の位置を示し得る発言も識別してよい。機械学習モデルの出力は、レビューされた文書についての可能性のある提案された編集として識別されたメディアコンテンツ部分のセットを含んでよい。
一実施形態では、会話認識サービス１３３により実装される機械学習モデルは、識別されたメディアコンテンツ部分のセットの文字転写に信頼スコアを割り当てるよう構成されてよい。ここで、信頼スコアは、変換の正確さの値を表す。信頼スコアの決定は、メディアコンテンツ部分内の会話の明確さ、及び機械学習モデルがメディアコンテンツ部分内の話された会話に変換された単語及びフレーズをどれだけ良好に一致させることができるか、に基づいてよい。
一実施形態では、受信したメディアコンテンツアイテムが、ビデオ、スクリーンショット、又はマークアップの画像を含む画像ファイルを含むメディアコンテンツを含む場合、文書管理システム１００は、マークアップ認識サービス１３２を用いて、提案された編集に対応するマークを識別してよい。マークアップ認識サービス１３２は、マークの意味を決定するために、手書きマークのようなマークを分析してよい。上述のように、マークアップ認識サービス１３２は、機械学習モデルを実装して、マーク、及びメディアコンテンツアイテムからのマークの意味を決定してよい。ビデオの例では、文書管理システム１００は、マークアップ認識サービス１３２及び会話認識サービス１３３の両方を用いて、ビデオによりキャプチャされたマーク及びビデオのオーディオによりキャプチャされたメディアコンテンツ部分から、提案された編集を識別してよい。別の実施形態では、受信したファイルがマークアップされた電子文書又はマークアップされた物理文書を含む場合、文書管理システム１００は、マークアップ認識サービス１３２を用いて、提案された編集に対応するマークを識別してよい。
決定ブロック８０６で、文書管理システム１００は、分析されるべきメディアコンテンツ部分が存在するか否かを決定してよい。注釈を生成するために分析されるべきメディアコンテンツ部分が存在する場合、文書管理システム１００は、メディアコンテンツ部分からメディアコンテンツ部分を選択し、ブロック８０８に進んで、選択したメディアコンテンツ部分を分析してよい。しかしながら、分析されるべき更なるメディアコンテンツ部分が存在しない場合、文書管理システム１００は、ブロック８１４に進み、更新された注釈を含む更新された電子文書を生成してよい。
ブロック８０８で、文書管理システム１００は、電子文書の文書部分から、メディアコンテンツ部分に対応する文書部分を識別してよい。一実施形態では、文書管理システム１００は、１つ以上の機械学習モデルを実装して、文書の文書種類を識別し、セクション、フレーズ、特定キーワード、及び任意の他のコンテンツ固有部分に対応する、文書内の特定文書部分を識別し、メディアコンテンツ部分と文書部分との間の相関を決定してよい。
一実施形態では、図６のブロック６６０８と同様に、文書管理システム１００は、電子文書の文書部分から、メディアコンテンツ部分に対応する文書部分を識別してよい。一実施形態では、文書管理システム１００は、１つ以上の機械学習モデルを実装して、１つ以上の文書の各々の文書種類を識別し、セクション、フレーズ、特定キーワード、及び任意の他のコンテンツ固有部分に対応する、１つ以上の文書内の特定文書部分を識別し、メディアコンテンツ部分と文書部分との間の相関を決定してよい。
一実施形態では、文書管理サービス１０５は、メディアコンテンツ部分及び電子文書から識別された文書部分を、文書部分とメディアコンテンツ部分との間の相関を決定するために、コンテンツ相関サービス１３４に送信してよい。コンテンツ相関サービス１３４は、変換された文字と文書部分との間の一致を決定するよう構成された機械学習モデルを使用してよい。コンテンツ相関サービス１３４は、文書管理サービス１０５に、メディアコンテンツ部分への参照及び一致する文書部分を送信してよい。対応する文書部分は、文書部分への参照、及び／又は一致する文書部分に対応する電子文書内の前後関係に依存する（positional）位置であってよい。
ブロック８１０で、文書管理システム１００は、ブロック８０８で識別された文書部分が既存の注釈に関連付けられると決定してよい。一実施形態では、文書管理サービス１０５は、既存の注釈が識別された文書部分に関連付けられるか否かを決定するために、データレポジトリ１７０からの既存の格納された注釈にアクセスしてよい。例えば、識別された文書部分が文書「exampleDoc.doc」の第１段落にある用語「AI Ricoh Interactive Assistance Service」に対応する場合、文書管理サービスは、データレポジトリ１７０からの既存の格納された注釈にアクセスして、「AI Ricoh Interactive Assistance Service」についての既存の注釈が存在するか否かを決定してよい。データレポジトリ１７０内に既存の注釈が存在する場合、文書管理サービス１０５は、注釈を識別し、ブロック８１２に進んで、既存の注釈を更新してよい。
一実施形態では、文書管理サービス１０５は、既存の注釈に関連付けられた文書部分を分析して、既存の注釈の関連付けられた文書部分が、メディアコンテンツ部分の識別された文書部分に対応するか否かを決定してよい。上述のように、文書部分は、単語、フレーズ、文、画像、段落、及び章を表してよい。既存の注釈に関連付けられた文書部分が特定段落に対応し、メディアコンテンツ部分の識別された文書部分が特定段落内の単語又はフレーズに対応する場合、文書管理サービス１０５は、文書部分が重なり合っていたとしても、２つの文書部分が文書の別個の部分を表すと決定してよい。文書管理サービス１０５は、次に、注釈生成サービス１２０に、対応するメディアコンテンツ部分について別個の注釈を生成するよう要求を送信してよい。一実施形態では、文書管理サービス１０５は、文書部分が同じ部分に対応することを決定するために、２つの文書部分の間の重なり合いの量が閾を超えるか否かを決定するよう構成されてよい。例えば、閾は６０％の重なり合いに設定されてよい。ここで、２つの文書部分は、同じ文書部分と見なされるためには、６０％以上重なり合わなければならない。前述の例では、既存の注釈に関連付けられた文書部分が完全な段落に対応し、メディアコンテンツ部分に関連付けられた文書部分が段落内の文に対応し、文が段落の６０％未満を構成する場合、文書管理サービス１０５は、閾が満たされず、既存の注釈がメディアコンテンツ部分と重なり合っていると見なされないことを決定してよい。一実施形態では、文書部分の重なり合いを決定するための閾値は、０～１００の間の任意の重なり合い値に設定されてよい。
ブロック８１２で、文書管理システム１００は、既存の注釈をメディアコンテンツ部分に基づき更新する。一実施形態では、文書管理サービス１０５は、既存の注釈をメディアコンテンツ部分に基づき更新してよい。更新は、以下：メディアコンテンツ部分の文字転写、文字転写に関連付けられた信頼スコア、及びメディアコンテンツ部分へのリンク、のうちのいずれかを注釈オブジェクトに追加することを含んでよい。
一実施形態では、文書管理サービス１０５は、既存の注釈種類及びメディアコンテンツ部分について決定された提案種類が同じか否かを決定してよい。既存の注釈種類及びメディアコンテンツ部分の提案種類が同じ場合、文書管理サービス１０５は、注釈生成サービス１２０に、既存の注釈を更新するための要求を送信してよい。しかしながら、既存の注釈種類及びメディアコンテンツ部分の提案種類が同じではない場合、文書管理サービス１０５は、注釈生成サービス１２０に、メディアコンテンツ部分についての新しい注釈を生成するための要求を送信してよい。文書管理サービス１０５は、異なる種類の提案を明確に識別するために、異なる提案種類がユニークな注釈により表されることを保証してよい。
一実施形態では、文書管理サービス１０５は、既存の注釈種類に関連付けられたユーザＩＤが、メディアコンテンツ部分に関連付けられたユーザＩＤと同じであるか否かを決定してよい。既存の注釈種類に関連付けられたユーザＩＤがメディアコンテンツ部分に関連付けられたユーザＩＤがと同じ場合、文書管理サービス１０５は、注釈生成サービス１２０に、既存の注釈を更新するための要求を送信してよい。しかしながら、既存の注釈種類に関連付けられたユーザＩＤがメディアコンテンツ部分に関連付けられたユーザＩＤがと同じではない場合、文書管理サービス１０５は、注釈生成サービス１２０に、メディアコンテンツ部分についての新しい注釈を生成するための要求を送信してよい。文書管理サービス１０５は、各ユーザの提案を明確に表示する目的で、各ユーザＩＤのためにユニークな注釈の生成を要求してよい。さらに、ディスプレイウインドウ内に注釈を表示するとき、ユーザは、ユーザＩＤに基づき注釈をフィルタリングしてよい。したがって、注釈毎にユニークなユーザＩＤを有することはユーザによるフィルタリングを可能にし得る。
別の実施形態では、既存の注釈のユーザＩＤとメディアコンテンツ部分のユーザＩＤとが異なる場合、文書管理サービス１０５は、注釈生成サービス１２０に、メディアコンテンツ部分を含むように既存の注釈を更新するよう要求し、メディアコンテンツ部分が異なるユーザＩＤに関連付けられることを指定してよい。複数のユーザＩＤからのコンテンツを有する注釈は、ディスプレイウインドウ内でそのようにマークされ又は示されてよい。図７を参照すると、注釈７２０は、複数のユーザからのコンテンツを含む例示的な注釈である。注釈７２０は、用語「IFPD’s」に対応する文書部分に関連付けられる。注釈７２０は、２つのコメントを含む。第１のコメントは、文書レビュー会議に出席したリコーの従業員に対応する「Ricoh Reviewer」として識別され、メディアコンテンツアイテムによりキャプチャされた会話である。第２のコメントは、「Jane Doe」として識別され、マークアップされた電子文書に由来する。
ブロック８１４で、文書管理システム１００は、ディスプレイウインドウ内に電子的形式で、更新された注釈を有する電子文書、既存の注釈、及び新しく生成された注釈を表示してよい。一実施形態では、文書管理サービス１０５は、文書提示サービス１５０と通信して、クライアントコンピューティング装置上のディスプレイウインドウ内に１つ以上の更新された生成された注釈を有する電子文書を表示するグラフィカルユーザインタフェースを生成してよい。グラフィカルユーザインタフェースは、限定ではないが、電子文書の元のコンテンツ、関連付けられた注釈、及び注釈に関連付けられたマークアップを、元のコンテンツのディスプレイに重ね合わせて表示することを含んでよい。
図７を参照すると、レビュアードロップダウンリスト７３０は、電子文書について提案を提供した利用可能なレビュアーのドロップダウンリストを提示してよい。Jane Doeのような特定レビュアーが、レビュアードロップダウンリスト７３０から選択された場合、グラフィカルユーザインタフェースは、レビュアーJane Doeに関連付けられたマークアップ及び注釈を表示してよい。一実施形態では、文書提示サービス１５０は、複数のユーザのうちの１人がレビュアードロップダウンリスト７３０から選択されると、複数のユーザに関連付けられた特定の注釈を表示するよう構成されてよい。例えば、レビュアーJane Doeがレビュアードロップダウンリスト７３０から選択された場合、注釈７２０がJane Doe及びRicoh Reviewerからの提案を含む場合でも、文書提示サービス１５０は、注釈７２０を表示してよい。
別の実施形態では、文書提示サービス１５０は、レビュアードロップダウンリスト７３０から選択された特定ユーザからの注釈のコメントのみを表示するよう構成されてよい。例えば、Jane Doeがレビュアードロップダウンリスト７３０から選択されると、文書提示サービス１５０は、「ＩＦＰＤは何の略ですか？展開できるかも？」（What does IFPD stand for? Maybe expand?）を含む、Jane Doeに関連付けられたコメントだけを表示してよい。更に別の実施形態では、文書提示サービス１５０は、選択された特定ユーザからの注釈のコメント及び公衆ユーザコメントを表示するよう構成されてよい。公衆ユーザコメントは、「Ricoh Reviewer」のような一般ユーザＩＤ、又は公開されるよう構成された任意の他のグループユーザＩＤに関連付けられたコメントを含んでよい。
Ｅ．第三者注釈要求の生成
レビュー中の電子文書は、文書管理システム１００以外のシステムにより管理されてよい。例えば、電子文書は、GoogleによるG－Suite又は任意の商用利用可能な又はプライベートに管理された文書管理システムのような、外部文書管理システムにより管理されてよい。文書管理システム１００は、様々な入力からコンテンツ提案を識別し、提案の種類を決定し、レビュー中の電子文書を管理する外部文書管理システムへ送信され得る注釈生成要求を生成するよう構成されてよい。
図９は、コンテンツ入力から受信した提案に基づき注釈要求を生成するアプローチを示すフロー図である。処理９００は、単一のプログラム又は複数のプログラムにより実行されてよい。図９に示すような処理の動作は、コンピュータメモリに格納されたプロセッサ実行可能命令を用いて実装されてよい。より明確な例を提供することを目的として、図９の動作は、文書管理システム１００のサービスにより実行されるとして説明される。明確化の目的で、処理９００は単一のエンティティの観点で説明される。
ブロック９０２で、文書管理システム１００は、第三者管理システムにより管理される電子文書内のコンテンツについて提案されたコンテンツを表すコンテンツ入力を受信してよい。一実施形態では、コンテンツ受信サービス１１０は、電子文書内のコンテンツについての提案を含む、コンテンツ入力を受信してよい。コンテンツ入力は、電子文書内のコンテンツについての提案を含む任意の種類のメディアを表してよく、限定ではないが、マークアップされた物理文書、マークアップされた電子文書、オーディオ、ビデオ又は１つ以上のスクリーンショットの形式のメディアコンテンツアイテム、又はコンテンツに対する提案された変更を含む任意の他のファイル、を含む。コンテンツ受信サービス１１０は、指定されたウェブサイトへの直接アップロード、ネットワークストレージサービスに関連付けられたネットワーク位置へのリンク、又は任意の他の方法により、コンテンツ入力を受信してよい。
一実施形態では、文書管理サービス１０５は、受信したコンテンツ入力から、電子文書のコンテンツを決定してよい。例えば、受信したコンテンツ入力がマークアップされた電子文書である場合、文書管理サービス１０５は、マークアップ、コメント、又は追跡された変更を含まない文字に基づき、電子文書の元のコンテンツを決定してよい。別の実施形態では、文書管理サービス１０５は、第三者文書管理システムと通信して、電子文書の元のバージョンを読み出すことにより、電子文書の元のコンテンツを決定してよい。例えば、文書管理サービス１０５は、コンテンツ入力に与えられたファイル名から、元の電子文書の名称を決定してよい。他の例では、文書管理サービス１０５は、元の電子文書についての要求を、第三者文書管理システムに送信してよい。第三者文書管理システムは、元の電子文書のコピー、又は元の電子文書をダウンロードするためのリンクにより、応答してよい。
コンテンツ入力がコンテンツメディアアイテムを表す例では、文書管理サービス１０５は、コンテンツ入力の中のキャプチャされたコンテンツから、元の電子文書の名称を抽出してよい。例えば、コンテンツ入力がオーディオファイルである場合、文書管理サービス１０５は、レビュー中の電子文書のファイル名を表し得る発話された単語について、オーディオコンテンツを分析してよい。文書管理サービス１０５は、次に、元の電子文書についての要求を、第三者文書管理システムに送信してよい。
ブロック９０４で、文書管理システム１００は、電子文書に対する提案された変更を表す１つ以上のコンテンツ提案を識別してよい。一実施形態では、コンテンツ入力がマークアップされた電子文書である場合、文書管理サービス１０５は、先ず、電子マークアップ文書を読み出した元の電子文書からの元のコンテンツと比較して、電子マークアップ文書内の元のコンテンツを識別することにより、マークアップされた電子文書の中のマークアップとして、コンテンツ提案を識別してよい。文書管理サービス１０５は、識別された元のコンテンツと別個のコンテンツを識別することにより、電子マークアップ文書内のマークアップを識別してよい。
一実施形態では、文書管理サービス１０５は、マークアップの意味を決定するために、マークアップ認識サービス１３２を使用して、識別されたマークアップの各々を分析してよい。マークアップ認識サービス１３２は、機械学習モデルを実装して、マークアップの各々の意味を識別してよい。
一実施形態では、コンテンツ入力がメディアコンテンツアイテムである場合、文書管理サービス１０５は、コンテンツ入力から、電子文書内の文書部分を参照するコンテンツ提案を識別してよい。コンテンツ提案は、オーディオクリップ、ビデオクリップ、又は電子文書の部分を参照するスクリーンショットのクロップのような、メディアコンテンツ部分を表してよい。一実施形態では、文書管理サービス１０５は、会話認識サービス１３３を用いて、レビューされた文書の文書部分を表すコンテンツ提案へのコンテンツ入力を分析してよい。会話認識サービス１３３は、電子文書に対する提案された変更を示すコンテンツ提案を識別するよう構成される機械学習モデルを実装してよい。
一実施形態では、文書管理サービス１０５は、識別したコンテンツ提案の意味から、提案種類を決定してよい。例えば、コンテンツ入力がマークアップされた電子文書である場合、文書管理サービス１０５は、マークアップ認識サービス１３２を用いて、識別されたマークアップの意味に基づき提案種類を決定してよい。別の例では、コンテンツ入力がコンテンツアイテムである場合、文書管理サービス１０５は、会話認識サービス１３３を用いて、コンテンツ提案について変換された文字を決定し、変換された文字の意味に基づき提案種類を決定してよい。
一実施形態では、文書管理サービス１０５は、識別したコンテンツ提案に関連付けられたユーザのユーザＩＤを決定してよい。例えば、コンテンツ入力は、マークアップされた電子文書である場合、文書管理サービス１０５は、マークアップされた電子文書に関連付けられたメタデータ、例えば電子文書の作成者特性、又はマークアップされた電子文書に埋め込まれた特定コメントに関連付けられたユーザ名から、ユーザを決定してよい。コンテンツ入力がメディアコンテンツアイテムである場合、文書管理サービス１０５は、会話認識サービス１３３を用いて、特定のコンテンツ提案に対応する会話に関連付けられたユーザを決定してよい。
１つ以上のコンテンツ提案を識別すると、文書管理システム１００は、電子文書の元のコンテンツから対応する文書部分を決定するために、各コンテンツ提案を繰り返し分析してよい。決定ブロック９０６で、文書管理システム１００は、分析のために残りのコンテンツ提案があるか否かを決定してよい。分析されるべき残りのコンテンツ提案が存在する場合、文書管理システム１００は、コンテンツ提案を選択し、ブロック９０８に進んで選択したコンテンツ提案を分析してよい。しかしながら、分析されるべき更なるコンテンツ提案が存在しない場合、文書管理システム１００は、ブロック９１２に進み、１つ以上の生成された文書提案要求を第三者管理システムに送信してよい。
ブロック９０８で、文書管理システム１００は、電子文書の文書部分から、選択したコンテンツ提案に対応する文書部分を識別してよい。一実施形態では、文書管理システム１００は、１つ以上の機械学習モデルを実装して、電子文書の文書種類を識別し、セクション、フレーズ、特定キーワード、及び任意の他のコンテンツ固有部分に対応する、電子文書内の特定文書部分を識別し、メディアコンテンツ部分と文書部分との間の相関を決定してよい。
元の電子文書内の文書部分を決定すると、文書管理システム１００は、選択されたコンテンツ提案と文書部分との間の相関を決定してよい。一実施形態では、コンテンツ相関サービス１３４は、選択したコンテンツ提案と電子文書の文書から識別された文書部分の中の文書部分との間の一致を識別してよい。
ブロック９１０で、文書管理システム１００は、選択したコンテンツ提案についての文書提案要求を生成してよい。一実施形態では、注釈生成サービス１２０は、コンテンツ提案の文字転写、提案の種類、コンテンツ提案から決定されたユーザＩＤ、電子文書の文書部分に対応する電子文書位置、及びコンテンツ入力への電子リンクを含む、第三者互換文書提案要求を生成してよい。例えば、選択したコンテンツ提案が、電子文書内に記載された製品を対象とするコメントのメディアコンテンツアイテムからのオーディオクリップである場合、生成される文書提案要求は、オーディオクリップの文字転写、変換されたオーディオクリップから決定されたコメントのような提案種類、提案を行ったユーザを識別するユーザＩＤ、記載された製品の文書部分に対応する文書位置、及び特定オーディオクリップへのキューに入れられたメディアコンテンツアイテムへの電子リンクを含んでよい。
文書提案要求を生成すると、文書管理システム１００は、決定ブロック９０６に進んでよい。決定ブロック９０６で、文書管理システム１００は、分析されるべき残りのコンテンツ提案があるか否かを決定してよい。分析されるべき残りのコンテンツ提案がある場合、文書管理システム１００は、全てのコンテンツ提案が分析されるまで、ブロック９０８及び９１０を繰り返してよい。分析されるべき残りのコンテンツ提案がない場合、文書管理システム１００は、ブロック９１２に進んでよい。
ブロック９１２で、文書管理システム１００は、生成した文書提案要求を第三者管理システムに送信してよい。一実施形態で、文書管理サービス１０５は、ネットワーク１６０を介して、生成した文書提案要求を第三者管理システムに送信してよい。一実施形態では、コンテンツ入力がメディアコンテンツアイテムである場合、文書管理サービス１０５は、文書提案要求と一緒に、文書提案要求に対応するコンテンツ入力を送信してよい。例えば、文書提案要求がメディアコンテンツアイテムからのオーディオクリップに対応する場合、文書管理サービス１０５は、メディアコンテンツアイテムを、対応するオーディオクリップへメディアコンテンツアイテムをキューイングするメタデータと共に送信してよい。第三者管理システムは、対応するメディアコンテンツアイテムと一緒に文書提案要求を受信し、第三者管理システムに固有の注釈を生成してよい。例えば、第三者管理システムがGoogle G－Suiteである場合、Google G－Suiteは受信した文書提案要求に対するコメントを生成してよい。文書提案要求がメディアコンテンツアイテム参照を含む場合、対応するメディアコンテンツアイテムは、Google G－Suiteに格納されてよく、生成されたコメントは、格納されたメディアコンテンツアイテムへの電子リンクを有してよい。その結果、電子文書をレビューするユーザは、電子シンクを選択して、対応するオーディオクリップを聞くことができる。
Ｆ．会議要約文書の生成
多くの専門的及び学術的機関は、１つ以上の文書に対する変更を議論し提案するために、文書レビュー会議を行うことがある。文書レビュー会議は、レビュアー間の正式な会議、レビュアー間のアドホック会議、レビュアー間の電話又はテレビ会議を含んでよい。文書レビュー会議の間に、複数の異なる文書からのコンテンツをカバーし得る多くの異なるトピックが議論されてよい。要約会議文書は、文書レビュー会議の間にカバーされた異なる議題を記載してよい。例えば、１つのこのような議題は、複数の文書に関連する図をレビューすることであってよい。議題が複数の文書に及ぶときでも、各議題のメモを集めることは有用である。しかしながら、単一又は複数の記録係に依存することは、記録係が議論の幾つかの詳細事項を見落とす可能性があるので、欠点を有する。
一実施形態では、文書管理システム１００は、文書レビュー会議の間にキャプチャされた議論の１つ以上のメディアコンテンツアイテムを受信するよう構成されてよい。文書管理システム１００は、メディアコンテンツアイテムの各々を分析し、文書レビュー会議からの議題を含む会議要約文書を生成してよい。
図１０は、文書レビュー会議の間にキャプチャされた議論のメディアコンテンツアイテムに基づき会議要約文書を生成するアプローチを示すフロー図である。処理１０００は、単一のプログラム又は複数のプログラムにより実行されてよい。図１０に示すような処理の動作は、コンピュータメモリに格納されたプロセッサ実行可能命令を用いて実装されてよい。より明確な例を提供することを目的として、図１０の動作は、文書管理システム１００のサービスにより実行されるとして説明される。明確化の目的で、処理１０００は単一のエンティティの観点で説明される。
ブロック１００２で、文書管理システム１００は、１つ以上の電子文書についてのレビュー会議からのキャプチャされたコンテンツを表す１つ以上のメディアコンテンツアイテムを受信してよい。一実施形態では、コンテンツ受信サービス１１０は、１つ以上の文書の文書レビュー会議の記録されたオーディオ、ビデオ、及びキャプチャされたスクリーンショットを含む、メディアコンテンツアイテムを受信してよい。
ブロック１００４で、文書管理システム１００は、１つ以上のメディアコンテンツアイテムから、レビュー会議の間に議論された１つ以上の議題を識別してよい。議題は、製品を説明するキーワード又はフレーズ、マイルストーン、場所、人物、又はレビュー会議の間に議論され得るレビューされる文書に関連する任意の他の主題さえも表してよい。一実施形態では、文書管理サービス１０５は、会話認識サービス１３３を用いて、メディアコンテンツアイテムの各々を分析して、議題を表し得る特定のキーワード及びフレーズを識別してよい。会話認識サービス１３３は、１つ以上の機械学習モデルを実装して、メディアコンテンツアイテムを分析することにより、議題を識別してよい。機械学習モデルは、識別される議題を対象とするキーワード及びフレーズを含む入力データセットを用いてトレーニングされてよい。
別の実施形態では、会議のまとめ役のようなユーザが、文書管理サービス１０５に、レビュー会議の間に議論された議題のセットを提供してよい。例えば、会議のまとめ役は、レビュー会議の前又は後に、レビュー会議の予定された議題のリストを提供してよい。別の実施形態では、文書管理サービス１０５は、ユーザから、提案された議題のリストを受信してよく、提案された議題のリストを、メディアコンテンツアイテムと一緒に、会話認識サービス１３３に提供してよい。会話認識サービス１３３は、提案された議題のリストを、メディアコンテンツアイテムから議題を識別するための指針及び／又は開始点として使用するよう構成されてよい。
更に別の実施形態では、文書管理サービス１０５は、レビュー会議の主題である１つ以上の電子文書を決定してよく、１つ以上の電子文書をコンテンツ認識サービス１３１に提供して、追加の議題を決定してよい。コンテンツ認識サービス１３１は、１つ以上の電子文書を分析し、電子文書内の章、段落、キーワード、及びタイトルに基づき、可能性のある議題を決定してよい。
ブロック１００６で、文書管理システム１００は、１つ以上のメディアコンテンツアイテムから、レビュー会議の間に議論された１つ以上の電子文書についてのコンテンツ提案に対応するメディアコンテンツ部分を識別してよい。一実施形態では、文書管理システム１００は、会話認識サービス１３３を用いて、メディアコンテンツアイテムの各々を分析して、レビューされた文書内の文書部分を表すメディアコンテンツ部分を識別してよい。例えば、会話認識サービス１３３は、レビューされる文書の、特定の単語、フレーズ、章に対する編集に関して話しているユーザのオーディオクリップを識別してよい。
一実施形態では、会話認識サービス１３３は、コメント又は提案された編集のいずれかのコンテンツ提案を示すメディアコンテンツ部分を識別するよう構成される機械学習モデルを実装してよい。機械学習モデルは、入力として、オーディオを含むメディアコンテンツアイテムを受信してよい。機械学習モデルは、メディアコンテンツアイテム内の検出された会話を分析し、会話を文字に変換してよい。文字は、次に、レビューされた文書の提案された編集を示し得る特定の単語又はフレーズについて分析されてよい。例えば、「the word... is duplicated」、「we need more examples」、「the introduction is too short」、「the word... is misspelled」、「could you update figure X」のような発言は、特定のメディアコンテンツ部分が文書についての提案又は編集に関連することを示してよい。機械学習モデルは、次に、コメント又は提案された編集のようなコンテンツ提案種類を、会話の変換された文字に基づき割り当ててよい。機械学習モデルは、「on the second page」、「the final paragraph」、「the sentence starting with」、等のような文書内の位置を示し得る発言も識別してよい。機械学習モデルの出力は、レビューされた文書についての可能性のあるコンテンツ提案として識別されたメディアコンテンツ部分のセットを含んでよい。
決定ブロック１００８で、文書管理システム１００は、分析されるべきメディアコンテンツ部分が存在するか否かを決定してよい。分析されるべきメディアコンテンツ部分が存在する場合、文書管理システム１００は、メディアコンテンツ部分からメディアコンテンツ部分を選択し、ブロック１０１０に進んでよい。しかしながら、分析されるべき追加メディアコンテンツ部分が存在しない場合、文書管理システム１００はブロック１０１４に進んでよい。
ブロック１０１０で、文書管理システム１００は、１つ以上の議題のうちの議題を、メディアコンテンツ部分に関連付けてよい。一実施形態では、文書管理サービス１０５は、会話認識サービス１３３を用いて、どの議題が選択されたメディアコンテンツ部分に関連付けられるかを決定してよい。会話認識サービス１３３は、議題及びメディアコンテンツ部分の中のキーワードを分析することにより、識別された議題とメディアコンテンツ部分との間の関連付けを決定するよう構成されてよい。会話認識サービス１３３は、機械学習モデルを実装して、メディアコンテンツ部分と議題との間の関連付けを決定してよい。例えば、機械学習モデルは、メディアコンテンツ部分内に存在する特定キーワードを使用して、特定キーワードに関連し得る関連付けられた議題を決定するようトレーニングされてよい。別の実施形態では、会話認識サービス１３３は、議題及部分メディアコンテンツに関連付けられたタイムスタンプを分析して、メディアコンテンツ部分が特定の議題に対応するレビュー会議中の時間に対応するかどうかを決定してよい。メディアコンテンツ部分に関連付けられた１つ以上の議題を決定すると、文書管理サービス１０５は、メディアコンテンツ部分のデータオブジェクト内に、関連付けられた議題を識別する特性を格納してよい。
ブロック１０１２で、文書管理システム１００は、１つ以上の電子文書から、メディアコンテンツ部分に対応する文書部分を識別してよい。一実施形態では、文書管理システム１００は、１つ以上の機械学習モデルを実装して、１つ以上の文書の各々の文書種類を識別し、セクション、フレーズ、特定キーワード、及び任意の他のコンテンツ固有部分に対応する、１つ以上の文書内の特定文書部分を識別し、メディアコンテンツ部分と文書部分との間の相関を決定してよい。
一実施形態では、文書管理サービス１０５は、どの文書がレビューされたかを、文書レビュー会議のまとめ役のようなユーザにより提供された文書ファイル名に基づき、又は受信したメディアコンテンツアイテムを分析してレビューされた文書のファイル名を識別することにより、又はレビューされた文書のリストをユーザから受信することにより、決定してよい。一実施形態では、コンテンツ認識サービス１３１は、レビューされた１つ以上の文書のコンテンツを分析して、文書種類、及び各レビューされた文書の文書部分を決定してよい。コンテンツ認識サービス１３１は、文書のコンテンツを入力として用いて各文書の文書種類を決定するよう構成された機械学習モデルを実装してよい。機械学習モデルは、メディアコンテンツアイテムからのコンテンツ提案を文書内の位置に相関し得る、文書からの文書部分を識別するよう構成されてよい。
一実施形態では、文書管理サービス１０５は、メディアコンテンツ部分及び１つ以上の電子文書から識別された文書部分を、文書部分とメディアコンテンツ部分との間の相関を決定するために、コンテンツ相関サービス１３４に送信してよい。コンテンツ相関サービス１３４に送信されたメディアコンテンツ部分は、会話認識サービス１３３からの変換された文字及びその元の形式でメディアコンテンツ部分を含むデータオブジェクトの形式であってよい。文書部分は、各文書部分に関連付けられた電子文書、電子文書に関連付けられた文書種類、及びメディアコンテンツ部分と文書部分との間の一致を見付けるのに支援するために使用され得る任意の他の文書固有情報を定める、メタデータのような追加特性データを含んでよい。
一実施形態では、コンテンツ相関サービス１３４は、変換された文字と文書部分との間の一致を決定するよう構成された機械学習モデルを使用してよい。例えば、メディアコンテンツ部分の変換された文字が「要約の最初の文を書き換えてください」（Please reword the first sentence of the abstract）を含む場合、機械学習モデルは、電子文書の要約部分の第１文に対応する一致する文書部分が存在するか否かを決定してよい。機械学習モデルは、「要約」（abstract）のようなメディアコンテンツ部分内のキーワードを識別し、要約のキーワードが特許出願文書種類の中の章を参照することを決定してよい。コンテンツ相関サービス１３４は、文書管理サービス１０５に、メディアコンテンツ部分への参照及び一致する文書部分を送信してよい。対応する文書部分は、文書部分への参照、及び／又は一致する文書部分に対応する電子文書内の前後関係に依存する（positional）位置であってよい。
メディアコンテンツ部分に対応する文書部分を識別すると、文書管理システム１００は、決定ブロック１００８に進み、分析される必要のある追加メディアコンテンツ部分が存在するか否かを決定してよい。分析されるべき追加メディアコンテンツ部分が存在しない場合、文書管理システム１００はブロック１０１０及び１０１２を繰り返してよい。決定ブロック１００８で、分析されるべき追加メディアコンテンツ部分が存在しない場合、文書管理システム１００はブロック１０１４に進んでよい。
ブロック１０１４で、文書管理システム１００は、それらの関連付けられた議題に基づき、メディアコンテンツ部分を集約して、メディアコンテンツ部分のトピックセットを生成してよい。一実施形態では、文書管理サービス１０５は、関連付けられた議題の照合に基づき、メディアコンテンツ部分のトピックセットを生成してよい。例えば、５個のメディアコンテンツ部分が「図のレビュー及び更新」（Review figures and update）という議題に関連付けられている場合、文書管理サービス１０５は、議題「図のレビュー及び更新」（Review figures and update）についてのメディアコンテンツ部分のトピックセットを生成し、５個のメディアコンテンツ部分をメディアコンテンツ部分のトピックセットに含めてよい。
ブロック１０１６で、文書管理システム１００は、会議要約文書を生成してよい。一実施形態では、文書管理サービス１０５は、議題のリストを含む会議要約文書を生成してよい。図１１は、生成された会議要約文書及びメディアコンテンツアイテムプレイヤを表示するディスプレイウインドウの例示的な実施形態を示す。ディスプレイウインドウ１１０５は、会議の説明１１１５、第１区域１１１０、及び第２区域１１２０を含む、グラフィカルユーザディスプレイを表す。会議の説明１１１５は、会議の日時、会議名、会議場所、及び参加者を含む、レビュー会議の一般的詳細を表示してよい。ディスプレイウインドウ１１０５に例示的に表示された会議の説明１１１５は、会議の日付を表示する。
第１区域１１１０は、１つ以上のメディアコンテンツアイテムを再生するよう構成されるメディアコンテンツアイテムプレイヤを含んでよい。メディアコンテンツアイテムプレイヤは、巻き戻し、一時停止、再生、早送りのための再生制御、及び再生ウインドウのサイズを変更するためのリサイズボタンを有するよう構成されてよい。メディアコンテンツアイテムプレイヤは、オーディオファイル、ビデオファイル、対話型ビデオファイル、及び任意の他の再生可能メディアを含むがこれらに限定されない、任意の種類のメディアコンテンツアイテムを再生するよう構成されてよい。
第２区域１１２０は、１つ以上の議題のリストを含む生成された会議要約文書の表示を含んでよい。文書トピック（Document topics）１１３０は、リストされたトピックの種類を説明し得る、構成可能なトピック見出しを提示してよい。一実施形態では、リストされた議題の各々は、リストされた項目として、又は選択可能な電子リンクとして、表示されてよい。議題１１３５は、議題「図のレビュー及び更新」（review figures and update）を提示する。議題１１５０は、議題「マーケティングによる製品名の確認」（Confirm product name with marketing）を提示する。これは、選択可能な電子リンクとして表示される。ユーザが議題１１５０の電子リンクを選択した場合、文書管理システム１００は、議題１１５０に関連付けられたメディアコンテンツ部分への電子リンクを含むグラフィカルユーザインタフェースを生成し表示してよい。
一実施形態では、議題に関連付けられたメディアコンテンツ部分は、議題の下のサブリスト内に表示されてよい。例えば、３個のメディアコンテンツ部分のサブリストは、議題１１３５の直下に表示される。一実施形態では、関連付けられたメディアコンテンツ部分は、選択可能な電子リンクとして表示されてよい。該電子リンクは、選択されると、選択されたメディアコンテンツ部分を、ディスプレイウインドウ１１０５の第１区域１１１０内のメディアコンテンツアイテムプレイヤ内で再生させてよい。例えば、ユーザが、「図１－数値を更新する」（Fig １－update numbers）というタイトルのメディアコンテンツ部分１１４０を選択した場合、文書管理サービス１０５は、メディアコンテンツ部分１１４０を含むメディアコンテンツアイテムの再生を、メディアコンテンツアイテムプレイヤ内で生じてよい。メディアコンテンツアイテムの再生は、メディアコンテンツ部分１１４０に対応する部分を再生するために、キューに入れられてよい。
一実施形態では、各文書トピックの下に表示されたサブリストは、メディアコンテンツ部分に関連付けられた文書部分を含む電子文書に対応する第２電子リンクのリストも含んでよい。例えば、サブリストは、「図１－数値を更新する」（Fig １－update numbers）というメディアコンテンツ部分１１４０に関連付けられた文書部分を含む電子文書「Doc－１」に対応する第２電子リンク１１４５を表示してよい。一実施形態では、第２電子リンク１１４５は、電子文書名を示す文字、及び対応する文書部分を含むページ番号を表示してよい。別の実施形態では、ディスプレイウインドウ１１０５が、単一の文書を議論する会議の要約文書を表示する場合、要約文書内の第２電子リンクの表示文字は、文書部分に対応するページ番号を表示するだけでよい。
一実施形態では、文書管理サービス１０５は、ユーザから、第２電子リンク１１４５を選択する選択要求を受信してよい。第２電子リンク１１４５の選択要求を受信すると、文書管理サービス１０５は、対応する電子文書を開き、第２電子リンクに対応する特定文書部分を含む文書ページを表示してよい。例えば、ユーザは、第２電子リンク１１４５を選択してよい。第２電子リンク１１４５は、文書管理サービス１０５に、「Doc－１」を開かせ、「図１－数値を更新する」（Fig １－update numbers）に対応する文書部分を含む電子文書のページ２を表示させてよい。
一実施形態では、文書管理サービス１０５は、第１区域１１１０内のメディアコンテンツアイテムプレイヤ内で、特定メディアコンテンツアイテムを再生するための要求を受信してよい。文書管理サービス１０５は、特定メディアコンテンツアイテムの再生中に、特定の議題が議論されるとき、特定メディアコンテンツアイテムの再生の中で該特定の議題を強調表示してよい。文書管理サービス１０５は、各議題に関連付けられたタイムスタンプに基づき、議題を識別するよう構成されてよい。例えば、文書管理サービス１０５は、特定のメディアコンテンツアイテムを再生してよく、再生中に、文書管理サービス１０５は、再生中のメディアコンテンツアイテムのタイムスタンプが議題１１３５に関連付けられたタイムスタンプと一致することを決定し、次に、文書管理サービス１０５は、第２区域１１２０内の議題１１３５を強調表示してよい。
一実施形態では、文書管理サービス１０５は、再生中のメディアコンテンツアイテムのタイムスタンプがメディアコンテンツ部分に関連付けられたタイムスタンプと一致すると、表示された特定のメディアコンテンツ部分及び／又は表示された文書部分の電子リンクを強調表示するよう構成されてよい。別の例では、文書管理サービス１０５は、対応する電子文書を開き、文書部分の表示をメディアコンテンツアイテムの再生に同期させるために、対応する文書部分を表示するよう構成されてよい。例えば、メディアコンテンツアイテムが再生され、メディアコンテンツアイテムの現在のタイムスタンプが第２電子リンク１１４５の文書部分に対応する場合、文書管理サービス１０５は、「Doc－１」を開き、再生されているメディアに対応する文書部分を表示するために「Doc－１」のページ２を表示してよい。
図１０を参照すると、ブロック１０１８で、文書管理システム１００は、ディスプレイウインドウ内で会議要約文書を提示してよい。一実施形態では、文書管理サービス１０５は、文書提示サービス１５０と通信して、クライアントコンピューティング装置上のディスプレイウインドウ内に会議要約文書を表示するグラフィカルユーザインタフェースを生成してよい。
ＩＶ．実装メカニズム
本発明の一実施形態によると、本願明細書に記載した技術は、１又は複数の特定目的コンピュータ装置により実施される。特定目的コンピュータ装置は、この技術を実行するためにハードウェアに組み込まれても良く、この技術を実行するよう永続的にプログラムされた１又は複数の特定用途向け集積回路（ＡＳＩＣ）若しくはフィールドプログラマブルゲートアレイ（ＦＰＧＡ）のようなデジタル電子装置を有して良く、この技術を実行するようプログラム命令に従ってファームウェア、メモリ、他の記憶若しくは組合せでプログラムされた１又は複数の汎用目的ハードウェアプロセッサを有してよい。このような特定目的コンピュータ装置は、この技術を達成するために、カスタムハードワイヤードロジック、ＡＳＩＣ又はＦＰＧＡをカスタムプログラミングと組み合わせてよい。特定目的コンピュータ装置は、デスクトップコンピュータシステム、ポータブルコンピュータシステム、ハンドヘルド装置、ネットワーク装置、又はこの技術を実施するためのハードワイヤードロジック及び／又はプログラムロジックを組み込んだ任意の他の装置であってよい。
図１２は、本発明の実施形態が実装され得る例示的なコンピュータシステム１２００を示すブロック図である。コンピュータシステム１２００は、バス１２０２又は情報を通信する他の通信機構、及びバス１２０２に接続され情報を処理するプロセッサ１２０４を有する。コンピュータシステム１２００は、また、ランダムアクセスメモリ（ＲＡＭ）又は他のダイナミック記憶素子のような、バス１２０２に接続され情報及びプロセッサ１２０４により実行されるべき命令を格納する主記憶１２０６も有する。主記憶１２０６は、プロセッサ１２０４により実行されるべき情報の実行中に、一時変数又は他の中間的情報を格納するために用いられてよい。コンピュータシステム１２００は、バス１２０２に接続され、静的情報及びプロセッサ１２０４のための命令を格納する読み出し専用メモリ（ＲＯＭ）１２０８又は他の静的記憶装置を更に有する。情報及び命令の格納のために、磁気ディスク又は光ディスクのような記憶装置１２１０が設けられバス１２０２に接続される。
コンピュータシステム１２００は、バス１２０２を介して、陰極線管（ＣＲＴ）のような、コンピュータユーザに情報を表示するディスプレイ１２１２に接続されてよい。バス１２０２は単一のバスとして図示されるが、バス１２０２は１又は複数のバスを有してよい。例えば、バス１２０２は、プロセッサ１２０４がコンピュータシステム１２００内の他の装置を制御する制御バス、プロセッサ１２０４が実行のために命令のメモリ位置を指定するアドレスバス、又はコンピュータシステム１２００のコンポーネント間でデータ又は信号を転送するための任意の他の種類のバスを有してよいが、これらに限定されない。
入力装置１２１４は、英数字及び他のキーを有し、バス１２０２に接続され、プロセッサ１２０４に情報及びコマンド選択を伝達する。別の種類のユーザ入力装置は、マウス、トラックボール又はカーソル方向キーのようなカーソル制御１２１６であり、プロセッサ１２０４に方向情報及びコマンド選択を伝達し、ディスプレイ１２１２上のカーソルの移動を制御する。この入力装置は、通常、２軸、つまり第１の軸（例えばＸ）及び第２の軸（例えばＹ）における２度の自由度を有し、装置に平面内の位置を指定させる。
コンピュータシステム１２００は、本願明細書に記載した技術を、カスタマイズハードワイヤードロジック、１又は複数のＡＳＩＣ若しくはＦＰＧＡ、コンピュータシステムと組み合わせて、コンピュータシステム１２００を特定用途向け機械にする若しくはプログラムするファームウェア及び／又はプログラムロジック若しくはコンピュータソフトウェアを用いて実装してよい。本発明の一実施形態によると、これらの技術は、プロセッサ１２０４が主記憶１２０６に含まれる１又は複数の命令の１又は複数のシーケンスを実行するのに応答して、コンピュータシステム１２００により実行される。このような命令は、記憶装置１２１０のような別のコンピュータ可読媒体から主記憶１２０６に読み込まれてもよい。主記憶１２０６に含まれる命令シーケンスの実行は、プロセッサ１２０４に本願明細書に記載した処理ステップを実行させる。代替の実施形態では、ハードワイヤード回路が、本発明を実施するソフトウェア命令の代わりに又はそれと組み合わせて用いられてもよい。このように、本発明の実施形態は、ハードウェア回路とソフトウェアのいかなる特定の組合せにも限定されない。
本願明細書で用いられる用語「コンピュータ可読媒体」は、コンピュータを特定の方法で動作させるデータを提供する際に関与する任意の媒体を表す。コンピュータシステム１２００を用いて実施される実施形態では、種々のコンピュータ可読媒体が、例えば命令をプロセッサ１２０４に実行するために提供する際に、関与する。このような媒体は、不揮発性媒体及び揮発性媒体を含む多くの形態を取ることができ、これらに限定されない。不揮発性媒体は、例えば、記憶装置１２１０のような光又は磁気ディスクを含む。揮発性媒体は、主記憶１２０６のような動的記憶を含む。コンピュータ可読媒体の共通形態は、例えば、フロッピディスク、フレキシブルディスク、ハードディスク、磁気テープ、又は任意の他の磁気媒体、ＣＤ－ＲＯＭ、任意の他の光学媒体、ＲＡＭ，ＰＲＯＭ及びＥＰＲＯＭ、ＦＬＡＳＨ－ＥＰＲＯＭ、任意の他のメモリチップ若しくはメモリカートリッジ、又はコンピュータが読み取れる任意の他の媒体を含む。
種々の形態のコンピュータ可読媒体は、実行のためにプロセッサ１２０４に１又は複数の命令の１又は複数のシーケンスを伝達する際に、関与し得る。例えば、命令は、初めにリモートコンピュータの磁気ディスクで運ばれ得る。リモートコンピュータは、その命令を自身の動的記憶にロードし、及びモデムを用いて電話線を介して命令を送信できる。コンピュータシステム１２００にローカルなモデムは、電話線でデータを受信し、赤外線送信機を用いて、そのデータを赤外線信号に変換できる。赤外線検出器は、赤外線信号で伝達されたデータを受信し、適切な回路がそのデータをバス１２０２に置くことができる。バス１２０２は、データを主記憶１２０６に伝達する。主記憶１２０６から、プロセッサ１２０４が命令を読み出し実行する主記憶１２０６により受信された命令は、任意的に、プロセッサ１２０４により実行される前又は後に、記憶装置１２１０に格納されてよい。
コンピュータシステム１２００は、バス１２０２に接続された通信インタフェース１２１８も含む。通信インタフェース１２１８は、ローカルネットワーク１２２２に接続されるネットワークリンク１２２０に接続される２方向データ通信を提供する。例えば、通信インタフェース１２１８は、対応する種類の電話線へのデータ通信接続を提供するＩＳＤＮ（Integrated Services Digital Network）カード又はモデムであってもよい。別の例として、通信インタフェース１２１８は、互換性のあるＬＡＮへのデータ通信接続を提供するＬＡＮ（Local Area Network）カードであってよい。無線リンクも実装されてよい。任意のこのような実装で、通信インタフェース１２１８は、種々の情報を表すデジタルデータストリームを伝達する電気、電磁気又は光信号を送信及び受信する。
ネットワークリンク１２２０は、通常、１又は複数のネットワークを通じて他のデータ装置へのデータ通信を提供する。例えば、ネットワークリンク１２２０は、ローカルネットワーク１２２２を通じてホストコンピュータ１２２４への又はＩＳＰ（Internet Service Provider）１２２６により稼働されるデータ機器への接続を提供できる。ＩＳＰ１２２６は、また、現在一般的に「インターネット」１２２８と称される世界的規模のパケットデータ通信ネットワークを通じてデータ通信サービスを提供する。ローカルネットワーク１２２２及びインターネット１２２８の両者は、デジタルデータストリームを伝達する電気、電磁気又は光信号を用いる。
コンピュータシステム１２００は、ネットワーク、ネットワークリンク１２２０及び通信インタフェース１２１８を通じて、プログラムコードを含む、メッセージを送信し及びデータを受信できる。インターネットの例では、サーバ１２３０は、インターネット１２２８、ＩＳＰ１２２６、ローカルネットワーク１２２２及び通信インタフェース１２１８を通じてアプリケーションプログラムのために要求されたコードを送信し得る。受信されたコードは、プロセッサ１２０４により受信されるとプロセッサ１２０４により実行され、及び／又は後に実行するために記憶装置１２１０若しくは他の不揮発性記憶に格納され得る。
上述の明細書では、本発明の実施形態は、実施形態毎に変化し得る多数の特定の詳細を参照し説明された。したがって本発明の、および本出願者により発明であるように意図したものの唯一の指標は、特許請求の範囲が由来する特定の形式の、いかなる今後の補正も含む本出願に由来する一組の特許請求の範囲である。したがって請求項内で明示的に記述されない限界、要素、特性、特徴、利点、または属性がこのような特許請求項の範囲を決して制限してはならない。したがって本明細書と添付図面は限定的ではなく例示的であると解釈すべきである。
１００ 文書管理システム
１０５ 文書管理サービス
１１０ コンテンツ受信サービス
１１５ ユーザＩＤ管理サービス
１２０ 注釈生成サービス
１３０ 知的コンテンツ認識モデル
１３１ コンテンツ認識サービス
１３２ マークアップ認識サービス
１３３ 会話認識サービス
１３４ コンテンツ相関サービス
１４０ 多機能印刷サービス
１５０ 文書提示サービス
１６０ ネットワーク
１７０ データレポジトリ

Claims (15)

  1. 機器であって、コンテンツ受信部と、会話認識部と、コンテンツ相関部と、文書提示部と、を含み、
    前記コンテンツ受信部が、１人以上のユーザによる電子文書の議論からキャプチャされたメディアコンテンツアイテムを受信し、
    前記会話認識部が、前記メディアコンテンツアイテムを文字転写に変換し、前記文字転写から、コメント又は提案された編集を表す単語又はフレーズを認識することにより、前記メディアコンテンツアイテムから、前記電子文書に対するコメント又は提案された編集を表すメディアコンテンツ部分を識別し、
    前記メディアコンテンツ部分のうちの各メディアコンテンツ部分について、
    前記会話認識部が、該メディアコンテンツ部分に対応する文字転写から、前記電子文書の構造を表す単語又はフレーズを識別し、
    前記コンテンツ相関部が、前記会話認識部が識別した、前記電子文書の構造を表す単語又はフレーズに基づいて、該メディアコンテンツ部分に対応する前記電子文書の文書部分を識別し、該識別した文書部分に、前記メディアコンテンツ部分に対応する前記コメント又は前記提案された編集を注釈として関連付けることであって、
    既存の注釈が既存の文書部分に関連付けられることを識別し、前記既存の文書部分と前記文書部分とを比較して、重なり合いレベルを決定し、前記既存の文書部分と前記文書部分との間の前記重なり合いレベルが重なり合い閾を超えるか否かを決定することにより、前記電子文書の前記文書部分が前記既存の注釈に関連付けられるか否かを決定し、
    前記電子文書の前記文書部分が前記既存の注釈に関連付けられると決定すると、前記メディアコンテンツ部分に対応する前記コメント又は前記提案された編集に基づく前記注釈により前記既存の注釈を更新し、
    前記文書提示部が、ディスプレイウインドウに、前記メディアコンテンツ部分に関連付けられた１つ以上の更新された注釈を有する前記電子文書を表示し、
    前記メディアコンテンツアイテムは、オーディオファイル、ビデオファイル、キャプチャされたスクリーンショット、又は対話型ホワイトボードにおいて生成されたマークを表す受信した入力に対応する一連の座標を含む対話型ホワイトボードファイル、のうちの１つであり、
    前記機器は、さらにコンテンツ認識部を備え、
    前記メディアコンテンツ部分に対応する前記電子文書の前記文書部分を識別することは、
    前記コンテンツ認識部が、第１機械学習モデルを用いて、前記電子文書の文書種類に基づき、前記電子文書内の文書部分を識別し、前記文書種類は電子文書のタイトル、フォーマット、章題、キーワードのうちの1つ以上に基づき決定され、前記第１機械学習モデルは、異なる文書種類の複数の文書を用いてトレーニングされている、ことを含む、機器。
  2. 機器であって、コンテンツ受信部と、会話認識部と、コンテンツ相関部と、文書提示部と、を含み、
    前記コンテンツ受信部が、１人以上のユーザによる電子文書の議論からキャプチャされたメディアコンテンツアイテムを受信し、
    前記会話認識部が、前記メディアコンテンツアイテムを文字転写に変換し、前記文字転写から、コメント又は提案された編集を表す単語又はフレーズを認識することにより、前記メディアコンテンツアイテムから、前記電子文書に対するコメント又は提案された編集を表すメディアコンテンツ部分を識別し、
    前記メディアコンテンツ部分のうちの各メディアコンテンツ部分について、
    前記会話認識部が、該メディアコンテンツ部分に対応する文字転写から、前記電子文書の構造を表す単語又はフレーズを識別し、
    前記コンテンツ相関部が、前記会話認識部が識別した、前記電子文書の構造を表す単語又はフレーズに基づいて、該メディアコンテンツ部分に対応する前記電子文書の文書部分を識別し、該識別した文書部分に、前記メディアコンテンツ部分に対応する前記コメント又は前記提案された編集を注釈として関連付けることであって、
    既存の注釈が既存の文書部分に関連付けられることを識別し、前記既存の文書部分と前記文書部分とを比較して、重なり合いレベルを決定し、前記既存の文書部分と前記文書部分との間の前記重なり合いレベルが重なり合い閾を超えるか否かを決定することにより、前記電子文書の前記文書部分が前記既存の注釈に関連付けられるか否かを決定し、
    前記電子文書の前記文書部分が前記既存の注釈に関連付けられると決定すると、前記メディアコンテンツ部分に対応する前記コメント又は前記提案された編集に基づく前記注釈により前記既存の注釈を更新し、
    前記文書提示部が、ディスプレイウインドウに、前記メディアコンテンツ部分に関連付けられた１つ以上の更新された注釈を有する前記電子文書を表示し、
    前記メディアコンテンツアイテムは、オーディオファイル、ビデオファイル、キャプチャされたスクリーンショット、又は対話型ホワイトボードにおいて生成されたマークを表す受信した入力に対応する一連の座標を含む対話型ホワイトボードファイル、のうちの１つであり、
    前記メディアコンテンツ部分に対応する前記電子文書の前記文書部分を識別することは、
    前記コンテンツ相関部が、第２機械学習モデルを用いて、前記会話認識部の識別した前記電子文書の構造を表す単語又はフレーズに基づき、前記文書内の文書部分を識別し、前記第２機械学習モデルは、複数の電子文書からの複数の文書部分と前記複数の文書部分に対応するコメント又は提案された編集とを用いてトレーニングされている、ことを含む、機器。
  3. 前記メディアコンテンツ部分に関連付けられた前記１つ以上の更新された注釈を含む更新された電子文書を生成する文書管理部を更に含む請求項１又は２に記載の機器。
  4. 前記コンテンツ相関部は、前記既存の文書部分と前記文書部分との間の前記重なり合いレベルが前記重なり合い閾を超えないと決定すると、前記メディアコンテンツ部分及び前記関連付けられた文書部分を表す新しい注釈を生成し、前記新しい注釈を特定の電子文書内の前記文書部分に対応する位置に関連付ける、請求項３に記載の機器。
  5. 前記会話認識部が、前記メディアコンテンツ部分を識別することは、
    機械学習モデルを用いて、前記メディアコンテンツ部分を識別し、前記機械学習モデルは、コメントを含む又はコンテンツの編集を提案した会話を含むメディアコンテンツアイテムの入力データセットを用いてトレーニングされている、ことを含む、請求項１又は２に記載の機器。
  6. 命令を記憶した１つ以上の非一時的コンピュータ可読媒体であって、前記命令は、コンテンツ受信部と、会話認識部と、コンテンツ相関部と、文書提示部と、コンテンツ認識部とを含む機器により処理されると、
    前記コンテンツ受信部が、１人以上のユーザによる電子文書の議論からキャプチャされたメディアコンテンツアイテムを受信するステップと、
    前記会話認識部が、前記メディアコンテンツアイテムを文字転写に変換し、前記文字転写から、コメント又は提案された編集を表す単語又はフレーズを認識することにより、前記メディアコンテンツアイテムから、前記電子文書に対するコメント又は提案された編集を表すメディアコンテンツ部分を識別するステップと、
    前記メディアコンテンツ部分のうちの各メディアコンテンツ部分について、
    前記会話認識部が、該メディアコンテンツ部分に対応する文字転写から、前記電子文書の構造を表す単語又はフレーズを識別するステップと、
    前記コンテンツ相関部が、前記会話認識部が識別した、前記電子文書の構造を表す単語又はフレーズに基づいて、該メディアコンテンツ部分に対応する前記電子文書の文書部分を識別し、該識別した文書部分に、前記メディアコンテンツ部分に対応する前記コメント又は前記提案された編集を注釈として関連付けるステップであって、
    既存の注釈が既存の文書部分に関連付けられることを識別し、前記既存の文書部分と前記文書部分とを比較して、重なり合いレベルを決定し、前記既存の文書部分と前記文書部分との間の前記重なり合いレベルが重なり合い閾を超えるか否かを決定することにより、前記電子文書の前記文書部分が前記既存の注釈に関連付けられるか否かを決定するステップと、
    前記電子文書の前記文書部分が前記既存の注釈に関連付けられると決定すると、前記メディアコンテンツ部分に対応する前記コメント又は前記提案された編集に基づく前記注釈により前記既存の注釈を更新するステップと、を含むステップと、
    前記文書提示部が、ディスプレイウインドウに、前記メディアコンテンツ部分に関連付けられた１つ以上の更新された注釈を有する前記電子文書を表示するステップと、
    を生じさせ、
    前記メディアコンテンツアイテムは、オーディオファイル、ビデオファイル、キャプチャされたスクリーンショット、又は対話型ホワイトボードにおいて生成されたマークを表す受信した入力に対応する一連の座標を含む対話型ホワイトボードファイル、のうちの１つであり、
    前記メディアコンテンツ部分に対応する前記電子文書の前記文書部分を識別することは、
    前記コンテンツ認識部が、第１機械学習モデルを用いて、前記電子文書の文書種類に基づき、前記電子文書内の文書部分を識別し、前記文書種類は電子文書のタイトル、フォーマット、章題、キーワードのうちの1つ以上に基づき決定され、前記第１機械学習モデルは、異なる文書種類の複数の文書を用いてトレーニングされている、ことを含む、１つ以上の非一時的コンピュータ可読媒体。
  7. 命令を記憶した１つ以上の非一時的コンピュータ可読媒体であって、前記命令は、コンテンツ受信部と、会話認識部と、コンテンツ相関部と、文書提示部とを含む機器により処理されると、
    前記コンテンツ受信部が、１人以上のユーザによる電子文書の議論からキャプチャされたメディアコンテンツアイテムを受信するステップと、
    前記会話認識部が、前記メディアコンテンツアイテムを文字転写に変換し、前記文字転写から、コメント又は提案された編集を表す単語又はフレーズを認識することにより、前記メディアコンテンツアイテムから、前記電子文書に対するコメント又は提案された編集を表すメディアコンテンツ部分を識別するステップと、
    前記メディアコンテンツ部分のうちの各メディアコンテンツ部分について、
    前記会話認識部が、該メディアコンテンツ部分に対応する文字転写から、前記電子文書の構造を表す単語又はフレーズを識別するステップと、
    前記コンテンツ相関部が、前記会話認識部が識別した、前記電子文書の構造を表す単語又はフレーズに基づいて、該メディアコンテンツ部分に対応する前記電子文書の文書部分を識別し、該識別した文書部分に、前記メディアコンテンツ部分に対応する前記コメント又は前記提案された編集を注釈として関連付けるステップであって、
    既存の注釈が既存の文書部分に関連付けられることを識別し、前記既存の文書部分と前記文書部分とを比較して、重なり合いレベルを決定し、前記既存の文書部分と前記文書部分との間の前記重なり合いレベルが重なり合い閾を超えるか否かを決定することにより、前記電子文書の前記文書部分が前記既存の注釈に関連付けられるか否かを決定するステップと、
    前記電子文書の前記文書部分が前記既存の注釈に関連付けられると決定すると、前記メディアコンテンツ部分に対応する前記コメント又は前記提案された編集に基づく前記注釈により前記既存の注釈を更新するステップと、を含むステップと、
    前記文書提示部が、ディスプレイウインドウに、前記メディアコンテンツ部分に関連付けられた１つ以上の更新された注釈を有する前記電子文書を表示するステップと、
    を生じさせ、
    前記メディアコンテンツアイテムは、オーディオファイル、ビデオファイル、キャプチャされたスクリーンショット、又は対話型ホワイトボードにおいて生成されたマークを表す受信した入力に対応する一連の座標を含む対話型ホワイトボードファイル、のうちの１つであり、
    前記メディアコンテンツ部分に対応する前記電子文書の前記文書部分を識別することは、
    前記コンテンツ相関部が、第２機械学習モデルを用いて、前記会話認識部の識別した前記電子文書の構造を表す単語又はフレーズに基づき、前記文書内の文書部分を識別し、前記第２機械学習モデルは、複数の電子文書からの複数の文書部分と前記複数の文書部分に対応するコメント又は提案された編集とを用いてトレーニングされている、ことを含む、１つ以上の非一時的コンピュータ可読媒体。
  8. 追加命令を更に含み、該追加命令は、前記機器により処理されると、
    前記機器の文書管理部が、前記メディアコンテンツ部分に関連付けられた前記１つ以上の更新された注釈を含む更新された電子文書を生成するステップを生じさせる、請求項６又は７に記載の１つ以上の非一時的コンピュータ可読媒体。
  9. 追加命令を更に含み、該追加命令は、前記機器により処理されると、
    前記コンテンツ相関部が、前記既存の文書部分と前記文書部分との間の前記重なり合いレベルが前記重なり合い閾を超えないと決定すると、前記メディアコンテンツ部分及び前記関連付けられた文書部分を表す新しい注釈を生成し、前記新しい注釈を特定の電子文書内の前記文書部分に対応する位置に関連付けるステップを生じさせる、請求項８に記載の１つ以上の非一時的コンピュータ可読媒体。
  10. 前記会話認識部が、前記メディアコンテンツ部分を識別するステップは、
    機械学習モデルを用いて、前記メディアコンテンツ部分を識別するステップであって、前記機械学習モデルは、コメントを含む又はコンテンツの編集を提案した会話を識別されたメディアコンテンツアイテムの入力データセットを用いてトレーニングされている、ステップを含む、請求項６又は７に記載の１つ以上の非一時的コンピュータ可読媒体。
  11. コンピュータにより実施される方法であって、前記コンピュータは、コンテンツ受信部と、会話認識部と、コンテンツ相関部と、文書提示部と、コンテンツ認識部とを含み、前記方法は、
    前記コンテンツ受信部が、１人以上のユーザによる電子文書の議論からキャプチャされたメディアコンテンツアイテムを受信するステップと、
    前記会話認識部が、前記メディアコンテンツアイテムを文字転写に変換し、前記文字転写から、コメント又は提案された編集を表す単語又はフレーズを認識することにより、前記メディアコンテンツアイテムから、前記電子文書に対するコメント又は提案された編集を表すメディアコンテンツ部分を識別するステップと、
    前記メディアコンテンツ部分のうちの各メディアコンテンツ部分について、
    前記会話認識部が、該メディアコンテンツ部分に対応する文字転写から、前記電子文書の構造を表す単語又はフレーズを識別するステップと、
    前記コンテンツ相関部が、前記会話認識部が識別した、前記電子文書の構造を表す単語又はフレーズに基づいて、該メディアコンテンツ部分に対応する前記電子文書の文書部分を識別し、該識別した文書部分に、前記メディアコンテンツ部分に対応する前記コメント又は前記提案された編集を注釈として関連付けるステップであって、
    既存の注釈が既存の文書部分に関連付けられることを識別し、前記既存の文書部分と前記文書部分とを比較して、重なり合いレベルを決定し、前記既存の文書部分と前記文書部分との間の前記重なり合いレベルが重なり合い閾を超えるか否かを決定することにより、前記電子文書の前記文書部分が前記既存の注釈に関連付けられるか否かを決定するステップと、
    前記電子文書の前記文書部分が前記既存の注釈に関連付けられると決定すると、前記メディアコンテンツ部分に対応する前記コメント又は前記提案された編集に基づく前記注釈により前記既存の注釈を更新するステップと、を含むステップと、
    前記文書提示部が、ディスプレイウインドウに、前記メディアコンテンツ部分に関連付けられた１つ以上の更新された注釈を有する前記電子文書を表示するステップと、
    を含み、
    前記メディアコンテンツアイテムは、オーディオファイル、ビデオファイル、キャプチャされたスクリーンショット、又は対話型ホワイトボードにおいて生成されたマークを表す受信した入力に対応する一連の座標を含む対話型ホワイトボードファイル、のうちの１つであり、
    前記メディアコンテンツ部分に対応する前記電子文書の前記文書部分を識別することは、
    前記コンテンツ認識部が、第１機械学習モデルを用いて、前記電子文書の文書種類に基づき、前記電子文書内の文書部分を識別し、前記文書種類は電子文書のタイトル、フォーマット、章題、キーワードのうちの1つ以上に基づき決定され、前記第１機械学習モデルは、異なる文書種類の複数の文書を用いてトレーニングされている、ことを含む、コンピュータにより実施される方法。
  12. コンピュータにより実施される方法であって、前記コンピュータは、コンテンツ受信部と、会話認識部と、コンテンツ相関部と、文書提示部と、を含み、前記方法は、
    前記コンテンツ受信部が、１人以上のユーザによる電子文書の議論からキャプチャされたメディアコンテンツアイテムを受信するステップと、
    前記会話認識部が、前記メディアコンテンツアイテムを文字転写に変換し、前記文字転写から、コメント又は提案された編集を表す単語又はフレーズを認識することにより、前記メディアコンテンツアイテムから、前記電子文書に対するコメント又は提案された編集を表すメディアコンテンツ部分を識別するステップと、
    前記メディアコンテンツ部分のうちの各メディアコンテンツ部分について、
    前記会話認識部が、該メディアコンテンツ部分に対応する文字転写から、前記電子文書の構造を表す単語又はフレーズを識別するステップと、
    前記コンテンツ相関部が、前記会話認識部が識別した、前記電子文書の構造を表す単語又はフレーズに基づいて、該メディアコンテンツ部分に対応する前記電子文書の文書部分を識別し、該識別した文書部分に、前記メディアコンテンツ部分に対応する前記コメント又は前記提案された編集を注釈として関連付けるステップであって、
    既存の注釈が既存の文書部分に関連付けられることを識別し、前記既存の文書部分と前記文書部分とを比較して、重なり合いレベルを決定し、前記既存の文書部分と前記文書部分との間の前記重なり合いレベルが重なり合い閾を超えるか否かを決定することにより、前記電子文書の前記文書部分が前記既存の注釈に関連付けられるか否かを決定するステップと、
    前記電子文書の前記文書部分が前記既存の注釈に関連付けられると決定すると、前記メディアコンテンツ部分に対応する前記コメント又は前記提案された編集に基づく前記注釈により前記既存の注釈を更新するステップと、を含むステップと、
    前記文書提示部が、ディスプレイウインドウに、前記メディアコンテンツ部分に関連付けられた１つ以上の更新された注釈を有する前記電子文書を表示するステップと、
    を含み、
    前記メディアコンテンツアイテムは、オーディオファイル、ビデオファイル、キャプチャされたスクリーンショット、又は対話型ホワイトボードにおいて生成されたマークを表す受信した入力に対応する一連の座標を含む対話型ホワイトボードファイル、のうちの１つであり、
    前記メディアコンテンツ部分に対応する前記電子文書の前記文書部分を識別することは、
    前記コンテンツ相関部が、第２機械学習モデルを用いて、前記会話認識部の識別した前記電子文書の構造を表す単語又はフレーズに基づき、前記文書内の文書部分を識別し、前記第２機械学習モデルは、複数の電子文書からの複数の文書部分と前記複数の文書部分に対応するコメント又は提案された編集とを用いてトレーニングされている、ことを含む、コンピュータにより実施される方法。
  13. 前記コンピュータの文書管理部が、前記メディアコンテンツ部分に関連付けられた前記１つ以上の更新された注釈を含む更新された電子文書を生成するステップ、
    を更に含む請求項１１又は１２に記載のコンピュータにより実施される方法。
  14. 前記コンテンツ相関部が、前記既存の文書部分と前記文書部分との間の前記重なり合いレベルが前記重なり合い閾を超えないと決定すると、前記メディアコンテンツ部分及び前記関連付けられた文書部分を表す新しい注釈を生成し、前記新しい注釈を特定の電子文書内の前記文書部分に対応する位置に関連付けるステップ、
    を更に含む請求項１３に記載のコンピュータにより実施される方法。
  15. 前記会話認識部が、前記メディアコンテンツ部分を識別するステップは、
    機械学習モデルを用いて、前記メディアコンテンツ部分を識別するステップであって、前記機械学習モデルは、コメントを含む又はコンテンツの編集を提案した会話を含むメディアコンテンツアイテムの入力データセットを用いてトレーニングされている、ステップを含む、請求項１４に記載のコンピュータにより実施される方法。
JP2020042544A 2019-03-15 2020-03-12 記録されたメディアからの提案を含むための、既存のコンテンツ提案の人工知能を用いた更新 Active JP7063347B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/355,176 2019-03-15
US16/355,176 US11080466B2 (en) 2019-03-15 2019-03-15 Updating existing content suggestion to include suggestions from recorded media using artificial intelligence

Publications (2)

Publication Number Publication Date
JP2020149688A JP2020149688A (ja) 2020-09-17
JP7063347B2 true JP7063347B2 (ja) 2022-05-09

Family

ID=69845826

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020042544A Active JP7063347B2 (ja) 2019-03-15 2020-03-12 記録されたメディアからの提案を含むための、既存のコンテンツ提案の人工知能を用いた更新

Country Status (3)

Country Link
US (1) US11080466B2 (ja)
EP (1) EP3709243A1 (ja)
JP (1) JP7063347B2 (ja)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11120342B2 (en) 2015-11-10 2021-09-14 Ricoh Company, Ltd. Electronic meeting intelligence
US11307735B2 (en) 2016-10-11 2022-04-19 Ricoh Company, Ltd. Creating agendas for electronic meetings using artificial intelligence
US11062271B2 (en) 2017-10-09 2021-07-13 Ricoh Company, Ltd. Interactive whiteboard appliances with learning capabilities
US10956875B2 (en) 2017-10-09 2021-03-23 Ricoh Company, Ltd. Attendance tracking, presentation files, meeting services and agenda extraction for interactive whiteboard appliances
US11030585B2 (en) 2017-10-09 2021-06-08 Ricoh Company, Ltd. Person detection, person identification and meeting start for interactive whiteboard appliances
US20200111042A1 (en) * 2018-10-04 2020-04-09 Capital One Services, Llc Techniques to enhance employee performance using machine learning
US11270060B2 (en) 2019-03-15 2022-03-08 Ricoh Company, Ltd. Generating suggested document edits from recorded media using artificial intelligence
US11392754B2 (en) 2019-03-15 2022-07-19 Ricoh Company, Ltd. Artificial intelligence assisted review of physical documents
US11573993B2 (en) 2019-03-15 2023-02-07 Ricoh Company, Ltd. Generating a meeting review document that includes links to the one or more documents reviewed
US11263384B2 (en) 2019-03-15 2022-03-01 Ricoh Company, Ltd. Generating document edit requests for electronic documents managed by a third-party document management service using artificial intelligence
US11720741B2 (en) 2019-03-15 2023-08-08 Ricoh Company, Ltd. Artificial intelligence assisted review of electronic documents
US11048864B2 (en) * 2019-04-01 2021-06-29 Adobe Inc. Digital annotation and digital content linking techniques
US11074400B2 (en) * 2019-09-30 2021-07-27 Dropbox, Inc. Collaborative in-line content item annotations
US11829723B2 (en) 2019-10-17 2023-11-28 Microsoft Technology Licensing, Llc System for predicting document reuse
NL2024634B1 (en) * 2020-01-09 2021-09-07 Microsoft Technology Licensing Llc Presenting Intelligently Suggested Content Enhancements
US11138289B1 (en) * 2020-03-30 2021-10-05 Microsoft Technology Licensing, Llc Optimizing annotation reconciliation transactions on unstructured text content updates
US11106757B1 (en) 2020-03-30 2021-08-31 Microsoft Technology Licensing, Llc. Framework for augmenting document object model trees optimized for web authoring
US11030387B1 (en) 2020-11-16 2021-06-08 Issuu, Inc. Device dependent rendering of PDF content including multiple articles and a table of contents
US11416671B2 (en) 2020-11-16 2022-08-16 Issuu, Inc. Device dependent rendering of PDF content
US11790165B2 (en) * 2021-01-26 2023-10-17 Microsoft Technology Licensing, Llc Content element recommendation system
US11294474B1 (en) * 2021-02-05 2022-04-05 Lenovo (Singapore) Pte. Ltd. Controlling video data content using computer vision
US11526669B1 (en) * 2021-06-21 2022-12-13 International Business Machines Corporation Keyword analysis in live group breakout sessions
US11409951B1 (en) * 2021-09-24 2022-08-09 International Business Machines Corporation Facilitating annotation of document elements
CN114760271B (zh) * 2022-06-14 2022-09-20 深圳乐播科技有限公司 一种文件处理方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005202596A (ja) 2004-01-14 2005-07-28 Fuji Xerox Co Ltd 電子付箋管理装置
JP2012103891A (ja) 2010-11-10 2012-05-31 Konica Minolta Business Technologies Inc レビュー文書処理装置およびレビュー文書処理方法
JP2016526216A (ja) 2013-05-20 2016-09-01 マイクロソフト テクノロジー ライセンシング，エルエルシー インクからテキスト表現への変換
JP2018142059A (ja) 2017-02-27 2018-09-13 富士ゼロックス株式会社 情報処理装置及び情報処理プログラム

Family Cites Families (200)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07191690A (ja) 1993-12-24 1995-07-28 Canon Inc 議事録作成装置及び多地点議事録作成システム
JP3185505B2 (ja) 1993-12-24 2001-07-11 株式会社日立製作所 会議録作成支援装置
JPH08316953A (ja) 1995-05-16 1996-11-29 Toshiba Corp 電子会議システム
US5907324A (en) 1995-06-07 1999-05-25 Intel Corporation Method for saving and accessing desktop conference characteristics with a persistent conference object
JPH10269232A (ja) 1997-03-25 1998-10-09 Hitachi Ltd 電子会議システムにおける回答支援システム
US6377288B1 (en) 1998-01-12 2002-04-23 Xerox Corporation Domain objects having computed attribute values for use in a freeform graphics system
US7089278B1 (en) * 1999-09-07 2006-08-08 Fuji Xerox Co., Ltd. Anchored conversations: adhesive, in-context, virtual discussion forums
US6529122B1 (en) 1999-12-10 2003-03-04 Siemens Technology-To-Business Center, Llc Tactile sensor apparatus and methods
JP2001175720A (ja) 1999-12-15 2001-06-29 Toko Seiki Co Ltd 会議支援システム
US6671684B1 (en) 2000-09-01 2003-12-30 Ricoh Co., Ltd. Method and apparatus for simultaneous highlighting of a physical version of a document and an electronic version of a document
US6789064B2 (en) 2000-12-11 2004-09-07 International Business Machines Corporation Message management system
US7346841B2 (en) 2000-12-19 2008-03-18 Xerox Corporation Method and apparatus for collaborative annotation of a document
JP2002207753A (ja) 2001-01-10 2002-07-26 Teijin Seiki Co Ltd マルチメディア情報記録作成提供システム
US7366979B2 (en) * 2001-03-09 2008-04-29 Copernicus Investments, Llc Method and apparatus for annotating a document
US20030018659A1 (en) 2001-03-14 2003-01-23 Lingomotors, Inc. Category-based selections in an information access environment
US8218829B2 (en) 2001-08-20 2012-07-10 Polycom, Inc. System and method for using biometrics technology in conferencing
US20030214528A1 (en) 2002-03-15 2003-11-20 Pitney Bowes Incorporated Method for managing the annotation of documents
US8239197B2 (en) 2002-03-28 2012-08-07 Intellisist, Inc. Efficient conversion of voice messages into text
US7143033B2 (en) 2002-04-03 2006-11-28 The United States Of America As Represented By The Secretary Of The Navy Automatic multi-language phonetic transcribing system
US7343312B2 (en) 2002-04-25 2008-03-11 International Business Machines Corporation Event scheduling with optimization
US20040044556A1 (en) 2002-09-04 2004-03-04 Jeffrey Brady System and method for a planner and an accounting user interface for a planner
JP2004112518A (ja) 2002-09-19 2004-04-08 Takenaka Komuten Co Ltd 情報提供装置
US20050188016A1 (en) * 2002-11-25 2005-08-25 Subramanyam Vdaygiri Method and system for off-line, on-line, and instant-message-based multimedia collaboration
US20040141605A1 (en) 2003-01-16 2004-07-22 International Business Machines Corporation Method and system for automatic real-time meeting attendance tracking and reporting in a multi-user telephone conferencing environment
US7454460B2 (en) 2003-05-16 2008-11-18 Seiko Epson Corporation Method and system for delivering produced content to passive participants of a videoconference
US7761386B2 (en) 2003-06-15 2010-07-20 Mordechai Teicher Method and apparatus for arranging social meetings
US7640506B2 (en) 2003-06-27 2009-12-29 Microsoft Corporation Method and apparatus for viewing and managing collaboration data from within the context of a shared document
US20050027800A1 (en) 2003-07-28 2005-02-03 International Business Machines Corporation Agenda-driven meetings
JP4458888B2 (ja) 2004-03-22 2010-04-28 富士通株式会社 会議支援システム、議事録生成方法、およびコンピュータプログラム
JP4268093B2 (ja) 2004-06-04 2009-05-27 株式会社日立製作所 会議遷移制御方法、会議遷移制御サーバおよび会議遷移制御プログラム
US20060047816A1 (en) 2004-06-17 2006-03-02 International Business Machines Corporation Method and apparatus for generating and distributing meeting minutes from an instant messaging session
US20060031326A1 (en) 2004-07-06 2006-02-09 Francis Ovenden Managing personal communications from a calendar scheduling application
JP2006085440A (ja) 2004-09-16 2006-03-30 Fuji Xerox Co Ltd 情報処理システム及び情報処理方法、並びにコンピュータ・プログラム
US7702673B2 (en) 2004-10-01 2010-04-20 Ricoh Co., Ltd. System and methods for creation and use of a mixed media environment
US10200468B2 (en) 2004-11-18 2019-02-05 Microsoft Technology Licensing, Llc Active agenda
US20060224430A1 (en) 2005-04-05 2006-10-05 Cisco Technology, Inc. Agenda based meeting management system, interface and method
US20060282266A1 (en) 2005-06-13 2006-12-14 Microsoft Corporation Static analysis of grammars
US8090707B1 (en) 2005-07-07 2012-01-03 Rearden Commerce Inc. Chance meeting addition to trip planner or meeting planner
US20070055730A1 (en) 2005-09-08 2007-03-08 Bagley Elizabeth V Attribute visualization of attendees to an electronic meeting
US20070106724A1 (en) 2005-11-04 2007-05-10 Gorti Sreenivasa R Enhanced IP conferencing service
US7640158B2 (en) 2005-11-08 2009-12-29 Multimodal Technologies, Inc. Automatic detection and application of editing patterns in draft documents
US20070106931A1 (en) 2005-11-08 2007-05-10 Nokia Corporation Active notes application
JP2007201912A (ja) 2006-01-27 2007-08-09 Orion Denki Kk 番組音声の言語による放送局抽出方法及びこれを備えた電子機器
JP2007336344A (ja) 2006-06-16 2007-12-27 Canon Inc 情報端末装置、その駆動方法及びプログラム
US7822606B2 (en) 2006-07-14 2010-10-26 Qualcomm Incorporated Method and apparatus for generating audio information from received synthesis information
US20080022209A1 (en) 2006-07-19 2008-01-24 Lyle Ruthie D Dynamically controlling content and flow of an electronic meeting
US20080040187A1 (en) 2006-08-10 2008-02-14 International Business Machines Corporation System to relay meeting activity in electronic calendar applications and schedule enforcement agent for electronic meetings
KR101443404B1 (ko) 2006-09-15 2014-10-02 구글 인코포레이티드 페이퍼 및 전자 문서내의 주석의 캡처 및 디스플레이
US7693736B1 (en) 2006-10-30 2010-04-06 Avaya Inc. Recurring meeting schedule wizard
JP2008152527A (ja) 2006-12-18 2008-07-03 Konica Minolta Business Technologies Inc 情報処理装置及び情報処理プログラム
US20090006161A1 (en) 2007-06-27 2009-01-01 Yen-Fu Chen Systems and methods for managing events of event scheduling applications
US20090021486A1 (en) 2007-07-19 2009-01-22 Apple Inc. Dashboard Surfaces
US8676273B1 (en) 2007-08-24 2014-03-18 Iwao Fujisaki Communication device
WO2009034412A1 (en) 2007-09-13 2009-03-19 Alcatel Lucent Method of controlling a video conference
GB0719129D0 (en) 2007-10-01 2007-11-07 Torridon Solutions Ltd Improvements relating to graphical user interfaces
US8200520B2 (en) 2007-10-03 2012-06-12 International Business Machines Corporation Methods, systems, and apparatuses for automated confirmations of meetings
US8504908B2 (en) 2007-10-17 2013-08-06 ITI Scotland, Limited Computer-implemented methods displaying, in a first part, a document and in a second part, a selected index of entities identified in the document
JP2008099330A (ja) 2007-12-18 2008-04-24 Sony Corp 情報処理装置、携帯電話機
US8368738B2 (en) 2008-01-14 2013-02-05 Microsoft Corporation Joining users to a conferencing session
US8214242B2 (en) 2008-04-24 2012-07-03 International Business Machines Corporation Signaling correspondence between a meeting agenda and a meeting discussion
US8019276B2 (en) 2008-06-02 2011-09-13 International Business Machines Corporation Audio transmission method and system
US8510646B1 (en) * 2008-07-01 2013-08-13 Google Inc. Method and system for contextually placed chat-like annotations
US20100085415A1 (en) 2008-10-02 2010-04-08 Polycom, Inc Displaying dynamic caller identity during point-to-point and multipoint audio/videoconference
WO2010066023A1 (en) 2008-12-12 2010-06-17 Smart Technologies Ulc System for supporting coordination of resources for events in an organization
US8060563B2 (en) 2008-12-29 2011-11-15 Nortel Networks Limited Collaboration agent
US9087032B1 (en) * 2009-01-26 2015-07-21 Amazon Technologies, Inc. Aggregation of highlights
US20100198644A1 (en) 2009-02-04 2010-08-05 Dell Products L.P. System and method for computer-aided coordination of presentation events
US8539359B2 (en) 2009-02-11 2013-09-17 Jeffrey A. Rapaport Social network driven indexing system for instantly clustering people with concurrent focus on same topic into on-topic chat rooms and/or for generating on-topic search results tailored to user preferences regarding topic
US8477174B2 (en) 2009-02-27 2013-07-02 Avaya Inc. Automatic video switching for multimedia conferencing
US20100268534A1 (en) 2009-04-17 2010-10-21 Microsoft Corporation Transcription, archiving and threading of voice communications
US8482827B2 (en) 2009-06-03 2013-07-09 Hewlett-Packard Development Company, L.P. Annotation on media sheet indicating functionality to be performed in relation to image on media sheet
US9111263B2 (en) 2009-06-15 2015-08-18 Microsoft Technology Licensing, Llc Adaptive meeting management
US8214748B2 (en) 2009-09-22 2012-07-03 International Business Machines Corporation Meeting agenda management
US8335689B2 (en) 2009-10-14 2012-12-18 Cogi, Inc. Method and system for efficient management of speech transcribers
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US8824785B2 (en) 2010-01-27 2014-09-02 Dst Technologies, Inc. Segregation of handwritten information from typographic information on a document
US20110246172A1 (en) 2010-03-30 2011-10-06 Polycom, Inc. Method and System for Adding Translation in a Videoconference
US8768686B2 (en) 2010-05-13 2014-07-01 International Business Machines Corporation Machine translation with side information
JP5644266B2 (ja) 2010-08-30 2014-12-24 株式会社リコー 電子黒板システム、電子黒板装置、電子黒板システムの制御方法及びプログラム
WO2012051712A1 (en) 2010-10-21 2012-04-26 Marc Reddy Gingras Methods and apparatus for the management and viewing of calendar data
US9143881B2 (en) 2010-10-25 2015-09-22 At&T Intellectual Property I, L.P. Providing interactive services to enhance information presentation experiences using wireless technologies
US9141710B2 (en) * 2010-10-27 2015-09-22 International Business Machines Corporation Persisting annotations within a cobrowsing session
US8732181B2 (en) * 2010-11-04 2014-05-20 Litera Technology Llc Systems and methods for the comparison of annotations within files
US20120166532A1 (en) 2010-12-23 2012-06-28 Yun-Fang Juan Contextually Relevant Affinity Prediction in a Social Networking System
US8639719B2 (en) 2011-02-02 2014-01-28 Paul Tepper Fisher System and method for metadata capture, extraction and analysis
US10032127B2 (en) 2011-02-18 2018-07-24 Nuance Communications, Inc. Methods and apparatus for determining a clinician's intent to order an item
US10270831B2 (en) 2011-04-04 2019-04-23 Soundlink, Inc. Automated system for combining and publishing network-based audio programming
EP3054699B1 (en) 2011-04-21 2017-09-13 Shah Talukder Flow-control based switched group video chat and real-time interactive broadcast
WO2012148904A1 (en) 2011-04-25 2012-11-01 Veveo, Inc. System and method for an intelligent personal timeline assistant
US10402485B2 (en) 2011-05-06 2019-09-03 David H. Sitrick Systems and methodologies providing controlled collaboration among a plurality of users
US9330366B2 (en) 2011-05-06 2016-05-03 David H. Sitrick System and method for collaboration via team and role designation and control and management of annotations
US8826147B2 (en) 2011-05-06 2014-09-02 David H. Sitrick System and methodology for collaboration, with selective display of user input annotations among member computing appliances of a group/team
US9195965B2 (en) 2011-05-06 2015-11-24 David H. Sitrick Systems and methods providing collaborating among a plurality of users each at a respective computing appliance, and providing storage in respective data layers of respective user data, provided responsive to a respective user input, and utilizing event processing of event content stored in the data layers
US8918724B2 (en) 2011-05-06 2014-12-23 David H. Sitrick Systems and methodologies providing controlled voice and data communication among a plurality of computing appliances associated as team members of at least one respective team or of a plurality of teams and sub-teams within the teams
US8918722B2 (en) 2011-05-06 2014-12-23 David H. Sitrick System and methodology for collaboration in groups with split screen displays
US8806352B2 (en) 2011-05-06 2014-08-12 David H. Sitrick System for collaboration of a specific image and utilizing selected annotations while viewing and relative to providing a display presentation
US8924859B2 (en) 2011-05-06 2014-12-30 David H. Sitrick Systems and methodologies supporting collaboration of users as members of a team, among a plurality of computing appliances
US9342516B2 (en) * 2011-05-18 2016-05-17 Microsoft Technology Licensing, Llc Media presentation playback annotation
US8812510B2 (en) 2011-05-19 2014-08-19 Oracle International Corporation Temporally-correlated activity streams for conferences
US20140055400A1 (en) 2011-05-23 2014-02-27 Haworth, Inc. Digital workspace ergonomics apparatuses, methods and systems
WO2012167318A1 (en) 2011-06-08 2012-12-13 Paul Epstein A method and system for facilitating a meeting
US20130006693A1 (en) 2011-06-29 2013-01-03 Haynes Iii James M Planning a Meeting or Event
US8832301B2 (en) 2011-07-21 2014-09-09 Parlant Technology System and method for enhanced event participation
US20130073329A1 (en) 2011-08-24 2013-03-21 The Board Of Trustees Of The Leland Stanford Junior University Method and System for Calendaring Events
US20130063542A1 (en) 2011-09-14 2013-03-14 Cisco Technology, Inc. System and method for configuring video data
US8682973B2 (en) 2011-10-05 2014-03-25 Microsoft Corporation Multi-user and multi-device collaboration
US20140108085A1 (en) 2011-11-08 2014-04-17 Matchware A/S Detection and rescheduling of unaddressed topics with the meeting management system
JP5764473B2 (ja) 2011-11-17 2015-08-19 株式会社日立製作所 イベントデータ処理装置
US9245254B2 (en) 2011-12-01 2016-01-26 Elwha Llc Enhanced voice conferencing with history, language translation and identification
US9110891B2 (en) 2011-12-12 2015-08-18 Google Inc. Auto-translation for multi user audio and video
US8838459B2 (en) 2012-02-29 2014-09-16 Google Inc. Virtual participant-based real-time translation and transcription system for audio and video teleconferences
GB2502944A (en) 2012-03-30 2013-12-18 Jpal Ltd Segmentation and transcription of speech
GB2501471A (en) 2012-04-18 2013-10-30 Barco Nv Electronic conference arrangement
US9002938B2 (en) 2012-04-26 2015-04-07 International Business Machines Corporation Notifying electronic meeting participants of interesting information
US8914452B2 (en) 2012-05-31 2014-12-16 International Business Machines Corporation Automatically generating a personalized digest of meetings
US20150106146A1 (en) 2012-06-18 2015-04-16 Google Inc. Priority calendar
US20140012574A1 (en) * 2012-06-21 2014-01-09 Maluuba Inc. Interactive timeline for presenting and organizing tasks
US9576325B2 (en) 2012-07-09 2017-02-21 Facebook, Inc. Recommending additional users for an event using a social networking system
US9269073B2 (en) 2012-09-20 2016-02-23 Avaya Inc. Virtual agenda participant
US10096316B2 (en) 2013-11-27 2018-10-09 Sri International Sharing intents to provide virtual assistance in a multi-person dialog
WO2014084967A1 (en) 2012-10-10 2014-06-05 Citrix Systems, Inc. Policy-based application management
US9239627B2 (en) 2012-11-07 2016-01-19 Panasonic Intellectual Property Corporation Of America SmartLight interaction system
US9529785B2 (en) 2012-11-27 2016-12-27 Google Inc. Detecting relationships between edits and acting on a subset of edits
US9363214B2 (en) 2012-11-29 2016-06-07 Ricoh Company, Ltd. Network appliance architecture for unified communication services
US20140164476A1 (en) 2012-12-06 2014-06-12 At&T Intellectual Property I, Lp Apparatus and method for providing a virtual assistant
JP5812051B2 (ja) 2012-12-26 2015-11-11 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理装置の制御方法、およびプログラム
US9113035B2 (en) 2013-03-05 2015-08-18 International Business Machines Corporation Guiding a desired outcome for an electronically hosted conference
US20140278629A1 (en) 2013-03-12 2014-09-18 PayrollHero.com Pte. Ltd. Method for employee parameter tracking
US10629188B2 (en) 2013-03-15 2020-04-21 International Business Machines Corporation Automatic note taking within a virtual meeting
US9055190B2 (en) 2013-04-30 2015-06-09 Hewlett-Packard Development Company, L.P. Arrangement of multiple audiovisual streams
US9734208B1 (en) 2013-05-13 2017-08-15 Audible, Inc. Knowledge sharing based on meeting information
US20140365202A1 (en) 2013-06-11 2014-12-11 Facebook, Inc. Translation and integration of presentation materials in cross-lingual lecture support
US9678953B2 (en) 2013-06-11 2017-06-13 Facebook, Inc. Translation and integration of presentation materials with cross-lingual multi-media support
US20150181020A1 (en) 2013-08-15 2015-06-25 HarQen, Inc. System and Method for Utilizing Metadata Associated with Audio Files in a Conversation Management System
US20150067047A1 (en) 2013-09-03 2015-03-05 Cisco Technology, Inc. Providing a meeting rules template for a meeting service in a network environment
JP2015069284A (ja) 2013-09-27 2015-04-13 株式会社リコー 画像処理装置
AU2014332090A1 (en) 2013-10-07 2016-05-05 Ckn Group, Inc. Systems and methods for interactive digital data collection
US10459985B2 (en) 2013-12-04 2019-10-29 Dell Products, L.P. Managing behavior in a virtual collaboration session
US9373075B2 (en) 2013-12-12 2016-06-21 International Business Machines Corporation Applying a genetic algorithm to compositional semantics sentiment analysis to improve performance and accelerate domain adaptation
KR102075986B1 (ko) 2014-02-03 2020-02-11 삼성전자주식회사 반도체 발광소자
JP6174501B2 (ja) 2014-02-17 2017-08-02 日本電信電話株式会社 映像会議サーバ、映像会議システム、および、映像会議方法
US9560076B2 (en) 2014-03-19 2017-01-31 Verizon Patent And Licensing Inc. Secure trust-scored distributed multimedia collaboration session
US20150334138A1 (en) 2014-05-14 2015-11-19 Microsoft Corporation Transferring content between graphical user interfaces
DE202015009277U1 (de) 2014-06-24 2017-01-20 Google Inc. Systeme zur Verwaltung von Bearbeitungsvorschlägen in einer Textbearbeitungsumgebung für kollaborative Dokumente
US9204098B1 (en) 2014-06-30 2015-12-01 International Business Machines Corporation Dynamic character substitution for web conferencing based on sentiment
WO2016000010A1 (en) 2014-06-30 2016-01-07 Governright Pty Ltd Governance reporting method and system
US9648061B2 (en) 2014-08-08 2017-05-09 International Business Machines Corporation Sentiment analysis in a video conference
US20160070688A1 (en) 2014-09-05 2016-03-10 Microsoft Corporation Displaying annotations of a document by augmenting the document
JP6515468B2 (ja) 2014-09-08 2019-05-22 富士ゼロックス株式会社 情報処理装置及び情報処理プログラム
US10002345B2 (en) 2014-09-26 2018-06-19 At&T Intellectual Property I, L.P. Conferencing auto agenda planner
US20160117624A1 (en) 2014-10-23 2016-04-28 International Business Machines Incorporated Intelligent meeting enhancement system
US10129078B2 (en) 2014-10-30 2018-11-13 Equinix, Inc. Orchestration engine for real-time configuration and management of interconnections within a cloud-based services exchange
US9860308B2 (en) * 2014-11-25 2018-01-02 International Business Machines Corporation Collaborative creation of annotation training data
WO2016126767A1 (en) 2015-02-03 2016-08-11 Dolby Laboratories Licensing Corporation Conference segmentation based on conversational dynamics
US20160249096A1 (en) 2015-02-25 2016-08-25 Isabella V. Ortiz Methods and systems enabling access by portable wireless handheld devices to audio and other data associated with programming rendering on flat panel displays
US10158734B2 (en) 2015-04-01 2018-12-18 Google Llc Trigger associated notification delivery in an enterprise system
US9621846B2 (en) 2015-07-20 2017-04-11 Bank Of America Corporation Personalized presentation of performance ratings of remote video assistant during remote video assistant selection
US10409919B2 (en) 2015-09-28 2019-09-10 Konica Minolta Laboratory U.S.A., Inc. Language translation for display device
US10447795B2 (en) 2015-10-05 2019-10-15 Polycom, Inc. System and method for collaborative telepresence amongst non-homogeneous endpoints
US10394963B2 (en) 2015-10-22 2019-08-27 International Business Machines Corporation Natural language processor for providing natural language signals in a natural language output
US10009393B2 (en) 2015-10-30 2018-06-26 Microsoft Technology Licensing, Llc Joining an on-line meeting from an off-line meeting
US11120342B2 (en) 2015-11-10 2021-09-14 Ricoh Company, Ltd. Electronic meeting intelligence
US9641563B1 (en) 2015-11-10 2017-05-02 Ricoh Company, Ltd. Electronic meeting intelligence
US10192456B2 (en) * 2015-12-01 2019-01-29 President And Fellows Of Harvard College Stimulating online discussion in interactive learning environments
JP2017117306A (ja) 2015-12-25 2017-06-29 ルネサスエレクトロニクス株式会社 マーキング解析システム及びマーキング解析方法
WO2017123394A1 (en) 2016-01-15 2017-07-20 Pearson Education, Inc. Interactive presentation controls
US10409550B2 (en) 2016-03-04 2019-09-10 Ricoh Company, Ltd. Voice control of interactive whiteboard appliances
US10204158B2 (en) 2016-03-22 2019-02-12 International Business Machines Corporation Audio summarization of meetings driven by user participation
US20170286383A1 (en) 2016-03-30 2017-10-05 Microsoft Technology Licensing, Llc Augmented imaging assistance for visual impairment
US20180007100A1 (en) 2016-06-30 2018-01-04 Microsoft Technology Licensing, Llc Candidate participant recommendation
CA2975477A1 (en) 2016-08-04 2018-02-04 Lulu Software Holdings System and method for the online editing of pdf documents
JP7000671B2 (ja) 2016-10-05 2022-01-19 株式会社リコー 情報処理システム、情報処理装置、及び情報処理方法
US11307735B2 (en) 2016-10-11 2022-04-19 Ricoh Company, Ltd. Creating agendas for electronic meetings using artificial intelligence
US10860985B2 (en) 2016-10-11 2020-12-08 Ricoh Company, Ltd. Post-meeting processing using artificial intelligence
US20180101760A1 (en) 2016-10-11 2018-04-12 Ricoh Company, Ltd. Selecting Meeting Participants for Electronic Meetings Using Artificial Intelligence
US10572858B2 (en) 2016-10-11 2020-02-25 Ricoh Company, Ltd. Managing electronic meetings using artificial intelligence and meeting rules templates
US10510051B2 (en) 2016-10-11 2019-12-17 Ricoh Company, Ltd. Real-time (intra-meeting) processing using artificial intelligence
US10375130B2 (en) 2016-12-19 2019-08-06 Ricoh Company, Ltd. Approach for accessing third-party content collaboration services on interactive whiteboard appliances by an application using a wrapper application program interface
US20180232705A1 (en) 2017-02-15 2018-08-16 Microsoft Technology Licensing, Llc Meeting timeline management tool
US10209951B2 (en) 2017-04-03 2019-02-19 Motorola Mobility Llc Language-based muting during multiuser communications
US11030445B2 (en) 2017-04-27 2021-06-08 Lenovo (Singapore) Pte. Ltd. Sorting and displaying digital notes on a digital whiteboard
US10360915B2 (en) 2017-04-28 2019-07-23 Cloud Court, Inc. System and method for automated legal proceeding assistant
US10404636B2 (en) * 2017-06-15 2019-09-03 Google Llc Embedded programs and interfaces for chat conversations
US10706278B2 (en) 2017-07-14 2020-07-07 Adobe Inc. Syncing digital and physical documents
US11128680B2 (en) 2017-07-21 2021-09-21 Fiduciary.ai Inc. AI mediated conference monitoring and document generation
US10553208B2 (en) 2017-10-09 2020-02-04 Ricoh Company, Ltd. Speech-to-text conversion for interactive whiteboard appliances using multiple services
US11030585B2 (en) 2017-10-09 2021-06-08 Ricoh Company, Ltd. Person detection, person identification and meeting start for interactive whiteboard appliances
US10552546B2 (en) 2017-10-09 2020-02-04 Ricoh Company, Ltd. Speech-to-text conversion for interactive whiteboard appliances in multi-language electronic meetings
US10956875B2 (en) 2017-10-09 2021-03-23 Ricoh Company, Ltd. Attendance tracking, presentation files, meeting services and agenda extraction for interactive whiteboard appliances
US11062271B2 (en) 2017-10-09 2021-07-13 Ricoh Company, Ltd. Interactive whiteboard appliances with learning capabilities
US10453455B2 (en) * 2017-11-22 2019-10-22 Adobe Inc. Multiple turn conversational task assistance
US10540971B2 (en) * 2017-12-15 2020-01-21 Blue Jeans Network, Inc. System and methods for in-meeting group assistance using a virtual assistant
US10757148B2 (en) 2018-03-02 2020-08-25 Ricoh Company, Ltd. Conducting electronic meetings over computer networks using interactive whiteboard appliances and mobile devices
WO2019173340A1 (en) * 2018-03-05 2019-09-12 Nuance Communications, Inc. System and method for review of automated clinical documentation
US11113672B2 (en) 2018-03-22 2021-09-07 Microsoft Technology Licensing, Llc Computer support for meetings
US10353997B1 (en) 2018-04-09 2019-07-16 Amazon Technologies, Inc. Freeform annotation transcription
US11386381B2 (en) 2018-06-06 2022-07-12 International Business Machines Corporation Meeting management
US11270060B2 (en) 2019-03-15 2022-03-08 Ricoh Company, Ltd. Generating suggested document edits from recorded media using artificial intelligence
US11392754B2 (en) 2019-03-15 2022-07-19 Ricoh Company, Ltd. Artificial intelligence assisted review of physical documents
US11573993B2 (en) 2019-03-15 2023-02-07 Ricoh Company, Ltd. Generating a meeting review document that includes links to the one or more documents reviewed

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005202596A (ja) 2004-01-14 2005-07-28 Fuji Xerox Co Ltd 電子付箋管理装置
JP2012103891A (ja) 2010-11-10 2012-05-31 Konica Minolta Business Technologies Inc レビュー文書処理装置およびレビュー文書処理方法
JP2016526216A (ja) 2013-05-20 2016-09-01 マイクロソフト テクノロジー ライセンシング，エルエルシー インクからテキスト表現への変換
JP2018142059A (ja) 2017-02-27 2018-09-13 富士ゼロックス株式会社 情報処理装置及び情報処理プログラム

Also Published As

Publication number Publication date
EP3709243A1 (en) 2020-09-16
JP2020149688A (ja) 2020-09-17
US11080466B2 (en) 2021-08-03
US20200293607A1 (en) 2020-09-17

Similar Documents

Publication Publication Date Title
JP7063347B2 (ja) 記録されたメディアからの提案を含むための、既存のコンテンツ提案の人工知能を用いた更新
JP6904449B2 (ja) レビューされた１つ以上の文書へのリンクを含む会議レビュー文書の生成
JP7063348B2 (ja) 記録されたメディアからの提案された文書編集の、人工知能を用いた生成
US11263384B2 (en) Generating document edit requests for electronic documents managed by a third-party document management service using artificial intelligence
US11392754B2 (en) Artificial intelligence assisted review of physical documents
US11720741B2 (en) Artificial intelligence assisted review of electronic documents
EP3467821B1 (en) Selection of transcription and translation services and generation of combined results
EP3467822B1 (en) Speech-to-text conversion for interactive whiteboard appliances in multi-language electronic meetings
US11062271B2 (en) Interactive whiteboard appliances with learning capabilities
US20200403818A1 (en) Generating improved digital transcripts utilizing digital transcription models that analyze dynamic meeting contexts
US8825489B2 (en) Method and apparatus for interpolating script data
US7693717B2 (en) Session file modification with annotation using speech recognition or text to speech
US7076732B2 (en) Document processing apparatus having an authoring capability for describing a document structure
US20070244700A1 (en) Session File Modification with Selective Replacement of Session File Components
US20210192261A1 (en) Digital image transcription and manipulation
CN111276149A (zh) 语音识别方法、装置、设备及可读存储介质
JP2009140466A (ja) 使用者製作問答データに基づいた会話辞書サービスの提供方法及びシステム
WO2023124647A1 (zh) 一种纪要确定方法及其相关设备
KR102492008B1 (ko) 회의록 관리 방법 및 장치
Yao Multimodal Corpus Construction and Research of Intercultural Communication Based on Multiple Regression Equation
Cameron DIY LEGAL TECH.
Toselli et al. Prototypes and Demonstrators
Applying Hands-on Azure Cognitive Services

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200312

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210329

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210406

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210525

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20211012

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220111

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20220111

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20220118

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20220125

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220322

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220404

R151 Written notification of patent or utility model registration

Ref document number: 7063347

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151