JP6972743B2 - オンライン会話ストリームに文書対話を持ち込むためのシステムおよび方法、コンピュータに実装された方法、プログラム、及びコンピュータ化システム - Google Patents

Description

開示される実施形態は、一般に、コンピュータネットワークを使用する人々の間の遠隔対話に関し、より詳細には、オンライン会話ストリームに文書対話を持ち込むためのシステムおよび方法に関する。

以前の作業は、２つの別個の比喩：文章中心または会話中心を使用して、文書コラボレーションに取り組んでいた。会話中心手法の場合、会話は文書の外で行われ、通常、ユーザは添付書類として文書を電子メールし、会話は、当業者によく知られている電子メールまたはＳｌａｃｋなどのチャットアプリケーションにより外で行われ、ここで、ユーザは文書をリンクすることができるが、会話は依然文書の外で行われる。この手法の利点は、会話が様々な文書を持ち込むことができることである。しかしながら、ユーザは、会話の中に文書上で行うコメントを持ち込む手段をもたない。ユーザは、このＰＰＴの「スライド４の黒丸３に同意しない」などの言及を行わざるを得ない。したがって、そのような通信はフォローすることが困難である。１つの反例は、現在見られているウェブページの外に存在するチャットウィンドウの中で、ウェブページの部分にユーザが言及を埋め込むことを可能にする、当業者によく知られているＫｉｆｉ１である。

他方、文書中心手法は、チャットボックスと同様に、当業者によく知られているＷｏｒｄ、Ｇｏｏｇｌｅ Ｄｏｃｓ内で達成されているように、ならびに、両方とも同様に当業者によく知られているＱｕｉｐおよびＧｏｏｇｌｅ Ｄｏｃｓ内で実施されているように、コメントの形態で、１つの文書の中に会話を埋め込む。富士ゼロックスパロアルト研究所から入手可能なＳｔｉｃｋｙＣｈａｔｓや、非特許文献１に記載されたＡｎｃｈｏｒｅｄ Ｃｏｎｖｅｒｓａｔｉｏｎｓなどのいくつかのよく知られているツールでは、Ｗｏｒｄ文書の特定の場所に会話チャットボックスをユーザがピン止めすることを可能にする。文書中心手法は一度に１つの文書に焦点を合わせるので、Ｗｏｒｄ、Ｅｘｃｅｌ、抜粋コード、画像などの多くの文書および文書タイプが実際の作業中に頻繁に使用される、現代のワークフローを十分にサポートしない。

加えて、ビデオ会議上で直示言及をサポートすることは、人々が対面していない場合に自分達の会話を足止めすることを支援する重要な方法である。非特許文献２において詳細に記載されているように、遠隔助勢に関する１つの研究は、物体や位置を指し示す指示がすべての遠隔命令のうちの７５％に及ぶことを示している。また、視線の利用によって、ユーザの意図に基づく合図を暗示しているので、注目領域について、より豊富な情報を追加することが可能となる（たとえば、非特許文献３を参照）。遠隔助勢の状況におけるポインティングと視線追跡を比較する最近の実験は、（単独でのこれらの合図のうちのただ１つに比べて）ポインティングと視線の情報の両方を使うことで、パフォーマンスや実在するものに対する感知の点で最良であることがわかっている（非特許文献４を参照）。

Ｅｌｉｚａｂｅｔｈ Ｆ．Ｃｈｕｒｃｈｉｌｌ、Ｊｏｎａｔｈａｎ Ｔｒｅｖｏｒ、Ｓａｒａ Ｂｌｙ、Ｌｅｓ Ｎｅｌｓｏｎ、およびＤａｖｏｒ Ｃｕｂｒａｎｉｃ、２０００年、Ａｎｃｈｏｒｅｄ ｃｏｎｖｅｒｓａｔｉｏｎｓ：ｃｈａｔｔｉｎｇ ｉｎ ｔｈｅ ｃｏｎｔｅｘｔ ｏｆ ａ ｄｏｃｕｍｅｎｔ Ｓｕｓａｎ Ｒ．Ｆｕｓｓｅｌｌ、Ｌｅｓｌｉｅ Ｄ．Ｓｅｔｌｏｃｋ、Ｊｉｅ Ｙａｎｇ、Ｊｉａｚｈｉ Ｏｕ、Ｅｌｉｚａｂｅｔｈ Ｍａｕｅｒ、およびＡｄａｍ ＤＩ Ｋｒａｍｅｒ、２００４年、Ｇｅｓｔｕｒｅｓ ｏｖｅｒ ｖｉｄｅｏ ｓｔｒｅａｍｓ ｔｏ ｓｕｐｐｏｒｔ ｒｅｍｏｔｅ ｃｏｌｌａｂｏｒａｔｉｏｎ ｏｎ ｐｈｙｓｉｃａｌ ｔａｓｋｓ．Ｈｕｍａｎ−Ｃｏｍｐｕｔｅｒ Ｉｎｔｅｒａｃｔｉｏｎ １９、３：２７３−３０９ Ｄｅｅｐａｋ ＡｋｋｉｌおよびＰｏｉｋａ Ｉｓｏｋｏｓｋｉ、２０１６年、Ｇａｚｅ Ａｕｇｍｅｎｔａｔｉｏｎ ｉｎ Ｅｇｏｃｅｎｔｒｉｃ Ｖｉｄｅｏ Ｉｍｐｒｏｖｅｓ Ａｗａｒｅｎｅｓｓ ｏｆ Ｉｎｔｅｎｔｉｏｎ、１５７３−１５８４ Ｋ．Ｇｕｐｔａ、Ｇ．Ｌｅｅ、およびＭ．Ｂｉｌｌｉｎｇｈｕｒｓｔ、２０１６年、Ｄｏ Ｙｏｕ Ｓｅｅ Ｗｈａｔ Ｉ Ｓｅｅ？ Ｔｈｅ Ｅｆｆｅｃｔ ｏｆ Ｇａｚｅ Ｔｒａｃｋｉｎｇ、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｖｉｓｕａｌｉｚａｔｉｏｎ ａｎｄ Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ ＰＰ、９９：１−１

本明細書に記載された一つの実施形態は、ネットワークを通じた会話ストリーム内での文書位置の着目領域の把握が可能なコミュニケ―ションの方法を提供する。

本明細書に記載された発明概念の一態様によれば、コンピュータに実装された方法が提供され、方法は中央処理装置およびメモリを搭載するコンピュータ化システム内で実施され、コンピュータに実装された方法は、文書に関連するユーザの１つまたは複数のアクションを検出し、文書のコンテンツを解析し、文書のレイアウトを解析し、文書に関連するユーザの検出した１つまたは複数のアクション、解析した文書コンテンツ、および解析した文書レイアウトに基づいて、再生可能な文書ページの抜粋を自動的に生成し、自動的に生成した再生可能な文書ページの抜粋を文書に関連付けられた会話ストリームに挿入することを含む。

１つまたは複数の実施形態では、検出したユーザアクションは、文書の少なくとも一部分の上のユーザによるマウスポインタのホバリングである。

１つまたは複数の実施形態では、検出したユーザアクションは、文書に関連するユーザによるテキスト入力である。

１つまたは複数の実施形態では、検出したユーザアクションは、文書に関連するユーザによる音声コメントである。

１つまたは複数の実施形態では、検出したユーザアクションは、文書に関連するユーザによる注視である。

１つまたは複数の実施形態では、文書に関連付けられた会話ストリームは、チャットウィンドウ内に表示される。

１つまたは複数の実施形態では、自動的に生成した再生可能な文書ページの抜粋は、意味的にリンクされたユーザのアクションに対応する文書の２つ以上の部分を備える複合抜粋である。

１つまたは複数の実施形態では、方法は、文書の別個のビューワを開かずに会話ストリームの中で、自動的に生成した再生可能な文書ページの抜粋を表示および再生することを更に含む。

１つまたは複数の実施形態では、方法は、文書用の別個のビューワを開かずに会話ストリームの中で、自動的に生成した再生可能な文書ページの抜粋にユーザが応答することを可能にすることを更に含む。

１つまたは複数の実施形態では、方法は、自動的に生成された再生可能な文書ページの抜粋と、文書に関連するユーザの対応する検出された１つまたは複数のアクションとを一緒にグループ化することを更に含む。

１つまたは複数の実施形態では、方法は、ユーザが文書のビューワに焦点を合わせるとき、関連する抜粋をフィルタリングし、ユーザの対応する１つまたは複数のアクションを検出することを更に含む。

１つまたは複数の実施形態では、文書の同じページ領域の上の複数のユーザからのアクションは、複数のユーザのアクションを備える単一の抜粋をもたらす重ね合わせを使用してグループ化される。

１つまたは複数の実施形態では、検出したユーザアクションは、文書の少なくとも一部分の上のユーザによるポインタの動きであり、ポインタの動きが、低いサンプリングレートで取得されると、ポインタの動きは円滑化され、その円滑化は、構成要素または文書の文書オブジェクトモデルに関連付けられた基となるテキストに基づいて、偽テキストカーソルを挿入することを含む。

本明細書に記載された発明概念の別の態様によれば、１組のコンピュータ実行可能命令を具現化する非一時的コンピュータ可読媒体が提供され、コンピュータ実行可能命令は、中央処理装置およびメモリを搭載するコンピュータ化システムと連携して実行されると、文書に関連するユーザの１つまたは複数のアクションを検出し、文書のコンテンツを解析し、文書のレイアウトを解析し、文書に関連するユーザの検出した１つまたは複数のアクション、解析した文書コンテンツ、および解析した文書レイアウトに基づいて、再生可能な文書ページの抜粋を自動的に生成し、自動的に生成した再生可能な文書ページの抜粋を文書に関連付けられた会話ストリームに挿入することを含む方法をコンピュータ化システムに実施させる。

１つまたは複数の実施形態では、検出したユーザアクションは、文書の少なくとも一部分の上のユーザによるマウスポインタのホバリングである。

１つまたは複数の実施形態では、検出したユーザアクションは、文書に関連するユーザによるテキスト入力である。

１つまたは複数の実施形態では、検出したユーザアクションは、文書に関連するユーザによる音声コメントである。

１つまたは複数の実施形態では、検出したユーザアクションは、文書に関連するユーザによる注視である。

１つまたは複数の実施形態では、文書に関連付けられた会話ストリームは、チャットウィンドウ内に表示される。

１つまたは複数の実施形態では、自動的に生成した再生可能な文書ページの抜粋は、意味的にリンクされたユーザのアクションに対応する文書の２つ以上の部分を備える複合抜粋である。

１つまたは複数の実施形態では、方法は、文書の別個のビューワを開かずに会話ストリームの中で、自動的に生成した再生可能な文書ページの抜粋を表示および再生することを更に含む。

１つまたは複数の実施形態では、方法は、文書用の別個のビューワを開かずに会話ストリームの中で、自動的に生成した再生可能な文書ページの抜粋にユーザが応答することを可能にすることを更に含む。

１つまたは複数の実施形態では、方法は、自動的に生成した再生可能な文書ページの抜粋と、文書に関連するユーザの対応する検出した１つまたは複数のアクションとを一緒にグループ化することを更に含む。

１つまたは複数の実施形態では、方法は、ユーザが文書のビューワに焦点を合わせるとき、関連する抜粋をフィルタリングし、ユーザの対応する１つまたは複数のアクションを検出することを更に含む。

１つまたは複数の実施形態では、文書の同じページ領域の上の複数のユーザからのアクションは、複数のユーザのアクションを備える単一の抜粋をもたらす重ね合わせを使用してグループ化される。

１つまたは複数の実施形態では、検出したユーザアクションは、文書の少なくとも一部分の上のユーザによるポインタの動きであり、ポインタの動きが、低いサンプリングレートで取得されると、ポインタの動きは円滑化され、その円滑化は、構成要素または文書の文書オブジェクトモデルに関連付けられた基となるテキストに基づいて、偽テキストカーソルを挿入することを含む。

本明細書に記載された発明概念のまた別の態様によれば、中央処理装置およびメモリを搭載するコンピュータ化システムが提供され、メモリは、文書に関連するユーザの１つまたは複数のアクションを検出し、文書のコンテンツを解析し、文書のレイアウトを解析し、文書に関連するユーザの検出した１つまたは複数のアクション、解析した文書コンテンツ、および解析した文書レイアウトに基づいて、再生可能な文書ページの抜粋を自動的に生成し、自動的に生成した再生可能な文書ページの抜粋を文書に関連付けられた会話ストリームに挿入することを含む方法をコンピュータ化システムに実施させる１組のコンピュータ可読命令を記憶する。

１つまたは複数の実施形態では、検出したユーザアクションは、文書の少なくとも一部分の上のユーザによるマウスポインタのホバリングである。

１つまたは複数の実施形態では、検出したユーザアクションは、文書に関連するユーザによるテキスト入力である。

１つまたは複数の実施形態では、検出したユーザアクションは、文書に関連するユーザによる音声コメントである。

１つまたは複数の実施形態では、検出したユーザアクションは、文書に関連するユーザによる注視である。

１つまたは複数の実施形態では、文書に関連付けられた会話ストリームは、チャットウィンドウ内に表示される。

１つまたは複数の実施形態では、自動的に生成した再生可能な文書ページの抜粋は、意味的にリンクされたユーザのアクションに対応する文書の２つ以上の部分を備える複合抜粋である。

１つまたは複数の実施形態では、方法は、文書の別個のビューワを開かずに会話ストリームの中で、自動的に生成した再生可能な文書ページの抜粋を表示および再生することを更に含む。

１つまたは複数の実施形態では、方法は、文書用の別個のビューワを開かずに会話ストリームの中で、自動的に生成された再生可能な文書ページの抜粋にユーザが応答することを可能にすることを更に含む。

１つまたは複数の実施形態では、方法は、自動的に生成した再生可能な文書ページの抜粋と、文書に関連するユーザの対応する検出した１つまたは複数のアクションとを一緒にグループ化することを更に含む。

１つまたは複数の実施形態では、方法は、ユーザが文書のビューワに焦点を合わせるとき、関連する抜粋をフィルタリングし、ユーザの対応する１つまたは複数のアクションを検出することを更に含む。

１つまたは複数の実施形態では、文書の同じページ領域の上の複数のユーザからのアクションは、複数のユーザのアクションを備える単一の抜粋をもたらす重ね合わせを使用してグループ化される。

１つまたは複数の実施形態では、検出したユーザアクションは、文書の少なくとも一部分の上のユーザによるポインタの動きであり、ポインタの動きが、低いサンプリングレートで取得されると、ポインタの動きは円滑化され、その円滑化は、基となるテキスト連結された構成要素または文書の文書オブジェクトモデルに基づいて、偽テキストカーソルを挿入することを含む。

本明細書に記載された発明概念の別の態様によれば、コンピュータに、ａ．文書に関連するユーザの１つまたは複数のアクションを検出し、ｂ．前記文書のコンテンツを解析し、ｃ．前記文書のレイアウトを解析し、ｄ．前記文書に関連する前記ユーザの前記検出した１つまたは複数のアクション、前記解析した前記コンテンツ、および前記解析した前記レイアウトに基づいて、再生可能な文書ページの抜粋を自動的に生成し、ｅ．前記自動的に生成した再生可能な文書ページの抜粋を、前記文書に関連付けられた会話ストリームに挿入することを含む処理を実行させるためのプログラムが提供される。

本発明に関係するさらなる態様は、以下の説明において部分的に記載され、部分的にその説明から明らかであり、または本発明の実践によって知られる場合がある。本発明の態様は、要素および様々な要素の組合せ、ならびに以下の発明を実施するための形態および添付の特許請求の範囲において特に指摘される態様により、実現および達成される場合がある。

上記の説明と以下の説明の両方は例示的および説明的であるにすぎず、何であれ、いかなる方式においても、特許請求される発明またはその適用例を限定するものではないことを理解されたい。

本明細書に組み込まれ、その一部を構成する添付図面は、本発明の実施形態を例示し、説明とともに発明概念の原理を説明し例示する働きをする。

本明細書に記載された一つの実施形態は、ネットワークを通じた会話ストリーム内での文書位置の着目領域の把握が可能なコミュニケ―ションの方法を提供する。

チャットウィンドウに挿入される１つまたは複数のページおよび文書とのユーザの対話に対応する３つの抜粋を示す図である。 記載された新規の手法の一実施形態により、ユーザのアクションに基づいてどのように抜粋が作成されるか、どのように抜粋が挿入されるか、およびどのようにユーザが抜粋と対話することができるかを説明する、３つの例示的なフローチャートを示す図である。 システムが２つのページ内で３つの抜粋を見つけたとき、（レイアウト解析の結果）１つがタイトルに対応し、２番目がレイアウトを使用して導入部の下の段落にカチッとはまり、ならびにコンテンツ解析を使用して文の最後にクロップし、３番目の抜粋が図１にカチッとはまる状況を示す図である。 図３に示されたように検出された３つの抜粋がチャットウィンドウに挿入され、ユーザがそれらをインラインで再生してコメントを見聞きし、ならびに自分自身のコメントを追加することを可能にする、例示的な実施形態を示す図である。 システムが複数のユーザアクションを同じ抜粋上に折りたたみ、下にクリック可能なタイムラインを示し、その抜粋にリンクされた各アクションの再生を可能にする、例示的な実施形態を示す図である。 実際のＳｌａｃｋチャットセッションから、チャットウィンドウ内の共有文書を参照するテキストメッセージを検出することを示す図である。 ユーザが複数の文書タイプとシームレスに対話することを可能にするためのコンピュータ化システムの例示的な実施形態を示す図である。

以下の発明を実施するための形態では、添付図面に対して参照が行われ、添付の図面では、同一の機能要素は同様の数字を用いて指定される。前述の添付図面は、限定としてではなく例示として、本発明の原理と一致する特定の実施形態および実装形態を示す。これらの実施形態は、当業者が本発明を実践することを可能にするために十分詳細に記載され、本発明の範囲および趣旨から逸脱することなく、他の実装形態を利用してもよく、様々な要素の構造的な変更および／または置換を行ってもよいことを理解されたい。したがって、以下の発明を実施するための形態は、限定的な意味で解釈されるべきではない。加えて、本発明の様々な実施形態は、汎用コンピュータ上で稼動するソフトウェアの形態で、専用ハードウェアの形態で、またはソフトウェアとハードウェアの組合せで実装される場合がある。

従来技術に関連付けられた上記その他の問題に対処するために、本明細書に記載された１つまたは複数の実施形態は、ユーザが複数の文書タイプと途切れなく対話することができるシステムおよび方法を実装する。本明細書で使用される文書という用語は、限定はしないが、紙（物理的な）文書、電子文書、テキスト文書、画像、写真、図面、レンダリング、または任意の他のタイプのコンテンツを含む、当技術分野で知られている任意のタイプの文書を指す。したがって、本明細書に記載された実施形態は、いかなる特定のタイプの文書またはそのコンテンツにも限定されない。本発明の実施形態を例示するために本明細書で使用される任意の特定の文書タイプは、例示的にすぎず、何であれ、いかなる方式においても、本発明を限定しないと考えられるべきである。

１つまたは複数の実施形態では、ユーザの対話は自動的に検出され、通常のテキストメッセージとともに会話ストリームに追加される。具体的には、ユーザが１つまたは複数の文書ページと対話するときにシステムによって検出された１組のアクション（マウス、テキスト、音声、注視、およびスクロール入力イベント）を仮定すると、記載されたシステムは、以下の多様な手法（例えば、以下の（１）〜（３）に示す手法）を使用してアクションを意味のある抜粋の中に集める。

（１）動きの重要度を計算するために、マウスの位置、（滞在時間を含む）速度が使用される。

（２）抜粋のクロップボックスを知的に拡張するために、基となるコンテンツ（たとえば、コラム、図）が使用される。

（３）不規則なカーソルの動きと伝達を意図するカーソルの動きとをさらに区別するために、（遠隔会議セッション中のウェブカメラを介して利用可能なときの視線などの）ユーザの注意およびユーザの音声が利用される。

１つまたは複数の実施形態では、これらの信号を使用して、記載された新規のアルゴリズムは、文書ページの対応する部分をマルチメディアの抜粋に知的にクロップする。各々の取得されたマルチメディアの抜粋は、最適なユーザのチャットアプリケーションに挿入される。記載されたシステムの１つの例示的な実施形態は、図１に示されたように、クリック可能な画像として遠隔会議ツールのカスタムチャットウィンドウ部分を提供する。具体的には、図１は、チャットウィンドウ１００に挿入された、１つまたは複数のページおよび文書とのユーザの対話に対応する３つの抜粋１０１、１０２、および１０３を示す。一実施形態では、上述の抜粋１０１、１０２、および１０３が挿入されると、誰でも抜粋を再生することができる。たとえば、図１は、再生されるべきマウスアクションが存在することを示す円によって示されたように、抜粋１０１、１０２、および１０３とのユーザ対話を示す。示された例では、そのチャットに関与しているいかなるユーザも、他のユーザの上述のマウス対話に応答することができる。加えて、チャットメッセージ１０４、１０５、および１０６によって示されたように、誰でも（その文書を開く必要なしに）インラインで抜粋に応答することもできる、図１参照。

１つまたは複数の実施形態では、チャットウィンドウ１００内で、ユーザは、任意の抜粋１０１、１０２、または１０３をクリックし、その文書ページを開く必要なしに、チャットウィンドウ１００の中のインラインで、再生されるそのアクションを見ることができる。１つまたは複数の実施形態では、ユーザは、自分のマウス、キーボード、および音声を記録することにより、この抜粋上に新しいアクションを作成することもでき、このようにして、チャットウィンドウ１００の中に挿入される新しい抜粋を作成する。文書対話は、従来のテキストベースのメッセージのような最上級の市民になる。

追加または代替として、ユーザは、限定はしないが、マウスアクション、強調、インクストローク、ならびに音声コメントを含む再生可能なアクションとともに、文書自体を開いてフルビューを見ることを選ぶことが可能である。当業者なら諒解されるように、ユーザが文書に焦点を合わせるとき、対応する関連したチャット抜粋１０１、１０２、および１０３、ならびにメッセージ１０４、１０５、および１０６を見ることが自然である。したがって、システムは、文書（図示せず）の次に位置するチャットウィンドウ１００を自動的にフィルタリングし、場合によっては読まれている文書ページとリストを同期することにより、それらを提示する。言い換えれば、記載された新規の技法は、文書ビューワにページ４が示されているときはいつでも、「スライド４に私は同意しない」などの通常のテキストメッセージをシステムが文脈上扱うことを可能にする。

［インテリジェントな抜粋作成について］

［動機付け］
図２は、記載された新規の手法の一実施形態により、ユーザのアクションに基づいてどのように抜粋が作成されるか、どのように抜粋が挿入されるか、およびどのようにユーザが抜粋と対話することができるかを説明する、３つの例示的なフローチャート２００、２２０、および２４０を示す。具体的には、フローチャート２００のステップ２０１において、文書アクションの開始が検出される（図２参照）。ステップ２０２において、システムは、ユーザによって作成されたコメントの録音を開始する。ステップ２０３において、システムは、マウスカーソルまたは他のポインタの位置の記録を開始する。ステップ２０４において、システムは、文書レイアウトを検出する。ステップ２０５において、システムは、ポインタアクションの基となるコンテンツを検出する。ステップ２０６において、システムは、ユーザによる文書アクションの終了を検出する。ステップ２０７において、ポインタアクション領域が集められる。ステップ２０８において、得られたクラスタは、ユーザの注視および注意の手段によって重み付けされる。ステップ２０９において、システムは、上位にあるクラスタを使用して抜粋を作成する。ステップ２１０において、システムは、記録されたポインタ（たとえば、マウスカーソル）のアクションが、低いサンプリングレートで取得されると、それらの円滑化を実施する。ステップ２１１において、システムは、ポインタアクションおよび対応するオーディオをそれぞれの抜粋にリンクする。ステップ２１２において、システムは、静止した抜粋及び動画の抜粋を生成する。最後に、ステップ２１３において、システムは、生成された静止した抜粋又は動画の抜粋をチャットウィンドウに挿入する。

フローチャート２２０を参照すると、ステップ２２１において、ユーザは、抜粋の上でマウスカーソルをホバリングする。ステップ２２２において、ユーザ応答が自動的に記録される。ステップ２２３において、ユーザ応答が単一のビューにグループ化される。

最後に、フローチャート２４０を参照すると、ユーザは、文書ビュー内で抜粋を開く（ステップ２４１参照）。ステップ２４２において、チャットは、関係する抜粋を自動的にフィルタリングする。

一実施形態では、記載されたシステムは、マウスの位置を収集し、文書レイアウト解析を使用することで文書ページの上のアクションの空間的拡張を特定する。ユーザのアクションのインテリジェントな分割（セグメント化）が行われないと、システムは、文書ページ全体を潜在的に包含する抜粋を作成することになる。代わりに、一実施形態では、システムは、文書ページ上の意味のある領域を切り取り、それらを会話ストリームに挿入するために、それらを見つけようとする。これは、基となる文書コンテンツならびにユーザの対話の両方の自動理解を統合することを必要とする。クロッピングは、元の文書ページを見る必要なしにチャットの中の抜粋のコンテンツをユーザが読むことも可能にする。

［レイアウト解析］
１つの例示的な実施形態は、Ｎａｇｙ、Ｇ．、Ｓｅｔｈ、Ｓ．、Ｖｉｓｗａｎａｔｈａｎ、Ｍ．：Ａ ｐｒｏｔｏｔｙｐｅ ｄｏｃｕｍｅｎｔ ｉｍａｇｅ ａｎａｌｙｓｉｓ ｓｙｓｔｅｍ ｆｏｒ ｔｅｃｈｎｉｃａｌ ｊｏｕｒｎａｌｓ、Ｃｏｍｐｕｔｅｒ ７（１９９２年）１０−２２に記載されたＸＹカットアルゴリズムを使用して、テキストボックス、テキストライン、段落、およびコラムを検出する。一実施形態では、このアルゴリズムは、当業者によく知られているＪａｖａ（登録商標）ｓｃｒｉｐｔ内に実装される。図、表、およびグラフは、バイナリ化された画像からテキストボックスを取り除き、ラインを見つけることによって検出される（現在、ラインによって結びつけられていないか、またはラインを含んでいない表および数式は検出されないが、最新技術の方法を適用することができる）。他のクラスタリングおよびグループ化の技法は、たとえば、「ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ ＣＯＮＴＥＮＴ ＡＮＡＬＹＳＩＳ ＴＯ ＳＵＰＰＯＲＴ ＮＡＶＩＧＡＴＩＯＮ ＡＮＤ ＡＮＮＯＴＡＴＩＯＮ ＩＮ ＥＸＰＯＳＩＴＯＲＹ ＶＩＤＥＯＳ」と題する米国特許出願公開第ＵＳ２０１４−０２４５１５２Ａ１号に記載されているように、従来のテキスト文書以外のコンテンツに使用することもできる。所与のテキスト群（たとえば、コラム）では、一実施形態は、そのテキスト群内の平均ラインのＸよりも大きい開始Ｘを有するように検出される、ラインの字下げを検出すると、そのテキスト群をサブ段落にさらに分割する。

［コンテンツ解析］
当業者なら諒解されるように、テキストエディタ内で示されるソースコードなどのいくつかの文書は、それらのレイアウトに多くの多様性を含まない場合がある。この状況では、記載されたシステムの一実施形態は、両方とも当業者によく知られている、文書オブジェクトモデル（ＤＯＭ）または光学式文字認識（ＯＣＲ）を使用して取得される、テキストコンテンツに基づいて抜粋クロップ領域を決定するために、コンテンツ解析も実施する。たとえば、ユーザがテキストエディタ内のソースコードを共有しており、Ｊａｖａ（登録商標）ｓｃｒｉｐｔ関数の上にそのテキストカーソルを移動させる場合、システムは、ページの他の部分を切り取って、この関数名の上下に抜粋を自動的にクロップする。ワードプロセッシング文書では、システムは、文または段落の始めおよび終わりに抜粋をクロップすることができる。このコンテンツベースのクロッピングは、純粋なレイアウトベースの手法が失敗する場合、ユーザがテキストの長いコラムの上で身振りをするとき、下記に記載されたセグメント化アルゴリズムにおいて使用される。

［セグメント化アルゴリズム］
一実施形態では、文書−マウス対話データは、いつでも文書上のマウスカーソルの位置を示すタイムスタンプ付きの（Ｘ，Ｙ，ｔ）トリプルの長い経路からなる。長いテキスト群をサブ長方形に分割するライン字下げ検出を含む、上述されたレイアウト解析を使用して、

−１）システムの一実施形態は、セグメント（Ｘ１，Ｙ１）（Ｘ２，Ｙ２）が、検出されたレイアウトの要素を横切るときはいつでも、経路を分割（セグメント化）する。たとえば、ユーザが、文書のコラム１の中のテキスト段落からカーソルをコラム２に移動させる場合、システムの一実施形態は経路を２つのサブ経路に分割する。

−２）システムの一実施形態は、残りの経路をサブ経路に分割するように、コンテンツベースの解析をさらに考慮する。コンテンツベースの解析は文の位置を与える。たとえば、ユーザが同じ段落の上だが２つの別個の文の上でジェスチャをした場合、システムの一実施形態は、段落経路を２つ以上のサブ経路に分割することができる。

−３）場合によっては、ユーザは、レイアウトオブジェクト（たとえば、同じ文、同じグラフ）の２つの別個の部分の上でジェスチャをした可能性がある。この要素のサイズが、チャットウィンドウに挿入されたときに読むのに十分小さい場合、分割はここで停止する。そうでない場合、システムの一実施形態は、連続する（Ｘ，Ｙ，ｔ）トリプルが空間および時間的に十分遠く離れているとき、残りの経路をさらに分割する：ユーザが何かを説明するとき、それらは、通常、説明を必要とする次の領域に移動する前のしばらくの間停止する。

１つまたは複数の実施形態では、記載されたセグメンタは、含まれるマウス経路情報とともに、文書抜粋のリスト：長方形の境界ボックスのリストを生成する。

［視線の使用］
利用可能な場合、１つまたは複数の実施形態では、分割（セグメント化）は視線の位置経路に適用することができる。前に取得された抜粋は、視線抜粋と統合（マージ）される。たとえば、マウス経路のみが存在している既存の抜粋に新しい経路を追加することが可能である。これらの位置にマウス経路が見つからなかったので前に検出されなかった新しい抜粋を追加することも可能である。

１つまたは複数の実施形態では、視線はマウス位置に対する事前フィルタリングステップとして使用することもでき、速いマウスの動きに注視が利用できない場合、セグメント化アルゴリズムが適用される前に、この部分はカーソル経路から取り除かれ、これにより、ユーザがその目標位置を見ることなく邪魔にならない所にカーソルを移動させるときなどに、システムが伝達ではないカーソルの動きを除去することが可能になる。

［オーディオを使用して抜粋の時間領域を確立する］
当業者なら諒解されるように、ユーザは、通常、自分のカーソルを停止した後でも話し続け、カーソルを動かす前に話し始めることもできる。したがって、一実施形態では、システムは、音声検出を使用して、その抜粋にリンクされたオーディオソースを時間的に切り取る。１つの例示的な実施形態は、当技術分野でよく知られているｈａｒｋ．ｊｓ２を使用して、クライアント側の実装形態を利用する。

［いくつかの抜粋を統合（マージ）し直す］
１つまたは複数の実施形態では、遠く離れすぎているページ上の２つ以上の領域にアクションが及ぶとき、セグメンタはそれらを分割する。たとえば、ステップ３において、ユーザは、文の一部の上で、次いで、同じ文であるが２Ｄ空間では遠く離れている文の中で再び円を描く可能性がある。場合によっては、システムは、視覚的インジケータ、たとえば破線によって分離された単一の抜粋を作成することにより、これら２つの抜粋を統合し直すことができる。この技法により、アクションが文書ページの大きい面を包含するときでも、抜粋の挿入が可能になる。

図３は、システムが２つのページ３０４および３０５内で３つの抜粋３０１、３０２、および３０３を見つけたとき、（レイアウト解析の結果）１つ（３０１）がタイトルに対応し、２番目（３０２）がレイアウトを使用して導入部の下の段落にカチッとはまり、ならびにコンテンツ解析を使用して文の最後にクロップし、３番目（３０３）の抜粋が図１にカチッとはまる状況を示す。

［チャットウィンドウに再生可能な抜粋を挿入する］
１つまたは複数の実施形態では、クロップ領域を使用して、システムは、その文書ページの静止した抜粋を生成し、それをチャットウィンドウ１００に挿入する。サードパーティのチャットシステムと統合することを支援するために、一実施形態では、マウス／音声アクションが付随する抜粋の動画のＧＩＦまたはビデオを代わりに挿入することができる。１つの例示的な実施形態では、ユーザは、挿入された抜粋の上でユーザがクリックするときに起こることを制御し、次いで、ユーザは、Ｊａｖａ（登録商標）ｓｃｒｉｐｔとＣＳＳ動画の組合せを使用して再生された抜粋を見る。

図４は、図３に示されたように検出された３つの抜粋４０１、４０２、および４０３がチャットウィンドウ４００に挿入され、ユーザがそれらをインラインで再生してコメントを見聞きし、ならびに自分自身のコメントを追加することを可能にする、例示的な実施形態を示す。ここで、ユーザはまた、それぞれの抜粋４０１、４０２、および４０３の下で、テキストメッセージ４０４、４０５，および４０６を使用して話している。明らかに、テキストメッセージ４０４、４０５，および４０６は、コンテンツを参照しており、システムがそれらを対応する抜粋にリンクし、ユーザが後で文書に焦点を合わせる場合のみ、それらを表示することを可能にする。図４に示された例では、チャットウィンドウ４００は、当業者によく知られているＭｉｘＭｅｅｔ会議ツールの中に生成される。

［インラインでの新しい抜粋の作成］
１つまたは複数の実施形態では、抜粋は、インラインで再生されるべきチャット会話に挿入される。しかし、一実施形態では、システムはまた、ユーザが単に抜粋の上に自分のカーソルを移動し、話し始めることにより、抜粋に「応答する」ことを可能にする。これにより、チャットウィンドウの中に新しい抜粋が作成される。作成は、ユーザが抜粋の中でクリックし、自分のカーソルをドラッグすると開始する。カーソルが抜粋の境界のうちの１つに達すると、抜粋は、その位置のまわりのページの残りを見せるように広がる。ユーザが抜粋をドラッグせずに抜粋の上でホバリングすると同じことが起こり、インテリジェントなクロップがあまりインテリジェントでなかった場合のページ領域の多くをその人が探索することを可能にする。

１つまたは複数の実施形態では、複数のユーザが同じ抜粋の上でアクションを加えると、システムはユーザごとに新しい抜粋を作成する。ユーザの好みに応じて、システムは、それらを同じ抜粋の上に折りたたみ、下にクリック可能なタイムラインを表示することもでき、図５に示されたように、その抜粋にリンクされた各アクションの再生を可能にする。具体的には、図５に示された実施形態では、２人のユーザが同じ抜粋５０１の上に、抜粋５０１の下のタイムライン部分５０２、５０３、および５０４からなるクリック可能なタイムラインによって表される３つのコメントを残している。ユーザが、抜粋５０１の下のタイムラインの異なる部分５０２、５０３、および５０４をクリックすると、異なるユーザコメント（たとえば、コメント５０５）がチャットウィンドウ５００内に表示される。一実施形態では、各タイムライン部分の色は、コメントを残したユーザの識別情報に対応する。

［関係する抜粋およびテキストメッセージの検出およびグループ化］
１つまたは複数の実施形態では、ユーザが抜粋を開いてフルビューで文章を見ることを選ぶ（図２に示されたフローチャート２４０のステップ２４１）と、文書ビューワは、対応するページまでスクロールし、その抜粋を再生する。１つまたは複数の実施形態では、上述の文書ビューワは、チャットウィンドウとは別のウィンドウ内で開かれる。１つまたは複数の実施形態では、システムはまた、チャットウィンドウを自動的にフィルタリングして、関係する抜粋およびテキストメッセージのみを表示する（図２のフローチャート２４０のステップ２４２参照）。３人の同僚の間の実際のチャットからのいくつかの例が図６に示される。具体的には、図６は、実際のＳｌａｃｋチャットセッションから、チャットウィンドウ６０１および６０２内の共有文書を参照するテキストメッセージを検出することを示す。

１つまたは複数の実施形態では、記載されたシステムは、以下の（Ａ）〜（Ｄ）に示す場合、テキストメッセージが所与の抜粋に関係すると判断する。

（Ａ）抜粋がチャットウィンドウに追加されるか、または表示だけされた後にテキストが作成された。

（Ｂ）テキストが、番号（図６に示されたチャットウィンドウ６０１内の「スライド１０」、「スライド１１」、「スライド１３」、「スライド１８」）を有するページ／スライド／段落の明示的な言及を含み、その番号が文書内のページの数よりも小さい。

（Ｃ）テキストが抜粋または完全文書内に見えるコンテンツを含む。たとえば、図６に示されたチャットウィンドウ６０２では、ｉｎｓｔｅａｄ ｏｆ ”Ａｄｖａｎｔａｇｅｏｕｓ ｔｏ．．．” ＝＞ ”Ｕｓｅｆｕｌ ｆｏｒ ｉｎｔｅｒｖｉｅｗｉｎｇ ｐｅｏｐｌｅ ｗｈｏ ａｒｅ ｆａｒａｗａｙ”が文章内に現れるコンテンツである。

（Ｄ）テキストメッセージが、抜粋にリンクされているようにユーザによって明示的にマークされた：一実施形態では、ユーザは抜粋の上に個々のメッセージをドラッグして、会話ストリームを整頓することができる。

１つまたは複数の実施形態では、テキストメッセージが所与の抜粋にリンクされているように検出されると、記載されたシステムは、それらを表す単一の仮想メッセージにそれらを折りたたむ（図２に示されたフローチャート２２０のステップ２２３参照）。たとえば、図６に示されたチャット６０１では、システムは、３つのテキストメッセージ６０１、６０２、および６０３を「スライド１０、１１、１３、１８に対する３つのコメント」を読む１つのテキストメッセージに折りたたむ。ユーザは、折りたたまれたメッセージを開いて元のメッセージを読むことができる。代替として、ユーザは、文書のフルビューを開くときに対応するスライドのコンテキスト内でそれらを見ることもできる。

［物理的な文書について］
記載された実施形態は、物理的な文書の上に対話を埋め込むためにも有用である。たとえば、最新技術のホワイトボードキャプチャシステムは、ユーザによって描かれたストロークをカメラによって取り込まれたように取り上げることができる。一方、本明細書に記載された実施形態は、ホワイトボードの抜粋を見つけ、それらをチャットウィンドウの中に挿入することが可能である。チャットは、しばしばバックチャネルとして使用され、配列された同僚ならびに遠隔参加者をサポートする。ホワイトボードからの動的で再生可能な抜粋をチャット会話の中に挿入することは、作成されるコンテンツをアーカイブすることとそのまわりで会話することの両方に自然な方法をすべて与える。

別のシナリオでは、１人または複数のユーザは、印刷されたページの上で対話することができ、システムの一実施形態は、ユーザの手およびペンまたは視線のアクションを取り上げて、同じアルゴリズムを適用する。一実施形態では、印刷されたページ、またはタッチスクリーンタブレットもしくは電話などのデジタル面の上の手および指の位置を収集するために３Ｄカメラが使用される。一方、本明細書に記載されたセグメンタは、デジタル文書について上述されたように、この位置データを使用し、抜粋を生成することができる。生成された抜粋は、実質的に同様に、上述されたようにチャットウィンドウに挿入される。

［例示的なコンピュータプラットフォームについて］
図７は、ユーザが複数の文書タイプとシームレスに対話することを可能にするためのコンピュータ化システム７００の例示的な実施形態を示す。１つまたは複数の実施形態では、コンピュータ化システム７００は、当業者によく知られているデスクトップコンピュータのフォームファクタ内に実装される場合がある。代替の実施形態では、コンピュータ化システム７００は、ラップトップコンピュータもしくはノートブックコンピュータ、またはスマートフォンもしくはタブレットコンピュータなどの任意の他のモバイルコンピューティングデバイスに基づいて、実装される場合がある。

コンピュータ化システム７００は、コンピュータ化システム７００の様々なハードウェア構成要素にわたって、かつそれらの間で情報を通信するためのデータバス７０４または他の相互接続もしくは通信機構と、情報を処理し、他の計算タスクおよび制御タスクを実施するための、データバス７０４と電気的に結合された中央処理装置（ＣＰＵまたは単にプロセッサ）７０１とを含む場合がある。コンピュータ化システム７００は、様々な情報ならびにプロセッサ７０１によって実行されるべき命令を記憶するための、データバス７０４に結合された、ランダムアクセスメモリ（ＲＡＭ）または他のダイナミックストレージデバイスなどのメモリ７１２も含む。メモリ７１２には、磁気ディスク、光ディスク、半導体フラッシュメモリデバイス、または他の不揮発性半導体ストレージデバイスなどの、永続的ストレージデバイスも含まれ得る。

１つまたは複数の実施形態では、メモリ７１２は、プロセッサ７０１による命令の実行中に一時的な変数または他の中間情報を記憶するために使用される場合もある。場合によっては、コンピュータ化システム７００は、コンピュータ化システム７００の動作に必要なファームウェア、基本入出力システム（ＢＩＯＳ）、ならびにコンピュータ化システム７００の様々な構成パラメータなどの、プロセッサ７０１用の固定された情報および命令を記憶するための、データバス７０４に結合された、読取り専用メモリ（ＲＯＭもしくはＥＰＲＯＭ）７０２または他のスタティックストレージデバイスをさらに含む場合がある。

１つまたは複数の実施形態では、コンピュータ化システム７００は、上述されたチャットウィンドウおよび文書ビューウィンドウを表示するユーザインターフェースなどの、コンピュータ化システム７００のユーザに様々な情報を表示するための、同様にデータバス７０４に電気的に結合される場合がある、ディスプレイデバイス７１１を搭載する場合がある。代替の実施形態では、ディスプレイデバイス７１１は、グラフィックスコントローラおよび／またはグラフィックスプロセッサ（図示せず）に関連付けられる場合がある。ディスプレイデバイス７１１は、たとえば、両方とも当業者によく知られている、薄膜トランジスタ（ＴＦＴ）技術または有機発光ダイオード（ＯＬＥＤ）技術を使用して製造された液晶ディスプレイ（ＬＣＤ）として実装される場合がある。様々な実施形態では、ディスプレイデバイス７１１は、コンピュータ化システム７００の残りの構成要素とともに、同じ汎用筐体に搭載される場合がある。代替の実施形態では、ディスプレイデバイス７１１は、テーブルまたはデスクの表面などの、そのような筐体の外部に配置される場合がある。１つまたは複数の実施形態では、コンピュータ化システム７００は、１つまたは複数の抜粋に関連付けられたユーザフィードバックのオーディオを取り込み、録音されたオーディオ情報をメモリ７１２に記憶するように構成された、マイクロフォンなどのオーディオキャプチャデバイス７０３をさらに搭載する場合がある。

１つまたは複数の実施形態では、コンピュータ化システム７００は、当業者によく知られているように、データバス７０４に電気的に接続され、抜粋とのユーザの対話のオーディオ成分であり得る、ＭＰＥＧ−３ファイルなどの様々なオーディオファイル、またはＭＰＥＧ−４ファイルなどの様々なビデオファイルのオーディオトラックを再生するように構成された、オーディオ再生デバイス７２５をさらに搭載する場合がある。この目的を達成するために、コンピュータ化システム７００は、ウェーブプロセッサもしくはサウンドプロセッサまたは同様のデバイス（図示せず）を搭載する場合もある。

１つまたは複数の実施形態では、コンピュータ化システム７００は、記載された抜粋のうちの１つまたは複数と対話するために、プロセッサ７０１に指示情報およびコマンド選択を伝え、ディスプレイ７１１上のカーソルの動きを制御するための、マウス、トラックボール、タッチパッド、またはカーソル指示キーなどの、マウス／ポインティングデバイス７１０などの、１つまたは複数の入力デバイスを搭載する場合がある。この入力デバイスは、通常、デバイスが平面内の位置を指定することを可能にする２つの軸、第１の軸（たとえば、ｘ）および第２の軸（たとえば、ｙ）における２つの自由度を有する。

コンピュータ化システム７００は、本明細書に記載されたユーザ−文書対話のビデオを含む、様々な物体の静止画像およびビデオを取得するためのカメラ７２６、ならびにキーボード７０６をさらに搭載する場合があり、それらのすべては、限定はしないが、画像およびビデオ、ならびに（ジェスチャを含む）ユーザコマンドを含む情報をプロセッサ７０１に伝えるためのデータバス７０４に結合される場合がある。

１つまたは複数の実施形態では、コンピュータ化システム７００は、データバス７０４に結合されたネットワークインターフェース７０５などの通信インターフェースをさらに含む場合がある。ネットワークインターフェース７０５は、ＷＩＦＩインターフェース７０７、セルラーネットワーク（ＧＳＭ（登録商標）もしくはＣＤＭＡ）アダプタ７０８、および／またはローカルエリアネットワーク（ＬＡＮ）アダプタ７０９のうちの少なくとも１つを使用して、コンピュータ化システム７００とインターネット７２４との間の接続を確立するように構成される場合がある。ネットワークインターフェース７０５は、コンピュータ化システム７００とインターネット７２４との間の双方向データ通信を可能にするように構成される場合がある。ＷＩＦＩアダプタ７０７は、当業者によく知られている８０２．１１ａ、８０２．１１ｂ、８０２．１１ｇ、および／または８０２．１１ｎのプロトコル、ならびにＢｌｕｅｔｏｏｔｈ（登録商標）プロトコルに従って動作する場合がある。コンピュータ化システム７００のＬＡＮアダプタ７０９は、たとえば、インターネットサービスプロバイダのハードウェア（図示せず）を使用してインターネット７２４とインターフェースされる、対応するタイプの電話線へのデータ通信接続を実現するために、統合サービスデジタルネットワーク（ＩＳＤＮ）カードまたはモデムを使用して実装される場合がある。別の例として、ＬＡＮアダプタ７０９は、互換性があるＬＡＮおよびインターネット７２４へのデータ通信接続を実現する、ローカルエリアネットワークインターフェースカード（ＬＡＮ ＮＩＣ）であり得る。例示的な実装形態では、ＷＩＦＩアダプタ７０７、セルラーネットワーク（ＧＳＭ（登録商標）もしくはＣＤＭＡ）アダプタ７０８、および／またはＬＡＮアダプタ７０９は、様々なタイプの情報を表すデジタルデータストリームを搬送する電気信号または電磁信号を送受信する。

１つまたは複数の実施形態では、インターネット７２４は、通常、１つまたは複数のサブネットワークを介する他のネットワークリソースへのデータ通信を実現する。このようにして、コンピュータ化システム７００は、リモートメディアサーバ、ウェブサーバ、他のコンテンツサーバ、ならびに他のネットワークデータストレージリソースなどの、インターネット７２４上のどこかに位置する様々なネットワークリソースにアクセスすることが可能である。１つまたは複数の実施形態では、コンピュータ化システム７００は、ネットワークインターフェース７０５によりインターネット７２４を含む様々なネットワークを介して、アプリケーションプログラムコードを含む、メッセージ、メディア、および他のデータを送受信するように構成される。インターネットの例では、コンピュータ化システム７００がネットワーククライアントとして働くとき、コンピュータ化システム７００は、コンピュータ化システム７００上で実行されるアプリケーションプログラム用のコードまたはデータを要求する場合がある。同様に、コンピュータ化システム７００は、他のネットワークリソースに様々なデータまたはコンピュータコードを送る場合がある。

１つまたは複数の実施形態では、本明細書に記載された機能は、プロセッサ７０１がメモリ７１２に含まれる１つまたは複数の命令の１つまたは複数のシーケンスを実行することに応答して、コンピュータ化システム７００によって実施される。そのような命令は、別のコンピュータ可読媒体からメモリ７１２に読み込まれる場合がある。メモリ７１２に含まれる命令のシーケンスの実行は、本明細書に記載された様々なプロセスステップをプロセッサ７０１に実施させる。代替の実施形態では、本発明の実施形態を実施するために、ソフトウェア命令の代わりに、またはソフトウェア命令と組み合わせて、ハードワイヤード回路が使用される場合がある。したがって、本発明の記載された実施形態は、ハードウェア回路および／またはソフトウェアのいかなる特定の組合せにも限定されない。

本明細書で使用される「コンピュータ可読媒体」という用語は、実行のためにプロセッサ７０１に命令を供給することに関与する任意の媒体を指す。コンピュータ可読媒体は、本明細書に記載された方法および／または技法のうちのいずれかを実施するための命令を搬送する場合がある機械可読媒体の一例にすぎない。そのような媒体は、限定はしないが、不揮発性媒体および揮発性媒体を含む、多くの形態をとる場合がある。

非一時的コンピュータ可読媒体の一般的な形態には、たとえば、フロッピーディスク、フレキシブルディスク、ハードディスク、磁気テープ、もしくは任意の他の磁気媒体、ＣＤ−ＲＯＭ、任意の他の光媒体、パンチカード、紙テープ、穴のパターンを有する任意の他の物理媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＦＬＡＳＨ−ＥＰＲＯＭ、フラッシュドライブ、メモリカード、任意の他のメモリチップもしくはメモリカートリッジ、またはコンピュータが読むことができる任意の他の媒体が含まれる。様々な形態のコンピュータ可読媒体は、実行のためにプロセッサ７０１に１つまたは複数の命令の１つまたは複数のシーケンスを搬送することに関与する場合がある。たとえば、命令は、最初に、リモートコンピュータからの磁気ディスク上で搬送される場合がある。代替として、リモートコンピュータは、そのダイナミックメモリに命令をロードし、インターネット７２４を介してその命令を送ることができる。具体的には、コンピュータ命令は、当技術分野でよく知られている様々なネットワークデータ通信プロトコルを使用して、インターネット７２４を介して上述のリモートコンピュータからコンピュータ化システム７００のメモリ７１２にダウンロードされる場合がある。

１つまたは複数の実施形態では、コンピュータ化システム７００のメモリ７１２は、以下のソフトウェアプログラム、アプリケーション、またはモジュールのうちのいずれかを記憶する場合がある。

１．基本システムサービスを実施し、コンピュータ化システム７００の様々なハードウェア構成要素を管理するためのオペレーティングシステム（ＯＳ）７１３。オペレーティングシステム７１３の例示的な実施形態は当業者によく知られており、任意の現在知られているか、または後に開発されるモバイルオペレーティングシステムを含む場合がある。

２．アプリケーション７１４は、たとえば、コンピュータ化システム７００のプロセッサ７０１によって実行される１組のソフトウェアアプリケーションを含む場合があり、それらは、ディスプレイデバイス７１１にグラフィカルユーザインターフェースを表示すること、または上述されたように様々なタイプの文書またはそれらの部分とのユーザ対話を記録することなどの、いくつかのあらかじめ決定された機能をコンピュータ化システム７００に実施させる。１つまたは複数の実施形態では、アプリケーション７１４は、ユーザが複数の文書タイプとシームレスに会話することを可能にするための発明性があるアプリケーション７１５を含む場合がある。

３．データストレージ７２１は、たとえば、オーディオコメント、マウスポインタの位置、および／または文書を参照するチャットメッセージなどの、ユーザ−文書対話に関連付けられた様々な情報を記憶するためのデータ構造およびテーブル７２２を記憶する場合がある。加えて、データストレージ７２１は、ユーザ対話において使用され得る文書または他のメディアファイル７２３のうちの１つまたは複数を記憶する場合がある。

１つまたは複数の実施形態では、ユーザが複数の文書タイプと途切れなく対話することを可能にするための発明性があるアプリケーション７１５は、たとえば、図１、図４、および図５に示された１つまたは複数のユーザインターフェースを生成するように構成されたユーザインターフェース生成モジュール７１６を搭載する。加えて、オーディオキャプチャデバイス７０３およびカメラ７２６を使用してビデオストリームおよびオーディオストリームを取り込むためのビデオおよびオーディオキャプチャモジュール７１７が提供される場合がある。さらに加えて、上記に詳細に記載された機能を有する、レイアウト解析モジュール７１８、コンテンツ解析モジュール７１９、および分割（セグメント化）モジュール７２０が提供される場合がある。

最後に、本明細書に記載されたプロセスおよび技法は、いかなる特定の装置にも本質的に関係せず、構成要素の任意の適切な組合せによって実装される場合があることを理解されたい。さらに、様々なタイプの汎用デバイスは、本明細書に記載された教示に従って使用される場合がある。本明細書に記載された方法ステップを実施する専用装置を構築することが有利であると分かる場合もある。本発明は、あらゆる点で限定的ではなく例示的なものである特定の例に関して記載された。本発明を実践するためにハードウェア、ソフトウェア、およびファームウェアの多くの様々な組合せが適切であることを当業者なら諒解されよう。たとえば、記載されたソフトウェアは、アセンブラ、Ｃ／Ｃ＋＋、Ｏｂｊｅｃｔｉｖｅ−Ｃ、ｐｅｒｌ、ｓｈｅｌｌ、ＰＨＰ、Ｊａｖａ（登録商標）、ならびに任意の現在知られているか、または後に開発されるプログラミング言語もしくはスクリプト言語などの、多種多様なプログラミング言語またはスクリプト言語で実装される場合がある。

その上、本明細書に記載された発明の明細書および実践の考慮から、本発明の他の実装形態が当業者には明らかになる。記載された実施形態の様々な態様および／または構成要素は、ユーザが複数の文書タイプと途切れなく対話することを可能にするための様々なシステムおよび方法において、単独でまたは任意の組合せで使用される場合がある。明細書および例は例示的にすぎないと考えられ、本発明の真の範囲および趣旨は以下の特許請求の範囲によって示されることが意図されている。

１００ チャットウィンドウ
１０１，１０２，１０３ 抜粋
１０４，１０５，１０６ チャットメッセージ

Claims (20)

1. 中央処理装置およびメモリを備えるコンピュータ化システムにおいて実施される、コンピュータに実装された方法であって、
   ａ．文書に対するユーザの１つまたは複数のアクションを検出し、
   ｂ．前記文書のコンテンツを解析し、
   ｃ．前記文書のレイアウトを解析し、
   ｄ．前記文書に関連する前記ユーザの前記検出した１つまたは複数のアクション、前記解析した前記コンテンツ、および前記解析した前記レイアウトに基づいて、前記文書のある領域からの抜粋であって前記ユーザの前記アクションが付随する静止画又は動画で表現された再生可能な抜粋を自動的に生成し、
   ｅ．前記自動的に生成した再生可能な抜粋を、前記文書に関連付けられた会話ストリームに挿入することを含む、コンピュータに実装された方法。
2. 前記検出した前記アクションが、前記文書の少なくとも一部分の上の前記ユーザによるマウスポインタのホバリングである、請求項１に記載のコンピュータに実装された方法。
3. 前記検出した前記アクションが、前記文書に関連する前記ユーザによるテキスト入力である、請求項１に記載のコンピュータに実装された方法。
4. 前記検出した前記アクションが、前記文書に関連する前記ユーザによる音声コメントである、請求項１に記載のコンピュータに実装された方法。
5. 前記検出した前記アクションが、前記文書に関連する前記ユーザによる注視である、請求項１に記載のコンピュータに実装された方法。
6. 前記文書に関連付けられた会話ストリームがチャットウィンドウ内に表示される、請求項１に記載のコンピュータに実装された方法。
7. 前記自動的に生成した再生可能な抜粋が、意味的にリンクされた前記ユーザのアクションに対応する前記文書の２つ以上の部分を備える複合抜粋である、請求項１に記載のコンピュータに実装された方法。
8. 前記文書の別個のビューワを開かずに前記会話ストリームの中で、前記自動的に生成した再生可能な抜粋を表示および再生することを更に含む、請求項１に記載のコンピュータに実装された方法。
9. 前記文書用の別個のビューワを開かずに前記会話ストリームの中で、前記自動的に生成した再生可能な抜粋に前記ユーザが応答することを可能にすることを更に含む、請求項１に記載のコンピュータに実装された方法。
10. 前記自動的に生成した再生可能な抜粋と、前記文書に関連する前記ユーザの、対応する検出した１つまたは複数のアクションと、を一緒にグループ化することを更に含む、請求項１に記載のコンピュータに実装された方法。
11. 前記ユーザが前記文書のビューワに焦点を合わせるとき、関連する抜粋をフィルタリングし、
    ユーザの対応する１つまたは複数のアクションを検出することを更に含む、請求項１に記載のコンピュータに実装された方法。
12. 単一の抜粋に対する複数のユーザからの複数のアクションがグループ化され、前記単一の抜粋上に折りたたまれている、請求項１に記載のコンピュータに実装された方法。
13. 前記検出したアクションが、前記文書の少なくとも一部分の上の前記ユーザによるポインタの動きであり、前記ポインタの動きが、低いサンプリングレートで取得されると、前記ポインタの動きが円滑化されている、請求項１に記載のコンピュータに実装された方法。
14. コンピュータに、
    ａ．文書に対するユーザの１つまたは複数のアクションを検出し、
    ｂ．前記文書のコンテンツを解析し、
    ｃ．前記文書のレイアウトを解析し、
    ｄ．前記文書に関連する前記ユーザの前記検出した１つまたは複数のアクション、前記解析した前記コンテンツ、および前記解析した前記レイアウトに基づいて、前記文書のある領域からの抜粋であって前記ユーザの前記アクションが付随する静止画又は動画で表現された再生可能な抜粋を自動的に生成し、
    ｅ．前記自動的に生成した再生可能な抜粋を、前記文書に関連付けられた会話ストリームに挿入することを含む処理を実行させるためのプログラム。
15. 前記検出した前記アクションが、前記文書の少なくとも一部分の上の前記ユーザによるマウスポインタのホバリングである、請求項１４に記載のプログラム。
16. 前記検出した前記アクションが、前記文書に関連する前記ユーザによるテキスト入力である、請求項１４に記載のプログラム。
17. 前記検出した前記アクションが、前記文書に関連する前記ユーザによる音声コメントである、請求項１４に記載のプログラム。
18. 前記検出した前記アクションが、前記文書に関連する前記ユーザによる注視である、請求項１４に記載のプログラム。
19. 前記文書に関連付けられた会話ストリームがチャットウィンドウ内に表示される、請求項１４に記載のプログラム。
20. 中央処理装置およびメモリを備えるコンピュータ化システムであって、
    前記メモリが、
    ａ．文書に対するユーザの１つまたは複数のアクションを検出し、
    ｂ．前記文書のコンテンツを解析し、
    ｃ．前記文書のレイアウトを解析し、
    ｄ．前記文書に関連する前記ユーザの前記検出した１つまたは複数のアクション、前記解析した前記コンテンツ、および前記解析した前記レイアウトに基づいて、前記文書のある領域からの抜粋であって前記ユーザの前記アクションが付随する静止画又は動画で表現された再生可能な抜粋を自動的に生成し、
    ｅ．前記自動的に生成した再生可能な抜粋を、前記文書に関連付けられた会話ストリームに挿入することを含む方法を前記コンピュータ化システムに実施させる１組のコンピュータ可読命令を記憶する、コンピュータ化システム。

Images