JP5706657B2 - コンテキスト依存サイドバーウインドウ表示システム及び方法 - Google Patents

コンテキスト依存サイドバーウインドウ表示システム及び方法 Download PDF

Info

Publication number
JP5706657B2
JP5706657B2 JP2010216359A JP2010216359A JP5706657B2 JP 5706657 B2 JP5706657 B2 JP 5706657B2 JP 2010216359 A JP2010216359 A JP 2010216359A JP 2010216359 A JP2010216359 A JP 2010216359A JP 5706657 B2 JP5706657 B2 JP 5706657B2
Authority
JP
Japan
Prior art keywords
document
window
sidebar
context
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010216359A
Other languages
English (en)
Other versions
JP2011076606A (ja
Inventor
エイ ビア エリック
エイ ビア エリック
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Palo Alto Research Center Inc
Original Assignee
Palo Alto Research Center Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Palo Alto Research Center Inc filed Critical Palo Alto Research Center Inc
Publication of JP2011076606A publication Critical patent/JP2011076606A/ja
Application granted granted Critical
Publication of JP5706657B2 publication Critical patent/JP5706657B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/10Office automation; Time management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)
  • Digital Computer Display Output (AREA)

Description

この出願は、概略的には、アプリケーションコンテキスト情報の提供に関し、特に電子的デスクトップ上でコンテキスト依存(context-sensitive)サイドバーウインドウ表示を提供するためのシステム及び方法に関する。
ビジネスの人間関係やコミュニケーションは、文書作成や、組織間及び個人間での他の書き物のやりとりに用いられるプロダクティビティソフトウエア(productivity software:事務処理ソフトウエア)により推進されている。ワードプロセッサ、スプレッドシート(表計算)、電子メール、プレゼンテーション、及びウェブブラウザなどのためのアプリケーションのようなプロダクティビティソフトウエアは、一般に、パーソナルコンピュータやこれに似たプログラマブル装置にインストールされている。
個々のパーソナルコンピュータ又はパーソナルコンピューティング装置が提供するコンピューティングシステム環境の中で、コンテンツ(情報内容)が提示され、操作され、変更される。コンテンツにアクセスできるようにし、アプリケーションを操作できるようにするために、1つのアプリケーションウインドウ又は複数のアプリケーションウインドウの組合せを用いたグラフィカルユーザインタフェースが用いられている。アプリケーションウインドウの中では、キーボードを用いてテキストを入力することができ、キーボード又はポインティングデバイス(マウス、トラックパッド、又はトラックボールなど)によりアプリケーションを操作することができる。他のユーザ入力装置又はユーザ操作装置も考えられる。
アプリケーション固有(Application-specific)の操作部は、一般には、画面インタフェースの一構成要素として提供され、メインアプリケーションウインドウの上部、下部、又は両側部のマージン部分に沿って、ボタン、トグルスイッチ、スクロールボックス、プルダウンメニュー、その他のユーザ操作部などとして提示される。これらボタン等のユーザ操作部により、プログラムの選択肢、ユーザの選択、環境の情報などを管理することができる。派生的な情報が、ポップアップダイアログ又は隣に現れるサイドバーウインドウなどの見た目上での別のウインドウにより提供されることはよくあることであり、このような別ウインドウにより、ヘルプ、チュートリアル、ファイルシステムのナビゲーション情報、ファイルプロパティ、その他の補助的な情報が提供される。
特に、サイドバー形式のウインドウは、現在使用されている文書についての価値の高いコンテキスト(状況、文脈)情報を提供することができる。理想的には、サイドバー内に提供される情報の価値は、画面スペースの点で邪魔になることのコスト、メインアプリケーションウインドウからサイドバーへと視線を移すのに要する時間のコストを相殺するものでなければならない。設計が悪ければ、サイドバーはユーザにとって邪魔なものになる可能性がある。例えば、使用している主要な記事(コンテンツ)からサイドバーまでの物理的な距離は、アプリケーションが利用可能な画面スペースが限られていることから、決定的に重要なものとなる場合もある。サイドバーが主要なコンテンツから遠すぎると、視線の移動もポインティングデバイスの移動も共にかなりの距離にのぼり、これにより情報の価値やサイドバーを用いた対話の便利さが低減されることとなる。その上、サイドバー内の情報の関連性は、現在の仕事(タスク)のその場のコンテキスト(状況、文脈)からしばしば隔たっており、ユーザの邪魔になることを正当化するほどにはその場の仕事(タスク)に十分に関連していないこともよくある。最後に、ユーザがいくつかのアクティブなアプリケーションウインドウを渡り歩くときに視覚的な「バウンシング(bouncing:はねかえり現象)」が生じることがあり、フォーカス(選択)されているウインドウが変わるとサイドバーが素早く再配置されるように見え、視覚的にユーザの邪魔になる。そのような懸念のために、オフされるとサイドバーの価値はなくなるにもかかわらずサイドバーがオフ状態とされ、有益であるかもしれないが本題には関係のない情報、例えば利用可能な文書の各バージョン、文書の著者、同じフォルダ又はウェブサイト上で利用可能な関連文書、同じトピックの関連文書、入手可能なアノテーション(注釈)、当該文書に対して他のユーザが言っていること、その他の入手できない情報をレンダリング(描画)することもある。
したがって、必要とされているのは、主たるアプリケーションウインドウの中で提供されている文書のコンテキストに関連した範囲内で、極力ユーザの邪魔をしないような挙動の範囲内で動作するサイドバーウインドウを提供する方法である。
1つの態様では、電子的デスクトップ上でコンテキスト(すなわち状況、文脈)依存サイドバーウインドウ表示を提供するための、コンピュータにより実装されるシステム及び方法を提供する。デジタルデータを含んだ文書が電子的記憶装置内に保持されている。その文書は、電子的デスクトップ上のアプリケーションプログラムにより生成されたアプリケーションウインドウを介して操作される。サイドバーウインドウがはじめに生成される。その文書に関連するコンテキスト(すなわち状況、文脈)情報が求められる。コンテキスト情報のうちの提示すべき部分が、アプリケーションウインドウ内の文書の現在の状態に基づき選択される。コンテキスト情報のうちの選択された部分が、アプリケーションウインドウに対して視覚的に隣接して配置されたサイドバーウインドウ内に提示される。提示されたコンテキスト情報及びサイドバーウインドウの配置位置は、文書及びアプリケーションウインドウの現在の状態に足並みを合わせるよう、絶えず更新される。
以下に示す詳細な説明では例示のための実施形態は最良の形態を示したから、当業者ならばその説明から更なる態様が容易に分かるであろう。理解されるように、本発明の範囲から逸脱することなく、他の実施形態や異なる実施形態を考えることができ、また実施形態のいくつかの細部についても様々な明らかな点について変更可能である。このように、以下の詳細な説明は本質的に例示のためのものであり、限定的なものと捉えるべきではない。
一実施形態に関連して、電子デスクトップ上のコンテキスト依存サイドバーウインドウを提供するエンタープライズ環境(企業等におけるコンピュータ環境)を示す図である。 図1のエンタープライズ環境において設けられるような、エンタープライズサーバ及びクライアントコンピューティングシステムを備えるカーネル機能を示す機能ブロック図である。 図1のエンタープライズ環境の全体アーキテクチャを示すブロック図である。 図1のエンタープライズ環境において提供されるようなコンテキストネットワークの図式を示すブロック図である。 例示のために、コンテキストネットワークのグラフを示すブロック図である。 例示のために、文書に対する人間の行動(アクティビティ)に基づく図3のコンテンツ解析エンジンを用いたコンテキスト解析を示すブロック図である。 例示のために、コンテキストのソース(源)としての1つの文書の一生を通した、図1のエンタープライズ環境を用いた人間の行動を示すブロック図である。 図3のコンテンツ解析エンジンを用いた文書処理を示すデータフロー図である。 例示のために、アプリケーションウインドウの右隣に見えるコンテキスト依存サイドバーを示す図である。 例示のために、アプリケーションウインドウ内の画面スペースに合わせて調整されたコンテキスト依存サイドバーを示す図である。 例示のために、「ミニバー」モードで表示されたコンテキスト依存サイドバーを示す図である。 例示のために、アプリケーションウインドウの隣のコンパクトモードサイドバーを示す図である。 例示のために、アプリケーションウインドウ内のスペース節約サイドバーを示す図である。 例示のために、アプリケーションウインドウ内で、ウインドウ端部に対して適応的に配置されるコンテキスト依存サイドバーを示す図である。
エンタープライズ(企業の)コンピューティング環境では、ユーザらは、電子メール、ウェブページ、オフィス文書、スプレッドシート、プレゼンテーション書類などといった多くの種類の文書に関してコラボレーション(共同作業)を行う。ユーザらの文書に関する行動(アクティビティ)には、例えば、作成、閲覧、改訂、メールに添付、共有リポジトリへの保管、コメント付加、タグ付け、注釈(アノテーション)付け、印刷、及びその他の種類の行動が含まれる。図1は、1つの実施形態において、電子デスクトップ上にコンテキスト依存サイドバーウインドウ表示を提供するためのエンタープライズ環境10を示すブロック図である。環境10は、ワードプロセッサ、表計算、電子メール、プレゼンテーション、ウェブ閲覧、及びその他のプロダクティビティ(事務処理)アプリケーションを、パーソナルコンピュータ及びこれに類似のプログラマブルコンピューティングシステム又は装置12a〜e上で実行する一組のユーザを含んでいる。各コンピューティングシステム上では、ワシントン州レドモンドのマイクロソフト・コーポレーションからライセンス付与されたWindows(登録商標)オペレーティングシステムやカリフォルニア州クパチーノのアップル社からライセンス付与されたOS−Xオペレーティングシステムなどのような、ウインドウを用いるオペレーティングシステムにより制御された電子テスクトップ上で、アプリケーションが実行されている。ウインドウ式の操作環境は、コンテンツを電子デスクトップ上の1つ又は複数のアプリケーションウインドウ内に表示するグラフィカルユーザインタフェースを提供する。
複数のコンピューティングシステムがネットワーク11を介して相互接続されている。ネットワーク11を介して、他のコンピューティングシステムの各々に、又は種々の分散された情報リソースにアクセスすることができる。情報は、同様にネットワーク11を介して相互接続された中央に位置するエンタープライズサーバ13を介して、又はこのエンタープライズ環境の中又は外に位置する他の装置から、入手できるように構成されていてもよい。特に、エンタープライズサーバ13は、記憶装置14に対して機能的に接続されており、その記憶装置14には、例えば、コンピューティングシステム12a〜e及び他の装置が利用するために、情報が保持されている。クライアントコンピューティングシステム12a〜e及びエンタープライズサーバ13は、CPU(中央演算装置)、メモリ、入力/出力ポート、ネットワークインタフェース、及び不揮発性記憶装置などのような、汎用プログラマブルコンピューティング装置(汎用コンピュータ)に通常見られるような構成要素を含んでいる。もちろん、その他の構成要素を含んでいてもよい。
文書のコンテキスト(状況、文脈の情報)は、文書のコンテンツ(内容)の解析、及び人々による文書の利用のされ方の両方から抽出することができる。文書の利用のされ方は、例えば、文書がどのように作成され、読まれ、改訂され、メール送信され、格納され、コメント付加により拡張され、タグ付けされ、注釈付けされ、印刷されるかなどである。図2は、図1のエンタープライズ環境10において用いられているような、エンタープライズサーバ21及びクライアントコンピューティングシステム24a〜cを備えたカーネル機能20を示す機能ブロック図である。エンタープライズサーバ21は、記憶装置24に接続されているとともに、ネットワークインフラ26を介して1つ又は複数のクライアントコンピューティングデバイス24a〜cと相互接続されている。エンタープライズサーバ21及び各クライアントコンピューティングシステム24a〜cは、それぞれ、コンテンツベース情報カーネル22及び25a〜cにより、同等のコンテキスト抽出機能を有している。アーキテクチャとしては、カーネル22とカーネル25a〜cは同じものであり、プラットフォームの種類は配置場所から独立して、同じ種類のコンテキストを抽出できるようにする。
それらカーネルは、エンタープライズ環境10を通して広がり利用されるコンテキストを抽出する一組の構成要素(コンポーネント)群の一部である。図3は、図1のエンタープライズ環境10の全体アーキテクチャ30を示すブロック図である。カーネル31a〜bを複数のコンピュータシステムに複製し、連合体の形で互いに同期し、通信し、コンテキストを共有するようにしてもよい。収集部32a〜bは、エンタープライズ環境10内の、文書、電子メール、アクティビティ(行動)、タスク、注釈(アノテーション)、リンク、人々、組織、及び注目される可能性のあるその他のデータ、についてのコンテキストを収集する。収集部32a〜bは、コンテキスト解析エンジンであり、コンテキストを収集して解析することにより、例えばどの文書が別のどの文書を参照しているか、どの文書が別のどの文書を(電子メールの添付データによく見られるように)含んでいるか、人々がどのタグや注釈をどの文書に付加したか、特定の作業グループ内の人々の興味を惹いているかもしれないのはどの文書か、文書群があるトピック(話題)に対してどのようなことを言っているか、識別された文書群をどのように分類したらもっとも良いか、人々が自らの行動(アクティビティ)のために文書群に関して何を行っているか、などといった様々な判定を行う。
各収集部32a〜bは、それぞれ、データ転送チャンネルを提供するアプリケーション・プログラミング・インタフェース(API)を介して、コンテキストリポジトリ33a〜bに接続されている。収集されたコンテキストは、APIを介して各コンテキストリポジトリ33a〜bに送られ、そのコンテキストを共同作業のために使用し、変更し、共有することが許された各コンピューティングシステム、各エンタープライズサーバ、及びその他の装置により利用される。各コンテキストリポジトリ33a〜bは、フォーマットに従って整えられたデータを格納するデータベース、及び構造化されていない文書その他のデータを保持するための記憶装置、の両方を含んでいる。コンテキストリポジトリ33a〜bは、1つ又は複数の他のリポジトリと連合して、コンテキストのうちの一部又は全部をそれらリポジトリ間で共有できるようにしてもよい。
各コンテキストリポジトリ33a〜bは、それぞれ、データ転送チャンネル及びデータ変形及び変換処理を提供する第2のAPIを介して、一組の提示部34a〜bにも接続されている。各コンテキストリポジトリ33a〜bに保持されたコンテキストは、APIを介して1つ又は複数の提示部34a〜bに提供され、提示部34a〜bは、図4をはじめとして以下に説明するように、コンテキスト依存サイドバーを含むユーザインタフェース機構を介して、ユーザに対してコンテキストを提供する。コンテキスト依存サイドバーにより、ユーザは、コンテキストを取り扱うことができるとともに、文書に注釈を付けたり電子メールで合図(リマインダ)を送ったりウェブページにリンクしたりするなどといった、他の個別の又は共同作業の操作を実行する。
コンテキストは、一組の収集部32a〜bの各々により生成される。各収集部32a〜bは、共用の注釈付け及びタグ付け機能35、エンティティ・ベースのインデックス付け機能36、行動(アクティビティ)解析及び予測機能37、言語学的及び意味的解析機能38、メタデータ解析機能39、ソーシャルネットワーク解析機能40、意味的(セマンティック)サーチ機能41、コンバータ(変換)及び抽出機能42、及び文書ネットワーク解析機能43を実行するための機能モジュール群を備えている。コンバータ機能は文書を他のフォーマット、例えばプレーンテキスト及び一続きの画像など、に変換する。そして、抽出機能は、文書から抽出されたプレーンテキストの中からエンティティ(実体)が見つかる場合のように、1つまた複数のプロジェクション(投影)からメタデータを抽出する。他の機能モジュールを用いてもよい。
コンテキスト情報は提示部34a〜bを介してユーザに提供される。図4は、図1のエンタープライズ環境10を介して提供されるような、コンテキストネットワーク50の図式を示すブロック図である。コンテキストネットワーク50は、例えば、具体的な文書、人々、トピックス(話題)、人間の行動(アクティビティ)、時間及び空間的な位置、との間のつながりを表現するために生成される。より詳細には、コンテキストネットワーク50は、文書52のコンテンツ(内容)、及び文書52に関する人間の行動を解析することにより形成することができる。各収集部32a〜b内のコンテキスト解析エンジンのうちの人々に関係する要素、例えば、共用の注釈付け及びタグ付け機能35、行動(アクティビティ)解析及び予測機能37、及びソーシャルネットワーク解析機能40等の機能モジュールは、人々51、文書52、エンティティ及びトピックス53、チーム、プロジェクト及び行動54、及び時空間における位置55を、コンテキストネットワーク50内でリンク付けする(関連づける)ことを容易にする。そして、結果として得られたコンテキストネットワーク50は、コンテキストリポジトリ33a〜bに格納される。
格納されたコンテキストネットワーク50は、収集部34a〜bに対するコンテキストの主たるソース(供給源)として機能する。図5は、一例として、コンテキストネットワーク60のグラフを示すブロック図である。このグラフのエッジは、具体的な文書、人々、行動、トピックス、時間、場所(位置)などの間に見出された関係を示している。結果として、広範な全体像が取得されて格納され、これにより、特定の文書に適用可能であり、且つ従来の文書から独立した、アプリケーション向けの操作部よりもユーザにとってより便利な、コンテキストに依存した(コンテキストに敏感な)サイドバーを生成するのに役立つ。
大まかに言えば、文書は、個人及び共同作業による人間の営みにより生成され、修正される。図6は、一例として、図3のコンテキスト解析エンジンを用いた、ある文書に対する人間の行動からのコンテキスト解析70を示すブロック図である。ある範囲の行動が、文書のライフサイクル(一生の期間)の間に起こりえる。そのような行動には、例えば、他のソース(源)文書からの関連文書の生成71、例えば添付文書やメッセージとしての文書の電子メール送信又は電子的送信72、他のソース文書のコンテンツの新たな文書としての再利用73、既存文書の新たなバージョンの作成74、文書に対する注釈付け又は電子的なマークアップ(マーク付け)75、間のネットワークを介して中央の文書リポジトリにアクセスする場合のようなリモート(遠隔)の位置にある文書の利用76、文書に対するタグ付け又は電子的なマーク付け77、又は会議での文書の利用78、等が含まれる。その他の人間行動が、文書に対して又は文書を用いて、行われてもよい。人間の行動71〜78に基づき、収集部32a〜b内のコンテキスト解析エンジンによりコンテキスト解析を実行することができる。コンテキスト解析には、例えば、マッチング(合致)したテキストを持つ文書の算出79、マッチングしたレイアウト又は画像を有する文書の算出80、電子メールと添付文書のリンク関係の記録81、文書と注釈及びタグとのリンク関係の記録82、及び、文書とそれが利用された時間、場所及び会議とのリンク関係の記録83などがある。他の種類のコンテキスト解析を行ってもよい。人間の行動71〜78についてのコンテキスト解析79〜83の成果が、コンテキストリポジトリ33a〜b内に格納されたコンテキストネットワーク85として具現化される。コンテキストリポジトリ33a〜bは、算出されたリンク関係をコンテキストネットワーク85のエッジとして表現し、各エッジには関係の強さ弱さを示すために重みが付加される。コンテキストネットワークタイプの情報の表現又は形態としては、他のものを用いてもよい。
文書についての人間の行動は、通常、各文書に対して、誰、何、どこで、いつ、どのように文書が他者に対して影響し又は適用されるかに応じて、それぞれ独特のパターンで生じる。図7は、一例として、コンテキストのソース(供給源)としての1つの文書の一生を通した、図1のエンタープライズ環境10を用いた人間の行動を示すブロック図である。最初に、文書は従来通りの印刷された形態から始まってもよく、この場合その文書はスキャンされ光学文字認識又は類似の技術により電子的な表現へと変換されるか(91)、又は従来及び電子的な技術の組合せを用いて電子的に生成される(92)。文書は、自動的に又は手作業で、関連文書93に対して例えばハイパーリンクなどでリンク付けしてもよい(93)。同様に、文書は、当該文書の関連バージョン(版)に対して(94)、又はコンテンツが再利用される文書に対して(95)、自動的に又は手作業でリンク付けしてもよい。逆に、電子メール(96)、注釈(97)、時刻と位置(98)、タグ(99)、又は行動及び人々(100)を、自動的に又は手作業で文書に対してリンク付けしてもよい。文書は印刷してもよい(101)。結果として得られるリンク構造その他のコンテキストは、究極的には、コンテキストリポジトリ33a〜bに対して、コンテキスト102に格納される。
文書、及びそれら文書に対してなされる人間の行動は、コンテキストのソース(供給源)となる。図8は、図3のコンテンツ解析エンジンを用いた文書処理60を示すデータフロー図である。文書のコンテンツ(内容)の観点から言えば、コンテンツ解析エンジンは各文書111を解析することで、メタデータ112、ページ画像113、テキスト114、単語ボックス115(各ページ内の各単語の位置、幅及び高さを表す矩形)、リンク116及び全体構造117を抽出又は計算する。他のモジュール(図示省略)が、文書のコンテンツを用いる人間を解析する。抽出されたメタデータ112は、アプリケーション群により使用できるようリポジトリ118すなわちグラフデータベースに格納されるとともに、電子メールのスレッド122を求めるために解析される。スレッド122は、各電子メールの送信者及び受信者、件名その他の要素などのような、メタデータ112の各要素から求めることができる。ページ画像113は、リポジトリ118に格納されると共に、イラストレーション(説明図)123を求めるために解析される。イラストレーション123は、ページ画像113とは別に、関連画像ファインダ(画像検索用)インデックス121に格納される。テキスト114は、フルテキスト及びメタデータのキーワードインデックス119に格納されると共に、要約124、エンティティ125、及び段落(パラグラフ)126を求めるために解析される。また、テキスト114及び段落126は、言語解析部131により解析される。言語解析部131は、エンティティ128、句(フレーズ)129、及び知識表現130を生成し、これらは意味的(セマンティック)インデックス120に格納される。単語ボックス115は、文書の段落126の開始点及び終了点を求めるためのレイアウト情報として用いられ、フルテキスト及びメタデータのキーワードインデックス119に格納される。これにより、フルテキストインデックスにて合致するものが見つかれば、システムは、合致した単語及び句の、生成されたページ画像内での幾何学的な位置を求めることができる。
従来のプロダクティビティ(事務処理)アプリケーションは、視覚的に別々に分かれているウインドウ、例えば、拡張的な情報を視線やカーソルの邪魔になるというリスクをおかしながらも表示する、例えばポップアップダイアログ、(メインアプリケーションウインドウの)隣に見えるサイドバーウインドウのようなウインドウ、などを用いる。この実施形態では、サイドバー(以下では、「コンテキストバー」とも呼ぶ)は、電子メール、スプレッドシート(表計算シート)、プレゼンテーション書類又はウェブページなどのような、文書その他のやりとりする書き物について、プロダクティビティアプリケーションを用いて実行されている現在のタスク(仕事)の現在状態に関するコンテキストをユーザに提供するために用いられる。
このコンテキスト依存サイドバーは、自動的に移動して、現在のアクティブな(すなわちユーザにより選択された状態にある)アプリケーションウインドウのすぐ隣に適応的に配置される。図9は、一例として、例えばウェブブラウザ、文書ビューワー、文書エディタ、電子メールリーダー、文書フォルダブラウザその他のアプリケーションなどといったアプリケーションウインドウ141の右隣に見えるコンテキスト依存サイドバーを示す。サイドバー143の配置は、視線及びカーソルの移動を最小化するよう決定され、画面スペース140が許す範囲で、アプリケーションウインドウ141の右又は左又は上又は下のいずれでもよい。コンテキストは、動的に抽出されるものであり、現在使用されている文書に直接関係するものである。同様に、サイドバー143は、使用可能なコンテキスト情報の量と認識したユーザのニーズとに基づき、使用可能な画面スペースを最適に利用するように制御される。
サイドバー143に提示されるコンテキストは、アクティブウインドウに表示されている文書142に結びついている。サイドバー143は、提示部33(図3参照)として、コンテキストリポジトリ31からコンテキストを検索する。上述のように、コンテキストは、前もって、又はその場で、各コンピューティングシステムに設けられたカーネル23a〜b(図2参照)の一部として機能するコンテキスト解析エンジンにより求められる。サイドバー143は、例えば、文書142のファイル名又はURL(Uniform Resource Locator)を見つけ出すものでもよく、またその文書142のコンテンツを抽出してもよい。
サイドバー143は、いくつかのツールを用いてコンテンツへのアクセスを提供することができる。例えば、アラート(警告)ツール144は、例えばカレント(現在)の文書が提案を要求する電子メールである場合に提案書作成のガイドラインの表示を起動するなどのように、文書142内の特定のコンテンツに遭遇した場合にメッセージ表示その他のアクションを起動するように設定してもよい。アノテーションツール145は、文書142に対してこのユーザ又は他のユーザにより過去に作成されたコメントを表示したり、文書142に新たなコメントを追加したりするためのものである。人々、場所及びトピックスツール146は、文書142内においてコンテンツ解析エンジンにより見つけ出された人々、組織、場所、地域、トピックスを動的に識別し、コンテキストリポジトリから見つかる、関連する文書、人々、場所又はトピックスなどについての情報を表示する。最後に、関連コンテンツツール147は、類似又は同一の段落、類似又は同一の画像、又は類似又は同一のページなどのような、文書142と共通の重要なコンテンツを持つ文書群を見つける。この関連コンテンツツール147は、文書内のいずれかのコンテンツが現在のユーザ又は企業内の他のユーザにより以前に閲覧又は格納されたかを発見するために、文書フィンガープリンティング(文書の特徴抽出)、段落フィンガープリンティング(段落の特徴抽出)、及び画像フィンガープリンティング(画像の特徴抽出)を用いることができる。この後、関連コンテンツツール147は、合致するコンテンツに関連する情報を検索して表示することができる。フィンガープリント(特徴情報)は、例えば、当該文書ファイル全体のハッシュ、又は1つの段落のテキストのような当該文書の一部分のハッシュ、を求めることにより計算してもよい。他のフィンガープリンティング技術を用いてももちろんよい。
基本的な形態では、サイドバー143をアクティブウインドウにより近づけて配置すること、及びアクティブウインドウが移動したときにサイドバー143がアクティブウインドウの近くにある状態を維持するようサイドバーを移動させることにより、視線及びカーソルが過度に移動するという問題に対処する。同時に、表示する情報を現在のアクティブな文書に直接結びついたものとすることにより、無関係な情報が多すぎるという問題に対処する。
更なる実施形態では、サイドバー143を拡張して、より発展した動的な適応を実現することもできる。例えば、サイドバー143は、表示すべき情報のサイズ及び重要度に基づいて、自分自身のサイズ、透明度及びその他の特性(設定値)を調整することにより、画面スペースの無駄遣いの問題に対処する。このような拡張には、例えば以下に列挙するような例がある(ただしそれらに限るものではない)。
1)適応的画面スペース: サイドバーの合計面積が、表示すべきコンテンツの量に基づいて自動的に調整されるようにできる。図10は、一例として、アプリケーションウインドウ151内の画面スペースに適応するコンテキスト依存サイドバー152を示す図である。例えば、カレント(現在)の文書に対して表示すべきコンテキストが1つも入手できない場合は、アクティブウインドウ151に対して相対的に最小の高さ及び幅となるように制御してもよい。同様に、表示すべきコンテキストとして少量のものしか入手できなかった場合は、サイドバー152が、ちょうど、そのコンテキストを使用でき且つユーザが入力領域を利用できるようにするのに必要な最小の高さ及び幅となるように制御してもよい。適応的な画面スペースを、意味的なズーム処理と組み合わせ、これにより表示する情報の種類を利用可能な画面スペースの量により決定してもよい。例えば、スペースに余裕がない場合、注釈を要約したり、文書を小さなサムネイル画像又は部分的なファイル名で表示したり、人々の名前をイニシャルとして略したりするなどの処理を行ってもよい。更に、サイドバーが表示すべき有益な情報を持たない場合は、そのサイドバー152を、後で示すようにコンテキストスター(星印)アイコンにしてもよい。
2)半透明(図示省略): ツール144〜147のうちの1つのような、表示すべきではあるが目立つ必要のないサイドバーの要素は、半透明で表示してもよく、これによりユーザはサイドバーの下側のウインドウを見て読むことができる。例えば、アノテーションツール145のテキスト入力領域は、当該テキスト入力領域内にテキストが含まれず、ユーザがアノテーションツール145に対して対話的処理を行っていない場合には、半透明に見えるようにレンダリング(描画)してもよい。
3)ツールバー表現(図示省略): サイドバー143の「ツールバー表現」は、ユーザがコンテキストについて認識していたいが、サイドバー143がアクティブウインドウ142の境界線の外側の画面スペースを取ってしまうことを望まない場合に用いることができる。ツールバー表現モードでは、サイドバー143は、アクティブウインドウ142の範囲の中の情報の要約を提示する。例えば、ウェブブラウザウインドウのステータスバー内の少量のスペースを用いて、カレントの文書に対していくつの注釈が入手可能であるかをユーザに知らせたり、カレントの文書の新バージョンが存在することをアイコン又はテキストでユーザに通知したりしてもよい。ツールバー表現モードはクリック可能としてもよく、ユーザのクリックによりサイドバー143が拡大してフルサイズモードになるようにしてもよい。
4)アニメーション(動画)的遷移(図示省略): サイドバー143の見え隠れが、例えば、フェードイン及びフェードアウト、あるいはスライド式に出たり入ったりする遷移形態で、動画的に遷移するようにしてもよい。これにより、サイドバー143が視野に現れたり消えたりする際に注意を惹きにくくなる。
5)協調ウインドウ管理(図示省略): スライドバーの管理負担を軽減するために、可能ならば、サイドバー143がアクティブウインドウ142と共に移動するようにし、アクティブウインドウ142の管理によりサイドバー143も管理されるようにしてもよい。例えば、アクティブウインドウAとサイドバーCがあった場合に、アクティブウインドウAが開けばサイドバーCは必ず開き、ウインドウAがアクティブウインドウになると、サイドバーCは例えば現在の位置ではフェードアウトしてウインドウAの位置でフェードインする等の形でウインドウAのところまで移動し、ウインドウAが最後のウインドウである場合にウインドウAが閉じるとサイドバーCは閉じ、ウインドウAが移動するとサイドバーCも移動し、ウインドウAの高さが低くなった場合、サイドバーCの高さがウインドウAの低くなった後の高さよりも低くなければ、サイドバーの高さが低くなる。特にサイドバーCのサイズ変更(リサイズ)に異なるメカニズムが利用可能な場合には、ウインドウAは、サイドバーCの辺又は隅をドラッグ操作することでサイズ変更できるようにしてもよい。
6)ミニバー: フルコンテキスト(コンテキスト全部)は不要であるが、ツールバー表現モードよりは多くのコンテキストの表示が必要となる場合があるかも知れない。図11は、一例として、サイドバー162をアプリケーションウインドウ161の隣に「ミニバー」モード160で、例えば色、アイコン及び短い文字列を用いてコンパクトに表現されたコンテキストを有する細い帯(ストリップ:strip)のような形で、提示する例を示す。同様に、ミニバーモードでは、ユーザが、論理的な矢印(logical arrow)やラベル付きのボタンなどのようなコンパクトな(小型の)インタラクタ(対話操作用の表示要素)を用いて、注釈付け、タグ付け、ブックマーク付けなどのような処理を起動できるようにしてもよい。ミニバーモードからフル(コンテキスト全体を表示する)モードへ遷移するには、ユーザは、ミニバー162上の右向きの矢印ボタン163を選択し、これによりフルサイズの幅のサイドバーがミニバーの位置に現れ、動画的になめらかにフルサイズ幅へと変化していくようにすることができる。フルサイズのサイドバー(図示省略)の左向きの矢印ボタンを選択すれば、サイドバーはミニバー162へと縮小される。
例えば、フルサイズサイドバー内の各ツールは、小さい矩形164〜168に割り当てられてもよい。例えば、文字「A」を含んだ矩形として表示される「注釈」部164は、ユーザが注釈(アノテーション)を閲覧したり追加(記入)したりするためのダイアログボックスを呼び出すためのものである。文字「B」を含んだ矩形として表示される「ブックマーク」部165により、ユーザはサイドバーを拡大することなくカレントの文書に対してブックマークを付けることができる。文字「T」を含んだ矩形として表示される「トピックス」部166は、カレントの文書のトピックス(話題)の識別が完了すると例えば赤色に変化するようにしてもよい。同様に、文字「V」を含んだ矩形として表示される「バージョン」部167は、カレントの文書に新しいバージョンが存在しているか、又はカレントの文書と内容的に顕著に重複する文書が存在する場合に、例えば赤色に変化するようにしてもよい。最後に、文字「S」を含んだ矩形として表示される「サーチ」部168は、クリックされると、ユーザが関連するコンテンツを見つけるのを補助するためにサーチ用のダイアログボックスを呼び出すようにしてもよい。トピックス及びバージョンについては、「この文書に対するトピックスが存在します」、「この文書の新バージョンが存在します」又は「この文書と似た内容のものが存在します」等といった文字列(図示省略)を、ポップアップ式のツールヒント情報(ティップス)に表示してもよい。コンパクトなインタラクタとして他のものを用いてもよい。
7)コンテキストスター: サイドバーのよりコンパクトなモードも可能であり、このモードでは、単一のコンパクトなツールを表示する。このモードのサイドバーを、以下では「コンテキストスター(星印)」サイドバーと呼ぶ。図12は、一例として、アプリケーションウインドウ171の隣のコンパクトモードサイドバー172を示す図である。説明の便宜上、コンテキストスター172の様々な見た目173〜176を、同時に、左から右へとそれぞれ異なる位置に示しているが、実際の操作時には、コンテキストスター172は、見た目173〜176のいずれか1つの態様で、ただ1つの場所に表示され、どれが表示されるかはその時々に応じて変わる。見た目173〜176は、「新規」173(アクティブな文書は、ブックマーク付け、タグ付け、注釈付け等がなされていないことを示す)、「関心あり」174(アクティブな文書に対してブックマーク付け、タグ付け、注釈付け等がなされているが、それは個人的利用のみのためか、又はまだ完全には処理済みになっていないことを示す)、「アクティブ」175(アクティブ文書に対してブックマーク付け、タグ付け、注釈付け等がなされており、アクティブ文書が完全に処理済みであるが、単に個人的利用のみのためであることを示す)、「共有」176(アクティブ文書が「関心あり」であるとともに、他の人々に対して利用可能な状態とされる予定であることを示す)、又は「アクティブ共有」(図示省略)(「アクティブ」且つ「共有」)である。コンテキストスターの見た目は更に別のものであってもよい。コンテキストスターボタンをクリックすることにより、ブックマーク付け、タグ付け、注釈付け、ブックマーク付けした文書へのナビゲーション(案内)、他のバージョンへのナビゲーションなどのためのインタラクタが表示されるようになる。
8)マルチサイドバー(複数のサイドバー)(図示省略): ユーザが2以上のウインドウを頻繁に切り換えて、それぞれを交互にアクティブウインドウにする場合には、上述のサイドバーは常に現在のアクティブウインドウの隣へと再配置される。この再配置の動作は、電子デスクトップ上でサイドバーが跳ね回っているような、邪魔な印象をもたらす場合がある。サイドバーが跳ね回るという問題に対処するために、複数のサイドバーを同時に表示して、直近の過去の各アクティブウインドウの隣に配置してもよい。ユーザが2以上のウインドウの間を行ったり来たりした場合、その操作の間、サイドバー表示は変わらずに安定したままである。複数のサイドバーを表示する場合、1つのサイドバーの場合よりも全体の画面スペースがより多く必要になるので、各サイドバーにより使用される画面スペースの合計を削減するために、「コンテキストスター」などの技術と組み合わせてもよい。
9)タッキング(しまい込み): 画面スペースを更に削減してウインドウ管理を単純化するために、サイドバーは、対応する文書ウインドウの上部に配置してもよい。図13は、一例として、アプリケーションウインドウ181内のスペース節約サイドバー182を示す図である。(サイドバーの)位置決めは、文書ウインドウ上での対話処理のターゲットと重要な情報の配置とを考慮に入れて、サイドバーが重要な情報を隠したり、インタラクタの使用を妨げたりしないようにする。下にあるウインドウ181内の価値の高い情報の位置の検出は、そのウインドウの構造をユーザインタフェースの構成要素(コンポーネント)群180の階層構造として調べることにより、又は、より煩わしくない方法として、ウインドウ画像に対して画像処理操作を実行して、低情報内容(low information content: 簡単な情報を表すコンテンツ)の領域を検出することにより、実行してもよい。
10)ウインドウ端(エッジ)への適応的な配置: サイドバーがアプリケーションウインドウの外側に表示される場合、サイドバーの配置は、ユーザの作業に対する妨害を最小限にするように調整することができる。図14は、一例として、アプリケーションウインドウ191内でウインドウ端への適応的に配置190されるコンテンツ依存サイドバー192を示す図である。ウインドウ端(ウインドウの端部、エッジ)に適応的に配置するために、まず、電子デスクトップ上のアイコンその他のオブジェクトの各々の位置及び相対的な重要度が求められ、各画素に対して重要度を表す値が割り当てられる。サイドバーの縦方向又は横方向又はそれら両方向についての配置位置は、それら画素の重要度値を評価することにより、サイドバーにより隠される画素の数及び重要度値が最小化されるように、且つサイドバーがアプリケーションウインドウに隣接した状態が維持されるように、調整される。例えば、サイドバー192は、テキストエディタウインドウの右側に表示することができるが、そのウインドウの上端又は下端と同じ高さに配置することはできない。例えば、サイドバー192は、そのウインドウの上端の下に配置して、ユーザが、デスクトップ上に見える「ショートカット」アイコンを見て操作できるようにしてもよい。ウインドウ端への適応的な配置処理は、ターゲット、特に、マイクロソフトウインドウズ(登録商標)スタートボタン、ウインドウズのタスクバー上のオブジェクト、ウインドウのコーナー(隅)、ウインドウを最小化したり最大化したり閉じたりするためのボタン、デスクトップアイコン、ツールトレイアイコンなどといった価値の高いターゲット、をできるだけ遮らない位置を見つけるために用いることもできる。
以上、本発明の実施形態を説明したが、当業者なら分かるように、本発明の範囲内で、形態や詳細について上述の又はその他の変更を行っても良い。
11 ネットワーク、12a、b、c ユーザ、13 サーバ、14 記憶装置、21 エンタープライズサーバ、22 コンテンツベース情報カーネル、23 記憶装置、24a〜c クライアント、25a〜c カーネル、26 ネットワーク、31a,31b カーネル、32a,32b 収集部、33a,33b コンテキストリポジトリ、34a,34b 提示部、35 共同の注釈付け及びタグ付け、36 エンティティ・ベースのインデックス付け、37 行動解析及び予測、38 言語学的及び意味的解析、39 メタデータ解析、40 ソーシャルネットワーク解析、41 意味的サーチ、42 コンバータ及び抽出、43 文書ネットワーク解析。

Claims (4)

  1. ウインドウを用いる操作環境においてコンテキスト依存サイドバーウインドウ表示を提供するためのコンピュータシステムであって、
    デジタルデータを含む文書を含んだ電子的記憶装置と、
    電子的デスクトップを含むユーザインタフェースと、
    プロセッサと当該プロセッサにより実行されるコードを記憶するメモリとを備えるコンピュータと、
    を備え、
    前記コンピュータは、
    前記電子的デスクトップ上のアプリケーションプログラムであって、アプリケーションウインドウを介して前記文書についての操作を行うアプリケーションプログラムと、
    前記アプリケーションプログラムにより生成されるサイドバーウインドウと、
    単一ボタンサイドバーモジュールと、
    を備え、
    前記サイドバーウインドウは、
    カーネルにより求められた、前記文書に関連するコンテキスト情報と、
    前記アプリケーションウインドウ内の文書の現在の状態に基づいて前記コンテキスト情報の部分を提示する提示部と、
    を備え、
    前記コンテキスト情報のうちの選択された部分が前記アプリケーションウインドウに対して視覚的に隣接して配置された前記サイドバーウインドウ内に提示され、その中で提示されるコンテキスト情報と前記サイドバーウインドウの位置とが、前記文書及び前記アプリケーションウインドウの現在の状態に応じて常に更新され、
    前記単一ボタンサイドバーモジュールは、前記サイドバーウインドウを、前記文書の前記現在の状態を表す複数のグラフィックスを含む単一のボタンとして提示すると共に、前記単一のボタンのグラフィカルな見た目を、前記文書に関連づけられた前記コンテキスト情報の複数の属性のうちの1つの値を示すように変化させ、前記グラフィカルな見た目には、色及び形の変化が含まれ、前記コンテキスト情報の複数の属性には、前記文書について注釈が存在することを示す属性、前記文書の別バージョンが存在することを示す属性、前記文書の新バージョンが存在することを示す属性、前記文書にブックマークが付されていることを示す属性、前記文書が他のユーザと共有済みであることを示す属性、及び類似の話題について別の情報が入手可能であることを示す属性、が含まれる、ことを特徴とするシステム。
  2. 請求項1に記載のシステムであって、更に、
    前記文書の中から抽出される前記コンテキスト情報、前記文書に関連づけられた識別情報を用いて前記電子的記憶装置から検索されるコンテキスト情報、前記文書とは別に保持された更なる情報に由来するコンテキスト情報、及び文書の特徴情報及び段落の特徴情報の組のうちの少なくとも一方、のうちの少なくとも1つを含むコンテキスト情報を取得する収集部、を更に備える、システム。
  3. 請求項1に記載のシステムであって、
    前記電子的デスクトップ内で利用可能なスペースの量と前記コンテキスト情報の量とのうちの少なくとも一方に基づいて、前記サイドバーウインドウの面積を適応的に調整する適応的調整モジュールと、
    現在の文書についていくつの注釈が入手可能であるか、及び現在の文書の新バージョンが存在するか、のうちの1つ以上を示す、ウェブブラウザウインドウのステータスバー内のスペース、アイコン及びテキスト文字列のうちの少なくとも1つを含む要約情報として、前記アプリケーションウインドウ内に前記サイドバーを提示する情報要約モジュールと、
    前記サイドバーウインドウを、少なくともフェードイン・フェードアウト方式又はスライド方式で視野から遷移させる遷移スライドバーモジュールと、
    前記アプリケーションウインドウが開かれたときに前記サイドバーウインドウを開き、前記アプリケーションウインドウが閉じられたときに前記サイドバーウインドウを閉じ、前記アプリケーションウインドウが移動したときに前記サイドバーウインドウを移動させる協調ウインドウ移動モジュールと、
    前記文書に関連づけられた前記コンテキスト情報の閲覧又は変更の操作を起動するためのコンパクトなインタラクタ、色、アイコン、及び短い文字列、のうちの1以上を含む帯として前記サイドバーウインドウを提示する帯状サイドバー−モジュールと、
    のうちの少なくとも1つを更に備える、システム。
  4. ウインドウを用いる操作環境においてコンテキスト依存サイドバーウインドウ表示を提供するための、コンピュータを用いた方法であって、
    デジタルデータを含む文書を電子的記憶装置にて保持するステップと、
    前記電子的デスクトップ上のアプリケーションプログラムによって生成されたアプリケーションウインドウを介して前記文書について操作するステップと、
    サイドバーウインドウを生成するステップと、
    を含み、
    前記サイドバーウインドウを生成するステップでは、
    前記文書に関連するコンテキスト情報を求め、
    前記コンテキスト情報のうち提示すべき部分を、前記アプリケーションウインドウ内の文書の現在の状態に基づいて選択し、
    前記コンテキスト情報のうちの前記選択された部分を前記アプリケーションウインドウに対して視覚的に隣接して配置された前記サイドバーウインドウ内に提示し、
    提示するコンテキスト情報と前記サイドバーウインドウの位置とを、前記文書及び前記アプリケーションウインドウの現在の状態に応じて常に更新
    前記サイドバーウインドウは、前記文書の前記現在の状態を表す複数のグラフィックスを含む単一のボタンとして提示されると共に、前記単一のボタンのグラフィカルな見た目が、前記文書に関連づけられた前記コンテキスト情報の複数の属性のうちの1つの値を示すように変化し、前記グラフィカルな見た目には、色及び形の変化が含まれ、前記コンテキスト情報の複数の属性には、前記文書について注釈が存在することを示す属性、前記文書の別バージョンが存在することを示す属性、前記文書の新バージョンが存在することを示す属性、前記文書にブックマークが付されていることを示す属性、前記文書が他のユーザと共有済みであることを示す属性、及び類似の話題について別の情報が入手可能であることを示す属性、が含まれる、
    ことを特徴とする方法。
JP2010216359A 2009-09-30 2010-09-28 コンテキスト依存サイドバーウインドウ表示システム及び方法 Expired - Fee Related JP5706657B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/570,733 US8312385B2 (en) 2009-09-30 2009-09-30 System and method for providing context-sensitive sidebar window display on an electronic desktop
US12/570,733 2009-09-30

Publications (2)

Publication Number Publication Date
JP2011076606A JP2011076606A (ja) 2011-04-14
JP5706657B2 true JP5706657B2 (ja) 2015-04-22

Family

ID=43733171

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010216359A Expired - Fee Related JP5706657B2 (ja) 2009-09-30 2010-09-28 コンテキスト依存サイドバーウインドウ表示システム及び方法

Country Status (3)

Country Link
US (2) US8312385B2 (ja)
EP (1) EP2328080B1 (ja)
JP (1) JP5706657B2 (ja)

Families Citing this family (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9626633B2 (en) * 2010-02-26 2017-04-18 Invention Science Fund I, Llc Providing access to one or more messages in response to detecting one or more patterns of usage of one or more non-communication productivity applications
US20110289404A1 (en) * 2010-05-19 2011-11-24 Alexandra Fleur System and methods for document critique
US8555155B2 (en) 2010-06-04 2013-10-08 Apple Inc. Reader mode presentation of web content
US8200666B2 (en) * 2010-06-14 2012-06-12 Sap Ag Providing relevant information based on data space activity items
US9141620B2 (en) 2010-12-16 2015-09-22 International Business Machines Corporation Dynamic presentations management
US8977947B2 (en) 2011-06-03 2015-03-10 Apple Inc. Method for presenting documents using a reading list panel
US20130067401A1 (en) * 2011-09-09 2013-03-14 Sap Ag Context sensitive extensions for existing applications
US9588652B2 (en) 2011-12-12 2017-03-07 International Business Machines Corporation Providing feedback for screen sharing
US20130151624A1 (en) 2011-12-12 2013-06-13 International Business Machines Corporation Context-Sensitive Collaboration Channels
US9852432B2 (en) 2011-12-12 2017-12-26 International Business Machines Corporation Customizing a presentation based on preferences of an audience
US9141264B2 (en) 2011-12-14 2015-09-22 International Business Machines Corporation Variable refresh rates for portions of shared screens
US9124657B2 (en) 2011-12-14 2015-09-01 International Business Machines Corporation Dynamic screen sharing for optimal performance
US9721039B2 (en) * 2011-12-16 2017-08-01 Palo Alto Research Center Incorporated Generating a relationship visualization for nonhomogeneous entities
US9390403B2 (en) * 2012-02-09 2016-07-12 International Business Machines Corporation Augmented screen sharing in an electronic meeting
EP2631760A1 (en) 2012-02-24 2013-08-28 Research In Motion Limited Method and apparatus for providing a user interface on a device enabling selection of operations to be performed in relation to content
EP2631747B1 (en) * 2012-02-24 2016-03-30 BlackBerry Limited Method and apparatus for providing a user interface on a device that indicates content operators
EP2631738B1 (en) * 2012-02-24 2016-04-13 BlackBerry Limited Method and apparatus for adjusting a user interface to reduce obscuration
WO2014013500A1 (en) * 2012-07-19 2014-01-23 Anil Bisht A method of sending a printed group greeting card"
JP2016502179A (ja) * 2012-11-02 2016-01-21 ジーイー・インテリジェント・プラットフォームズ・インコーポレイテッド コンテキストに基づく動的動作のための装置及び方法
US9342490B1 (en) * 2012-11-20 2016-05-17 Amazon Technologies, Inc. Browser-based notification overlays
US9652109B2 (en) * 2013-01-11 2017-05-16 Microsoft Technology Licensing, Llc Predictive contextual toolbar for productivity applications
US9946431B2 (en) * 2013-01-31 2018-04-17 Disney Enterprises, Inc. Resizable and lockable user interfaces
KR20140100784A (ko) * 2013-02-07 2014-08-18 삼성전자주식회사 디스플레이 장치 및 디스플레이 방법
US9761034B2 (en) 2013-06-09 2017-09-12 Apple Inc. Animation emulating live web page content resizing
US20150020011A1 (en) * 2013-07-15 2015-01-15 Verizon and Redbox Digital Entertainment Services, LLC Media program discovery assistance user interface systems and methods
US9542391B1 (en) 2013-11-11 2017-01-10 Amazon Technologies, Inc. Processing service requests for non-transactional databases
US10540404B1 (en) 2014-02-07 2020-01-21 Amazon Technologies, Inc. Forming a document collection in a document management and collaboration system
US10599753B1 (en) * 2013-11-11 2020-03-24 Amazon Technologies, Inc. Document version control in collaborative environment
US11336648B2 (en) 2013-11-11 2022-05-17 Amazon Technologies, Inc. Document management and collaboration system
US10691877B1 (en) 2014-02-07 2020-06-23 Amazon Technologies, Inc. Homogenous insertion of interactions into documents
KR20150099297A (ko) * 2014-02-21 2015-08-31 삼성전자주식회사 전자장치의 화면 표시 방법
US9756091B1 (en) * 2014-03-21 2017-09-05 Google Inc. Providing selectable content items in communications
JP2016009214A (ja) * 2014-06-20 2016-01-18 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US10210146B2 (en) 2014-09-28 2019-02-19 Microsoft Technology Licensing, Llc Productivity tools for content authoring
US10528597B2 (en) 2014-09-28 2020-01-07 Microsoft Technology Licensing, Llc Graph-driven authoring in productivity tools
US10402061B2 (en) 2014-09-28 2019-09-03 Microsoft Technology Licensing, Llc Productivity tools for content authoring
US9807073B1 (en) 2014-09-29 2017-10-31 Amazon Technologies, Inc. Access to documents in a document management and collaboration system
CN107111601B (zh) * 2014-12-18 2021-01-01 惠普发展公司,有限责任合伙企业 基于手写注释来标识资源
US10740349B2 (en) 2015-06-22 2020-08-11 Microsoft Technology Licensing, Llc Document storage for reuse of content within documents
US10339183B2 (en) 2015-06-22 2019-07-02 Microsoft Technology Licensing, Llc Document storage for reuse of content within documents
US10394949B2 (en) 2015-06-22 2019-08-27 Microsoft Technology Licensing, Llc Deconstructing documents into component blocks for reuse in productivity applications
US10565026B2 (en) 2015-07-29 2020-02-18 Microsoft Technology Licensing, Llc Containing an application in an immersive non-windowed environment
US10489032B1 (en) 2015-07-29 2019-11-26 Google Llc Rich structured data interchange for copy-paste operations
US10409901B2 (en) 2015-09-18 2019-09-10 Microsoft Technology Licensing, Llc Providing collaboration communication tools within document editor
USD778941S1 (en) 2016-01-08 2017-02-14 Apple Inc. Display screen or portion thereof with graphical user interface
USD778942S1 (en) * 2016-01-11 2017-02-14 Apple Inc. Display screen or portion thereof with graphical user interface
US10540635B2 (en) 2016-12-30 2020-01-21 Dropbox, Inc. System and method for generating desktop focus work areas
USD819681S1 (en) * 2017-01-18 2018-06-05 Google Llc Display screen with graphical user interface
US10268688B2 (en) * 2017-05-03 2019-04-23 International Business Machines Corporation Corpus-scoped annotation and analysis
US11886473B2 (en) 2018-04-20 2024-01-30 Meta Platforms, Inc. Intent identification for agent matching by assistant systems
US20190327330A1 (en) 2018-04-20 2019-10-24 Facebook, Inc. Building Customized User Profiles Based on Conversational Data
US11715042B1 (en) 2018-04-20 2023-08-01 Meta Platforms Technologies, Llc Interpretability of deep reinforcement learning models in assistant systems
US11307880B2 (en) 2018-04-20 2022-04-19 Meta Platforms, Inc. Assisting users with personalized and contextual communication content
US11676220B2 (en) 2018-04-20 2023-06-13 Meta Platforms, Inc. Processing multimodal user input for assistant systems
US10999230B2 (en) 2018-05-23 2021-05-04 Microsoft Technology Licensing, Llc Relevant content surfacing in computer productivity platforms
US11429782B2 (en) * 2019-10-10 2022-08-30 Gregory J Casas Document retrieval and processing from online databases using thumbnail image indexing
US20210365521A1 (en) * 2020-05-19 2021-11-25 Microsoft Technology Licensing, Llc Sidebar search pane
USD968442S1 (en) 2020-06-08 2022-11-01 Contract Mill Oy Display screen with graphical user interface
USD969822S1 (en) 2020-11-11 2022-11-15 Aspen Operating, LLC Display screen with a graphical user interface
US11822612B2 (en) * 2021-10-21 2023-11-21 Microsoft Technology Licensing, Llc Automatic identification of additional content for webpages
US11875311B2 (en) * 2021-12-30 2024-01-16 Salesforce, Inc. Communication platform document as a communication channel

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0772858B2 (ja) * 1991-05-17 1995-08-02 インターナショナル・ビジネス・マシーンズ・コーポレイション 図形利用者インターフェースを介し縦横方向移動操作により表示窓掩蔽部を選択的に露出する方法及び装置
DE69523543T2 (de) * 1994-12-13 2002-04-04 Microsoft Corp Taskbar mit Startmenü
US5859639A (en) * 1996-07-17 1999-01-12 International Business Machines Corporation Mechanism to control visible presence of desktop objects in a graphical user interface
JPH10247137A (ja) * 1997-03-04 1998-09-14 Sony Corp 情報閲覧装置
US7496854B2 (en) * 1998-11-10 2009-02-24 Arendi Holding Limited Method, system and computer readable medium for addressing handling from a computer program
US6297819B1 (en) * 1998-11-16 2001-10-02 Essential Surfing Gear, Inc. Parallel web sites
WO2000057281A1 (en) * 1999-03-19 2000-09-28 Natrificial, Llc Method and apparatus for simultaneously resizing and relocating windows within a graphical display including extensions
US7228492B1 (en) * 1999-07-06 2007-06-05 Ricoh Company, Ltd. 2D graph displaying document locations of user-specified concept of interest
US20020186257A1 (en) * 2001-06-08 2002-12-12 Cadiz Jonathan J. System and process for providing dynamic communication access and information awareness in an interactive peripheral display
US20030145310A1 (en) * 2001-10-31 2003-07-31 Metacyber. Net. Computer memory structure for storing original source information and associated interpretative information
US7356537B2 (en) * 2002-06-06 2008-04-08 Microsoft Corporation Providing contextually sensitive tools and help content in computer-generated documents
JP4143344B2 (ja) * 2002-06-27 2008-09-03 大日本印刷株式会社 ヘアカラーシミュレーション方法
GB0309174D0 (en) * 2003-04-23 2003-05-28 Stevenson David W System and method for navigating a web site
US7343567B2 (en) * 2003-04-25 2008-03-11 Microsoft Corporation System and method for providing dynamic user information in an interactive display
NZ525956A (en) * 2003-05-16 2005-10-28 Deep Video Imaging Ltd Display control system for use with multi-layer displays
US7325204B2 (en) * 2003-08-29 2008-01-29 Yahoo! Inc. Slideout windows
US7469302B2 (en) * 2003-08-29 2008-12-23 Yahoo! Inc. System and method for ensuring consistent web display by multiple independent client programs with a server that is not persistently connected to client computer systems
US20050055645A1 (en) * 2003-09-09 2005-03-10 Mitutoyo Corporation System and method for resizing tiles on a computer display
JP2006003999A (ja) * 2004-06-15 2006-01-05 Canon Inc 情報処理方法及び装置
US20060095865A1 (en) * 2004-11-04 2006-05-04 Rostom Mohamed A Dynamic graphical user interface for a desktop environment
US20070094597A1 (en) * 2004-11-04 2007-04-26 Rostom Mohamed A Dynamic graphical user interface for a desktop environment
US7657842B2 (en) * 2004-11-12 2010-02-02 Microsoft Corporation Sidebar tile free-arrangement
US20060112339A1 (en) * 2004-11-19 2006-05-25 Microsoft Corporation Mobile device interactions through objects on a computer
US20070226204A1 (en) * 2004-12-23 2007-09-27 David Feldman Content-based user interface for document management
RU2406129C2 (ru) * 2005-04-25 2010-12-10 Майкрософт Корпорейшн Ассоциирование информации с электронным документом
US7644391B2 (en) * 2005-08-18 2010-01-05 Microsoft Corporation Sidebar engine, object model and schema
US20070157105A1 (en) * 2006-01-04 2007-07-05 Stephen Owens Network user database for a sidebar
US8464164B2 (en) * 2006-01-24 2013-06-11 Simulat, Inc. System and method to create a collaborative web-based multimedia contextual dialogue
US8381127B2 (en) * 2006-02-02 2013-02-19 Scenera Technologies, Llc Methods, systems, and computer program products for displaying windows on a graphical user interface based on relative priorities associated with the windows
US10460327B2 (en) * 2006-07-28 2019-10-29 Palo Alto Research Center Incorporated Systems and methods for persistent context-aware guides
US9842097B2 (en) * 2007-01-30 2017-12-12 Oracle International Corporation Browser extension for web form fill
US20080295019A1 (en) * 2007-05-21 2008-11-27 Microsoft Corporation Document with Sidebars
US7925988B2 (en) * 2007-11-13 2011-04-12 International Business Machines Corporation System and method for providing sticky applications
US20090204915A1 (en) * 2008-02-08 2009-08-13 Sony Ericsson Mobile Communications Ab Method for Switching Desktop Panels in an Active Desktop
US8745052B2 (en) * 2008-09-18 2014-06-03 Accenture Global Services Limited System and method for adding context to the creation and revision of artifacts
US20100082695A1 (en) * 2008-09-26 2010-04-01 Hardt Dick C Enterprise social graph and contextual information presentation
US8145994B2 (en) * 2008-12-29 2012-03-27 Microsoft Corporation Categorizing document elements based on display layout

Also Published As

Publication number Publication date
US9058588B2 (en) 2015-06-16
JP2011076606A (ja) 2011-04-14
EP2328080B1 (en) 2016-08-10
US20130067384A1 (en) 2013-03-14
US20110078615A1 (en) 2011-03-31
US8312385B2 (en) 2012-11-13
EP2328080A3 (en) 2014-09-10
EP2328080A2 (en) 2011-06-01

Similar Documents

Publication Publication Date Title
JP5706657B2 (ja) コンテキスト依存サイドバーウインドウ表示システム及び方法
US7966352B2 (en) Context harvesting from selected content
US11681859B2 (en) Annotation control features for web browser editing and storage platforms
US8555186B2 (en) Interactive thumbnails for transferring content among electronic documents
US8869023B2 (en) Conversion of a collection of data to a structured, printable and navigable format
US10013484B2 (en) User driven computerized selection, categorization, and layout of live content components
US20140380229A1 (en) System, method and user interface for designing customizable products from a mobile device
US20060224997A1 (en) Graphical web browser history toolbar
US20130212463A1 (en) Smart document processing with associated online data and action streams
US20080022229A1 (en) Methods and systems for enhancing internet experiences using previews
US20060224989A1 (en) Method and apparatus for application window grouping and management
US20130262968A1 (en) Apparatus and method for efficiently reviewing patent documents
KR20080043788A (ko) 사용자-생성 문서의 선택 및 표시
JP7009860B2 (ja) チャットメッセージへのリンクの添付ファイルのためのシステムおよび方法、プログラム、装置
Klemmer et al. Integrating physical and digital interactions on walls for fluid design collaboration
JP2010518532A (ja) オンライン検索のために構造化データを用いる方法
JP2004094833A (ja) 会議支援装置、コンピュータが読み取り可能なプログラム、及び電子会議システム
Jones et al. Towards a unification & integration of PIM support
JP2010026925A (ja) 情報処理装置、画面制御方法、およびプログラム
Sundin et al. Office OneNote 2010 on the PC

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130924

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140311

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140611

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140616

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140710

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150210

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150227

R150 Certificate of patent or registration of utility model

Ref document number: 5706657

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees