JP5895828B2 - 情報処理装置及びプログラム - Google Patents

Description

本発明は、情報処理装置及びプログラムに関する。

電子文書に含まれる文書及び画像といった構成要素に、当該構成要素に関連する文書及びタイトルなど他の構成要素に関する関連構成要素情報を関連付け、この関連構成要素情報を用いて構成要素を検索する技術がある。

特開２００８−１３４９５４号公報

本発明の目的の１つは、構成要素に関連する関連構成要素情報の当該構成要素との関連の強さを表示態様により識別できるようにすることにある。

請求項１に記載の発明は、情報処理装置であって、電子情報を構成する複数の構成要素のうち少なくとも一つを選択する選択手段と、前記選択手段により選択された構成要素に関連する他の構成要素と、当該選択された構成要素と、の関連の強さを示す関連度を算出する関連度算出手段と、前記選択された構成要素に関連する他の構成要素に関する関連構成要素情報を、前記関連度算出手段にて算出した関連度に基づいた態様で表示する表示手段と、を含むこととしたものである。

請求項２に記載の発明は、請求項１に記載の情報処理装置であって、前記関連度算出手段は、構成要素に含まれる同一文字列が多い構成要素間の関連度を高く算出する、こととしたものである。

請求項３に記載の発明は、請求項１に記載の情報処理装置であって、前記関連度算出手段は、構成要素間の関係性を示す文字列に応じて当該文字列の位置に応じて選択された構成要素間の関連度を算出する、こととしたものである。

請求項４に記載の発明は、請求項１〜３のいずれか１項に記載の情報処理装置であって、前記表示手段は、前記関連構成要素情報を、前記関連度に応じて定められる大きさの表示領域に表示する、こととしたものである。

請求項５に記載の発明は、請求項４に記載の情報処理装置であって、前記表示手段は、前記関連度に応じて前記関連構成要素情報の情報量を変化させることで、前記関連構成要素情報２６を前記定められる大きさの表示領域に適合させて表示する、こととしたものである。

請求項６に記載の発明は、請求項５に記載の情報処理装置であって、前記関連構成要素情報は、前記選択された構成要素に関連する他の構成要素から一部を抽出した情報である、としたものである。

請求項７に記載の発明は、請求項５に記載の情報処理装置であって、前記関連構成要素情報は、前記選択された構成要素に関連する他の構成要素に関する要約文である、としたものである。

請求項８に記載の発明は、請求項５に記載の情報処理装置であって、前記関連構成要素情報は、前記選択された構成要素に関連する他の構成要素を縮小表示した情報である、としたものである。

請求項９に記載の発明は、請求項１〜３のいずれか１項に記載の情報処理装置であって、前記表示手段は、前記関連構成要素情報を、前記関連度に応じて定められる色を用いて表示する、こととしたものである。

請求項１０に記載の発明は、請求項１〜９のいずれか１項に記載の情報処理装置であって、前記表示手段は、前記関連構成要素情報を、前記選択された構成要素の位置に基づいて定められる位置に表示する、こととしたものである。

請求項６に記載の発明は、プログラムであって、電子文書を構成する複数の構成要素のうち少なくとも一つを選択する選択手段、前記選択手段により選択された構成要素に関連する他の構成要素と、当該選択された構成要素と、の関連の強さを示す関連度を算出する関連度算出手段、前記選択された構成要素に関連する他の構成要素に関する関連構成要素情報を、前記関連度算出手段にて算出した関連度に基づいた態様で表示する表示手段、としてコンピュータを機能させることとしたものである。

請求項１及び６に記載の発明によれば、選択された構成要素に関連する関連構成要素情報の当該構成要素との関連の強さを、関連構成要素情報の表示態様により識別できることとなる。

請求項２に記載の発明によれば、構成要素間の類似度に応じて関連度を算出できることとなる。

請求項３に記載の発明によれば、構成要素間の関係性に応じて関連度を算出できることとなる。

請求項４に記載の発明によれば、選択された構成要素に関連する関連構成要素情報の当該構成要素との関連の強さを、関連構成要素情報の表示領域により識別できることとなる。

請求項５に記載の発明によれば、選択された構成要素に関連する関連構成要素情報の当該構成要素との関連の強さを、関連構成要素情報の情報量により識別できることとなる。

請求項６に記載の発明によれば、関連構成要素情報を、もとの構成要素の内容を示すとともに狭小な表示領域に表示できることとなる。

請求項７に記載の発明によれば、関連構成要素情報を、もとの構成要素の内容を示すとともに狭小な表示領域に表示できることとなる。

請求項８に記載の発明によれば、関連構成要素情報を、もとの構成要素の構成を維持するとともに狭小な表示領域に表示できることとなる。

請求項９に記載の発明によれば、選択された構成要素に関連する関連構成要素情報の当該構成要素との関連の強さを、関連構成要素情報の表示色により識別できることとなる。

請求項１０に記載の発明によれば、選択された構成要素に関連する関連構成要素情報の閲覧性を向上できることとなる。

本発明の一実施形態における情報処理装置の構成の一例を示す図である。 電子情報の一例を示す図である。 電子情報の別の一例を示す図である。 本発明の一実施形態における情報処理装置により実現される機能の一例を示す機能ブロック図である。 本発明の一実施形態における情報処理装置により行われる処理の流れの一例を示す図である。 構成要素間の関連付けの一例を示す図である。 本発明の一実施形態における情報処理装置により行われる処理の流れの一例を示す図である。

以下、本発明の一実施形態について、図面に基づき詳細に説明する。

図１は、本実施形態に係る情報処理装置１０のハードウェア構成の一例を示す図である。図１に例示するように、本実施形態における情報処理装置１０は、例えば、制御部１２、記憶部１４、操作部１６、表示部１８、通信部２０、を含んでいる。これらの要素は、バスなどを介して接続される。

制御部１２は、例えば、ＣＰＵ等のプログラム制御デバイスであり、記憶部１４にインストールされるプログラムに従って動作する。

記憶部１４は、例えば、ＲＯＭやＲＡＭ等の記憶素子やハードディスクなどを含んで構成される。記憶部１４には、制御部１２によって実行されるプログラムや各種のデータなどが記憶される。また、記憶部１４は、制御部１２のワークメモリとしても動作する。

操作部１６は、キーボード、マウス、ボタン、タッチパネル等であり、利用者の指示操作を受け付けて、当該指示操作の内容を制御部１２に対して出力する。表示部１８は、ディスプレイなどであり、制御部１２から入力される指示に従って情報を表示出力する。表示部１８は、例えばディスプレイ装置等であり、制御部１２からの指示に従って、情報の表示を行う。

通信部２０は、例えば、ＬＡＮカード等のネットワークインターフェースであり、ＬＡＮや無線通信網などの通信手段を介して、各種情報の送受信を行う。

本実施形態では、情報処理装置１０の記憶部１４に、予め、文字列、図（図形、絵、写真等を含む）、表等の構成要素を含む電子情報２１が記憶されていることとする（図２参照）。

ここで、電子情報２１とは、文字列、図（図形、絵柄、写真等を含む）、表等の構成要素を１つまたは複数組み合わせて、１または複数の頁に配置した電子情報である。具体的には、例えば、紙文書をスキャンしたスキャン文書、ワードプロセッサー等により編集される文書、表計算ソフトにより編集される表計算シート、図面、ウェブページ等を含むものである。図２は、複数の構成要素が配置された電子情報２１の一例を示す図である。図２に例示する電子情報２１には、構成要素として絵柄等を示した絵柄領域２２と、文書を段落毎に分割した文章領域２４（２４−ａ，２４−ｂ、及び２４−ｃ）と、が含まれている。なお、電子情報２１において、各画素の値はＲＧＢ色空間で表現されているものとする。そして、電子情報２１は、上述のようなＰＤＦ等の形式を指すだけではなく、たとえばスキャン画像やカメラ撮影画像等も含まれることとし、電子情報２１は、画像のみ、図のみの電子情報であってもよい。また、電子情報２１を、通信部２０を介して他の装置から受信して取得してもよいし、図示しないスキャン装置のスキャン結果に基づいて取得してもよい。

本実施形態では、情報処理装置１０の制御部１２は、記憶部１４に記憶されている電子情報２１に含まれる構成要素間の関連付けを行うとともに、関連付ける構成要素間の関連の強さを示す関連度を算出する。そして、利用者が構成要素に対する選択操作（例えば、マウスを用いて構成要素に対してクリック操作する）を行うと、操作部１６が当該選択操作を受け付けて、当該選択操作情報を制御部１２に対して出力する。なお、選択操作は、指によるタップ操作、視線等の生体情報を用いた操作であってもよい。制御部１２は、操作部１６から取得した選択操作情報に基づいて、利用者が選択した構成要素に関連付けられる他の構成要素に関する情報（以下、関連構成要素情報２６とする。）を、当該利用者が選択した構成要素の位置に基づいて定められる位置に表示するべき指示を表示部１８に出力する。この時、表示部１８が表示する関連構成要素情報２６は、利用者が選択した構成要素に関連づけられる他の構成要素と、当該選択した構成要素と、の関連度に基づいた態様となる。図３は、利用者が絵柄領域２２に対して選択操作を行った場合に、絵柄領域２２に関連する他の構成要素に関する、関連構成要素情報２６−ａ、及び関連構成要素情報２６−ｂが表示される一例を示す図である。図３に例示する関連構成要素情報２６−ａは、関連度が高い関連構成要素情報であり、当該関連構成要素情報２６−ａの元となる構成要素がそのままポップアップ表示されたものである。そして、関連度が低い関連構成要素情報２６−ｂは、当該関連構成要素情報２６−ｂの元となる構成要素の一部を抽出した情報、または当該関連構成要素情報２６−ｂの元となる構成要素から生成した情報が、関連構成要素情報２６−ａよりも小さい表示領域にポップアップ表示されたものである。なお、選択した構成要素に関連する他の構成要素は、同一の電子情報に含まれる構成要素に限定されず、他の電子情報に含まれる構成要素であってもよい。ここで、構成要素の一部を抽出する方法としては、例えば、構成要素内から当該構成要素の記載内容を示す特徴的な文字列を抜き出すことが挙げられる。そして、構成要素から情報を生成する方法としては、例えば、構成要素の記載内容の要約を作成することが挙げられる。また、構成要素が絵柄領域２２である場合は、例えば、絵柄領域２２に含まれる図、画像等をサムネイル表示することで関連構成要素情報２６を小さい表示領域に表示する。そうすることで、関連度の高い関連構成要素情報２６−ａは、関連度の低い関連構成要素情報２６−ｂより表示領域が大きくなり、利用者は、選択した構成要素に関連する他の構成要素に関する関連構成要素情報２６を取得することができるとともに、当該関連構成要素情報２６と選択した構成要素との関連度を容易に把握することが可能となる。

以下、本実施形態に係る情報処理装置１０が実現する機能について、説明する。図４は情報処理装置１０により実現される主な機能の一例を示す機能ブロック図である。図４に例示するように、本実施形態における情報処理装置１０は、機能的には、例えば、電子文書取得部３０、文字絵柄分離部３２、絵柄領域文字列解析部３４、文章解析部３６、構成要素関連付け部３８、関連度算出部４０、構成要素選択部４２、関連構成要素情報生成部４６、表示位置決定部４８を含んでいる。なお、本実施形態に係る情報処理装置１０において、図４に示す機能以外の機能が実現されていてもよい。これらの機能は、コンピュータである情報処理装置１０の記憶部１４にインストールされた、これらの機能に対応する命令を含むプログラムを、情報処理装置１０の制御部２０で実行することにより実現されている。このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ可読な情報記憶媒体を介して、あるいは、インターネットなどの通信手段を介して情報処理装置１０に供給される。

本実施形態に係る情報処理装置１０は、情報処理装置１０の記憶部１４に予め記憶されている電子情報２１に基づいて、電子情報２１に含まれる各構成要素間の関連付け処理と、関連付けられた構成要素間の関連の強さを示す関連度を算出する処理を行う。

ここで、本実施形態における情報処理装置１０により行われる、電子情報２１に含まれる構成要素間の関連付け処理と関連度算出処理の流れの一例を図５に例示するフロー図を参照しながら説明する。

電子文書取得部３０は、情報処理装置１０の記憶部１４に記憶されている電子情報２１を取得する（Ｓ１０１）。

文字絵柄分離部３２は、電子文書取得部３０が取得した電子情報２１に対して文字絵柄分離処理を行う（Ｓ１０２）。

文字絵柄分離部３２は、公知のレイアウト解析技術または文字絵柄分離技術を用いて、タイトル領域、本文領域、ヘッダ／フッタ領域、絵柄領域２２等、複数の構成要素領域に分割する。具体的には、例えば、文字絵柄分離部３２は、電子情報２１の各画素の値をＲＧＢからＹＣｂＣｒに変換した画像データから文字絵柄分離処理を行う。まず、ＹＣｂＣｒ色空間で表現された画像データの色情報を用いて、文字と絵柄とを分離する。具体的には、下地色判定後、下地色以外の画像データ(画像データの集合・オブジェクト)ごとに、特徴量を算出する。特徴量として、色数、色の分布、大きさ及び形状などを用いる。文字は色数が少ない、大きさが大きくないなどの特徴がある。さらに、ＹＣｂＣｒ色空間で表現された画像データに二値化処理を行い、当該二値化処理後の画像データから黒画素が連結している領域を抽出する。そして、黒画素が連結している黒画素連結領域の大きさと黒画素の密度に基づいて絵柄領域と文章領域とに分離する。具体的には、例えば、一般的な電子文書で利用されるフォントサイズの最大値に相当する面積以上の大きさをもつ黒画素連結領域は絵柄領域と特定する。また、黒画素連結画素数（ランレングス）が大きい線分を罫線と判定し、縦方向および横方向の長ランレングスの配置や交点の数・分布等から表を分離する。さらに、文字判定された画像に対し、段落領域を判定する。具体的には、縦方向および横方向に黒画素のヒストグラムを取得し、ヒストグラムの谷（すなわち黒画素が少ない箇所を指す。たとえば、段落間や行間。）やヒストグラムの山（すなわち黒画素が連なっている箇所を指す。たとえば、領域の区切りを表すセパレータなど。）の位置で、文字領域を分割する。さらに分割された領域に対し、同様の処理を繰り返していき、段落単位・文字行単位などの領域に分割する。なお、他の方法を用いて絵柄領域と文章領域とを分離してもよい。また、本実施形態では、図、表、絵柄等に含まれる文字列は絵柄領域２２の一部とする。そして、分離した絵柄領域毎及び文章領域毎に各領域を識別する識別番号を付与することとする（例えば、図表１、図表２、段落１、段落２、等とする）。

絵柄領域文字列解析部３４は、文字絵柄分離部３２が分離処理を行った電子情報２１から図表等を含んだ絵柄領域２２を取得し、当該絵柄領域２２内に含まれる文字列をさらに分離して抽出する。そして、絵柄領域文字列解析部３４が、公知の形態素解析または構文解析を用いて抽出した文字列を解析する（Ｓ１０３）。具体的には、例えば、絵柄領域文字列解析部３４は、エッジ検出（急峻な境界を絵柄と絵柄中文字の境界として認識）による境界検出と、隣接境界がある条件を満たした時にその境界で囲まれる画素を文字と判別する判別回路と組み合せることで絵柄部から文字部を分離する。スキャン画像やカメラ画像のように、文字コードを含まない場合、これら絵柄領域中の文字列、および、文章領域中の文字列に対し、ＯＣＲ（Optical-Character-Reader）により文字コードを取得する。すでに文字コードを含む文書の場合、該当する文章領域や絵柄領域に文字コードを紐付ける。そして、絵柄領域文字列解析部３４は、分離した文字列に対して形態素解析を行い、文字列を形態素に分解するとともに、各形態素の品詞や活用法を特定する。また、絵柄領域文字列解析部３４は、分離した文字列に対して構文解析を行い、文節間の係り受け等を特定する。

文章解析部３６は、文字絵柄分離部３２が分離処理を行った電子情報２１から文章領域２４を取得し、公知の形態素解析または構文解析を用いて、当該文章領域２４内に含まれる文字列を解析する（Ｓ１０４）。ここで、本実施形態では、文章領域２４を、絵柄領域２２に含まれる文字列を含まない、タイトル領域、本文領域等の文字領域とする。なお、本実施形態では、文章領域２４は、本文領域を段落毎に分割したものとする。具体的には、例えば、文章解析部３６は、取得した文章領域２４内の文字列に対して、公知の文字認識技術を用いて、各文字を認識する。そして、文章解析部３６は、各文章領域２４内の文字列に対して形態素解析を行い、文章領域２４内の文字列を形態素に分解するとともに、各形態素の品詞や活用形を特定する。また、絵柄領域文字列解析部３４は、分離した文章領域２４内の文字列に対して構文解析を行い、文節間の係り受け等を特定する。

構成要素関連付け部３８は、絵柄領域文字列解析部３４及び文章解析部３６が解析した結果に基づいて、構成要素間の関連付けを行う（Ｓ１０５）。構成要素関連付け部３８は、構成要素間において、構成要素内の文字列を比較して同一の文字列が存在するか否かを判断し、存在すると判断した場合に、同一の文字列が含まれる構成要素間を関連付ける。その他、同一文字列の存在有無の他、出現頻度を算出し、構成要素間を関連付けることもできる。または、構成要素関連付け部３８は、文章領域２４内の文字列に構成要素間の並列関係、従属関係、因果関係等を示す記述がある場合に当該構成要素間を関連付ける。

ここで、構成要素間の関連付け手法の一例を説明する。まず、例えば、絵柄領域２２が図表等である場合に、構成要素関連付け部３８は、絵柄領域文字列解析部３４が解析した図表内に記されている図表番号が、文章解析部３６が解析した文章領域２４内の文字列と一致するか否かを判断し、一致する場合に当該図表番号が文字列として含まれる文章領域２４と、当該図表番号に対応する絵柄領域２２と、を関連付ける。なお、図表番号の代わりとして、図表内のキャプションを用いてもよい。

また、構成要素関連付け部３８は、絵柄領域文字列解析部３４が解析した絵柄領域２２内の文字列が、文章解析部３６が解析した文章領域２４内の文字列と一致するか否かを判断し、一致する場合に当該絵柄領域２２内の文字列が、文字列として含まれる文章領域２４と、当該絵柄領域２２と、を関連付けてもよい。

また、構成要素関連付け部３８は、文章領域２４内の文字列の中に、絵柄領域間の並列関係、主従関係、因果関係等を示す記述（例えば、「図Ａと図Ｂは〜」など）がある場合に、当該関係が記述された絵柄領域間を関連付けてもよい。また、構成要素関連付け部３８は、文章領域間の並列関係、主従関係、因果関係等を示す記述（例えば、段落の文頭に「したがって」、「しかし」などの接続語が記載されている）がある場合に、当該関係が記述された文章領域間を関連付けてもよい。具体的には、例えば、文章領域２４の文頭に位置する接続語を抽出し、当該接続語が従属関係、因果関係等を示す接続語である場合に、当該接続語を含む文章領域２４とその直前の文章領域２４とを関連付ける。

構成要素関連付け部３８は、上述のいずれか一つの手法を用いて関連付けを行ってもよいし、複数の手法を組み合わせて用いることで関連付けを行うこととしてもよい。

関連度算出部４０は、構成要素関連付け部３８で関連付けた構成要素間の関連度を算出する（Ｓ１０６）。関連度とは、関連付けた構成要素間の関連の強さを表す指標値であり、例えば、関連度算出部４０は、構成要素間において、同一の文字列が存在すると判断して当該構成要素間を関連づけている場合に、構成要素内における同一文字列の出現頻度に基づいて関連度を算出する。また、関連度算出部４０は、各構成要素内の頻出単語及び頻出文字列を抽出し、当該頻出単語及び頻出文字列の組み合わせの相似度に基づいて関連度を算出することとしてもよい。さらに、関連度算出部４０は、文章領域内に構成要素間の並列関係、主従関係、因果関係等の記載があるとして構成要素間を関連付けている場合に、いずれの接続関係を有しているかに基づいて関連度を算出することとしてもよい。

ここで、関連度算出方法の一例を説明する。関連度算出部４０は、図表番号、キャプションの文字列または図表内の文字列が含まれるとして、絵柄領域２２と文章領域２４とを関連付けている場合に、図表番号等が記載されている位置に基づいて関連度を算出する。つまり、文章領域２４内の文頭に近い位置に記載されている図表番号等に対応する絵柄領域２２の関連度を高く算出する。または、文章領域２４内に図表番号等が記載されている位置が当該図表番号等に対応する絵柄領域２２が配置されている位置に近い場合は関連度を高く算出する。また、関連度算出部４０は、図表番号、キャプションの文字列または図表内の文字列が含まれるとして絵柄領域２２と文章領域２４とを関連付けている場合に、文章領域２４内に図表番号等が集中して記載されている場合は関連度を高く算出する。また、文章領域間の関連度算出方法も同様であり、比較する２つの文章領域Ａと文章領域Ｂとにおいて、それぞれ、出現頻度の高い文字列、固有名詞及び絵柄領域内で使われている文字列などを取得し、これらの文字列が文章領域内全体の文字列に対して一致（あるいは類似）する割合に応じて、文章領域Ａと文章領域Ｂとの関連度を算出する。

また、関連度を数値として定義することとしてもよい。例えば、絵柄領域２２と文章領域２４との関連度Ｒは、同一文字列出現頻度をａ、文章領域２４内における同一文字列位置をｂとして、Ｒ＝α・ａ＋β・ｂ（α、βは重み）と定義することとしてもよい。また、文章領域２４間、絵柄領域２２の関連度Ｒは頻出単語及び頻出文字列の組み合わせの相似度をｃ、接続関係（因果、主従、並列等）をｄとして、Ｒ＝γ・ｃ＋δ・ｄ（γ、δは重み）と定義することとしてもよい。この場合は、関連度Ｒは０から１の間の数値と定義し、Ｒ＝０の場合は関連づけされないことを示し、１に近いほど関連度が高いことを示している。

図６は構成要素間の関連付けの一例を模式的に示した図である。図６に例示するように、関連付けされる構成要素間を実線で結ぶこととする。そして、関連付けされる構成要素間の関連度Ｒをそれぞれ記している。

次に、電子文書内における構成要素の選択に応じた関連構成要素表示処理の流れの一例を図７に例示するフロー図を参照しながら説明する。

まず、電子文書取得部３０が、利用者の電子文書取得指示に応じて情報処理装置１０の記憶部１４に記憶されている電子情報２１を取得する（Ｓ２０１）。

そして、構成要素選択部４２が、利用者の構成要素選択指示（例えば、マウスを用いて構成要素に対してクリック操作する）に応じて、取得した電子情報２１内に複数配置されている構成要素のうちから当該利用者が指示した構成要素を選択する（Ｓ２０２）。

関連構成要素情報生成部４６は、構成要素選択部４２が選択した構成要素に関連付けられている他の構成要素から、関連度算出部４０で算出した関連度に基づいた態様で、関連構成要素情報２６を生成する（Ｓ２０３）。

具体的には、例えば、関連構成要素情報生成部４６は、構成要素選択部４２が選択した構成要素に関連付けられている他の構成要素と、当該構成要素と、の関連度Ｒに応じて関連構成要素情報２６を表示する表示領域の大きさを設定し、当該表示領域に表示するべき関連構成要素情報２６を生成する。

ここで、関連構成要素情報２６の態様について一例を説明する。まず、関連構成要素情報生成部４６は、関連度Ｒの高い順に、関連構成要素情報２６を表示する表示領域の面積が大きくなるよう設定する。例えば、表示領域の面積Ｓ＝ｈ・Ｒ（ｈは任意の係数）という定義式から表示領域の面積を設定することとしてもよい。または、選択された構成要素に関連する他の構成要素の中で最も関連度の高い構成要素はそのまま表示する。そして、最も関連度の高い構成要素の表示領域を基準として、関連度が低下するに従い基準の表示領域を縮小して設定することとしてもよい。また、予め、異なる面積の表示領域を複数用意しておき、関連度の高い順に面積の大きい表示領域を選択して設定することとしてもよい。

そして、関連構成要素情報生成部４６は、設定した表示領域内に適合して表示されるよう関連構成要素情報２６を生成する。例えば、関連構成要素情報生成部４６は、構成要素から一部を抽出したものを関連構成要素情報２６として生成する。具体的には、例えば、関連構成要素生成部４６は、構成要素から当該構成要素内の記載内容を示す特徴的な文字列を抜き出す。つまり、段落の記載内容をまとめた文である、「まとめると〜」または「要するに〜」等で始まる一文を抜き出す。または、構成要素内の記載内容の要約を作成することとしてもよいし、構成要素内の記載内容を示す題目を抜き出すこととしてもよい。また、関連構成要素情報生成部４６は、構成要素が絵柄領域の場合には、当該絵柄領域に含まれる図、画像等のサムネイル画像を生成して関連構成要素情報２６とする。そうすることで、狭小な表示領域にも構成要素の内容を把握できる情報を表示することが可能となる。

また、関連度Ｒと、関連構成要素情報２６の態様と、の対応関係が予め定義されていてもよい。例えば、１＞Ｒ＞ｘ１（例えば、ｘ１＝０．８）の場合は構成要素をそのまま関連構成要素情報２６として生成する。そして、ｘ１≧Ｒ＞ｘ２（例えば、ｘ２＝０．４）の場合は構成要素内から構成要素内の記載内容を示す特徴的な文字列を抜き出して関連構成要素情報２６として生成、または構成要素内の記載内容の要約を関連構成要素情報２６として生成する。そして、ｘ２≧Ｒ＞０の場合は、構成要素内の記載内容を示す題目を抜き出して関連構成要素情報２６として生成する。

また、関連構成要素情報２６の態様は上記の例に限定されるものではない。例えば、関連構成要素情報生成部４６は、関連度Ｒに基づいて関連構成要素情報２６の表示色または表示線の太さを変化させることとしてもよい。具体的には、関連度Ｒの高い構成要素から関連度Ｒの低い構成要素にかけて関連構成要素情報２６の表示色の濃度を低下または上昇させる。または、関連度Ｒの高い構成要素から関連度Ｒの低い構成要素にかけて関連構成要素情報２６の表示線の太さを細くまたは太くする。また、表示色、表示線を変化させる対象は、関連構成要素情報２６を構成する文字列、図表の線であってもよいし、関連構成要素情報２６の背景または枠線であってもよい。

そして、表示位置決定部４８は、関連構成要素情報生成部４６が生成した関連構成要素情報２６を表示するべき位置を、選択した構成要素の位置に基づいて決定する（Ｓ２０４）。

表示位置決定部４８は、構成要素選択部４２が選択した構成要素の電子文書における位置、当該構成要素の大きさ、または関連構成要素情報生成部４６が生成した関連構成要素情報２６を表示する表示領域の大きさに基づいて当該関連構成要素情報２６を表示する位置を決定する。例えば、関連構成要素情報２６を、選択した構成要素と重なりが生じない、かつ出来るだけ構成要素の近くに位置するようにする。最も関連度の高い関連構成要素情報を、選択した構成要素の外周に沿うように動かし、当該関連構成要素情報が電子情報２１の外枠と重なりが生じない位置を関連構成要素情報の表示位置とする。そして、次に関連度の高い関連構成要素情報を、最も関連度の高い関連構成要素情報の表示位置の外周に沿うように動かし、当該関連構成要素情報が電子情報２１の外枠と重なりが生じない位置を関連構成要素情報の表示位置とする。さらに関連構成要素情報が存在する場合は上述の手法と同様にして関連度の順に関連構成要素情報の表示位置を決定する。

そして、関連構成要素情報生成部４６が生成した関連構成要素情報２６は、表示位置決定部４８が決定した位置に表示される（Ｓ２０５）。図３は電子情報２１に関連構成要素情報２６が表示された一例を示す図である。なお、図３に示すように関連構成要素情報２６の表示領域は矩形となっているが、このような形態に限定されるものではない。例えば、表示領域は円形、楕円形等であってもよい。

また、利用者が表示された関連構成要素情報２６を選択指示（例えば、マウスを用いて関連構成要素情報２６に対してクリック操作する）することで、当該関連構成要素情報２６の元となる構成要素の全容を表示することとする。そして、関連構成要素情報２６が表示されている状態で、利用者が選択した構成要素を再度選択指示等することで、関連構成要素情報２６が表示されていない元の電子情報２１が表示されることとする。あるいは、関連構成要素情報２６を選択指示することで、関連度が次に高い関連構成要素情報を表示されるようにしてもよい。

なお、本発明は上述の実施形態に限定されるものではない。

例えば、文章領域２４は、段落毎の領域ではなく隣接する複数の段落を連結したものであってもよい。また、文章領域２４は、１つの段落を複数の文字列に分割したものであってもよい。また、絵柄領域２２も、隣接する複数の絵柄領域２２を連結したものであってもよい。

また、利用者は同時に２以上の構成要素に対して選択指示を行うこととしてもよい。その場合は、それぞれの構成要素に対する関連構成要素情報２６が表示される。また、構成要素間の関連付け処理、関連度算出処理は、複数の電子情報間において行うこととしてもよい。

また、上述の実施形態では、電子情報２１における構成要素間の関連付け処理、関連度算出処理は予め実行されることとしたが、この例には限定されない。例えば、利用者が構成要素選択指示（例えば、マウスを用いて構成要素に対してクリック操作する）を行った場合に、選択指示を行った構成要素に関連する他の構成要素を抽出し、当該構成要素間の関連度を算出することとしてもよい。

また、関連構成要素情報２６の態様として、設定された表示領域に適合するよう構成要素を縮小したものを表示させてもよい。

また、上記の具体的な文字列や数値、並びに図面中の具体的な文字列や数値は例示であり、これらの文字列や数値には限定されない。

１０ 情報処理装置、１２ 制御部、１４ 記憶部、１６ 操作部、１８ 表示部、２０ 通信部、２１ 電子情報、２２ 絵柄領域、２４，２４−ａ，２４−ｂ，２４−ｃ 文章領域、２６，２６−ａ，２６−ｂ 関連構成要素情報、３０ 電子情報取得部、３２ 文字絵柄分離部、３４ 絵柄領域文字列解析部、３６ 文章解析部、３８ 構成要素関連付け部、４０ 関連度算出部、４２ 構成要素選択部、４６ 関連構成要素情報生成部、４８ 表示位置決定部。

Claims (11)

1. 電子情報を構成する複数の構成要素のうち少なくとも一つを選択する選択手段と、
   前記選択手段により選択された構成要素に関連する他の構成要素と、当該選択された構成要素と、の関連の強さを示す関連度を算出する関連度算出手段と、
   前記選択された構成要素に関連する他の構成要素に関する関連構成要素情報を、前記関連度算出手段にて算出した関連度に基づいた態様で表示する表示手段と、
   を含み、
   前記他の構成要素は、前記電子情報を構成する複数の構成要素の一部であり、
   前記関連度算出手段は、前記電子情報における前記選択された構成要素の位置と、前記電子情報における複数の前記他の構成要素それぞれの位置との近さに応じて前記関連度を算出する、
   ことを特徴とする情報処理装置。
2. 前記関連度算出手段は、構成要素に含まれる同一文字列が多い構成要素間の関連度を高く算出する、
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記関連度算出手段は、構成要素間の関係性を示す文字列に応じて当該文字列の位置に応じて選択された構成要素間の関連度を算出する、
   ことを特徴とする請求項１に記載の情報処理装置。
4. 前記表示手段は、前記関連構成要素情報を、前記関連度に応じて定められる大きさの表示領域に表示する、
   ことを特徴とする請求項１〜３のいずれか１項に記載の情報処理装置。
5. 前記表示手段は、前記関連度に応じて前記関連構成要素情報の情報量を変化させることで、前記関連構成要素情報を前記定められる大きさの表示領域に適合させて表示する、
   ことを特徴とする請求項４に記載の情報処理装置。
6. 前記関連構成要素情報は、前記選択された構成要素に関連する他の構成要素から一部を抽出した情報である、
   ことを特徴とする請求項５に記載の情報処理装置。
7. 前記関連構成要素情報は、前記選択された構成要素に関連する他の構成要素に関する要約文である、
   ことを特徴とする請求項５に記載の情報処理装置。
8. 前記関連構成要素情報は、前記選択された構成要素に関連する他の構成要素を縮小表示した情報である、
   ことを特徴とする請求項５に記載の情報処理装置。
9. 前記表示手段は、前記関連構成要素情報を、前記関連度に応じて定められる色を用いて表示する、
   ことを特徴とする請求項１〜３のいずれか１項に記載の情報処理装置。
10. 前記表示手段は、前記関連構成要素情報を、前記選択された構成要素の位置に基づいて表示する、
    ことを特徴とする請求項１〜９のいずれか１項に記載の情報処理装置。
11. 電子情報を構成する複数の構成要素のうち少なくとも一つを選択する選択手段、
    前記選択手段により選択された構成要素に関連する他の構成要素と、当該選択された構成要素と、の関連の強さを示す関連度を算出する関連度算出手段、
    前記選択された構成要素に関連する他の構成要素に関する関連構成要素情報を、前記関連度算出手段にて算出した関連度に基づいた態様で表示する表示手段、
    としてコンピュータを機能させるためのプログラムであって、
    前記他の構成要素は、前記電子情報を構成する複数の構成要素の一部であり、
    前記関連度算出手段は、前記電子情報における前記選択された構成要素の位置と、前記電子情報における複数の前記他の構成要素それぞれの位置との近さに応じて前記関連度を算出する、
    ことを特徴とするプログラム。
    

Images