JP4572321B2 - 文書出力装置及びその制御方法 - Google Patents

Description

本発明は、文書出力装置及びその制御方法に関に関する。

出力する文書の情報量を減らすために、現在のＷｅｂブラウザソフトウェア、各種のアプリケーションソフトウェア、及び、プリンタドライバでは、指定したページだけ出力したり、指定したフレームや選択したフレームのみを出力する機能などを備えている。

例えば、特開平１１−２０３１００号公報（特許文献１）で開示されているネットワークプリンタでは、ＨＴＭＬ文書中の特定情報（テキスト、ＧＩＦ画像）だけダウンロードし、それ以外の情報形式（ＪＰＥＧ、ＢＭＰ、ＭＰＥＧなど）や、広告情報、データ量の大きすぎる画像情報や映像情報などはダウンロードせず、ダウンロードした情報だけを元のレイアウトに従って印刷している。

また、この特開平１１−２０３１００号公報を受けて、特開２００２−３２３６４号公報（特許文献２）で開示されている文書出力装置では、ＨＴＭＬやＸＭＬなどで記述された構造化文書において、文書構造中の要素（タグ）などを分析することで、重要度の高い要素を抽出することにより出力文書の占有領域の大きさを減らし、文書情報の内容把握を効率的に行っている。
特開平１１−２０３１００号公報 特開２００２−３２３６４号公報

しかしながら、特開２００２−３２３６４号公報の文書出力装置では、ＨＴＭＬやＸＭＬなどで記述された構造化文書から重要な要素を抽出する場合、要素単位で取捨選択されるので、情報量の変化が段階的になる。また、要素中の文章表現が冗長であった場合には、占有領域が大きいことを理由に省かれることとなり、本来であれば選択されるべき要素が選択されないという事態が生じる。

さらに、重要度の高い要素が大量にある場合や、重要な要素中の文書量が多い場合（例えば、論文など）には、必ずしも効率的に出力文書の占有領域を減らすことにはならない。また、そもそも非構造化文書においては、その出力文書の占有領域を減らすことができない。

そこで本発明は、前記課題に鑑みてなされたものであり、出力する文書の占有領域を適切に減らすことのできる文書出力装置を提供することを目的とする。

上記課題を解決するため、本発明に係る文書出力装置は、
タグを用いて文書構造が定義された構造化文書が入力される、文章入力部と、
前記構造化文書をそのまま出力した場合に、出力制約条件で定められた領域に収まるかどうかを判断する、判断部と、
前記判断部で出力制約条件に定められた領域に収まらないと判断した場合に、前記構造化文書に含まれる文章を縮小し、出力用文章を生成する、縮小部と、
前記縮小部で生成した出力用文章を出力する、出力部と、
を備える文書出力装置であって、
前記縮小部は、
前記文書構造を定義しているタグを用いて前記構造化文書を解析して、重要度に応じて段落毎に初期要約率と要約率閾値とを設定する、要約率設定部と、
前記要約率設定部で設定した初期要約率に基づいて、各段落の要約処理を行い、前記出力制約条件に定められた領域に収まらない場合には、重要度の低い段落から、要約率を前記要約率閾値に至るまで段階的に小さくし、前記出力制約条件に定められた領域に収まった場合には、これを出力用文章として、前記出力部に出力する、要約部と、
を備えるとともに、
前記要約率設定部では、前記構造化文書の解析の結果、前記構造化文書の段落が階層化されている場合には、階層の上位の段落ほど重要度を高くして、要約率閾値を大きく設定し、前記構造化文書の段落が階層化されていない場合には、文章から特徴語を抽出し、この特徴語に基づいて段落の重要度を設定して、重要度の高い段落ほど前記要約率閾値を大きくする、
ことを特徴とする。

この場合、前記要約部では、前記構造化文書の段落が階層化されている場合には、階層の上位の段落ほど要約率を大きく設定するようにしてもよい。

或いは、前記要約部では、前記構造化文書の段落が階層化されていない場合には、文章から特徴語を抽出し、この特徴語に基づいて段落の重要度を設定して、重要度の高い段落ほど要約率を大きくするようにしてもよい。

また、前記構造化文書に含まれる文章の自立語を、より文字数の少ない異表記に置き換えることにより、文章を短くする、異表記処理部をさらに備えるようにしてもよい。

また、前記構造化文書に含まれる文章の自立語を、より文字数の少ない同義語に置き換えることにより、文章を短くする、同義語処理部をさらに備えるようにしてもよい。

本発明に係る文書出力装置の制御方法は、
タグを用いて文書構造が定義された構造化文書が入力されるステップと、
前記構造化文書をそのまま出力した場合に、出力制約条件で定められた領域に収まるかどうかを判断するステップと、
出力制約条件に定められた領域に収まらないと判断した場合に、前記構造化文書に含まれる文章を縮小して、出力用文章を生成するステップと、
前記生成した出力用文章を出力するステップと、
を備える文書出力装置の制御方法であって、
前記文章を縮小して、出力用文書を生成するステップは、前記文書構造を定義しているタグを用いて前記構造化文書を解析して、重要度に応じて段落毎に初期要約率と要約率閾値とを設定するステップと、
前記設定した初期要約率に基づいて、各段落の要約処理を行い、前記出力制約条件に定められた領域に収まらない場合には、重要度の低い段落から、要約率を前記要約率閾値に至るまで段階的に小さくし、前記出力制約条件に定められた領域に収まった場合には、これを出力用文章として、前記出力部に出力するステップと、
を備えるとともに、
前記初期要約率と前記要約率閾値とを設定するステップでは、前記構造化文書の解析の結果、前記構造化文書の段落が階層化されている場合には、階層の上位の段落ほど重要度を高くして、要約率閾値を大きく設定し、前記構造化文書の段落が階層化されていない場合には、文章から特徴語を抽出し、この特徴語に基づいて段落の重要度を設定して、重要度の高い段落ほど前記要約率閾値を大きくする、
ことを特徴とする。

図１は、本実施形態に係る文書出力装置の構成を説明するブロック図である。この図１に示すように、本実施形態に係る文書出力装置は、出力量解析部１０と、要約率評価部２０と、形態素解析部３０と、文書解析縮小部４０と、文書出力部５０と、自立語解析変換部６０と、要約文出力部７０と、文ベクトル生成比較部８０とを備えて構成されている。また、本実施形態に係る文書出力装置は、さらに、データベースとして、形態素解析辞書１００と、同義語辞書１１０と、分野別特徴ベクトル辞書１２０とを備えて構成されている。

出力量解析部１０には、出力対象文書が入力される。本実施形態では、この出力対象文書は、文章を含む構造化文書で構成されている。また、この文書出力装置では、出力制約条件として、出力先領域の大きさが、例えば用紙枚数１枚などというように指定されているものとする。このため、この出力量解析部１０では、入力された出力対象文書を解析して、この文書を出力した場合の占有領域の大きさを算出する。そして、出力量解析部１０は、出力制約条件と出力占有領域の大きさとを比較して、入力された文書の占有領域の大きさが、出力制約条件に定められている大きさに収まった場合には、文章出力部５０からそのまま文書出力を行う。一方、入力された文書の占有領域の大きさが、出力制約条件に定められている大きさを上回った場合、文章解析縮小部４０において、次のような物理的な情報量削減工程に移行する。

第１段階として、形態素解析部３０において、形態素解析辞書１００を用いて、出力対象文書の文章を単語に分解し自立語（言葉の最小単位である単語のうち一語だけで意味のわかる単語）を抽出する。そして、自立語解析変換部６０において、同義語辞書１１０を用いて、文章中の自立語を文字数のより少ない異表記（表記のゆれ）に置き換えることにより、出力文書の占有領域を減少させる。出力量解析部１０では、この置き換えられた文書について、再度、出力制約条件と占有領域の大きさとを比較する。

まだ占有領域の方が出力制約条件より大きい場合には、自立語解析変換部６０において、同義語辞書１１０を用いて、文章中の自立語をより短い文字数の同義語に置き換える。そして、置き換えられた文書について、出力量解析部１０では、再度、出力制約条件と占有領域の大きさとを比較する。

まだ占有領域の方が出力制約条件より大きい場合には、第２段階として、要約文出力部７０において、冗長性を排した要約文に変換する。このとき、与えられた要約率に基づいて、要約文が生成される。本実施形態においては、段落の重要度に応じて、段落毎に初期要約率と要約率閾値を設定し、高い要約率（例えば９０％）から要約文の生成処理を開始する。

段落の重要度を設定する際には、要約文出力部７０及び文ベクトル生成比較部８０が、分野別特徴ベクトル辞書を参酌しながら、段落の重要度を設定する。

次に、生成した要約文について、出力量解析部１０で、再度、出力制約条件と占有領域の大きさとを比較する。比較の結果、まだ占有領域の方が出力制約条件より大きい場合には、要約文出力部７０において、要約率を前回よりさらに下げて、要約文を生成する。すなわち、例えば、前回の９０％から５％さげて、８５％の要約率で、要約文を生成する。このような要約文の生成処理を繰り返して、占有領域の大きさが出力制約条件で定められた領域に収まるまで、要約率を低くしながら繰り返す。

但し、要約率評価部２０においては、所定の要約率に達したかどうかを判断しており、所定の要約率に達した場合には、そこで要約文の生成処理を中止し、ユーザにその旨を通知する。具体的には、設定した要約率閾値に達した場合には、要約文の生成処理を中止する。この場合、ユーザは、出力制約条件の領域の大きさを再調整するなどして、再度、この処理を最初から実行させる。要約率に制限を設けるのは、要約のしすぎで、論理的（意味的）な情報量が極端に低下するのを防止するためである。

一方、要約文を出力した場合の占有領域の大きさが出力制約条件以下になった場合には、文章出力部５０から出力対象文書の文章が出力される。

本実施形態に係る文書出力装置の処理の概要は以上であるが、次に、この文書出力装置の処理内容を、図２に示すフローチャートを用いて、詳細に説明する。この図２は、本実施形態に係る文書出力装置が実行する出力処理の内容を説明するフローチャートである。

出力対象文書が入力された場合、まず、出力量解析部１０が、その出力対象文書を出力した場合の占有領域を算出する（ステップＳ１０）。続いて、出力量解析部１０は、算出した占有領域の大きさと、出力制約条件に定められている領域の大きさとを比較し、算出した占有領域の大きさが、出力制約条件に定められている大きさよりも、大きいかどうかを判断する（ステップＳ１２）。

算出した占有領域の大きさが、出力制約条件の定められている大きさより大きくない場合（ステップＳ１２：Ｎｏ）、すなわち、出力制約条件に定められている大きさに、算出した占有領域の大きさが収まる場合には、文書出力部５０は、その内容で文章出力を行い（ステップＳ１４）、この出力処理を終了する。

一方、算出した占有領域の大きさが、出力制約条件の定められている大きさより大きい場合（ステップＳ１２：Ｙｅｓ）には、要約率評価部２０は、その時点の要約率が所定の要約率に達しているかどうかを判断する（ステップＳ１６）。すなわち、その時点の要約率が、後述する要約率閾値に達しているかどうかを判断する。所定の要約率に達している場合（ステップＳ１６：Ｙｅｓ）には、これ以上要約すると原文からの情報量の低下が大きすぎることになるので、ユーザに出力処理ができない旨を通知して（ステップＳ１８）、この出力処理を終了する。

一方、所定の要約率に達していない場合（ステップＳ１６：Ｎｏ）には、文書解析縮小部４０は文書縮小処理を行う（ステップＳ２０）。

図３は、本実施形態に係るステップＳ２０で行われる文書縮小処理の内容を説明するフローチャートを示す図である。この図３に示すように、まず、自立語解析変換部６０において、自立語変換処理済みであるかどうかを判断する（ステップＳ３０）。自立語変換処理済みでない場合（ステップＳ３０：Ｎｏ）には、自立語解析変換部６０において、異表記処理済みであるかどうかを判断する（ステップＳ３２）。

異表記処理済みでない場合（ステップＳ３２：Ｎｏ）には、形態素解析部３０は文章を文に区切り単語に分割し、自立語解析変換部６０は、自立語に属する単語を抽出、解析し異表記処理を行う（ステップＳ３４）。すなわち、文章中における自立語を文字数が減少するような異表記に置き換える処理を行う。

図４は、本実施形態に係るステップＳ３４で行われる異表記処理の内容を説明するフローチャートを示す図である。この図４に示すように、異表記処理では、文章を単語に分解するとともに、自立語解析変換部６０において抽出した自立語に対して、異表記処理の前処理を行い、自立語を置き換えることにより減少する文字数に基づいて、出力の占有領域の大きさを算出する（ステップＳ５０）。

次に、自立語解析変換部６０は、算出した占有領域の大きさに余裕がある場合には、置き換える自立語の単語数を減らしたり、置き換える単語の文字数を調整したりする最適化処理を行う（ステップＳ５２）。これにより、なるべく原文の情報量を減らさずに且つイメージを保ったまま、文字数を減らすようにしている。これら異表記前処理及び異表記最適化処理においては、適宜、同義語辞書１１０が参酌される。これにより、本実施形態に係る異表記処理が終了する。

図５は、本実施形態に係る異表記処理の一例を説明するための図である。この図５に示すように、標準表記で「取り扱い」は、「取扱い」、「取扱」、「とり扱い」、「取りあつかい」、「とりあつかい」のような異なる表記がある。また、標準表記で「当たり外れ」は、「当り外れ」、「当外れ」、「当外」、「当たりはずれ」、「あたり外れ」、「あたりはずれ」のような異表記がある。このような異表記は同義語辞書１１０に登録されている。このため、自立語解析変換部６０は、同義語辞書１１０を検索し、文中に使われている表現の異表記の中から、より文字数の短い単語を選び出して、これに置き換える処理を行う。これにより、文章の文字数を減らすことができるのである。

これに対して、図３のステップＳ３２で、自立語解析変換部６０が異表記処理済みであると判断した場合（ステップＳ３２：Ｙｅｓ）には、同義語処理を行う（ステップＳ３６）。

図６は、本実施形態に係るステップＳ３６で行われる同義語処理の内容を説明するフローチャートを示す図である。この図５に示すように、同義語処理では、自立語解析変換部６０は、同義語処理の前処理を行い、同義語を置き換えることにより減少する文字数に基づいて、出力の占有領域の大きさの算出する（ステップＳ６０）。

次に、自立語解析変換部６０は、算出した占有領域の大きさに余裕がある場合には、置き換える自立語の単語数を減らしたり、置き換える単語の文字数を調整したりする最適化処理を行う（ステップＳ６２）。これにより、なるべく原文の情報量を減らさずに且つイメージを保ったまま、文字数を減らすようにしている。これら同義語前処理及び同義語最適化処理においては、適宜、同義語辞書１１０が参酌される。これにより、本実施形態に係る同義語処理が終了する。

図７は、本実施形態に係る同義語処理の一例を説明するための図である。この図７に示すように、例えば「打ち合わせ」には、「会議」、「ミーティング」という同義語がある。また、「首相」には「内閣総理大臣」という同義語がある。このような同義語は同義語辞書１１０に登録されている。このため、自立語解析変換部６０は、同義語辞書１１０を検索し、文中に使われている表現の同義語の中から、より文字数の短い単語を選び出して、これに置き換える処理を行う。これにより、文章の文字数を減らすことができるのである。

このような異表記処理と同義語処理を施した文章の一例を示す。原文は次のような文章だったとする。

「優れた舞台芸術公演の海外フェスティバル等への参加・我が国で開催される国際フェスティバルへの支援や、若手芸術家の在外研修、国民文化祭等を通じた文化団体の招へい・派遣、国宝・重要文化財等の古美術品の海外展の開催、文化財の保存修復に関する国際共同研究等の実施及びユネスコによる世界遺産保護への協力などを推進し、また、スポーツ国際交流も積極的に進めています。」
このような原文に対して異表記処理と同義語処理を施すと、例えば、次のような文章となる。

「優れた舞台芸術公演の海外記念祭等への参加・我国で開催される国際記念祭への支援や、若手芸術家の在外研修、国民文化祭等を通じた文化団体の招聘・派遣、国宝・重要文化財等の古美術品の海外展の開催、文化財の保存修復に関する国際共同研究等の実施及びUNESCOによる世界遺産保護への協力等を推進し、又、スポーツ国際交流も積極的に進めている。」
再び図３の説明に戻り、図３のステップＳ３０で、自立語解析変換部６０が自立語変換処理済みであると判断した場合（ステップＳ３０：Ｙｅｓ）には、要約率の設定を行い（ステップＳ３８）、文章要約処理を行う（ステップＳ４０）。

本実施形態においては、要約率の設定は、その段落の重要度を加味して、段落毎に設定される。そして、順次、この要約率を小さくしていくことにより、出力制約条件で定められた領域に、出力対象文書を出力した占有領域の大きさが、収まるようにしていく。

このステップＳ３８の要約率の設定にあたっては、まず、構造化文書から文章や段落を抜き出す。本実施形態においては、基本的に、タグによって文章や段落を抽出する。例えば、ＨＴＭＬ４．０の仕様に基づく場合、標準的に用いられる文書タグから文章の構成要素を取り出す。

文章や段落を抽出するために用いられる標準的なタグには、例えば、見出しを示す＜Ｈｎ＞タグや、段落（パラグラフ）を示す＜ｐ＞タグや、箇条書きを示す＜ＵＬ＞タグなどがある。ＨＴＭＬ４．０の一般的な構造化文書では、これらのタグが次のように使われている。

HTML4.0
<HTML>
<HEAD>
<TITLE>文書のタイトル</TITLE>
</HEAD>
<BODY>
<H1>主見出し</H1>
<P>パラグラフ</P>
<P>パラグラフ</P>
<UL>
<LI>リスト項目</LI>
<LI>リスト項目</LI>
</UL>
</BODY>
</HTML>

無論、その他ＨＴＭＬ以外でも、文書構造を表す任意に定義されたタグを用いて、文章や段落を抽出してもよい。例えば、次のように、構造化文書を構成する文書タグとして、＜題＞、＜段落＞を用いるような場合には、<題>、<段落> の部分を文章として抽出する。

<文書 改訂日付="２００４年２月１日">
<題>サンプル</題>
<段落>これはサンプル文書です。</段落>
<段落>これもサンプル文書です</段落>
</文書>

そして、本実施形態においては、構造を解析して抽出した段落毎に、要約率を設定する。例えば、図８に示すように、タグ付けにより段落が階層化されている場合、一般に下位になるほど上位の内容を受けた記述となるため、下位ほど要約率を小さくする（文章をより短くする）ことができる。このため、下位の階層の段落ほど、要約率を小さい値に設定にする。

ＨＴＭＬにおいて段落を階層化する場合には、次のようなタグの用いられ方がなされる。

・入れ子による階層化の場合
<P>パラグラフ1
<P>パラグラフ2</P>
<P>パラグラフ2
<P>パラグラフ3</P>
</P>
</P>

・引用（インデント）タグによる階層化の場合
<P>パラグラフ1</P>
<BLOCKQUOTE>
<P>パラグラフ2</P>
<BLOCKQUOTE>
<P>パラグラフ2</P>
</BLOCKQUOTE>
<P>パラグラフ3</P>
</BLOCKQUOTE>

また、本実施形態においては、タグ付けによる文書構造化の階層化がなされていない場合には、文章全体の主題（話題）を抽出し、抽出した話題に類似した段落（パラグラフ）ほど重要段落として要約率を大きく（文章をあまり短くしない）設定し、類似性が低い段落ほど要約率を小さく（文章をより短くする）設定する。

主題の抽出は、例えば、以下の手法で行う。同じ主題の段落においては同じような特徴語が抽出されることから、文書から特徴語を抽出することによって主題を推定する。特徴語の選択のための統計的尺度として、tf・idf を用いる。語wi、文書単位dj に対するtf・idfの定義は以下の式で与えられる。

tf・idf(wi,dj) = (Fij/Fi) log (N/Ni)

ここで、Fijは語wiの文書単位djにおける出現数、Fiは全文書中の出現数を示している。Niは語wiを含む文書単位数、Nは文書単位の総数を示している。分析対象語は形態素解析により名詞のみで行う。

段落の類似性の決定には、ある文書全体から特徴語をいくつか抽出する。さらに段落（パラグラフ）ごとに抽出した特徴語との類似度をシソーラスのパスをたどることで計算する。パスをたどった結果、そのパスが深いほど類似度が低いことを意味している。そして、各語との類似度の総和を正規化して段落の主題との類似性を取得する。

例えば、文書全体および、段落ごとに特徴語をn語抽出するとし、文書全体の特徴語をTn ( n=1,,n)、段落ごとの特徴語tn ( n=1,,n)とすると、類似性Ｑは、次のように表される。

また、特開２００２−３２３６４の例のように、タグの要素の予め付与されているＬｅｂｅｌ属性によって、Ｌｅｂｅｌ属性の低い要素ほど、要約率を小さくする（文書をより短くする）設定にすることもできる。

このように段落ごとに要約率を変えることを、要約強度として表し、初期の要約率から閾値となる要約率まで、要約強度の強い段落ほど優先して要約処理を行う。すなわち、上位の階層の段落の要約強度を弱く設定し（要約率は大きい）、下位の階層の段落の要約強度を強く設定する（要約率は小さい）。なお、本実施形態では、要約強度は、強、弱の２段階であるが、もっと段階を多く分けても良い。

そして、段落ごとに設定された要約率に基づいて要約文を作成する。例えば、ある文書において、抽出された段落が段落１から段落５までの５個あったとする。前述した手法により要約強度を設定すると、例えば表１に示すようになる。すなわち、各段落毎に、要約強度、要約率閾値、初期要約率が設定される。

各々の段落の文章は、まず、初期要約率によって要約処理される。全ての段落の要約処理が終わっても、まだ、出力制約条件の領域に収まらない場合、要約率強度の強い段落を優先に所定の割合（例えば、−１０％）で要約率を小さくして処理を続け、要約率閾値になるまで続行する。

図３のステップＳ４０で行われる文章要約処理の処理には種々の既知の手法があり、例えば、サイエンス社から出版された吉村賢治著の「自然言語処理の基礎」や、 共立出版から出版されたInderjeet Mani(著), 奥村学, 難波英嗣, 植田禎子(訳)の「自動要約」を参照されたい。以下には、図９に示した本実施形態における文章要約処理のフローチャートを用いながら、具体的な内容を簡単に説明する。

例えば、次のような原文が与えられたとする。

「いつの間にか夜が明けていた。朝日が昇りだすころ、物語が始まった。不思議な物語はその朝に始まり、明るい朝日に照らされるにつれ、その男の物語も佳境に及んだ。男は短い髪をかきあげて、顔をあげた。女は手に汗を握り、男の顔に視線を寄せ、言葉のほとばしる男の口元をじっと見つめた。」
この原文は、（１）〜（５）の５つの文に区切られる（ステップＳ１００）。ここで、主だった単語に対する各指標値は、表２及び表３のように算出できる。これに、各単語のＩＤＦ値を掛けることで、表４のようにＴＦＩＤＦ値を計算できる（ステップＳ１０２）。

上記各行の単語を成分とした４次元ベクトルを想定し、前述の文章全体の単語頻度を成分とした４次元ベクトルと比較する。比較する時は内積を計算し、最大のものを最重要文とする（ステップＳ１０４）。この様な計算で算出された最重要文は（３）となる。

次に、その段落のすべての文を選択したかどうかを判断する（ステップＳ１０６）。ここでは、すべての文を選択していないので（ステップＳ１０６：Ｎｏ）、文（３）の単語頻度を文章全体の単語頻度から引く（ステップＳ１０８）。そうすると、文章全体における各単語のＴＦは、 「朝日」１ 「物語」１ 「男」３ 「顔」２ となり、これを新たな文章全体のベクトルとして、前記「各文の単語の頻度」からの計算と同じように内積を計算し、次の重要文を選択する（ステップＳ１０４）。この例では、次なる重要文は（４）となる。

以下、同様の計算で内積を算出して行くと、重要文は続いて（１）、（２）、（５）となる。このようにして、ベクトル内積計算ステップ、内積値最大文抽出ステップ、及び、文章ベクトル補正ステップを繰り返して、重要文を順次選択していく。この例では、（３）、（４）、（１）、（２）、（５）の順に重要な文が抽出され、５回目の抽出で、文章中に残る文は無くなる（ステップＳ１０６：Ｎｏ）。

次に、ステップＳ３８において表１に基づいて各段落毎に定められた要約率で、要約処理を実行して、要約文を生成する（ステップＳ１１０）。この時、生成された要約文に接続詞「そして」や、指示代名詞「その」が含まれていれば、出力文章整形ステップにより、指定の語句に置換又は削除して自然さを確保する（ステップＳ１１２）。

次に、すべての段落について要約文の生成処理をしたかどうかを判断し（ステップＳ１１４）、すべての段落について要約文の生成処理をしていない場合（ステップＳ１１４：Ｎｏ）には、次の段落を選択して（ステップＳ１１６）、ステップＳ１００からを繰り返す。一方、すべての段落について要約文の生成処理をした場合（ステップＳ１１４：Ｙｅｓ）には、この文章要約処理を終了する。

なお、本実施形態においては、ＴＦＩＤＦによる語句の重要度判定は、次のように行う。

ベクトル空間法により、
文書ｄ_１，…，ｄ_ｊ，…，ｄ_Ｎからなる文書データベースｄｂ
に含まれる全ての語句ｔｅｒｍｔ_１，…，ｔ_ｊ，…，ｔ_ｍを次元とするベクトル空間を想定する。そこで、以下の通りに定義付ける。

（１）ＴＦ文書ｄ_ｊにおける、語句ｔｅｒｍｔ_ｉの頻度ｆｒｅｑ_ｉｊ＝ ｔｆ(ｄ_ｊ，ｔ_ｉ) ｆｒｅｑ_ｉｊ の文書ｄ_ｊにおける最大値＝ｍａｘｆｒｅｑ_ｊ
文書ｄ_ｊにおける、異なるｔｅｒｍの種類数＝ｌｅｎｇｔｈ_ｊとする。ここで、ｔｆ(ｄ_ｊ，ｔ_ｉ) は文書ｄ_ｊの性質、文書長に依存するので、正規化をおこなう。以下正規化の例を(a)(b)として２つ示す。

(a) ｃ・ｆｒｅｑ_ｉｊ ＝Ｋ＋（１−Ｋ）・（ｆｒｅｑ_ｉｊ ／ｍａｘ・ｆｒｅｑ_ｊ）
(b) ｎ・ｆｒｅｑ_ｉｊ ＝［ｌｏｇ_２（ｆｒｅｑ_ｉｊ １）／ｌｏｇ_２ｌｅｎｇｔｈ_ｊ］
ただし、ここでｃ，ｎ，Ｋは正規化処理における適数とする。

（２）ＩＤＦ対象とする文書データベースｄｂに含まれる文書総数＝ＤＢ・ｓｉｚｅ（ｄｂ）
ｔｅｒｍｔ_ｉが現れる文書データベースｄｂの文書数＝ｆｒｅｑ（ｔｉ，ｄｂ）である。ｉｄｆ（ｔｉ）＝ｌｏｇ［ＤＢ・ｓｉｚｅ（ｄｂ）／ｆｒｅｑ（ｔｉ，ｄｂ）］＋１となる。少ない文書にしか現れないが重要である語句との定義付けをし、前記ＴＦと併用する。

（３） （１），（２）より、ＴＦＩＤＦ文書ｄ_ｊにおけるｔｅｒｍｔ_ｉの重みｗ（ｄ_ｊ，ｔ_ｉ）を以下の様に定義する。

ｗ（ｄ_ｊ，ｔ_ｉ）＝ｔｆ(ｄ_ｊ，ｔ_ｉ) ・ｉｄｆ（ｔ_ｉ）
ここで、ｔｆ(ｄ_ｊ，ｔ_ｉ) 部分に前記ｃ・ｆｒｅｑ_ｉｊ， ｎ・ｆｒｅｑ_ｉｊの何れかを代入しても良い。

ｃ・ｆｒｅｑ_ｉｊ を用いた場合、ｗ（ｄ_ｊ，ｔ_ｉ）＝Ｋ＋（１−Ｋ）・（ｆｒｅｑ_ｉｊ ／ｍａｘ・ｆｒｅｑ_ｊ）・ｉｄｆ（ｔ_ｉ）となり、一方、 ｎ・ｆｒｅｑ_ｉｊを用いた場合、ｗ（ｄ_ｊ，ｔ_ｉ）＝［ｌｏｇ_２（ｆｒｅｑ_ｉｊ ＋１）／ｌｏｇ_２ｌｅｎｇｔｈ_ｊ］・ｉｄｆ（ｔ_ｉ） などとなる。

続いて、要約処理の実例を示す。以下のように４段落からなる文章において、前述した手法によって要約強度を設定したとする。

[段落１] 要約強度 -弱
人の手を借りて「政敵」を追い出してもらってきたボスザル（オス、推定２０歳）が、ボス就任１８年目をゆったり過ごしている。静岡県浜松市の市動物園のサル山に君臨する「信長」で、老境に差しかかりながらいまのところ歯が立つ相手はおらず、数年単位でボスが代わる野生では考えられない長期政権になっている。

[段落２] 要約強度 -強
浜松市動物園には現在、２４頭のニホンザルがいる。信長は群を抜いて体格が良く、しっぽを立てて歩く姿に風格が漂う。信長が来園したのは１９８３年２月。動物園の移転を２カ月後に控え、全国から２―４歳の子ザル約３０頭が集められた。集団に序列はなかったが、しばらくしてボス候補に成長した信長は、体格のいいメス２頭と主導権争いを始めた。信長は形勢不利になると、手下を連れて２度もサル山から脱走した。

[段落３] 要約強度 - 強
動物園は「訪れる人たちにサル同士の殺し合いや、傷ついた姿を見せたくない」との配慮から、宿敵のメス２頭をほかの動物園に出してまで信長をボスにした。自力で政権を奪い取ったのではなく、しかも手本となる先輩ザルがいなかったせいか、信長はトビがえさを目がけて急降下すると真っ先に逃げるほど、だらしない。半面、けんかの仲裁などで力強さを見せることもあり、メスからの支持は厚い。年に４、５頭生まれる子ザルの大半は信長の子だという。

[段落４] 要約強度 - 弱
次のボス候補は推定１０歳のリュウ。だが、メスザルに人気がなく、信長の正妻オノウよりも序列は低い。飼育係の杉浦正樹さん（２５）は「信長が生きている間はボス交代はないかも。少なくとも１、２年は安泰」とみている。

要約処理をした場合、例えば、次のように要約される。なお、要約強度の後の数値は要約率の閾値を示しており、その後の括弧書きは実際の要約率を示している。

[段落１] 要約強度 -弱 80％（83％）
人の手を借りてきたボスザルが、ボス就任18年目をゆったり過ごしている。静岡県浜松市の市動物園のサル山に君臨する「信長」で、老境に差しかかりながらいまのところ歯が立つ相手はいない、数年単位でボスが代わる野生では考えられない長期政権になっている。

[段落２] 要約強度 -強 30%（55%）
浜松市動物園には現在、24頭のニホンザルがいる。信長は抜きんでて体格が良く、しっぽを立てて歩く姿に風格が漂う。集団に序列はなかったが、しばらくしてボス候補に成長した信長は、体格のいいメス2頭と主導権争いを始めた。

[段落３] 要約強度 - 強 30% (64%)
動物園は「訪れる人たちにサル同士の殺し合いや、傷ついた姿を見せたくない」との配慮から、宿敵のメス2頭をほかの動物園に出してまで信長をボスにした。半面、けんかの仲裁などで力強さを見せることもあり、メスからの支持は厚い。年に4、5頭生まれる子ザルの大半は信長の子だという。

[段落４] 要約強度 - 弱 80％（82%）
次のボス候補は推定10才のリュウ。だが、メスザルに不人気で、信長の正妻オノウよりも序列は低い。飼育係の杉浦正樹さん(25)は「信長が生きているあいだのボス交代はないかも。

以上のように、本実施形態に係る文書出力装置によれば、重要度に応じて段落毎に初期要約率と要約率閾値を設定し、段落毎に異なる要約率で文章の要約を生成することとした。このため、重要度の高い段落では、大きい要約率で要約を生成することにより、原文の情報量やイメージを維持することができるとともに、重要度の低い段落では、小さい要約率で要約を生成することにより、出力制約条件で定められた領域に、出力する文書を収めることができるようになる。

また、このような要約処理をするに先立ち、文章に含まれる自立語を、より文字数の少ない異表記に置き換えることにより、文章を短くすることとしたので、原文の情報量を保持したまま文章を短くすることができる。

同様に、このような要約処理をするに先立ち、文章に含まれる自立語を、より文字数の少ない同義語に置き換えることにより、文章を短くすることとしたので、原文の情報量を保持したまま文章を短くすることができる。

なお、本発明は上記実施形態に限定されず種々に変形可能である。例えば、出力対象文書の構造化文書は、ＨＴＭＬに限るものではなく、他の形式の構造化文章であってもよい。また、文章を要約する手法は、上述の例に限らず、種々の手法を用いることができる。

さらに、上述した実施形態では、ハードウェアにより各種の処理を実現する例を説明したが、ソフトウェアによりその一部の処理或いは全部の処理を実現することもできる。

この場合、ソフトウェアで実現する各処理については、これら各処理を実行するためのプログラムをフレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disc-Read Only Memory）、ＲＯＭ、メモリカード等の記録媒体に記録して、記録媒体の形で頒布することが可能である。この場合、このプログラムが記録された記録媒体を文書出力装置に読み込ませ、実行させることにより、上述した実施形態を実現することができる。

また、文書出力装置は、オペレーティングシステムや別のアプリケーションプログラム等の他のプログラムを備える場合がある。この場合、文書出力装置の備える他のプログラムを活用し、記録媒体にはその文書出力装置が備えるプログラムの中から、上述した実施形態と同等の処理を実現するプログラムを呼び出すような命令を記録するようにしてもよい。

さらに、このようなプログラムは、記録媒体の形ではなく、ネットワークを通じて搬送波として頒布することも可能である。ネットワーク上を搬送波の形で伝送されたプログラムは、文書出力装置に取り込まれて、このプログラムを実行することにより上述した実施形態を実現することができる。

また、記録媒体にプログラムを記録する際や、ネットワーク上を搬送波として伝送される際に、プログラムの暗号化や圧縮化がなされている場合がある。この場合には、これら記録媒体や搬送波からプログラムを読み込んだ文書出力装置は、そのプログラムの復号や伸張化を行った上で、実行する必要がある。

本実施形態に係る文書出力装置の構成を説明するブロック図。 本実施形態に係る文書出力装置が実行する出力処理を説明するフローチャートを示す図。 本実施形態に係る文書出力装置が実行する文書縮小処理を説明するフローチャートを示す図。 本実施形態に係る文書出力装置が実行する異表記処理を説明するフローチャートを示す図。 本実施形態に係る異表記処理の実例を説明するための図。 本実施形態に係る文書出力装置が実行する同義語処理を説明するフローチャートを示す図。 本実施形態に係る同義語処理の実例を説明するための図。 階層化されている段落の構成を説明する図。 本実施形態に係る文書出力装置が実行する文章要約処理を説明するフローチャートを示す図。

符号の説明

１０ 出力量解析部
２０ 要約率評価部
３０ 形態素解析部
４０ 文章解析縮小部
５０ 文章出力部
６０ 自立語解析変換部
７０ 要約文出力部
８０ 文ベクトル生成比較部

Claims (4)

1. タグを用いて文書構造が定義された構造化文書が入力される、文章入力部と、
   前記構造化文書をそのまま出力した場合に、出力制約条件で定められた領域に収まるかどうかを判断する、判断部と、
   前記判断部で出力制約条件に定められた領域に収まらないと判断した場合に、前記構造化文書に含まれる文章を縮小し、出力用文章を生成する、縮小部と、
   前記縮小部で生成した出力用文章を出力する、出力部と、
   を備える文書出力装置であって、
   前記縮小部は、
   前記文書構造を定義しているタグを用いて前記構造化文書を解析して、重要度に応じて段落毎に初期要約率と要約率閾値とを設定する、要約率設定部と、
   前記要約率設定部で設定した初期要約率に基づいて、各段落の要約処理を行い、前記出力制約条件に定められた領域に収まらない場合には、重要度の低い段落から、要約率を前記要約率閾値に至るまで段階的に小さくし、前記出力制約条件に定められた領域に収まった場合には、これを出力用文章として、前記出力部に出力する、要約部と、
   を備えるとともに、
   前記要約率設定部では、前記構造化文書の解析の結果、前記構造化文書の段落が階層化されている場合には、階層の上位の段落ほど重要度を高くして、要約率閾値を大きく設定し、前記構造化文書の段落が階層化されていない場合には、文章から特徴語を抽出し、この特徴語に基づいて段落の重要度を設定して、重要度の高い段落ほど前記要約率閾値を大きくする、
   ことを特徴とする文書出力装置。
2. 前記構造化文書に含まれる文章の自立語を、より文字数の少ない異表記に置き換えることにより、文章を短くする、異表記処理部をさらに備えることを特徴とする請求項１に記載の文書出力装置。
3. 前記構造化文書に含まれる文章の自立語を、より文字数の少ない同義語に置き換えることにより、文章を短くする、同義語処理部をさらに備えることを特徴とする請求項１又は請求項２に記載の文書出力装置。
4. タグを用いて文書構造が定義された構造化文書が入力されるステップと、
   前記構造化文書をそのまま出力した場合に、出力制約条件で定められた領域に収まるかどうかを判断するステップと、
   出力制約条件に定められた領域に収まらないと判断した場合に、前記構造化文書に含まれる文章を縮小して、出力用文章を生成するステップと、
   前記生成した出力用文章を出力するステップと、
   を備える文書出力装置の制御方法であって、
   前記文章を縮小して、出力用文書を生成するステップは、前記文書構造を定義しているタグを用いて前記構造化文書を解析して、重要度に応じて段落毎に初期要約率と要約率閾値とを設定するステップと、
   前記設定した初期要約率に基づいて、各段落の要約処理を行い、前記出力制約条件に定められた領域に収まらない場合には、重要度の低い段落から、要約率を前記要約率閾値に至るまで段階的に小さくし、前記出力制約条件に定められた領域に収まった場合には、これを出力用文章として、前記出力部に出力するステップと、
   を備えるとともに、
   前記初期要約率と前記要約率閾値とを設定するステップでは、前記構造化文書の解析の結果、前記構造化文書の段落が階層化されている場合には、階層の上位の段落ほど重要度を高くして、要約率閾値を大きく設定し、前記構造化文書の段落が階層化されていない場合には、文章から特徴語を抽出し、この特徴語に基づいて段落の重要度を設定して、重要度の高い段落ほど前記要約率閾値を大きくする、
   ことを特徴とする文書出力装置の制御方法。

Images