JP4433532B2 - 文書処理装置、文書処理方法、記録媒体 - Google Patents

文書処理装置、文書処理方法、記録媒体 Download PDF

Info

Publication number
JP4433532B2
JP4433532B2 JP34470099A JP34470099A JP4433532B2 JP 4433532 B2 JP4433532 B2 JP 4433532B2 JP 34470099 A JP34470099 A JP 34470099A JP 34470099 A JP34470099 A JP 34470099A JP 4433532 B2 JP4433532 B2 JP 4433532B2
Authority
JP
Japan
Prior art keywords
document
video
output
data
sentence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP34470099A
Other languages
English (en)
Other versions
JP2001160064A (ja
JP2001160064A5 (ja
Inventor
和幸 丸川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP34470099A priority Critical patent/JP4433532B2/ja
Publication of JP2001160064A publication Critical patent/JP2001160064A/ja
Publication of JP2001160064A5 publication Critical patent/JP2001160064A5/ja
Application granted granted Critical
Publication of JP4433532B2 publication Critical patent/JP4433532B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【０００１】
【発明の属する技術分野】
本発明は電子文書処理に関し、特にビデオデータと、関連する電子文書データを連動出力する文書処理装置、及びその文書処理方法、さらにはその文書処理方法の動作プログラムを記録した記録媒体に関するものである。
【０００２】
【従来の技術】
従来、インターネットにおいて、ウィンドウ形式でハイパーテキスト型情報を提供するアプリケーションサービスとしてＷＷＷ（World Wide Web）が提供されている。
【０００３】
ＷＷＷは、文書の作成、公開または共有化の文書処理を実行し、新しいスタイルの文書の在り方を示したシステムである。しかし、文書の実際上の利用の観点からは、文書の内容に基づいた文書の分類や要約といった、ＷＷＷを越える高度な文書処理が求められている。このような高度な文書処理には、文書の内容の機械的な処理が不可欠である。
【０００４】
しかしながら、文書の内容の機械的な処理は、以下のような理由から依然として困難である。
第１に、ハイパーテキストを記述する言語であるＨＴＭＬ（Hyper Text Markup Language）は、文書の表現については規定するが、文書の内容についてはほとんど規定しない。第２に、文書間に構成されたハイパーテキストのネットワークは、文書の読者にとって文書の内容を理解するために必ずしも利用しやすいものではない。第３に、一般に文章の著作者は読者の便宜を念頭に置かずに著作するが、文書の読者の便宜が著作者の便宜と調整されることはない。
【０００５】
このように、ＷＷＷは新しい文書の在り方を示したシステムであるが、文書を機械的に処理しないので、高度な文書処理をおこなうことができなかった。換言すると、高度な文書処理を実行するためには、文書を機械的に処理することが必要となる。
【０００６】
そこで、文書の機械的な処理を目標として、文書の機械的な処理を支援するシステムが自然言語研究の成果に基づいて開発されている。自然言語研究による文書処理として、文書の著作者等による文書の内部構造についての属性情報、いわゆるタグの付与を前提とした、文書に付与されたタグを利用する機械的な文書処理が提案されている。
【０００７】
【発明が解決しようとする課題】
ところで、近年のコンピュータの普及や、ネットワーク化の進展に伴い、文章処理や、文書の内容に依存した索引などで、テキスト文書の作成、ラベル付け、変更などをおこなう文書処理の高機能化が求められている。たとえば、ユーザの要望に応じた文書の要約や、文書の分類等が望まれる。
また、文書やその要約を表示する文書ビューワや表示部の形態に適した表示スタイルや、表示とともに行われる読み上げ機能、さらには文書や画像の表示と読み上げの連動など、よりユーザーにとって好適な処理が求められている。
そしてさらに、文書データに関連して動画や静止画などのビデオデータを出力することができるようにすれば、ユーザーにとって、より多様かつ高度であり、さらに的確な情報を提供できることが期待されるが、従って、各種の文書処理に加えてビデオデータとの連携化が望まれている。
【０００８】
【課題を解決するための手段】
本発明は、このような事情に鑑みて提案されたものであって、ビデオデータの出力とともに適切な態様で文書データの出力が行われるようにすることを目的とする。
【０００９】
このため本発明の文書処理装置は、複数の要素から構成される階層化された内部構造を有し、上記内部構造に関する属性情報がタグ付けによって付与された電子文書データとビデオデータの対応関係を判別する判別手段と、上記電子文書データを構成する要素の重要度を示す重み付けを算出して、上記重み付けと上記電子文書の上記タグ付けによる内部構造における上記要素間の関連性に応じた値に基づいて上記電子文書データの要約文を作成する要約文作成手段と、ビデオデータを出力する制御を行うビデオ出力制御手段と、前記判別手段により判別された、ビデオデータに対応する電子文書データ又は上記要約文作成手段により作成された要約文の内容を文の長さに基づいて前記ビデオ出力制御手段の制御に基づくビデオデータの出力と連動して提示出力するか、固定提示として提示出力するかの制御を行う文書出力制御手段とを備え、さらに、前記文書出力制御手段は、前記ビデオ出力制御手段の制御に基づいて出力されているビデオデータのタイムコードを監視して、電子文書データ及び要約文の提示出力部分を切り替えるようにする。
また前記判別手段は、電子文書データに付加されたビデオデータ指定情報、又はビデオデータに付加されたタイムコードにより、電子文書データとビデオデータの対応関係を判別するようにする。
また前記文書出力制御手段は、電子文書データの本文又は要約文の表示が実行されるように制御を行う。或いは、電子文書データの本文又は要約文についてのテロップの表示が実行されるように制御を行う。或いは、電子文書データの本文又は要約文についての読み上げ出力が実行されるように制御を行う。
【００１０】
本発明の文書処理方法は、複数の要素から構成される階層化された内部構造を有し、上記内部構造に関する属性情報がタグ付けによって付与された電子文書データとビデオデータの対応関係を判別する判別手順と、上記電子文書データを構成する要素の重要度を示す重み付けを算出して、上記重み付けと上記電子文書の上記タグ付けによる内部構造における上記要素間の関連性に応じた値に基づいて上記電子文書データの要約文を作成する要約文作成手順と、ビデオデータを出力する制御を行うビデオ出力制御手順と、前記判別手順において判別された、ビデオデータに対応する電子文書データ又は上記要約文作成手順において作成された要約文の内容を文の長さに基づいて前記ビデオ出力制御手順の制御に基づくビデオデータの出力と連動して提示出力するか、固定提示として提示出力するかの制御を行う文書出力制御手順と、が行われ、さらに、前記文書出力制御手順は、前記ビデオ出力制御手順の処理に基づいて出力されているビデオデータのタイムコードを監視して、電子文書データ及び要約文の提示出力部分を切り替える手順と、が行われるようにする。
【００１１】
また本発明の記録媒体は、以上のような各手順を有する動作制御プログラムが記録されているものとする。
さらに動作制御プログラムとともに、電子文書データ又はビデオデータを記録し、これらを文書処理装置に提供できるようにする。
【００１２】
【発明の実施の形態】
以下、本発明の実施の形態について次の順序で説明する。
１．文書処理装置の構成
２．文書データ構造
３．文書データに対する手動分類処理
３−１ 処理手順
３−２ インデックス作成
３−３ 文書閲覧／分類作成／分類操作
３−４ 分類モデル作成／登録
４．文書データに対する自動分類処理
４−１ 処理手順
４−２ 自動分類
５．読み上げ処理
６．要約作成／表示処理
７．ビデオファイルの出力処理
７−１ ビデオファイル及びタグ
７−２ ビデオ出力処理
８．文書処理装置の機能ブロック構成
９．ビデオ及び連動文書表示出力処理
１０．ビデオ及び連動文書読み上げ出力処理
１１．変形例
【００１３】
１．文書処理装置の構成
本発明の実施の形態の文書処理装置１は、図１に示すように、制御部１１およびインターフェース１２を備える本体１０と、ユーザからの入力を受けて本体１０に送る入力部２０と、外部との信号の送受信を行う通信部２１と、本体１０からの出力を表示する表示部３０と、記録媒体３２に対して情報を記録／再生する記録／再生部３１と、音声出力部３３と、ＨＤＤ（ハードディスクドライブ）３４を有している。
【００１４】
本体１０は、制御部１１およびインターフェース１２を有し、この文書処理装置１の主要な部分を構成している。
制御部１１は、この文書処理装置１における処理を実行するＣＰＵ１３と、揮発性のメモリであるＲＡＭ１４と、不揮発性のメモリであるＲＯＭ１５とを有している。
ＣＰＵ１３は、たとえばＲＯＭ１５に記録された手順にしたがって、必要な場合にはデータを一時的にＲＡＭ１４に格納して、プログラムを実行するための制御をおこなう。
この制御部１１の動作としては、詳しくはそれぞれ後述していくが、供給された文書データに関する分類処理、要約作成処理、読み上げ動作のための音声読み上げ用ファイルの生成処理、及びこれらの処理に必要な文書解析などがある。さらに、文書データに関連するビデオデータの出力制御処理も行う。そしてこれらの動作のために必要なプログラムやアプリケーションソフトが、ＲＯＭ１５や、ＨＤＤ３４、あるいは記録媒体３２に記憶されている。
なお、制御部１１が用いる文書処理プログラムは上記のようにあらかじめＲＯＭ１５に格納されたり、あるいは、記録媒体３２やＨＤＤ３４から取り込むことが考えられるが、例えば通信部２１を介してインターネット等のネットワークから、外部サーバ等が提供する文書処理プログラムをダウンロードすることも考えられる。
【００１５】
インターフェース１２は、制御部１１、入力部２０、通信部２１、表示部３０、記録／再生部３１、音声出力部３３、ＨＤＤ３４に接続される。
そしてインターフェース１２は、制御部１１の制御の下に、入力部２０からのデータの入力、通信部２１との間のデータの入出力、表示部３０へのデータの出力、記録／再生部３１に対するデータの入出力、音声出力部３３へのデータの出力、ＨＤＤ３４に対するデータの入出力の各動作を行う。具体的には制御部１１と上記各部の間でのデータの入出力のタイミングを調整したり、データの形式を変換することなどを行う。
【００１６】
入力部２０は、この文書処理装置１に対するユーザの入力を受ける部分である。この入力部２０は、たとえばキーボードやマウスにより構成される。ユーザは、この入力部２０を用い、キーボードによリキーワード等の文字を入力したり、マウスにより表示部３０に表示されている電子文書のエレメントを選択することなどができる。
なお、以下では文書処理装置１で扱う電子文書を、「文書データ」又は単に「文書」と称することにする。また「エレメント」とは文書を構成する要素であって、たとえば文書、文および語が含まれる。
【００１７】
通信部２１は、この文書処理装置１に外部からたとえば通信回線を介して送信される信号を受信したり、通信回線に信号を送信する部位である。この通信部２１は、外部から送信された１又は複数の文書等のデータを受信し、受信したデータを本体１０に送る。もちろん通信回線を介して外部装置にデータを送信することも行われる。
また、文書データに付随して、もしくは独立して、１又は複数のビデオデータ（ビデオファイル）が通信部２１により取り込まれることもある。
【００１８】
表示部３０は、この文書処理装置１の出力としての文字や画像情報を表示する部位である。この表示部３０は、たとえば陰極線管（cathode ray tube；CRT）や液晶表示装置（Liquid crystal display；LCD）などにより構成され、たとえば単数または複数のウィンドウを表示し、このウィンドウ上に文字、図形等を表示する。
【００１９】
記録／再生部３１は、たとえばいわゆるフロッピーディスクのような記録媒体３２に対してデータの記録／再生をおこなう。
なお、ここでは記録媒体３２の例としてフロッピーディスク（磁気ディスク）を例をあげているが、もちろん光ディスク、光磁気ディスク、メモリカードなど、可搬性メディアであれば記録媒体３２の例として適用できる。そして記録／再生部３１は、メディアに応じた記録再生装置（ディスクドライブ、カードドライブなど）であればよい。
【００２０】
記録媒体３２が、文書を処理するための文書処理プログラムが記録されているものである場合は、記録／再生部３１は、その記録媒体３２から文書処理プログラムを読み出して制御部１１に供給することができる。
また記録媒体３２に文書データやビデオデータが記録されていれば、記録／再生部３１でそれを読み出して制御部１１に供給することができる。即ち文書処理装置１にとって、通信部２１による文書データ及びビデオデータの受信とは別の、文書データ及びビデオデータの入力態様となる。
さらに、制御部１１は当該文書処理装置１で処理した文書データを記録／再生部３１において記録媒体３２に記録させることもできる。
【００２１】
音声出力部３３は、文書処理装置１の出力としての文書を、読み上げ音声として出力する部位である。
即ち音声出力部３３は、制御部１１が文書情報（後述する読み上げ用ファイル）に基づいた音声合成処理により生成した音声信号が供給された際に、その音声信号の出力処理を行うことで、表示部３０とともに文書処理装置１の出力手段として機能する。
【００２２】
ＨＤＤ３４は、文書処理装置１における大容量の記録領域を提供する。ＨＤＤ３４は、制御部１１の制御に基づいて情報の記録／再生を行う。
このＨＤＤ３４は、制御部１１で実行される各種処理のためのアプリケーションプログラム、例えば音声合成のためのプログラムなどの格納するために用いられたり、例えば当該文書処理装置１に取り込まれた文書データやビデオデータ等を格納しておく部位として用いることなどが可能となる。
【００２３】
２．文書データ構造
続いて、本例における文書データの構造について説明する。本例においては、文書処理は、文書に付与された属性情報であるタグを参照しておこなわれる。本例で用いられるタグには、文書の構造を示す統語論的（syntactic）タグと、多言語間で文書の機械的な内容理解を可能にするような意味的（semantic）・語用論的タグとがある。
【００２４】
統語論的なタグとしては、文書の内部構造を記述するものがある。
タグ付けによる内部構造は、図２に示すように、文書、文、語彙エレメント等の各エレメントが互いに、通常リンク、参照・被参照リンクによりリンクされて構成されている。
図中において、白丸“○”はエレメントを示し、最下位の白丸は文書における最小レベルの語に対応する語彙エレメントである。また、実線は文書、文、語彙エレメント等のエレメント間のつながり示す通常リンク（normal link）であり、破線は参照・被参照による係り受け関係を示す参照リンク（reference link）である。
文書の内部構造は、上位から下位への順序で、文書（documemt）、サブディビジョン（subdivision）、段落（paragraph）、文（sentence）、サブセンテンシャルセグメント（subsentential segment）、・・・、語彙エレメントから構成される。このうち、サブディビジョンと段落はオプションである。
【００２５】
一方、意味論・語用論的なタグ付けとしては、多義語の意味のように意味等の情報を記述するものがある。
本例におけるタグ付けは、ＨＴＭＬ（Hyper Text Markup Language）と同様なＸＭＬ（Extensible Markup Language）の形式によるものである。
【００２６】
タグ付けの一例を次に示すが、文書へのタグ付けはこの方法に限られない。また、以下では英語と日本語の文書の例を示すが、タグ付けによる内部構造の記述は他の言語にも同様に適用することができる。
【００２７】
たとえば、“Time flies like an arrow.”という文については、下記のようなタグ付けをすることができる。＜ ＞が、文書に対して付与されたタグである。
【００２８】
＜文＞＜名詞句 語義＝“time０”＞time＜／名詞句＞
＜動詞句＞＜動詞 語義＝“fly１”＞flies＜／動詞＞
＜副詞句＞＜副詞 語義＝like０＞like＜／副詞＞ ＜名詞句＞an
＜名詞 語義＝“arrow０”＞arrow＜／名詞＞＜／名詞句＞
＜／副詞句＞＜／動詞句＞．＜／文＞
【００２９】
ここで＜文＞、＜名詞＞、＜名詞句＞、＜動詞＞、＜動詞句＞、＜副詞＞、＜副詞句＞は、それぞれ文、名詞、名詞句、動詞、動詞句、形容詞／副詞（前置詞句または後置詞句を含む）、形容詞句／副詞句、を示している。つまり文の統語構造（syntactic structure）を表している。
【００３０】
これらのタグは、エレメントの先端の直前および終端の直後に対応して配置される。エレメントの終端の直後に配置されるタグは、記号“ ／”によりエレメントの終端であることを示している。エレメントとは統語的構成素、すなわち句、節、および文のことである。
なお、語義（word sense）＝“time０”は、語“time”の有する複数の意味、すなわち複数の語義のうちの第０番目の意味を指している。具体的には、語“time”には少なくとも名詞、形容詞、動詞の意味があるが、ここでは語“time”が名詞（＝第０番目の意味）であることを示している。同様に、語“オレンジ”は少なくとも植物の名前、色、果物の意味があるが、これらも語義によって区別することができる。
【００３１】
本例では、文書データについては、図３に示すように、表示部３０上のウィンドウ１０１において、その統語構造を表示することができる。このウィンドウ１０１においては、右半面１０３に語彙エレメントが、左半面１０２に文の内部構造がそれぞれ表示されている。
【００３２】
例えば図示するようにこのウィンドウ１０１には、タグ付けにより内部構造が記述された文章「Ａ氏のＢ会が終わったＣ市で、一部の大衆紙と一般紙がその写真報道を自主規制する方針を紙面で明らかにした。」の一部が表示されている。この文書のタグ付けの例は次のようになる。
【００３３】
＜文書＞＜文＞＜副詞句 関係＝“場所”＞＜名詞句＞＜副詞句 場所＝“Ｃ市”＞
＜副詞句 関係＝“主語”＞＜名詞句 識別子＝“Ｂ会”＞＜副詞句 関係＝“所属”＞＜人名 識別子＝“Ａ氏”＞Ａ氏＜／人名＞の＜／副詞句＞＜組織名 識別子＝“Ｂ会”＞Ｂ会＜／組織名＞＜／名詞句＞が＜／副詞句＞
終わった＜／副詞句＞＜地名 識別子＝“Ｃ市”＞Ｃ市＜／地名＞＜／名詞句＞で、＜／副詞句＞＜副詞句 関係＝“主語”＞＜名詞句 識別子＝“press” 統語＝“並列”＞＜名詞句＞＜副詞句＞一部の＜／副詞句＞大衆紙＜／名詞句＞と＜名詞＞一般紙＜／名詞＞＜／名詞句＞が＜／副詞句＞
＜副詞句 関係＝“目的語”＞＜副詞句 関係＝“内容” 主語＝“press”＞
＜副詞句 関係＝“目的語”＞＜名詞句＞＜副詞句＞＜名詞 共参照＝“Ｂ会”＞そ＜／名詞＞の＜／副詞句＞写真報道＜／名詞句＞を＜／副詞句＞
自主規制する＜／副詞句＞方針を＜／副詞句＞
＜副詞句 間係＝“位置”＞紙面で＜／副詞句＞
明らかにした。＜／文＞＜／文書＞
【００３４】
このようにタグ付されることで、各一対のタグ＜ ＞〜＜／ ＞によって文書の構造が表現される。
例えば＜文書＞〜＜／文書＞で１つの文書の範囲が示され、同様に＜文＞〜＜／文＞で１つの文の範囲が示される。また例えば、＜名詞句 識別子＝“Ｂ会”＞〜＜／名詞句＞により、「Ａ氏のＢ会」という部分が「Ｂ会」を識別子とする名詞句として表現される。
即ち上記タグ付により、図３の左半面１０２に示した文の内部構造が表現される。
【００３５】
さらに、この文書においては、「一部の大衆紙と一般紙」は、統語＝“並列”というタグにより並列であることが表されている。並列の定義は、係り受け関係を共有するということである。特に何も指定がない場合、たとえば、＜名詞句 関係＝ｘ＞＜名詞＞Ａ＜／名詞＞＜名詞＞Ｂ＜／名詞＞＜／名詞句＞は、ＡがＢに依存関係があることを表す。関係＝ｘは関係属性を表す。
【００３６】
関係属性は、統語、意味、修辞についての相互関俵を記述する。主語、目的語、間接目的語のような文法機能、動作主、被動作者、受益者などのような主題役割、および理由、結果などのような修辞関係はこの関係属性により記述される。本例では、主語、目的語、間接目的語のような比較的容易な文法機能について関係属性を記述する。
【００３７】
また、この文書においては、“Ａ氏”、“Ｂ会”、“Ｃ市”のような固有名詞について、地名、人名、組織名等のタグにより属性が記述されている。これら地名、人名、組織名等のタグが付与されることで、その語が固有名詞であることが表現される。
【００３８】
３．文書データに対する手動分類処理
３−１ 処理手順
本例の文書処理装置１では、例えば通信部２１（又は記録／再生部３１）により外部から文書データが取り込まれると、その文書データを内容に応じて分類する処理を行う。なお、以下の説明では、外部からの文書データは通信部２１を介して取り込まれるとして述べていくが、その説明は、外部からフロッピーディスク等の可搬性メディアの形態で供給され、記録／再生部３１から文書データが取り込まれる場合も同様となるものである。
【００３９】
分類処理としては、文書データ内容に応じてユーザーが手動で分類する手動分類処理と、文書処理装置１が自動的に分類する自動分類処理がある。
これらの分類処理は、後述する分類モデルに基づいて行われるわけであるが、文書処理装置１においては、初期状態では分類モデルは存在しない。そのため初期状態にある時点では、手動分類処理として、分類モデルの作成を含む分類処理が必要になる。そして、分類モデルが生成された後においては、入力された文書データに対して自動分類処理が可能となるものである。
まずここでは、最初に実行することが必要とされる手動分類処理について説明する。即ちこの手動分類処理とは、初期状態にある文書処理装置１が外部から送られた文書データを受信した際に、ユーザーの操作に基づいて、制御部１１が分類モデルの作成及び文書データの分類を行う動作となる。
【００４０】
まず手動分類処理としての全体の処理手順を図４に示す。なお、各処理ステップの詳細な処理については後述する。
【００４１】
図４のステップＦ１１は、文書処理装置１の受信部２１による文書受信処理を示している。このステップＦ１１では、受信部２１は、たとえば通信回線を介して送信された１又は複数の文書を受信する。受信部２１は、受信した文書を文書処理装置の本体１０に送る。制御部１１は供給された１又は複数の文書データをＲＡＭ１４又はＨＤＤ３４に格納する。
【００４２】
なお、文書受信時には、その文書に関連するビデオデータ（動画又は静止画データ）を含むビデオファイルが受信される場合があり（もちろんビデオデータのみの受信もあり得る）、１又は複数のビデオファイルが受信された場合は、制御部１１はそのビデオファイルを取り込んでＲＡＭ１４又はＨＤＤ３４に格納する。ビデオファイルに関する処理については後に詳述する。
【００４３】
ステップＦ１２では、文書処理装置１の制御部１１は、受信部２１から送られた複数の文書の特徴を抽出し、それぞれの文書の特徴情報すなわちインデックスを作成する。制御部１１は、作成したインデックスを、たとえばＲＡＭ１４又はＨＤＤ３４に記憶させる。
後述するがインデックスは、その文書に特徴的な、固有名詞、固有名詞以外の語義などを含むものであり、文書の分類や検索に利用できるものである。
【００４４】
ステップＦ１３の文書閲覧は、ユーザーの必要に応じて実行される処理である。つまりユーザーの操作に応じて行われる。なお、このステップＦ１３や次のステップＦ１４は、ユーザ操作に基づく処理である。
入力された文書データに対しては、ユーザーは所要の操作を行うことにより、表示部３０の画面上で、その文書内容を閲覧することができる。
そして文書閲覧中は、ユーザーは画面上のアイコン等に対する操作により、例えば後述する要約作成などの各種処理を指示できるが、この手動分類処理に関しては、ステップＦ１４として示すように、分類項目の作成及び分類操作としての処理に進むことになる。
ステップＦ１４では、ユーザーが分類項目（なお本明細書では、分類項目のことをカテゴリともいう）を設定する操作を行うことに応じて、制御部１１は分類項目を生成／表示していく。またユーザーが文書データを、設定された分類項目に振り分けていく操作も行うことになり、それに応じて制御部１１は文書データの振り分け／表示を行うことになる。
【００４５】
ステップＦ１５では、制御部１１は、ステップＦ１４でユーザーが行った分類項目作成及び分類操作に応じて、分類モデルを作成する。
分類モデルは、文書を分類する複数の分類項目（カテゴリ）から構成されるとともに、各カテゴリに対して各文書のインデックス（ステップＦ１２で作成した各文書のインデックス）を対応づけることで、分類状態を規定するデータである。
このような分類モデルを生成したら、ステップＦ１６で、その分類モデルを登録する。即ち制御部１１は、分類モデルをたとえばＲＡＭ１４に記憶させることで登録を行う。
以上の図４の処理により、文書処理状態１が初期状態にある時に入力された１又は複数の各文書データについて、手動分類及び分類モデルの作成が行われたことになる。
この図４のステップＦ１２以下の処理について詳しく述べていく。
【００４６】
３−２ インデックス作成
ステップＦ１４では、制御部１１は入力された文書データについてインデックスの作成を行う。
まず、或る１つの文書データに対して作成されたインデックスの具体例を示す。
【００４７】
＜インデックス 日付＝“AAAA/BB/CC” 時刻＝“DD:EE:FF” 文書アドレス＝“1234”＞
＜ユーザの操作履歴 最大要約サイズ＝“100”＞
＜選択 エレメントの数＝“10”＞ピクチャーテル＜／選択＞
・・・
＜／ユーザの操作履歴＞
＜要約＞減税規模、触れず−Ｘ首相の会見＜／要約＞
＜語 語義＝“0003” 中心活性値＝“140.6”＞触れず＜／語＞
＜語 語義＝“0105” 識別子＝“Ｘ” 中心活性値＝“67.2”＞首相＜／語＞
＜人名 識別子＝“Ｘ” 語 語義＝“6103” 中心活性値＝“150.2”＞Ｘ首相＜／語 ／人名＞
＜語 語義＝“5301” 中心活性値＝“120.6”＞求めた＜／語＞
＜語 語義＝“2350” 識別子＝“Ｘ” 中心活性値＝“31.4”＞首相＜／語＞
＜語 語義＝“9582” 中心活性値＝“182.3”＞強調した＜／語＞
＜語 語義＝“2595” 中心活性値＝“93.6”＞触れる＜／語＞
＜語 語義＝“9472” 中心活性値＝“12.0”＞予告した＜／語＞
＜語 語義＝“4934” 中心活性値＝“46.7”＞触れなかった＜／語＞
＜語 語義＝“0178” 中心活性値＝“175.7”＞釈明した＜／語＞
＜語 語義＝“7248” 識別子＝“Ｘ” 中心活性値＝“130.6”＞私＜／語＞
＜語 語義＝“3684” 識別子＝“Ｘ” 中心活性値＝“121.9”＞首相＜／語＞
＜語 語義＝“1824” 中心活性値＝“144.4.”＞訴えた＜／語＞
＜語 語義＝“7289” 中心活性値＝“176.8”＞見せた＜／語＞
＜／インデックス＞
【００４８】
このインデックスにおいては、＜インデックス＞および＜／インデックス＞は、インデックスの始端および終端を、＜日付＞および＜時刻＞はこのインデックスが作成された日付および時刻を、＜要約＞および＜／要約＞はこのインデックスの内容の要約の始端および終端を、それぞれ示している。
また、＜語＞および＜／語＞は語の始端および終端を示している。
さらに例えば、語義＝“0003”は、第３番目の語義であることを示している。他についても同様である。上述したように、同じ語でも複数の意味を持つ場合があるので、それを区別するために語義ごとに番号が予め決められており、その該当する語義が番号で表されているものである。
【００４９】
また、＜ユーザの操作履歴＞および＜／ユーザの操作履歴＞は、ユーザの操作履歴の始端および終端を、＜選択＞および＜／選択＞は、選択されたエレメントの始端および終端を、それぞれ示している。最大要約サイズ＝“100”は、要約の最大のサイズが１００文字であることを、エレメントの数＝“10”は、選択されたエレメントの数が１０であることを示している。
【００５０】
この例のように、インデックスは、その文書に特徴的な、固有名詞、固有名詞以外の語義などを含むものである。
例えばこのようなインデックスを作成するステップＦ１２の処理を、図５〜図８で説明する。なお、図５は１つの文書データに対するインデックス作成処理を示しており、従って複数の文書データについて処理を行う場合は、各文書データについてこの図５の処理が行われることになる。
また図５のステップＦ３１の詳細な処理を図７に示し、さらに図７のステップＦ４３の詳細な処理を図８に示している。
【００５１】
上述した図４のステップＦ１２のインデックス作成処理としては、まず図５のステップＦ３１の活性拡散が行われる。
この活性拡散とは、文書データについて、エレメントの中心活性値を文書の内部構造に基づいて拡散することで、中心活性値の高いエレメントと関わりのあるエレメントにも高い中心活性値を与えるような処理である。
即ち、文書を構成する各エレメントに対して初期値としての中心活性値を与えた後、その中心活性値を、文書の内部構造、具体的にはリンク構造に基づいて拡散する。
この中心活性値は、タグ付けによる内部構造に応じて決定されるので、文書の特徴の抽出等に利用されるものである。
制御部１１は、このステップＦ３１として、活性拡散を行い、活性拡散の結果として得られた各エレメントの中心活性値を、たとえばＲＡＭ１４に記憶させることになる。
【００５２】
ステップＦ３１の活性拡散について、図６〜図８で詳しく説明していく。
まずエレメントとエレメントのリンク構造の例を図６に示す。
図６においては、文書を構成するエレメントとリンクの構造の一部として、エレメントＥ１、Ｅ２の周辺を示している。Ｅ１〜Ｅ８はエレメントの例であり、この中でエレメントＥ１、Ｅ２に注目して説明する。
【００５３】
エレメントＥ１の中心活性値はｅ１であるとし、またエレメントＥ２の中心活性値はｅ２であるとする。
このエレメントＥ１，Ｅ２は、リンクＬ１２（上述した通常リンクもしくは参照リンク）にて接続されている。
リンクＬ１２のエレメントＥ１に接続する端点をＴ１２、エレメントＥ２に接続する端点をＴ２１とする。
エレメントＥ１は、さらにエレメントＥ３，Ｅ４，Ｅ５と、それぞれリンクＬ１３，Ｌ１４，Ｌ１５で接続されている。各リンクＬ１３，Ｌ１４，Ｌ１５におけるエレメントＥ１側の端点をそれぞれＴ１３，Ｔ１４，Ｔ１５とする。
またエレメントＥ２は、エレメントＥ６，Ｅ７，Ｅ８とも、それぞれリンクＬ２６，Ｌ２７，Ｌ２８で接続されている。各リンクＬ２６，Ｌ２７，Ｌ２８におけるエレメントＥ２側の端点をそれぞれＴ２６，Ｔ２７，Ｔ２８とする。
このようなリンク構造の例を用いながら、図７、図８の活性拡散処理を説明していく。
【００５４】
図７のステップＦ４１で制御部１１は、インデックス作成対象としての文書データについて活性拡散を開始するにあたり、まず文書データの全エレメントについて中心活性値の初期設定を行う。
中心活性値の初期値としては、例えば固有名詞や、ユーザーが選択（クリック）したエレメント等に高い値を与えるようにする。
また制御部１１は、参照リンクと通常リンクに関して、エレメントを連結するリンクの端点Ｔ(xx)の端点活性値を０に設定する。制御部１１は、このように付与した端点活性値の初期値を、たとえばＲＡＭ１４に記憶させる。
【００５５】
ステップＦ４２においては、制御部１１は、文書を構成するエレメントＥｉを計数するカウンタの初期化をおこなう。すなわち、エレメントを計数するカウンタのカウント値ｉを１に設定する。ｉ＝１の場合、このカウンタは、第１番目のエレメント（例えば図６のエレメントＥ１）を参照することになる。
【００５６】
ステップＦ４３においては、制御部１１は、カウンタが参照するエレメントについて、新たな中心活性値を計算する中心活性値更新処理を実行する。
この中心活性値更新処理について、エレメントＥ１についての処理を例に挙げながら、図８で詳しく説明する。
この中心活性値更新処理は、エレメントについての端点活性値を更新し、さらに更新された端点活性値と現在の中心活性値を用いて、新たな中心活性値を算出する処理となる。
【００５７】
図８のステップＦ５１では、制御部１１は、文書を構成するエレメントＥｉ（例えばこの場合Ｅ１）に一端が接続されたリンクの数を計数するカウンタの初期化をおこなう。すなわち、リンクを計数するカウンタのカウント値ｊを１に設定する。ｊ＝１の場合、このカウンタは、エレメントＥｉと接続された第１番目のリンクＬ（yy）を参照することになる。図６の例では、エレメントＥ１についての第１のリンクとして例えばリンクＬ１２を参照する。
【００５８】
ステップＦ５２で制御部１１は、参照中のリンク、つまりエレメントＥ１とＥ２を接続するリンクＬ１２について、関係属性のタグを参照することにより通常リンクであるか否かを判断する。制御部１１は、リンクＬ１２が通常リンクであればステップＦ５３に、一方リンクＬ１２が参照リンクであればステップＦ５４に処理を進める。
【００５９】
リンクＬ１２が通常リンクと判断されてステップＦ５３に進んだ場合は、制御部１１は、エレメントＥ１の通常リンクＬ１２に接続された端点Ｔ１２の新たな端点活性値を計算する処理をおこなう。
端点Ｔ１２の端点活性値ｔ１２は、リンク先のエレメントＥ２の端点活性値のうち、リンクＬ１２以外のリンクに接続するすべての端点の各端点活性値（この場合Ｔ２６、Ｔ２７、Ｔ２８の各端点活性値ｔ２６、ｔ２７，ｔ２８）と、エレメントＥ２の中心活性値ｅ２を加算し、この加算で得た値を、文書に含まれるエレメントの総数で除することにより求められる。
制御部１１は、この様な演算を、ＲＡＭ１４から読み出した各端点活性値および各中心活性値を用いて行うことで、通常リンクと接続された端点についての新たな端点活性値を算出し、算出した端点活性値を、ＲＡＭ１４に記憶させる。つまり端点Ｔ１２の端点活性値ｔ１２を更新する。
【００６０】
一方、ステップＦ５２でリンクＬ１２が参照リンクであると判断され、ステップＦ５４に進んだ場合は、同じく制御部１１は、通常リンクＬ１２に接続されたエレメントＥ１の端点Ｔ１２の新たな端点活性値を計算する処理をおこなうことになるが、端点活性値の算出のための演算は次のようになる。
即ちこの場合は、端点Ｔ１２の端点活性値ｔ１２は、リンク先のエレメントＥ２の端点活性値のうち、リンクＬ１２以外のリンクに接続するすべての端点の各端点活性値（この場合Ｔ２６、Ｔ２７、Ｔ２８の各端点活性値ｔ２６、ｔ２７，ｔ２８）と、エレメントＥ２の中心活性値ｅ２を加算した値とする。（つまり除算がない点が上記通常リンクの場合と異なるものとなる）
そして制御部１１は、この様な演算を、ＲＡＭ１４から読み出した各端点活性値および各中心活性値を用いて行うことで、参照リンクと接続された端点についての新たな端点活性値を算出し、算出した端点活性値を、ＲＡＭ１４に記憶させる。つまり端点Ｔ１２の端点活性値ｔ１２を更新する。
【００６１】
このようなステップＦ５３又はＦ５４の処理を行なったら、制御部１１はステップＦ５５での判別処理を介して（判別結果がＮＯであれば）ステップＦ５７に進み、カウント値ｊをインクリメントしてステップＦ５２に戻る。
即ち続いて、カウント値ｊ＝２とされることにより、エレメントＥ１についての第２のリンク（例えばリンクＬ１３）が参照されることになるため、上記同様にステップＦ５２以降の処理でリンクＬ１３に接続される端点Ｔ１３の端点活性値ｔ１３が算出／更新されることになる。
【００６２】
ステップＦ５５では、制御部１１は、現在カウント値ｉで参照中のエレメントＥｉ（Ｅ１）について、全てのリンクについての新たな端点活性値が計算されたか否かを判別して処理を分岐するものであるため、端点活性値の更新処理は、参照中のエレメントＥｉの全ての端点活性値が更新されるまで行われる。
つまりステップＦ５７でカウント値ｊがインクリメントされながら処理が繰り返されることで、例えばエレメントＥ１については、端点Ｔ１２，Ｔ１３，Ｔ１４，Ｔ１５についてそれぞれ端点活性値ｔ１２，ｔ１３，ｔ１４，ｔ１５が更新されていき、その全てが更新された時点で、処理はステップＦ５５からＦ５６に進むことになる。
【００６３】
エレメントＥｉについての全ての端点活性値が求められたことに応じて、ステップＦ５６では、更新された端点活性値を用いて、エレメントＥｉの新たな中心活性値ｅｉを算出する。
エレメントＥｉの新たな中心活性値ｅｉは、エレメントＥｉの現在の中心活性値ｅｉとエレメントＥｉのすべての端点の新たな端点活性値の和で求められる。例えば図６のエレメントＥ１の場合は、新たな中心活性値ｅ１(new)は、
ｅ１(new)＝ｅ１＋ｔ１２＋ｔ１３＋ｔ１４＋ｔ１５
となる。
【００６４】
制御部１１は、このようにして現在カウント値ｉで参照中のエレメントＥｉの中心活性値ｅｉを算出する。そして、制御部１１は、計算した新たな中心活性値ｅｉをＲＡＭ１４に記憶させる。つまりエレメントＥｉの中心活性値ｅｉを更新する。（但しこの時点では、後述するステップＦ４５の処理で用いるため、旧中心活性値も保持しておく）
【００６５】
図７のステップＦ４３の中心活性値更新処理として、以上図８に示したような処理が行われるたら、制御部１１の処理は図７のステップＦ４４に進み、制御部１１は、文書中のすべてのエレメントについて中心活性値更新処理が完了したか否かを判断する。具体的には、制御部１１は、カウント値ｉが、文書に含まれるエレメントの総数に達したか否かを判断する。
制御部１１は、すべてのエレメントについて中心活性値更新処理が完了していないときは、ステップＦ４７に処理を進め、カウント値ｉをインクリメントしてステップＦ４３に戻る。
例えば上記のようにエレメントＥ１についての処理が終わった後であれば、カウント値ｉ＝２とされて、今度はエレメントＥ２が参照されることになる。
そしてエレメントＥ２について、ステップＦ４３の中心活性値更新処理（即ち図８の処理）が上記同様に行われる。
重複説明となるため詳細は述べないが、図６のリンク例でいえば、エレメントＥ２の場合は、図８の処理において端点Ｔ２１，Ｔ２６，Ｔ２７，Ｔ２８の各端点活性値ｔ２１，ｔ２６，ｔ２７，ｔ２８が更新された後、新たな中心活性値ｅ２(new)が、
ｅ２(new)＝ｅ２＋ｔ２１＋ｔ２６＋ｔ２７＋ｔ２８
として算出され、更新されることになる。
【００６６】
図７の処理においては、このようにステップＦ４７でカウント値ｉがインクリメントされて参照エレメントが変更されながらステップＦ４３の中心活性値更新処理が繰り返されることで、文書に含まれる全てのエレメントの中心活性値が更新されていくことになる。
【００６７】
文書中のすべてのエレメントについて中心活性値の更新が完了したときは、処理はステップＦ４４からＦ４５に進むことになる。
ステップＦ４５においては、制御部１１は、文書に含まれるすべてのエレメントの中心活性値の変化分、すなわち新たに計算された中心活性値の元の中心活性値に対する変化分について平均値を計算する。
例えば制御部１１は、ＲＡＭ１４に記憶された旧中心活性値と、更新した新たな中心活性値を、文書に含まれるすべてのエレメントについて読み出す。そして各エレメントについて新中心活性値と旧中心活性値の差分を求め、その差分の総和をエレメントの総数で除することにより、すべてのエレメントの中心活性値の変化分の平均値を計算する。
制御部１１は、このように計算したすべてのエレメントの中心活性値の変化分の平均値を、たとえばＲＡＭ１４に記憶させる。
【００６８】
続いてステップＦ４６において制御部１１は、ステップＦ４５で計算した平均値が、あらかじめ設定された閾値以内であるか否かを判断する。
そして、制御部１１は、上記平均値が閾値以内である場合は、活性拡散処理としての一連の行程を終了するが、上記平均値が閾値以内でないときには、ステップＦ４２にもどって、上述した一連の行程を再び実行する。
【００６９】
この一連の活性拡散処理は、中心活性値が高いエレメントに関連のある（リンクする）エレメントについて、その中心活性値を引き上げていく処理といえるものである。
ところが、この活性拡散を１回行うのみでは、インデックス作成処理の目的を考えたときに、本来中心活性値を引き上げられるべきエレメントの中で、中心活性値が十分に引き上げられないものが発生する場合もありうる。例えば、１回の活性拡散では、中心活性値の初期値が高く設定されたエレメントに直接リンクするエレメントについては、或る程度中心活性値が引き上げられるが、直接リンクしていないエレメントは、それがインデックスとして重要なエレメントであっても十分に中心活性値が引き上げられないことが生ずる。
そこで、ステップＦ４６の判断を介して、必要に応じて活性拡散処理を複数回行うようにすることで、全体的に中心活性値が収束されるようにし、中心活性値が引き上げられない重要なエレメントがなるべく生じないようにするものである。
なお、複数回の活性拡散で、全体的に中心活性値が収束されていくのは、活性拡散処理で更新された各エレメントの中心活性値に基づいて、さらに次の活性拡散処理で各エレメントの中心活性値が更新されていくためである。但し、このような活性拡散処理が多数回行われすぎると、全エレメントの中心活性値が収束しきってほぼ同値となるような事態となり、不適切である。
このため、ステップＦ４５，Ｆ４６の処理として、中心活性値の変化分の平均値を求めるように、その変化分に基づいて活性拡散処理の終了タイミングを判断することで、インデックス作成に好適な活性拡散が実現されることになる。
【００７０】
以上の図７、図８のような活性拡散処理（即ち図５のステップＦ３１）が完了したら、制御部１１の処理は図５のステップＦ３２に進むことになる。
ステップＦ３２においては、制御部１１は、ステップＦ３１で得られた各エレメントの中心活性値に基づいて、中心活性値があらかじめ設定された閾値を超えるエレメントを抽出する。制御部１１は、このように抽出したエレメントをＲＡＭ１４に記憶させる。
【００７１】
続いてステップＦ３３においては、制御部１１は、ステップＦ３２にて抽出したエレメントをたとえばＲＡＭ１４から読み出す。そして制御部１１は、この抽出したエレメントの中からすべての固有名詞を取り出してインデックスに加える。固有名詞は語義を持たず、辞書に載っていないなどの特殊の性質を有するので固有名詞以外の語とは別に扱うものである。なお語義とは、前述したように、語の有する複数の意味のうちの各意味に対応したものである。
各エレメントが固有名詞であるか否かは、文書に付されたタグに基づいて判断することができる。たとえば、図３に示したタグ付けによる内部構造においては、“Ａ氏”、“Ｂ会”および“Ｃ市”は、タグによる関係属性がそれぞれ“人名”、“組織名”および“地名”であるので固有名詞であることが分かる。そして、制御部１１は、取り出した固有名詞をインデックスに加え、その結果をＲＡＭ１４に記憶させる。
【００７２】
次のステップＦ３４においては、制御部１１は、ステップＦ３２にて抽出したエレメントの中から、固有名詞以外の語義を取り出してインデックスに加え、その結果をＲＡＭ１４に記憶させる。
【００７３】
以上の処理により、例えば上記した具体例のようなインデックスが生成される。即ちインデックスは、タグ付けされた文書の特徴を発見して、その特徴を配列したものとなり、その文書の特徴は、文書の内部構造に応じて拡散処理された中心活性値に基づいて判断されるものとなる。
そしてこのようなインデックスは、文書を代表するような特徴を表す語義および固有名詞を含むので、所望の文書を参照する際に用いることができる。
なお、インデックスには、文書の特徴を表す語義および固有名詞とともに、その文書がＲＡＭ１４（又はＨＤＤ３４）において記憶された位置を示す文書アドレスを含めておく。
【００７４】
３−３ 文書閲覧／分類作成／分類操作
以上の図５〜図８で説明したインデックス作成処理は図４のステップＦ１２で行われるものとなる。従って図４の手動分類処理としては、続いてステップＦ１３，Ｆ１４の処理、即ち上述したようにユーザーによる閲覧及び手動分類の処理に移る。
【００７５】
上述のように、図４のステップＦ１３においては、ユーザーは表示部３０に表示される文書を閲覧することができる。
またステップＦ１４においては、ユーザーが分類項目を設定する操作や、文書データを、設定された分類項目に振り分けていく操作を行うことができる。
このステップＦ１３，Ｆ１４で行われる操作や、それに対応する制御部１１の処理及び表示部３０の表示例は以下のようになる。
【００７６】
図９、図１０は表示部３０における表示の具体例を示している。
まず図９は、詳しくは後述する分類モデルに対応した文書分類ウインドウ２０１の表示例である。即ち、文書分類の表示に用いられるグラフィックユーザインターフェース（graphic user interface；GUI）の具体例となる。
この文書分類ウィンドウ２０１には、操作用のボタン表示２０２として、画面のウィンドウの状態を初期の位置にもどすポジションリセット（position reset）ボタン２０２ａと、文書の内容を閲読するブラウザ（browser）を呼び出すブラウザボタン２０２ｂと、このウィンドウからの脱出（exit）ボタン２０２ｃとが表示される。
【００７７】
また、この文書分類ウィンドウ２０１は、分類モデルに対応する分類項目に応じた小ウインドウとして、文書分類エリア２０３，２０４，２０５・・・が形成される。
文書分類エリア２０３は、“他のトピックス”を表示するエリアとされる。この”他のトピックス”の文書分類エリア２０３は、まだ分類されていない文書が提示される領域となる。例えば図４のステップＦ１１で受信された各文書（つまりこれから分類しようとする文書）は、この”他のトピックス”の文書分類エリア２０３に提示される。
文書分類エリア２０４は、例えば”ビジネスニュース”に分類された文書が提示される領域となる。
文書分類エリア２０５は、例えば”政治ニュース”に分類された文書が提示される領域となる。
これら以外にも、図中で符号を付していない文書分類エリアは、それぞれ特定の分類項目に応じた文書が提示される領域となる。
【００７８】
これらの各文書分類エリア２０３，２０４・・・では、その各文書分類エリアに設定された分類項目（カテゴリ）に分類された文書が、その文書のアイコンと文書のタイトルにより提示される。タイトルがない場合には、一文の要約が表示される。
また各文書分類エリア２０３，２０４・・・の大きさは固定的ではなく、ユーザーがドラッグ操作などにより各文書分類エリアを区切る区切枠２１１，２１２，２１３・・・を移動させることにより、各文書分類エリア２０３，２０４・・・の面積を任意に変更させることができる。文書分類エリアの数もユーザーが任意に増減できる。
【００７９】
また各文書分類エリア２０３，２０４・・・のタイトル（例えば「政治ニュース」など）は、ユーザーが任意に設定、変更できるものである。
なお、この文書分類エリアの数及び各タイトルは、後述する分類モデルの分類項目に応じたものとなる。言い換えれば、ユーザーがこの分類ウインドウ２０１においてマウスやキーボード等による入力部２０からの操作で、文書分類エリアの設定や削除、或いはタイトル設定を行うことで、分類モデルの分類項目の数やタイトルが設定されることになる。
【００８０】
図１０は、ユーザーが文書データの内容を閲覧する閲覧ウインドウ３０１の例を示している。
例えばユーザーが、図９の分類ウインドウ２０１において或る文書をクリックして選択した状態としたうえで、ブラウザボタン２０２ｂをクリックすることで、制御部１１は図１０のように選択された文書を表示する閲覧ウインドウ３０１を開くようにする。
【００８１】
この閲覧ウインドウ３０１には、文書データファイルのファイル名を表示するファイル名表示部３０２、そのファイル名の文書データを表示する文書表示部３０３、文書表示部３０３に表示された文書の要約文を表示する要約表示部３０４、キーワードの入力／表示を行うキーワード表示部３０５が設けられる。また操作用のボタン表示３０６として、要約文の作成を指示するための要約作成ボタン３０６ａ、アンドゥ操作（操作取消）を行うためのアンドゥボタン３０６ｂ、読み上げ動作を実行させるための読み上げボタン３０６ｃ、ビデオデータの表示を指示するためのビデオボタン３０６ｄなどが表示される。
【００８２】
この様な閲覧ウインドウ３０１において、ユーザーは文書表示部３０３に表示される文書を閲覧することができる。なお、文書の全体を表示しきれないときは、文書の一部が表示される。もちろんスクロール操作を行うことで、全文を閲覧できる。
また、ユーザーは要約作成ボタン３０６ａをクリックすることで、文書表示部３０３に表示される文書についての要約文を作成させ、要約表示部３０４に表示させることができる。
さらにユーザーは、読み上げボタン３０６ｃをクリックすることで、文書表示部３０３に表示されている文書の本文又は要約文についての読み上げを実行させることができる。
また、ユーザーはビデオボタン３０６ｄをクリックすることで、文書表示部３０３に表示されている文書の本文、または要約表示部３０４に表示されている要約文に関連するビデオデータの表示を実行させることができる。
なお、要約文作成のための制御部１１の処理、読み上げ動作についての処理、及びビデオ出力動作についての処理はそれぞれ後述する。
【００８３】
以上のような分類ウインドウ２０１、閲覧ウインドウ３０１は、図４の手動分類処理の際に限らず、ユーザーの操作に応じて随時表示部２０に表示されるものであるが、図４の手動分類処理に関していえば、ユーザーは受信した文書の種類や内容を、分類ウインドウ２０１、閲覧ウインドウ３０１で確認することができるものである。
具体的には、図４のステップＦ１１で受信された１又は複数の文書は、ステップＦ１２でのインデックス作成処理の後、図９のような分類ウインドウ２０１における”他のトピックス”の文書分類エリア２０３に表示される。
この分類ウインドウ２０１において、ユーザーは、文書分類エリア２０３に表示された各文書を手動で分類していくことになるが、例えば文書のタイトルだけ等では内容がわからない場合は、図１０の閲覧ウインドウ３０１により文書内容を確認する。そのようにユーザの必要に応じて行われる閲覧が図４のステップＦ１３の処理となる。
【００８４】
ステップＦ１４としては、ユーザーは分類ウインドウ２０１上において分類項目の追加、更新、削除等を任意に行うことができ、その操作に応じて、制御部１１は表示される文書分類エリア２０３、２０４・・・の表示態様（数、面積、タイトル等）を変更させていく。
なお、ユーザーによる分類項目（文書分類エリアのタイトル）の設定／変更は、それが後述する分類モデルに反映されることになる。
【００８５】
ユーザーは必要に応じて分類項目の設定を行った後、文書分類エリア２０３に表示されている各文書を、各文書分類エリアに振り分けていく。つまりユーザーの手動により、文書を分類する。
具体的には、”他のトピックス”の文書分類エリア２０３に表示されている文書のアイコンを、例えば入力部２０のマウスを用い、所望の分類項目（カテゴリ）に対応する文書分類エリアにドラッグすることによりおこなう。
例えばユーザーは、「スポーツ」というタイトルの文書分類エリアを設定したうえで、”他のトピックス”の文書分類エリア２０３に表示されているスポーツ関連の文書のアイコンを、“スポーツ”の文書分類エリアにドラッグするような操作を行う。
このようにして手動で分類された各文書のアイコンやタイトルは、以降、そのドラッグされた先の文書分類エリア内で表示される。
【００８６】
３−４ 分類モデル作成／登録
以上のようにユーザーによる手動分類操作が行われたら、制御部１１は図４のステップＦ１５において、ユーザの分類操作に基づいた複数のカテゴリからなる分類モデルを作成する。すなわち制御部１１は、各カテゴリに分類された上記複数の文書のインデックスを集めて、分類モデルを生成する。そして、分類モデルの各カテゴリに上記複数の文書を分類する。
【００８７】
分類モデルは、文書を分類する複数の分類項目（カテゴリ）から構成される。そして各カテゴリについて、分類された文書が示されるデータ形態となる。
各文書については、上記ステップＦ１２などでインデックスが形成されるが、分類モデルは例えば図１１（ａ）に示すように、各カテゴリについて分類された文書のインデックスが対応づけられたようなデータ構造となる。
この図１１（ａ）では、カテゴリとして「スポーツ」「会社」「コンピュータ」・・・等が設定されているが、これらは上記のように分類ウインドウ２０１においてユーザーが設定した分類項目となる。なお、もちろんユーザーが設定しなくとも、予め設定されている（つまり分類ウインドウで文書分類エリアとして表示される）カテゴリがあってもよい。
そして各分類項目にはインデックスＩＤＸ１、ＩＤＸ２・・・が対応づけられるが、即ち各分類項目には、ユーザーが上記のように分類した文書のインデックスが対応づけられるものとなる。
【００８８】
各分類項目に対応づけられるインデックスは、分類ウインドウ２０１においてその分類項目の文書分類エリアに表示されている文書のインデックスである。
例えばインデックスＩＤＸ１がカテゴリ「スポーツ」に対応づけられているのは、ユーザーが、分類ウインドウ２０１において「スポーツ」をタイトルとする文書分類エリアを作成し、さらにインデックスＩＤＸ１の文書のアイコンを、その「スポーツ」をタイトルとする文書分類エリアにドラッグするという手動分類を行ったことに基づくものとなる。
【００８９】
ところで上述のように各文書のインデックスは、固有名詞、固有名詞以外の語義や文書アドレス等を含んでいる。
そして、例えば図１１（ａ）のように１つの分類項目には１又は複数のインデックスが対応づけられるが、インデックスとして固有名詞、語義、文書アドレス等が含まれるため、分類モデルは図１１（ｂ）のようにも表すことができる。
【００９０】
即ち図１１（ｂ）に示すように、分類モデルは、各カテゴリに対応するカテゴリインデックスとして、固有名詞、固有名詞以外の語義、文書アドレスの欄を有する構造となる。
そして分類モデルにおいては、各カテゴリ「スポーツ」「社会」「コンピュータ」「植物」「美術」「イベント」に対して、固有名詞“Ａ氏、・・・”、“Ｂ氏、・・・”、“Ｃ社、Ｇ社、・・・”、“Ｄ種、・・・”、“Ｅ氏、・・・”および“Ｆ氏”等の固有名詞が割り当てられる。
また、“野球（４５４６）、グランド（２３４３）、・・・”、“労働（３１１２）、固有（９８２１）、・・・”、“モバイル（２１０２）、・・・”、“桜１（１１１１１）、オレンジ１（９９１１）”、“桜２（１１１１２）、オレンジ２（９９１２）”および“桜３（１１１１３）”等の語義も各カテゴリに割り当てられる。
さらに文書アドレス“ＳＰ１、ＳＰ２、ＳＰ３、・・・”、“Ｓ０１、Ｓ０２、Ｓ０３、・・・”、“ＣＯ１、ＣＯ２、ＣＯ３、・・・”、“ＰＬ１、ＰＬ２、ＰＬ３、・・・”、“ＡＲ１、ＡＲ２、ＡＲ３、・・・”および“ＥＶ１、ＥＶ２、ＥＶ３、・・・”も各カテゴリに割り当てられる。
【００９１】
なお、“桜１”“桜２”“桜３”は、“桜”の第１の語義（１１１１１）、第２の語義（１１１１２）、第３の語義（１１１１３）を示している。また、“オレンジ１”“オレンジ２”は、“オレンジ”の第１の語義（９９１１）、第２の語義（９９１２）を示している。たとえば“オレンジ１”は植物のオレンジを表し、“オレンジ２”はオレンジ色を表す。
固有名詞以外の場合に語そのものではなく語義を用いるのは、この様に、同じ語でも複数の意味を有することがあるからである。
【００９２】
図４のステップＦ１５では、ユーザーの手動分類操作に応じて例えばこの様な分類モデルが生成される。そしてステップＦ１６として分類モデルが登録、即ちＲＡＭ１５（又はＨＤＤ３４）に記録される。
このように分類モデルが生成／登録されることにより、文書の分類が行われたことになる。
【００９３】
なお、このように図４におけるステップＦ１５、Ｆ１６として分類モデルの作成／登録が行われた後は、後述する自動分類処理や、ユーザーの分類項目の編集、或いは手動分類操作などに応じて、分類モデルは逐次更新されていくことになる。
分類モデルが更新されると、分類モデルに更新日時が記録される。図１１には、更新日時として“１９９８年１２月１０日１９時５６分１０秒”が記録されている。
【００９４】
４．文書データに対する自動分類処理
４−１ 処理手順
本例の文書処理装置１では、上記のように一旦分類モデルが作成された後は、例えば通信部２１により外部から取り込まれた文書データを、自動的に分類していく自動分類処理が可能となる。
即ち以下説明する自動分類処理とは、文書処理装置１が外部から送られた文書データを受信した際に、その文書データを分類モデルに対して分類していく処理となる。
なお、この例では、一つの文書を受信する毎に以下説明する自動分類処理をおこなうこととするか、複数の所定数の文書を受信する度におこなってもよいし、ユーザが図９の画面を開く操作をしたときにそれまでに受信した全文書に対して自動分類処理をおこなうようにしてもよい。
【００９５】
自動分類処理としての全体の処理手順を図１２に示す。
図１２のステップＦ２１は、文書処理装置１の受信部２１による文書受信処理を示している。このステップＦ２１では、受信部２１は、たとえば通信回線を介して送信された１又は複数の文書を受信する。受信部２１は、受信した文書を文書処理装置の本体１０に送る。制御部１１は供給された１又は複数の文書データをＲＡＭ１４又はＨＤＤ３４に格納する。
なお文書データとともに（又は文書データとは独立して）、１又は複数のビデオファイルが受信された場合は、制御部１１はそのビデオファイルを取り込んでＲＡＭ１４又はＨＤＤ３４に格納することになる。
【００９６】
続いてステップＦ２２に進み、制御部１１は、ステップＦ２１で取り込まれた文書についてインデックスを作成する。
【００９７】
ステップＦ２３では、制御部１１は、分類モデルに基づいて、インデックスを付された各文書を、分類モデルのいずれかのカテゴリに自動分類する。そして、制御部１１は、分類の結果をたとえばＲＡＭ１４に記憶させる。自動分類の詳細については後述する。
【００９８】
ステップＦ２４では、制御部１１は、ステップＦ２３での新たな文書の自動分類の結果に基づいて、分類モデルを更新する。
そしてステップＦ２５では、制御部１１は、ステップＦ２４で更新された分類モデルを登録する。例えば分類モデルをＲＡＭ１４に記憶させる。
【００９９】
以上の図１２の処理により、文書処理状態１に入力された文書データが、分類モデル上で分類されるように自動分類処理が行われることになる。
すなわちこの自動分類処理においては、受信した文書に対してはインデックスが作成され、さらに自動分類が行われた後、そのインデックスを構成している固有名詞、語義、文書アドレス等が、上記図１１のように分類モデル上で或るカテゴリーに対応づけられることになる（分類モデルが更新される）。
【０１００】
ステップＦ２１、Ｆ２２の処理は、上述した手動分類処理におけるステップＦ１１，Ｆ１２と同様である。即ちステップＦ２２のインデックス作成処理としては、図５〜図８で説明した処理が行われるものであり、ここでの繰り返しの説明は避ける。
また、ステップＦ２４の分類モデルの更新は、ステップＦ２３の自動分類の分類結果に応じてものとなる。
以下、上述の手動分類処理とは異なる処理として、ステップＦ２３の自動分類について詳細に説明する。
【０１０１】
４−２ 自動分類
図１２のステップＦ２３での自動分類の詳しい処理を図１３に示す。
図１３のステップＦ６１では、制御部１１は、分類モデルのカテゴリＣｉに含まれる固有名詞の集合と、ステップＦ２１で受信した文書から抽出されインデックスに入れられた語のうちの固有名詞の集合とについて、これらの共通集合の数をＰ（Ｃｉ）とする。そして制御部１１は、このようにして算出した数Ｐ（Ｃｉ）をＲＡＭ１４に記憶させる。
【０１０２】
ステップＦ６２においては、制御部１１は、その文書のインデックス中に含まれる全語義と、各カテゴリＣｉに含まれる全語義との語義間関連度を、後述する図１５に示す語義間関連度の表を参照して、語義間関連度の総和Ｒ（Ｃｉ）を演算する。
すなわち制御部１１は、分類モデルにおける固有名詞以外の語について、全語義間関連度の総和Ｒ（Ｃｉ）を演算する。そして制御部１１は、演算した語義間関連度の総和Ｒ（Ｃｉ）をＲＡＭ１４に記憶させる。
【０１０３】
ここで語義間関連度について説明しておく。
語義間関連度は、図１４の処理により文書処理装置１が備える電子辞書に含まれる語義について予め算出し、その結果を図１５のように保持しておけばよい。つまり、制御部１１が予め一度だけ図１４の処理を実行しておくようにすることで、図１３の自動分類処理の際に用いることができる。
【０１０４】
制御部１１が予め実行しておく図１５の処理は次のようになる。
まずステップＦ７１において、制御部１１は、電子辞書内の語の語義の説明を用いて、この辞書を使って語義のネットワークを作成する。
すなわち、辞書における各語義の説明とこの説明中に現れる語義との参照関係から、語義のネットワークを作成する。
ネットワークの内部構造は、上述したようなタグ付けにより記述される。文書処理装置の制御部１１は、たとえばＲＡＭ１４に記憶された電子辞書について、語義とその説明を順に読み出して、ネットワークを作成する。
制御部１４は、このようにして作成した語義のネットワークをＲＡＭ１４に記憶させる。
【０１０５】
なお、上記ネットワークは、文書処理装置の制御部１１が辞書を用いて作成する他に、受信部２１にて外部から受信したリ、記録／再生部３１にて記録媒体３２から再生したりすることにより得ることもできる。
また上記電子辞書は、受信部２１にて外部から受信したり、記録／再生部３１にて記録媒体３２から再生したりすることにより得ることができる。
【０１０６】
ステップＦ７２においては、ステップＦ７１で作成された語義のネットワーク上で、各語義のエレメントに対応する中心活性値の拡散処理をおこなう。この活性拡散により、各語義に対応する中心活性値は、上記辞書により与えられたタグ付けによる内部構造に応じて与えられる。中心活性値の拡散処理は、図７で説明した処理となる。
【０１０７】
ステップＦ７３においては、ステップＦ７１で作成された語義のネットワークを構成するある一つの語義Ｓｉを選択し、続くステップＦ７４においては、この語義Ｓｉに対応する語彙エレメントＥｉの中心活性値ｅｉの初期値を変化させ、このときの中心活性値の差分△ｅｉを計算する。
【０１０８】
さらにステップＦ７５においては、ステップＦ７４におけるエレメントＥｉの中心活性値ｅｉの差分△ｅｉに対応する、他の語義Ｓｊに対応するエレメントＥｊの中心活性値ｅｊの差分△ｅｊを求める。
ステップＦ７６においては、ステップＦ７５で求めた差分△ｅｊを、ステップＦ７４で求めた△ｅｉで除した商△ｅｊ／△ｅｉを、語義Ｓｉの語義ｓｊに対する語義間関連度とする。
【０１０９】
ステップＦ７７においては、一の語義Ｓｉと他の語義Ｓｊとのすべての対について語義間関連度の演算が終了したか否かについて判断する。
すべての語義の対について語義間関連度の演算が終了していないときには、ステップＦ７３にもどり、語義間関連度の演算が終了していない対について語義間関連度の演算を継続する。
このようなステップＦ７３からステップＦ７７のループにおいて、制御部１１は、必要な値をたとえばＲＡＭ１４から順に読み出して、上述したように語義間関連度を計算する。制御部１１は、計算した語義間関連度をたとえばＲＡＭ１４に順に記憶させる。
そして、すべての語義の対について語義間関連度の演算が終了したときには、ステップＦ７７から、この一連の処理を終了する。
【０１１０】
このような語義間関連度の算出は、或る１つの語義の中心活性値を変化させた時に、それにつられて中心活性値が変化する語義を、関連度が高いものとする処理といえる。
つまりステップＦ７４で或る語義の中心活性値を変化させると、それに応じて関連する（リンクされた）語義の中心活性値が変化するものとなるため、その変化の度合いを調べれば、或る語義に対する他の各語義の関連度がわかるものである。（或るエレメントＥｉの中心活性値は、上述した活性拡散の説明において述べたように、リンク先のエレメントの中心活性値と端点活性値が反映されて、そのエレメントＥｉ端点活性値が更新されたうえで、そのエレメントＥｉの端点活性値と現在の中心活性値の和から求められるため、リンク先との関連度が大きいほど中心活性値の変化量は大きくなる）
このような処理を各語義から他の全ての語義に対して行っていくことで、すべての語義の対（組み合わせ）について、関連度を算出することができる。
【０１１１】
このように計算された語義間関連度は、図１５に示すように、それぞれの語義と語義の間に定義される。この図１５の表においては、語義間関連度は０から１までの値をとるように正規化されている。そしてこの表においては一例として“コンピュータ”、“テレビ”、“ＶＴＲ”の間の相互の語義間関連度が示されている。“コンピュータ”と“テレビ”の語義間関連度は０．５５、“コンピュータ” と“ＶＴＲ”の語義間関連度は０．２５、“テレビ”と“ＶＴＲ”の語義間関連度は０．６０である。
【０１１２】
以上のように予め算出されていた語義間関連度を用いて図１３のステップＦ６２の処理が行われたら、続いて制御部１１は、ステップＦ６３として、カテゴリＣｉに対する文書の文書分類間関連度Ｒｅｌ（Ｃｉ）を
Ｒｅｌ（Ｃｉ）＝ｍ１Ｐ（Ｃｉ）＋ｎ１Ｒ（Ｃｉ）
として算出する。
ここで、係数ｍ１、ｎ１は定数で、それぞれの値の文書分類間関連度への寄与の度合いを表すものである。
制御部１１は、ステップＦ６１で算出した共通集合の数Ｐ（Ｃｉ）およびステップＦ６２で算出した語義間関連度の総和Ｒ（Ｃｉ）を用いて、上記式の演算を行い、文書分類間関連度Ｒｅｌ（Ｃｉ）を算出する。
制御部１１は、このように算出した文書分類間関連度Ｒｅｌ（Ｃｉ）をＲＡＭ１４に記憶させる。
【０１１３】
なお、これらの係数ｍ１、ｎ１の値としては、たとえばｍ１＝１０、ｎ１＝１とすることができる。
また係数ｍ１、ｎ１の値は、統計的手法を使って推定することもできる。すなわち、制御部１１は、複数の係数ｍおよびｎの対について文書分類間関連度Ｒｅｌ（Ｃｉ）が与えられることで、上記係数を最適化により求めることができる。
【０１１４】
ステップＦ６４においては、制御部１１は、カテゴリＣｉに対する文書分類間関連度Ｒｅｌ（Ｃｉ）が最大で、その文書分類間関連度Ｒｅｌ（Ｃｉ）の値がある閾値を越えているとき、そのカテゴリＣｉに文書を分類する。
すなわち制御部１１は、複数のカテゴリに対してそれぞれ文書分類間関連度を作成し、最大の文書分類間関連度が閣値を越えているときには、文書を最大の文書分類間関連度を有する上記カテゴリＣｉに分類する。これにより文書が自動的に所要のカテゴリに分類されることになる。
なお最大の文書分類間関連度が閾値を越えていないときには、文書の分類はおこなわない。
【０１１５】
以上のような図１３の処理として、図１２のステップＦ２３の自動分類が行われたら、ステップＦ２４、Ｆ２５で、それに応じて分類モデルを更新し、登録することで、一連の自動分類が完了する。
即ち文書処理装置１に受信された文書データは、自動的に分類されたことになり、ユーザーは例えば図９の分類ウインドウ２０１において、所要の文書分類エリアにおいて、受信された文書データを確認できることになる。
【０１１６】
５．読み上げ処理
続いて、文書データについての読み上げを行う処理について述べる。
上述したようにユーザーは、文書を選択して図１０のような閲覧ウインドウ３０１を開くことにより、文書の本文を閲覧することができる。例えば上述した手動分類処理におけるステップＦ１３の時点や、その他任意の時点において、図９で説明した分類ウインドウ２０１から、閲覧ウインドウ３０１を開くことができる。
【０１１７】
例えば分類ウインドウ２０１において或る文書を選択した状態でブラウザボタン２０２ｂをクリックすることで、後述する図２６のように、文書表示部３０３に選択された文書の本文が表示された閲覧ウインドウ３０１が開かれる。
なお文書表示部３０３に文書全文が表示できないときには、その文書の一部が表示される。
また要約文が作成されていない時点では、図２６のように要約表示部３０４は空白とされる。要約文の作成及び表示動作については後述する。
【０１１８】
このように文書処理装置１は、タグ付けされた文書を受信すると、その本文や詳しくは後述する要約文を表示してユーザーに提示できるが、さらに受信した文書を音声でユーザーに提示することもできる。
即ちＣＰＵ１３により、ＲＯＭ１５やＨＤＤ３４に記録されている電子文書処理プログラムのうちの音声読み上げプログラムを起動することで、図１６に示すような一連の工程を経ることによって、文書の読み上げを行うことができる。
まずここでは、簡略化した各工程の説明を行い、その後、具体的な文書例を用いて、各工程の説明を詳細に行う。
【０１１９】
制御部１１の処理として、図１６のステップＦ１０１は、図４のステップＦ１１（又は図１２のステップＦ２１）と同様の文書受信／記憶処理である。上述ののように、受信した文書（タグ付文書）については手動又は自動での分類処理が行われるが、それと同様に、受信した文書について読み上げ処理も実行可能という意味で図１６にステップＦ１０１を記したものである。ここでは特に処理手順として、分類処理と読み上げ処理の順序その他を規定するものではない。
【０１２０】
なお、文書読み上げ処理の対象となる文書（受信文書）には、後述するように、音声合成を行うために必要なタグが付与されていることが必要である。但し、文書処理装置１は、タグ付けされた文章を受信したうえで、その文書に音声合成を行うために必要なタグを新たに付与して文書を作成することもできる。以下では、このようにして受信又は作成されて用意されたタグ付き文書を、タグファイルと記す。
【０１２１】
文書処理装置１の文書読み上げ処理としては続いてステップＦ１０２において、ＣＰＵ１３の制御のもとに、タグファイルに基づいて読み上げ用ファイルを生成する。この読み上げ用ファイルは、後述するように、タグファイル中のタグから、読み上げのための属性情報を導出し、この属性情報を埋め込むことにより生成される。
【０１２２】
続いてステップＦ１０３において文書処理装置１は、ＣＰＵ１３の制御のもとに、読み上げ用ファイルを用いて、音声合成エンジンに適した処理を行う。
なお、この音声合成エンジンは、ハードウェアで構成してもよいし、ソフトウェアで実現するようにしてもよい。音声合成エンジンをソフトウェアで実現する場合には、そのアプリケーションプログラムは、ＲＯＭ１５やＨＤＤ３４等に予め記憶されている。
本例の文書処理装置１において、読み上げ処理や、後述する要約作成／表示処理、ビデオ出力処理などを実行するために形成される機能ブロック構成については、図３７を用いて後に説明するが、上記音声合成エンジンは、その図３７における音声合成エンジン６０１に相当する。
【０１２３】
続いて文書処理装置１はステップＦ１０４において、ユーザが後述するユーザインターフェースを用いて行う操作に応じて処理を行う。
文書処理装置１は、このような処理を行うことによって、与えられた文書を読み上げることができる。これらの各工程について、以下詳細に説明する。
【０１２４】
まず、ステップＦ１０１におけるタグ付けされた文書の受信又は作成について説明する。
文書処理装置１は、例えば通信部２１から文書（音声合成を行うために必要なタグが既に付与されている文書）を受信する。
または、文書処理装置１は、タグ付けされた文書を受信し、その文書に音声合成を行うために必要なタグを新たに付与して文書を作成する。
【０１２５】
説明上の例として、以下のような、日本語、及び英語の文書にタグ付けがなされたタグファイルが、受信又は作成されものとする。
【０１２６】
まずタグファイルの元となる日本語文書は、次のような文書とする。
「［素敵にエイジング］／８ガン転移、抑えられる！？
がんはこの十数年、わが国の死因第一位を占めている。その死亡率は年齢が進むとともに増加傾向にある。高齢者の健康を考えるとき、がんの問題を避けて通れない。
がんを特徴づけるのは、細胞増殖と転移である。人間の細胞には、自動車でいえばアクセルに当たり、がんをどんどん増殖する「がん遺伝子」と、ブレーキ役の「がん抑制遺伝子」がある。
双方のバランスが取れていれば問題はない。正常な調節機能が失われ、細胞内でブレーキが利かない変異が起こると、がんの増殖が始まる。高齢者の場合、長い年月の間にこの変異が蓄積し、がん化の条件を備えた細胞の割合が増え、がん多発につながるわけだ。
ところで、もう一つの特徴、転移という性質がなければ、がんはそれほど恐れる必要はない。切除するだけで、完治が可能になるからである。転移を抑制することの重要性がここにある。
この転移、がん細胞が増えるだけでは発生しない。がん細胞が細胞と細胞の間にある蛋白（たんぱく）質などを溶かし、自分の進む道をつくって、血管やリンパ管に入り込む。循環しながら新たな“住み家”を探して潜り込む、といった複雑な動きをすることが、近年解明されつつある。」
【０１２７】
タグファイルの元となる英語の文書の例は次のようなものとする
「During its centennial year, The ABC Journal will report events of the past century that stand as milestones of American business history. THREE COMPUTERS THAT CHANGED the face of personal computing were Iaunched in 1977. That year the PC A II, PC B and PC C came to market. The computers were crude by today's standerds. PC A ll owners, for example,had to use their television sets as screens and stored data on audiocassettes.」
【０１２８】
文書処理装置１は、このような日本語又は英語の文書についてタグが付された文書を受信すると、分類処理や、後述する図２６、図２７のようにその本文を表示したり、要約文を作成して表示することができる。
【０１２９】
ここで上記の日本語又は英語の文書は、それそれ、図１８又は図１９に示すようなタグファイルとして構成されている。
日本語文書のタグファイルとしては、図１８（ａ）に見出しの部分である「〔素敵にエイジング〕／８ガン転移、抑えられる！？」を抜粋したものを示し、図１８（ｂ）に、文書中の最後の段落である「この転移、がん細胞が・・・・近年解明されつつある。」を抜粋したものを示している。残りの段落については省略してある。
なお、実際のタグファイルは、見出し部分から最後の段落までが１つのファイルとして構成されている。
【０１３０】
図１８（ａ）に示す見出し部分において、＜見出し＞というタグは、この部分が見出しであることを示している。
この図１８（ａ）（ｂ）に示すタグファイルは基本的には、図２を用いて文書データ構造を説明した際に用いたタグファイル例と同様にタグが付されているものであり、上述した各タグについての細かい説明は省略するが、所要各所に、音声合成を行うために必要なタグが付与されているものである。
【０１３１】
音声合成を行うために必要なタグとしては、例えばまず、図中「例１」の部分に示すように、「蛋白（たんぱく）」のように元の文書に読み仮名を示す情報が与えられているときに付与されるものがある。すなわち、この場合では、「たんぱくたんぱく」と重複して読み上げてしまうことを防ぐために、発音＝“null”という読み属性情報が記述されており、「（たんぱく）」の部分読み上げを禁止するタグが付与されている。
また、音声合成を行うために必要なタグとしては、図中「例２」「例３」に示すように、「リンパ管」のような専門用語や「住み家」のように、誤った読み上げを行う可能性のある難訓部分に付与されるものがある。すなわち、この場合では、「りんぱくだ」や「すみいえ」と読み上げてしまうことを防ぐために、それぞれ、発音＝“りんぱかん”、発音＝“すみか”という読み仮名を示す読み属性情報が記述されている。
【０１３２】
一方、図１９に示すタグファイルにおける音声合成を行うために必要なタグとしては、図中「例４」として示す部分のように、「ＩＩ」というローマ数字に対して、発音＝“two”という読み属性情報が記述されている。これは、「ＩＩ」を「トゥ（two）」と読み上げさせたい場合に、「セカンド（second）」と読み上げてしまうことを防ぐために記述されているものである。
【０１３３】
また、例えば文書内に引用文が含まれている場合、このようなタグファイルには、図示しないが、その文が引用文であることを示すタグが付与される。さらに、タグファイルには、例えば文書内に疑問文がある場合、図示しないが、その文が疑問文であることを示すタグが付与される。
【０１３４】
文書処理装置１は、先に図１６に示したステップＦ１０１において、例えば以上の例のように、音声合成を行うために必要なタグが付与された文書を受信又は作成するものとなる。
【０１３５】
つぎに、図１６のステップＦ１０２における読み上げ用ファイルの生成について説明する。
文書処理装置１は、タグファイル中のタグから、読み上げめための属性情報を導出し、この属性情報を埋め込むことによって読み上げ用ファイルを生成する。
具体的には、文書処理装置１は、文書の段落、文、句の先頭を示すタグを見つけ出し、これらのタグに対応して読み上げのための属性情報を埋め込む。また文書処理装置は、文書の要約文を作成した場合には、その要約文に含まれる部分の先頭を文書から見つけ出し、読み上げの際に音量を増大させる属性情報を埋め込み、要約文に含まれる部分であることを強調することなどもできる。
【０１３６】
文書処理装置１は、図１８又は図１９に示したタグファイルから図２０又は図２１に示すような読み上げ用ファイルを生成する。なお、図２０（ａ）（ｂ）は図１８（ａ）（ｂ）に示した部分に対応するものである。実際の読み上げ用ファイルは、上述した見出し部分から最後の段落までが１つのファイルとして構成されていることは勿論である。
【０１３７】
図２０に示す読み上げ用ファイルには、文書の先頭に対応してCom=Lang***という属性情報が埋め込まれている。この属性情報は、文書を記述している言語を示す。ここでは、Com=Lang=JPNという属性情報であり、文書を記述している言語が日本語であることを示している。文書処理装置においては、この属性情報を参照することで、文書毎に言語に応じた適切な音声合成エンジンを選択することができる。
【０１３８】
また、この読み上げ用ファイルには各所に、Com=begin_p、Com=begin_s、Com=begin_phという属性情報が埋め込まれている。これらの属性情報は、それぞれ、文書の段落、文及び句の先頭を示す。文書処理装置１は、上述したタグファイル中のタグに基づいて、これらの段落、文及び句の先頭を識別する。
なお、読み上げ用ファイルにおいて、例えば上述したタグファイル中の＜形容動詞句＞＜名詞句＞のように、同じレベルの統語構造を表すタグが連続して表れる部分に対しては、それぞれに対応する数のCom=begin_phが埋め込まれずに、まとめられて１つのCom=begin_phが埋め込まれる。
【０１３９】
さらに、読み上げ用ファイルには、Com=begin_p、Com=begin_s、及びCom=begin_phに対応して、それぞれ、Pau=500、Pau=100及びPau=50という属性情報が埋め込まれている。これらの属性情報は、それぞれ、読み上げの際に５００ミリ秒、１００ミリ秒及び５０ミリ秒の休止期間を設けることを示す。
すなわち文書処理装置１が、文章の段落、文及び句の先頭こおいて、それぞれ、５００ミリ秒、１００ミリ秒及び５０ミリ秒の休止期間を設けて文書を音声合成エンジンにより読み上げるようにするための情報である。
なお、これらの属性情報は、Com=begin_p、Com=begin_s及びCom=begin_phに対応して埋め込まれる。そのため、例えばタグファイル中の＜副詞句＞＜名詞句＞のように、同じレベルの統語構造を表すタグが連続して表れる部分は、１つの句として捉えられ、それぞれに対応する数のPau=50が埋め込まれずに、まとめられて１つのPau=50が埋め込まれる。
また、例えばタグファイル中の＜段落＞＜文＞＜名詞句＞のように、異なるレベルの統語構造を表すタグが連続して表れる部分については、それぞれに対応するPau=***が埋め込まれる。そのため文書処理装置１は、このような部分を読み上げる際には、例えば文書の段落、文及び句のそれぞれの休止期間を加算して得られる６５０ミリ秒の休止期間を設けて読み上げるようにする。
このように、文書処理装置１は、段落、文及び句に対応した休止期間を設けることで、段落、文及び句の切れ目を考慮した違和感のない読み上げを行うことができる。なお、この休止期間は、文書の段落、文及び句の先頭において、それぞれ、６００ミリ秒、１００ミリ秒及び５０ミリ秒である必要はなく、適宜変更することができる。
【０１４０】
さらにまた、読み上げ用ファイルにおいては、タグファイル中で記述されている発音＝“null”という読み属性情報に対応して、「（たんぱく）」が除かれているとともに、発音＝“りんぱかん”、発音＝“すみか”という読み属性情報に対応して、「リンパ管」、「住み家」が、それぞれ、「りんぱかん」、「すみか」に置換されている。文書処理装置１は、このような読み属性情報を埋め込むことで、音声合成エンジンが参照する辞書の不備による読み誤りをすることがないようにしている。
【０１４１】
また、読み上げ用ファイルには、文書内に含まれた引用文であることを示すタグに基づいて、この引用文のみを別の音声合成エンジンを用いるように指定するための属性情報が埋め込まれてもよい。
さらに、読み上げ用ファイルには、疑問文であることを示すタグに基づいて、その文の語尾のイントネーションを上げるための属性情報が埋め込まれるようにしてもよい。
さらにまた、読み上げ用ファイルには、必要に応じて、いわゆる「である調」の文体を「ですます調」の文体に変換するための属性情報を埋め込むこともできる。なお、この場合、文書処理装置１は、このような属性情報を読み上げ用ファイルに埋め込むのではなく、「である調」の文体を「ですます調」の文体に変換して音声読み上げ用ファイルを生成するようにしてもよい。
【０１４２】
一方、図２１に示す読み上げ用ファイルには、文書の先頭に対応してCom=Lang=ENGという属性情報が埋め込まれており、文書を記述している言語が英語であることを示している。
また、読み上げ用ファイルには、Com=Vol=***という属性情報が埋め込まれている。この属性情報は、読み上げの時の音量を示す。例えば、Com=Vol=0は、文書処理装置のデフォルトの音量で読み上げることを示している。また、Com=Vol=80は、デフォルトの音量を８０％増量した音量で読み上げることを示している。任意の、Com=Vol=***は、次のCom=Vol=***まで有効である。
さらに、読み上げ用ファイルにおいては、タグファイル中で記述されている発音＝“two”という読み属性情報に対応して、「ＩＩ」が「two」に置換されている。
【０１４３】
文書処理装置１は、図１７に示す一連の工程を経ることによって、このような読み上げ用ファイルを生成する。
まず文書処理装置１は、ステップＦ２０１において、ＣＰＵ１３によって、受信又は作成したタグファイルを解析する。ここで文書処理装置１は、文書を記述している言語を判別するとともに、文書の段落、文及び句の先頭や、読み属性情報をタグに基づいて探し出す。
続いて文書処理装置１は、ステップＦ２０２において、ＣＰＵ１３によって、文書を記述している言語に応じて文書の先頭にCom=Lang=***という属性情報を埋め込む。
【０１４４】
次に文書処理装置１は、ステップＦ２０３において、ＣＰＵ１３によって、文書の段落、文及び句の先頭を読み上げ用ファイルにおける属性情報に置換する。すなわち文書処理装置１は、タグファイル中の＜段落＞、＜文＞及び＜＊＊＊句＞を、それぞれ、Com=begin_p、Com=begin_s及びCom=begin_phに置換する。
【０１４５】
さらに文書処理装置１は、ステップＦ２０４において、ＣＰＵ１３によって、同じレベルの統語構造が表れて同じCom=begin_***が重複しているものを、１つのCom=begin_***にまとめる。
続いて文書処理装置１は、ステップＦ２０５において、ＣＰＵ１３によって、Com=begin_***に対応してPau=***を埋め込む。すなわち文書処理装置１は、Com=begin_pの前にPau=500を埋め込み、Com=begin_sの前にPau=100を埋め込み、Com=begin_phの前にPau=50を埋め込む。
そして文書処理装置１は、ステップＦ２０６において、ＣＰＵ１３によって、読み属性情報に基づいて、正しい読みに置換する。すなわち文書処理装置１は、発音＝“null”という読み属性情報に基づいて、「（たんぱく）」を除去するとともに、発音＝“りんぱかん”、発音＝“すみか”という読み属性情報に基づいて、「リンパ管」、「住み家」を、それぞれ、「りんぱかん」、「すみか」に置換する。
【０１４６】
文書処理装置１は、先に図１６に示したステップＦ１０２において、この図１７に示す処理を行うことによって、読み上げ用ファイルを自動的に生成する。文書処理装置１は、生成した読み上げ用ファイルをＲＡＭ１４に記憶させる。
【０１４７】
つぎに、図１６のステップＦ１０３における読み上げ用ファイルを用いた処理について説明する。
文書処理装置１は、読み上げ用ファイルを用いて、ＲＯＭ１５やＨＤＤ３４等に予め記憶されている音声合成エンジンに適した処理をＣＰＵ１３の制御のもとに行う。
具体的には、文書処理装置１は、読み上げ用ファイルに埋め込まれているCom=Lang=***という属性情報に基づいて、使用する音声合成エンジンを選択する。
音声合成エンジンは、言語や男声／女声等の種類に応じて識別子が付されており、その情報が例えば初期設定ファイルとしてＨＤＤ３４に記録されている。文書処理装置１は、初期設定ファイルを参照し、言語に対応した識別子の音声合成エンジンを選択する。 ．
【０１４８】
また文書処理装置１は、読み上げ用ファイルに埋め込まれているCom=begin_***を音声合成エンジンに適した形式に変換する。
例えば文書処理装置１は、Com=begin_phをMark=10000のように１００００番台の番号でマーク付けする。またCom=begin_sをMark=1000のように１０００番台の番号でマーク付けし、Com=begin_pをMark=100のように１００番台の番号でマーク付けする。
これは、＜句＞、＜文＞、＜段落＞の先頭が、それぞれ１００００番台、１０００番台、１００番台の番号で示されることを意味し、このマークによって＜句＞、＜文＞、＜段落＞の先頭が識別できるようになる。
さらに、読み上げ用ファイルにおいては、音量の属性情報がVoll=***のようにデフォルトの音量の百分率で表されていることから、文書処理装置１は、この属性情報に基づいて、百分率の情報を絶対値の情報に変換して求める。
【０１４９】
文書処理装置１は、先に図１６に示したステップＦ１０３において、このような読み上げ用ファイルを用いた処理を行うことによって、読み上げ用ファイルを音声合成エンジンが文書を読み上げることが可能な形式に変換するものとなる。
【０１５０】
つぎに、図１６のステップＦ１０４におけるユーザインターフェースを用いた操作について説明する。
文書処理装置１は、ユーザが例えば入力部２０のマウス等を操作して、先に図１０に示した読み上げボタン３０６ｃをクリックすることによって、音声合成エンジンを起動する。
そして文書処理装置１は、図２２に示すようなユーザインターフェース用の読み上げウインドウ４０１を表示部３０に表示する。
【０１５１】
この読み上げウインドウ４０１は、図示するように、文書を読み上げさせるための再生ボタン４２０と、読み上げを停止させるための停止ボタン４２１と、読み上げを一時停止させるための一時停止ボタン４２２とを有する。
また、この読み上げウインドウ４０１は、文単位で頭出し、早戻し及び早送りさせるための頭出しボタン４１１、早戻しボタン４１２及び早送りボタン４１３と、段落単位で頭出し、早戻し及び早送りさせるための頭出しボタン４１４、早戻しボタン４１５及び早送りボタン４１６と、句単位で頭出し、早戻し及び早送りさせるための頭出しボタン４１７、早戻しボタン４１８及び早送りボタン４１９とを有する。
【０１５２】
さらに、読み上げウインドウ４０１は、読み上げる対象を全文とするか、上述したようにして作成された要約文とするかを選択するための選択スイッチ４２３，４２４を有する。
また、読み上げ時に画像を表示する画像表示エリア４０３が設定され、読み上げている人のイメージを表示したり、テロップ表示エリア４０２が設けられ、読み上げ音声に対応して文字がテロップ表示できるようにされている。
【０１５３】
なお、ここでは図示しないが、例えば、音声を増減させるためのボタンや読み上げの速さを増減させるためのボタン、男声／女声等の声を変化させるためのボタン等を有していてもよい。
【０１５４】
文書処理装置１は、ユーザがこれらの各種ボタン／スイッチを例えば入力部２０のマウス等を操作してクリック／選択することに応じて、音声合成エンジンによる読み上げ動作を行う。
例えば、文書処理装置１は、ユーザが再生ボタン４２０をクリックすることによって、文書の読み上げを開始する。具体的には制御部１１は音声合成処理により生成した音声信号を音声出力部３３に供給し、音声として出力する。
また文書処理装置１は、停止ボタン４２１、一時停止ボタン４２２のクリックにおいて、読み上げ処理の停止や一時停止を行う。
【０１５５】
また、読み上げの途中でユーザが頭出しボタン４１１を押すことによって、現在読み上げている文の先頭にジャンプして再び読み上げる。頭出しボタン４１４、４１７についても同様に、それぞれ現在読み上げている段落や句の先頭にジャンプして再び読み上げを行う。
制御部１１は、この頭出しボタン４１１、４１４、４１７の操作に関しては、上記したマーク付により、ジャンプ先を認識するものとなる。即ち、文に関する頭出しボタン４１１が操作された際には、制御部１１は、現在読み上げている文の途中位置から文を遡っていき、１０００番台のマークをサーチする。そして１０００番台のマークが検出されたら、そこから読み上げを再開するものとなる。段落や句の場合は、それぞれ１００番台、１００００番台のマークを探して読み上げを再開するものとなる。
この様な処理によって、例えば文書中でユーザが所望の部分を繰り返し再生させたいといった要求に応えることができる。
【０１５６】
文書処理装置１は、図１６のステップＦ１０４において、ユーザがこのような読み上げウインドウ４０１でのユーザインターフェースを用いた操作を行うことに応じて、音声合成エンジンにより文書を読み上げる。
このようにして文書処理装置１は、所望の文書を音声合成エンジンにより違和感なく読み上げることができる。
【０１５７】
ところで読み上げる対象の文書としては文書データの本文でもよいし、後述するように生成される要約文であってもよい。本文か要約文かは、選択スイッチ４２３，４２４のクリックにより選択されるが、いずれにしても、本文又は要約文としてのタグファイルについて、図１６のステップＦ１０２，Ｆ１０３の処理が行われることで、音声合成エンジンによる文書読み上げが可能となる。
【０１５８】
なお本例では、受信又は作成したタグファイルから読み上げ用ファイルを生成するものとしたが、このような読み上げ用ファイルを生成せずに、タグファイルに基づいて直接読み上げを行うようにしてもよい。
この場合、文書処理装置１は、タグファイルを受信又は作成した後、音声合成エンジンを用い、タグファイルに付与されている段落、文及び句を示すタグに基づいて、段落、文及び句の先頭に所定の休止期間を設けて読み上げる。このようにすることによって、文書処理装置１は、音声読み上げ用ファイルを生成することなく、タグファイルに基づいて直接読み上げることができる。
【０１５９】
６．要約作成／表示処理
続いて、文書データについての要約文を作成する処理について述べる。
上述したようにユーザーは、文書を選択して図１０のような閲覧ウインドウ３０１を開くことにより、文書の本文を閲覧することができる。
そして閲覧ウインドウ３０１においては、選択された文書の本文及び要約文が表示される。
但し、また要約文が作成されていない時点では、図２６のように要約表示部３０４は空白とされる。
【０１６０】
この閲覧ウインドウ３０１において要約作成ボタン３０６ａがクリックされると、文書表示部３０３に表示されている文書についての要約文が作成され、図２７に示すように要約表示部３０４に表示される。
つまり制御部１１は、ソフトウエアもしくはハードウエアで構成される要約作成エンジン（図３７で後述）を起動させることにより、ユーザーの要約作成操作に応じて、以下説明するような要約文作成処理を行い、作成後、それを表示する制御を行うものとなる。
文書から要約を作成する処理は、文書のタグ付けによる内部構造に基づいて実行される。
【０１６１】
なお要約文は、通常は、要約表示部３０４のサイズに応じて生成される。そして本文表示部３０３と要約表示部３０４の面積は、ユーザーが仕切枠３１２を移動させることで変化させることができる。
つまり要約文は、要約作成が指示された時点での要約表示部３０４のサイズに応じたサイズ（文書長）で作成されることになる。
例えば図２６では要約表示部３０４は非常に狭いものとなっているが、ユーザーが仕切枠３１２を移動させて要約表示部３０４を広くした上で、要約作成を指示することで、例えば図２７のように広げられた要約表示部３０４に、そのエリアサイズに合った文書長の要約文が作成され、表示されるものとなる。
【０１６２】
但し、例えば図２６のように要約表示部３０４が非常に狭い場合に、そのサイズに応じた要約文を作成するとすると、その要約文は不十分な内容となってしまうことが多い。つまり十分な文書長で要約文を作成できないため、実質的に要約としての機能を果たさない文章となってしまう。
そこで本例では、要約表示部３０４としてのウインドウサイズ（ウインドウ内に表示可能な文書長）が所定値以下、例えば図２６のような画面上での行数でいうと１〜２行程度未満の場合などには、要約表示部３０４のサイズを越える文書長の要約文を作成するようにし、ソフトウエアもしくはハードウエアで構成されるテロップ作成エンジン（図３７で後述）により、それをテロップ化して表示するようにしている。
【０１６３】
以下、このようなテロップ表示を含む、本例の要約文の作成及び表示動作について説明していく。
【０１６４】
閲覧ウインドウ３０１上で要約作成ボタン３０６ａがクリックされることにより、制御部１１（要約作成エンジン）によって図２３の要約作成処理が開始される。なお図２３の要約作成処理が終了すると、続いて図２４の要約文表示処理が実行され、また場合によっては、その要約文表示処理中で図２５のテロップ表示処理が行われるものとなる。
【０１６５】
図２３の要約作成処理としては、まずステップＦ８１として制御部１１は活性拡散を行う。本例においては、活性拡散により得られた中心活性値を重要度として採用することにより、文書の要約を行うものである。すなわち、タグ付けによる内部構造を与えられた文書においては、活性拡散を行うことにより、各エレメントにタグ付けによる内部構造に応じた中心活性値を付与することができる。
ステップＦ８１で行う活性拡散処理は、図６〜図８で説明したものと同様の処理となるが、上述したように活性拡散は、中心活性値の高いエレメントと関わりのあるエレメントにも高い中心活性値を与えるような処理である。すなわち、活性拡散は、照応（共参照）表現とその先行詞の間で中心活性値が等しくなり、それ以外では中心活性値が減衰するような中心活性値についての演算である。この中心活性値は、タグ付けによる内部構造に応じて決定されるので、タグ付けによる内部構造を考慮した文書の分析に利用することができる。
【０１６６】
次にステップＦ８２で、その時点の要約表示部３０４のサイズｗｓｙを確認し、要約表示部サイズｗｓｙが予め設定されている所定サイズｗｓｔｈ以上であるか否かを確認する。
この所定サイズｗｓｔｈとは、通常、要約文としては十分な文書長（文字数）を表示できるウインドウサイズとして設定されているものである。所定サイズｗｓｔｈとしての具体的な値は、システム設計上、適切な値が決められるものとなる。
【０１６７】
まず、要約表示部サイズｗｓｙが予め設定されている所定サイズｗｓｔｈ以上であった場合について説明していく。これは要約表示部サイズｗｓｙに応じた要約文が作成される場合の処理となる。
この場合、制御部１１の処理は、ステップＦ８３に進み、制御部１１は、その時点で表示部３０に表示されている閲覧ウィンドウ３０１の要約表示部３０４のサイズｗｓｙ（具体的にはこの要約表示部３０４に表示可能な最大文字数）を変数（最大文字数）ｗｓと設定する。
また制御部１１は、要約の文字列（要約文を保持する内部レジスタ）ｓを初期化して初期値ｓ（０）＝””と設定する。制御部１１は、このように設定した、最大文字数ｗｓおよび文字列ｓの初期値ｓ（０）を、ＲＡＭ１４に記録する。
【０１６８】
次にステップＦ８５に進み、制御部１１は、文の骨格の抽出処理をカウントするカウンタのカウント値ｉを「１」に設定する。
そしてステップＦ８６で制御部１１は、カウンタのカウント値ｉに基づいて、文章からｉ番目に平均中心活性値の高い文の骨格を抽出する。
平均中心活性値とは、一つの文を構成する各エレメントの中心活性値を平均したものである。
制御部１１は、たとえばＲＡＭ１４に記録した文字列ｓ（ｉ−１）を読み出し、この文字列ｓ（ｉ−１）に対して、抽出した文の骨格の文字列を加えて、Ｓ（ｉ）とする。そして制御部１１は、このようにして得た文字列ｓ（ｉ）をＲＡＭ１４に記録する。
初回は、文字列ｓ（ｉ−１）は初期値ｓ（０）であるので、今回抽出した文の骨格が文字列Ｓ（ｉ）としてＲＡＭ１４に記憶されることになる。
また以降においてステップＦ８４の処理が行われる場合は、抽出された文の骨格が文字列Ｓ（ｉ）に、それまでの文字列Ｓ（ｉ）（つまりその時点では文字列Ｓ（ｉ−１））に追加されていくものとなる。
また同時に、制御部１１はこのステップＦ８４において、上記文の骨格に含まれないエレメントの中心活性値順のリストＬ（ｉ）を作成し、このリストＬ（ｉ）をＲＡＭ１４に記録する。
【０１６９】
すなわち、このステップＦ８６においては、要約のアルゴリズムは、活性拡散の結果を用いて、平均中心活性値の大きい順に文を選択し、選択された文の骨格の抽出する。文の骨格は、文から抽出した必須要素により構成される。必須要素になりうるのは、エレメントの主辞（head）と、主語（subject）、目的語（object）、間接目的語（indirect object）、所有者（possessor）、原因（cause）、条件（condition）または比較（comparison）の関係属性を有する要素と、等位構造が必須要素のときにはそれに直接含まれるエレメントとが必須要素を構成するものである。そして、文の必須要素をつなげて文の骨格を生成し、要約に加える。
【０１７０】
ステップＦ８７では制御部１１は、文字列ｓ（ｉ）の長さが、閲覧ウィンドウ３０１の要約表示部１０４の最大文字数ｗｓより大きいか否かを判断する。
このステップＦ８７は、要約表示部３０４のサイズに応じた要約文を作成するための判断処理となる。
【０１７１】
制御部１１は、文字列ｓ（ｉ）の長さが最大文字数ｗｓに達していないときは、処理をステップＦ８８に進める。
ステップＦ８８では制御部１１は、文書中で、（ｉ＋１）番目に平均中心活性値が高い文のエレメントの中心活性値と、上記ステップＦ８６で作成したリストＬ（ｉ）の最も中心活性値が高いエレメントの中心活性値を比較する。
つまり、上記ステップＦ８６において要約として採用された文の次に平均中心活性値が高い文（即ち次に要約文に付加する候補となる文）と、ステップＦ８６において要約として採用された文の中で骨格ではないとして要約からは排除されたエレメントの中心活性値を比較する。
【０１７２】
このステップＦ８８の処理は、要約文としての文字列に次に加える部位を、その直前のステップＦ８６で採用した文において骨格として採用されなかったものから選ぶか、或いは他の文から選ぶかを判断する処理となる。
【０１７３】
（ｉ＋１）番目に平均中心活性値が高い文におけるエレメントの中心活性値よりも、リストＬ（ｉ）における最も高い中心活性値の方が、中心活性値が高い値であった場合は、要約文としての文字列に次に加える部位を、その直前のステップＦ８６で採用した文において骨格として採用されなかったものから選ぶようにする。
このため制御部１１の処理はステップＦ９０に進み、リストＬ（ｉ）における最も中心活性値が高いエレメントを、その時点で記憶されている文字列Ｓ（ｉ）に加え、文字列ＳＳ（ｉ）とする。
またこのとき、文字列ＳＳ（ｉ）に加えたエレメントをリストＬ（ｉ）から削除する。
そして、ステップＦ９１において、文字列ＳＳ（ｉ）が、最大文字数ｗｓより大きいか否かを判断し、大きくなければステップＦ８８に戻る。
【０１７４】
ステップＦ８８において、（ｉ＋１）番目に平均中心活性値が高い文のエレメントとして、リストＬ（ｉ）における最も高い中心活性値よりも中心活性値が高いエレメントがあった場合は、要約文としての文字列に次に加える部位を、その直前のステップＦ８６で採用した文とは別の文から選ぶこととしてステップＦ８９でカウント値ｉをインクリメントしてステップＦ８６に戻ることになる。
つまりステップＦ８８で、（ｉ＋１）番目に平均中心活性値が高い文とされた文について、ステップＦ８６で骨格を抽出し、それを文字列Ｓ（ｉ）に加えるようにする。
【０１７５】
以上のように、ステップＦ８６又はステップＦ９０で文の骨格となるエレメントやその他のエレメントとして、中心活性値の高いものを基準として文字列に加えていきながら、ステップＦ８７又はステップＦ９１で、文字列Ｓ（ｉ）又はＳＳ（ｉ）を最大文字数ｗｓと比較していくことで、最大文字数ｗｓに近いが最大文字数ｗｓを越えない文字列を作成していくことになる。
【０１７６】
例えばステップＦ８７で文字列Ｓ（ｉ）が最大文字数ｗｓを越えた場合は、制御部１１の処理はステップＦ９２に進み、直前のステップＦ８６で骨格を加える前の文字列Ｓ（ｉ−１）を、要約文とする。
つまり、これはステップＦ８６で文の骨格を加えたことにより、最大文字数ｗｓを越えてしまったことになるため、その骨格を加える前の文字列Ｓ（ｉ−１）が、最大文字数ｗｓに近いが最大文字数ｗｓを越えない文字列であると判断して、それを要約文とするものである。
【０１７７】
なお、このため初めてステップＦ８６で文字列Ｓ（ｉ）を生成した時点（ｉ＝１の時点）で、ステップＦ８７で、文字列Ｓ（ｉ）が最大文字数ｗｓを越えた場合は、文字列Ｓ（ｉ−１）は、ステップＦ８３で設定した初期値としての文字列Ｓ（０）となるため、実質的に要約文は作成できなかったことになる。
これは、要約表示部３０４のサイズが小さすぎたことに起因するため、ユーザーは画面上で要約表示部３０４の面積を広げた上で、再度、要約作成ボタン３０６ａをクリックして、図２３の処理が開始されるようにすればよい。
但し、本例の場合、ステップＦ８２において要約表示部３０４のサイズが小さすぎる場合が判別され、そのような場合は後述するように、要約表示部３０４のサイズで表示可能な文書長より長い文書長の要約文が作成される処理となるため、実質的に要約文が作成できなくなる事態は、ほとんど発生しない。
【０１７８】
ステップＦ８７で文字列Ｓ（ｉ）が最大文字数ｗｓを越えていない場合は、上述のように制御部１１の処理はステップＦ８８に進み、次に文字列に加える部分を判断することになる。
そして上記のようにステップＦ９１に進んだ場合は、文字列ＳＳ（ｉ）が最大文字数ｗｓを越えたか否かを判別する。
ここで文字列ＳＳ（ｉ）が最大文字数ｗｓを越えた場合は、制御部１１の処理はステップＦ９３に進み、直前のステップＦ９０で或るエレメントを加える前の文字列Ｓ（ｉ）を、要約文とすることになる。
つまり、これはステップＦ９０でエレメントを加えたことにより、最大文字数ｗｓを越えてしまったことになるため、そのエレメントを加える前の文字列Ｓ（ｉ）が、最大文字数ｗｓに近いが最大文字数ｗｓを越えない文字列であると判断して、それを要約文とするものである。
【０１７９】
以上の処理説明は、ステップＦ８２→Ｆ８３→Ｆ８５と進んだ場合として説明した。従って、図２３の処理を終えた時点で、要約表示部３０４のサイズに適合した文書長の要約文が作成されたことになる。そしてその要約文の内容は、平均中心活性値の高い１又は複数の文の骨格、及び骨格以外の中心活性値の高いエレメントが用いられたものとなる。
この様に作成された要約文は、ＲＡＭ１４に記憶されるとともに、図２７のように要約表示部３０４に、その要約文全体が固定的に表示される。
【０１８０】
つまり、図２３の要約作成処理が終了されると続いて制御部１１の処理は図２４の要約文表示処理に進む。要約文表示処理としては、まずステップＦ９４で、要約表示部３０４のサイズｗｓｙがその時点での最大文字数ｗｓと一致しているか否かを確認する。つまり直前の要約作成処理で用いられていた最大文字数ｗｓは、ステップＦ８３で要約表示部３０４のサイズｗｓｙが代入されたものであるか否かを判別する。
ｗｓｙ＝ｗｓの場合とは、上記の処理により、その時点の要約表示部３０４のサイズに適合した要約文が作成された場合である。そこでその場合は、ステップＦ９６に進み、作成された要約文を要約表示部３０４に表示させる。
これにより、図２７のように要約文全体が固定表示される。つまり、ユーザーが予め要約表示部３０４のサイズを任意に設定した上で要約作成を指示することで、要約表示部３０４のサイズに応じた文書長の要約が固定的に（つまりテロップ化として切り換えや移動なしに）表示されることになる。
【０１８１】
なお、表示された要約文を見てユーザーがより詳しい要約文を見たいと思った場合、或いはより短い要約文を見たいと思った場合は、閲覧ウインドウ３０１の要約表示部３０４のサイズ（面積）を増減した上で、再度要約作成ボタン３０６ａをクリックすればよい。
すると、要約表示部３０４のサイズｗｓｙが、所定サイズｗｓｔｈ以上である限りは、図２３の上述した処理により、その時点の要約表示部３０４のサイズに応じた文書長の要約書が作成され、表示されることになる。
【０１８２】
ところで、例えば図２６のように要約表示部３０４が非常に小さいサイズとされている状態でユーザーが要約作成ボタン３０６ａをクリックし、図２３の要約作成処理が開始された場合などで、ステップＦ８２において要約表示部３０４のサイズｗｓｙが、所定サイズｗｓｔｈ未満であると判断された場合は、以下のような処理が行われることとなる。
【０１８３】
この場合は制御部１１の処理はステップＦ８４に進み、最大文字数ｗｓとして、予め設定された固定値ｗｓｆｉｘを代入する。この固定値ｗｓｆｉｘとは、要約文として最低限必要であるとして設定された文字数に相当する値であり、システム設計上、適切な値が設定される。例えばｗｓｆｉｘ＝ｗｓｔｈとしてもよい。
さらに、固定値ｗｓｆｉｘ＝（ｗｓｆｉｘ−ｉ）×Ｖとし、固定値初期値ｗｓｆｉｘ−ｉを保持するとともに、係数Ｖの値をユーザーが任意に入力できるようにすることで、固定値ｗｓｆｉｘをユーザーが任意に設定できるようにしてもよい。
【０１８４】
また、制御部１１は、要約の文字列（要約文を保持する内部レジスタ）ｓを初期化して初期値ｓ（０）＝””と設定する。制御部１１は、このように設定した、最大文字数ｗｓおよび文字列ｓの初期値ｓ（０）を、ＲＡＭ１４に記録する。
【０１８５】
続いて制御部１１はステップＦ８５で変数ｉ＝１とした後、ステップＦ８６以降の処理に進むが、これは上述したとおりとなるため重複説明は避ける。
即ちこの場合も、最大文字数ｗｓを越えない範囲で、最大文字数ｗｓに最も近い文字数としての要約文を作成していくことになる。但しこの場合は、最大文字数ｗｓ＝ｗｓｆｉｘとされているため、その時点の要約表示部３０４のサイズに応じた文字数とはならず、実際には要約表示部３０４での表示可能な文字数を越える文字数（文書長）の要約文が生成されることになる。
【０１８６】
ステップＦ８６〜Ｆ９３の処理により要約文が作成されたら、制御部１１は図２４の要約文表示処理を実行する。
そしてこの場合は最大文字数ｗｓは要約表示部サイズｗｓｙではないため、ステップＦ９４からＦ９５に進み、テロップ作成エンジンを用いて、生成した要約文をテロップ化して表示していく処理を行うことになる。
【０１８７】
このステップＦ９５のテロップ表示処理の例を図２５に詳しく示す。
まず制御部１１（テロップ作成エンジン）はステップＦ５０１で変数ｎ＝１とセットする。そしてステップＦ５０２で、生成した要約文から第ｎの文を抽出する。従ってまず要約文を構成している第１の文が抽出される。
【０１８８】
次にステップＦ５０３で、抽出した文の文長Ｌｓ（語数）が、要約表示部サイズｗｓｙを越えているか否かを判別する。
例えば要約文を構成している１又は複数の文のうちの第１の文が、その時点の要約表示部サイズｗｓｙにおいて表示可能な語数以下であったとすると、制御部１１の処理はステップＦ５０４に進む。そして、文長Ｌｓに所定の係数ｋを乗算して、テロップ表示時間Ｔ１を算出する。
【０１８９】
続いてステップＦ５０５で制御部１１は内部タイマのカウントをスタートさせるとともに、ステップＦ５０６で、その第１の文を要約表示部３０４に表示させる。このとき、文長Ｌｓは要約表示部サイズｗｓｙ以下であるため、その第１の文の全体が、テロップとして要約表示部３０４に表示される。
この表示動作中には、制御部１１はステップＦ５０７でタイムカウント値を監視しており、タイマによりＴ１時間が計数された時点で、ステップＦ５１５に進む。そして、ステップＦ５１５で要約文の最後の文の表示までが完了したか否かを判断し、完了していなければステップＦ５１６で変数ｎをインクリメントしたうえでステップＦ５０２に戻る。従って、次に要約文を構成している文のうちの第２の文を抽出することになる。
【０１９０】
続いて制御部１１は、第２の文についてステップＦ５０３の判別を行うが、ここで、第２の文の文長が要約表示部サイズｗｓｙを越えていたとすると（つまり一度に文全体を表示できない場合）、制御部１１の処理はステップＦ５０８に進み、要約表示部に表示可能な文長Ｌｗｓｙに所定の係数ｋを乗算して、テロップ表示時間Ｔ１を算出する。
続いてステップＦ５０９で制御部１１は内部タイマのカウントをスタートさせるとともに、ステップＦ５１０で、その第２の文をテロップとして要約表示部３０４に表示させる。但し、このとき、文長Ｌｓは要約表示部サイズｗｓｙを越えているため、表示可能な先頭部分のみを表示することになる。つまり第２の文のうちの、先頭から文長Ｌｗｓｙに相当する部分を表示する。
この表示動作中には、制御部１１はステップＦ５１１でタイムカウント値を監視しており、タイマによりＴ１時間が計数された時点で、ステップＦ５１２に進む。
【０１９１】
ステップＦ５１２では、表示されている文を、１文字分スクロールさせる。そしてステップＦ３１３でＴ２時間待機する。そして、ステップＦ５１４で第２の分の最後の文字までが表示されたか否かを判断し、まだ最後の文字まで達していなければ、ステップＦ５１２に戻って１文字分スクロールさせる。
待機時間としてのＴ２時間は、スクロールタイミングを規定する時間となり、これもシステム設計上設定される値となるが、例えば０．５〜１秒程度とすると、適切な速度で、文がスクロールされていくことになる。
【０１９２】
このようなステップＦ５０８〜Ｆ５１４の処理により、要約表示部３０４に表示しきれない文については、まず先頭部分がＴ１時間表示された後、Ｔ２時間毎に１文字づつ表示がスクロールされていき、その文の最後の文字に至るまで表示されることになる。
【０１９３】
スクロールにより文の最後の文字までが表示されたら、制御部１１の処理はステップＦ５１４からＦ５１５に進み、要約文の最後の文の表示までが完了したか否かを判断し、完了していなければステップＦ５１６で変数ｎをインクリメントしたうえでステップＦ５０２に戻る。従って、次に要約文を構成している文のうちの第３の文を抽出することになる。
そして第３の文について、ステップＦ５０４〜Ｆ５０７、もしくはステップＦ５０８〜Ｆ５１４の処理によりテロップ表示を実行する。
【０１９４】
ステップＦ５１５で、要約文を構成する全ての文について表示を終了したと判断すると、処理はステップＦ５１７に進み、要約文の先頭部分を表示する。即ち要約表示部サイズｗｓｙにおいて表示可能な先頭部分を表示する状態とする。またステップＦ５１８で、後述するスクロールバー３０７を表示して、テロップ表示処理を終了する。
【０１９５】
以上のようなテロップ表示処理で実現される表示動作は、次のようになる。
例えば図２６のように要約表示部３０４が非常に狭くされた状態の閲覧ウインドウ３０１において要約作成ボタン３０６ａがクリックされ、要約文が作成されるとする。
このとき、上述の図２３の処理で要約表示部３０４での表示可能な文書長よりも長い要約文が作成される。
【０１９６】
例えば図２６において本文表示部３０３に表示されている本文に対して、次のような要約文が生成されたとする。
「［素敵にエイジング］／８ガン転移、抑えられる！？がんを特徴づけるのは、細胞増殖と転移である。人間の細胞には、「がん遺伝子」と、「がん抑制遺伝子」がある。高齢者の場合、長い年月の間に正常な調節機能が失われ、細胞内でブレーキが利かない変異が蓄積し、細胞の割合が増え、がん多発につながるわけだ。転移、がん細胞が増えるだけでは発生しない。がん細胞が蛋白質などを溶かし、道をつくって、血管やリンパ管に入り込む。がんの診断、治療の面から（ｎｍ２３）の期待が集まっている。」
【０１９７】
このような要約文は、次のように▲１▼〜▲７▼の７つの文から構成されているが、上述した本例のテロップ表示処理では、文単位でテロップ化する。
▲１▼［素敵にエイジング］／８ガン転移、抑えられる！？
▲２▼がんを特徴づけるのは、細胞増殖と転移である。
▲３▼人間の細胞には、「がん遺伝子」と、「がん抑制遺伝子」がある。
▲４▼高齢者の場合、長い年月の間に正常な調節機能が失われ、細胞内でブレーキ が利かない変異が蓄積し、細胞の割合が増え、がん多発につながるわけだ。
▲５▼転移、がん細胞が増えるだけでは発生しない。
▲６▼がん細胞が蛋白質などを溶かし、道をつくって、血管やリンパ管に入り込む。
▲７▼がんの診断、治療の面から（ｎｍ２３）の期待が集まっている。
【０１９８】
図２５の処理により、まず最初に第１の文▲１▼が抽出され、図２８のように要約表示部３０４に表示される。
この図２５の状態以降の要約表示部３０４のテロップ表示状態を図２９（ａ）〜（ｊ）で説明していく。
【０１９９】
図２８の文▲１▼は、文長Ｌｓ≦ｗｓｙである（文全体を表示可能である）ため、図２５のステップＦ５０４〜Ｆ５０７の処理で、図２９（ａ）の表示状態が、文長に応じて算出されたＴ１時間継続される。
続いて文▲２▼、▲３▼も文長Ｌｓ≦ｗｓｙとなるため、それぞれステップＦ５０４〜Ｆ５０７の処理で、文長に応じて算出されたＴ１時間づつ、図２９（ｂ）（ｃ）の表示が実行される。
【０２００】
次の文▲４▼は、文長Ｌｓ＞ｗｓｙである（文全体を表示不能である）ため、図２５のステップＦ５０８〜Ｆ５１４の処理が行われる。
即ちまず図２９（ｄ）のように文の先頭部分が、算出されたＴ１時間表示された後、Ｔ２時間毎に、図２９（ｅ）→（ｆ）のように、表示が１文字づつスクロールされる。
その後同様にスクロールが進み、図２９（ｇ）の状態となることで、文▲４▼の表示が完了することになる。
【０２０１】
続いて文▲５▼、▲６▼、▲７▼がそれぞれ順次抽出され、これらは文長Ｌｓ≦ｗｓｙであるため、それぞれステップＦ５０４〜Ｆ５０７の処理で、文長に応じて算出されたＴ１時間づつ、図２９（ｈ）（ｉ）（ｊ）の表示が実行される。
【０２０２】
以上のように各文毎にテロップとして順次表示され、また文長が長くて表示しきれない場合は、その表示しきれなかった部分がスクロールにより表示される。
そして、要約文を構成する全文のテロップ表示を完了したら、図２５のステップＦ５１７、Ｆ５１８として、図３０に示すように要約文の先頭部分が表示されるとともに、スクロールバー３０７が表示される。
即ち、上記テロップ表示により、要約文全体をユーザーに提示した後は、スクロールバー３０７を用意することで、その後ユーザーが、要約表示部３０４上の文字を任意にスクロールさせて、要約文内容を確認できるようにするものである。
【０２０３】
本例の要約文の作成及び表示は以上のように実行されるが、これによりユーザーにとって好適な要約提示が可能となる。
まず、ユーザーは、要約表示部３０４のサイズを任意に設定することで、生成される要約文の文書長を設定できる。
つまり詳しい要約文を見たいときには要約表示部３０４を広くしてから要約作成ボタン３０６ａをクリックし、一方、簡単な内容の要約文を見たいときには要約表示部３０４を狭くしてから要約作成ボタン３０６ａをクリックすればよい。それにより、ユーザーの望むサイズの要約文が生成され、テロップではなく固定表示される。
【０２０４】
また、もしユーザーが要約表示部３０４を狭くしすぎてしまった場合は、そのウインドウサイズに関わらず最低限必要な文書長の要約文が作成され、上述のようにテロップ化されて表示されることになる。
従って、例えばユーザーが本文表示部３０３を広くとりたいためにやむおえず要約表示部３０４をかなり狭くしたような場合でも、ユーザーは適切な内容の要約文を見ることができるようになる。これにより内容を正確に認識できる。
【０２０５】
また本例のテロップ表示処理では、要約文を文単位でテロップ化しているが、１つの文の表示時間（Ｔ１）は、その文長に応じて算出しているため、各文（テロップ）は、ユーザーが読むのに適切な表示時間となる。
さらに、文が長い場合は、スクロール表示を実行するため、ユーザーが１つの文を認識することに好適である（後続部分は切換表示でなく移動表示されるために、１つの文が続いていることをユーザーが認識しやすい）。
【０２０６】
なお、テロップ表示処理の例としては図２５の例に限らず各種の処理例が考えられる。
例えば文単位でなく、文節、句などの単位でテロップ化するようにしてもよいし、文や文節の長さに応じて、表示の区切を変更するようにしてもよい。
また、要約文全体を最初から最後までスクロール表示していくことも考えられる。
いずれにしても、切換表示又は移動表示、もしくはその組み合わせにより、要約文の全体がユーザーに提示されるようにすればよい。
【０２０７】
また各テロップとしての表示期間や切換タイミング、スクロールタイミングの設定は多様に考えられる。
上述のように本例では本文や要約文についての読み上げも可能であるが、テロップ作成エンジンにより行われるテロップ表示のタイミングを、読み上げ音声の出力タイミングに合わせて設定することも可能である。
例えば上述したように読み上げ処理においては、タグファイルから読み上げ用ファイルを生成し、その読み上げ用ファイルを音声合成エンジンに適した形態に変換した上で、音声合成エンジンによって、人が話すような自然な感じでの速度や、段落、文、句の区切によって読み上げが実行されるようにしている。
従って、そのような段落、文、句の区切や、読み上げ速度と同様のテロップ区切や、表示期間の設定を行うことで、ユーザーにとって読みやすいテロップ表示を実現できる。
具体的な手法例としては、上述したように音声合成エンジンによる読み上げ処理を実行させ（但し読み上げ音声の出力は実行させない）、ＣＰＵ１３はその読み上げタイミングを参照して、テロップ表示の区切及び切換タイミングを設定すればよい。例えば音声合成エンジンによって或る句の読み上げが実行されている期間（実際には音声は出力しない）に、その句としての文字列をテロップ表示するとともに、読み上げ音声が次の句に進んだ時点で、次の句のテロップ表示に切り換えるような処理となる。
このような音声合成エンジンとテロップ作成エンジンの連動を実現する構成も図３７で後述する。
【０２０８】
ところで、上記の例は、要約作成処理とその表示処理に関連して、要約表示の際に場合によってはテロップ表示を行う処理として説明したが、テロップ表示を要約作成／表示処理とは関連せずに実行することも可能である。
すなわち、或る文書データの本文又は要約文に対して、図２５で説明した処理が行われれば、テロップ表示が可能となるものであり、テロップ表示動作がユーザーの操作等に応じて独立に行われてもよい。従って、本例のテロップ表示動作は、必ずしも図２３、図２４で説明した要約表示部３０４のサイズに応じて実行されるだけのものではなく、例えば要約表示部３０４のサイズ又は要約作成処理などに関わらず、ユーザーが任意に実行させることができるものである。
もちろん読み上げ動作とともにテロップ表示を行うことも可能である。
【０２０９】
７．ビデオファイルの出力処理
７−１ ビデオファイル及びタグ
以上の説明は本例の文書処理装置１において主に文書データのみを対象とした処理についてであるが、本例の文書処理装置１では、上記のような各種処理、例えば本文の表示出力、要約文の表示出力、読み上げ音声の出力などと連携して、もしくは独立して、文書データに関連するビデオデータを出力することができる。以下、ビデオデータに関する各種処理を説明していく。
【０２１０】
まず、ビデオデータとしてのデータファイル（以下、ビデオファイルという）及び、ビデオファイルを文書データと関連づけるために文書データに付与されているタグ構造について説明する。
上述したように、例えば通信部２１や記録媒体３２から文書処理装置１に文書データが取り込まれる際には、同時にビデオファイルが取り込まれることがある。また文書データとは別にビデオファイルが入力されることもある。
図４、図１２などで説明したように、文書処理装置１に取り込まれた文書データやビデオファイルは、ＲＡＭ１４やＨＤＤ３４などに格納される。そして制御部１１は必要に応じて格納された文書データを取り出すことで、上述のように文書の本文の表示や、要約作成及び表示、読み上げなどを実行できるが、格納されているビデオファイルに関しても、処理対象となっている文書データに対応するビデオファイルを取り出して表示出力することができる。
【０２１１】
図３１に、文書処理装置１内に格納されている文書データ及びビデオファイルのイメージを示す。
文書データ、即ちタグファイルとしては、図示するようにタグファイルＴＧ１、ＴＧ２、ＴＧ３・・・・というように、各種文書データが格納されている。
一方、ビデオファイルとしても、例えばビデオファイルＶ１、Ｖ２・・・・というように、各種のファイルが格納されている。
ビデオファイルの内容は多様であり、それぞれ文書データやビデオデータを供給するサーバ側が任意に作成するものであるが、例えばビデオファイルＶ１では複数のシーンとしての動画データＶＭ１〜ＶＭ４が含まれている。ビデオファイルＶ３は５つの動画データＶＭ５〜ＶＭ９が、ビデオファイルＶ５は１つの動画データＶＭ１２が含まれている。
またビデオファイルＶ２は、複数の静止画データＶＳ１〜ＶＳ７が含まれている。
ビデオファイルＶ４では、複数の静止画データＶＳ８，ＶＳ９と、複数の動画データＶＭ１０，ＶＭ１１が含まれている。
もちろんこれ以外にも、多様なビデオファイルが存在する。
ビデオデータは、例えばＭＰＥＧデータなどとされる。
【０２１２】
また動画データには、オーディオデータが含まれているものとしている。但し静止画データには、基本的にはオーディオデータは含まれないが、静止画映像に関連するオーディオデータが付加されていてもよい。
なお、ここでいうオーディオデータとは、動画もしくは静止画としての画像に対応して記録されたオーディオデータであり、関連関係にある文書データの本文や要約文の内容が読み上げられたようなオーディオデータではない（上述のように音声合成処理により発生される読み上げ音声信号のことではなく、また読み上げ音声と同内容の音声信号ではない）。
つまりオーディオデータは、ビデオデータに付随する音声のデータのことをいっており、直接的に文書データと一致するものではない。例えば記録された映像の収録時の周囲音声、効果音、アナウンス／説明等の音声など、通常のビデオデータに含まれる音声データのことである。（但し、情報提供者側の意向により、或る文書データに対応するビデオデータに、その文書データをそのまま読み上げたような内容のオーディオデータを付加することはあり得る。）
【０２１３】
また、各ビデオファイルは、例えば、時／分／秒／フレームとしてのタイムコードＴＣがビデオデータを構成するフレーム単位で付されている。例えばビデオファイルＶ１では図示するように、先頭のフレームから終端のフレームまでにおいて「００：００：００：００」〜「００：０３：３９：０５」のタイムコードＴＣが付されている。
このタイムコードＴＣはビデオファイルにおける各部のアドレス的に機能し、例えばタイムコードを指定することで、任意の箇所（任意の区間）を再生させることができる。例えばビデオファイルＶ１における動画データＶＭ２を再生させる場合などは、その動画データＶＭ２としての区間の開始フレームと終了フレームのタイムコードが指定されればよい。
【０２１４】
このようにビデオファイルは、それぞれ１又は複数の動画や静止画のデータで構成されるが、文書データ（タグファイル）は、その文書内容に関連するビデオデータとして、ビデオファイル名や各動画データ、静止画データを指定するタグが付されている。
つまりタグファイルとしては、文書全体、段落、文、句などの任意の単位で、タグにより関連するビデオデータを指定することができ、文書処理装置１は、そのようなタグ（以下、ビデオデータを指定するタグを、ビデオタグという）に基づいて、文書データに関連するビデオデータを判別し、出力することができる。
【０２１５】
また、ビデオタグにより文書データに関連するビデオデータを判別できるということは、その時点で逆にビデオデータから関連する文書データを判別できることにもなる。
さらに文書データに付されたビデオタグにタイムコードが含まれていることで、タイムコードで規定されるシーン毎に、関連する文書部分を特定できるものともなる。
【０２１６】
ビデオタグが付されたタグファイルの例を図３２、図３３に示す。
図３２は、前述した図１８と同一の内容としてのタグファイルに、ビデオタグが付加された例である。
図１８の場合は、文書範囲を規定するタグとして＜文書＞〜＜／文書＞が付されていたが、この場合、文書範囲を示すタグにおいてビデオタグが付加され、
＜文書 ビデオファイル＝“Ｖ３”＞
とされ、この文書データの全体に関連するビデオデータが、図３１に示したビデオファイルＶ３に含まれることが表されている。
【０２１７】
また（例１０）としての部分に示すように、＜見出し＞＜シーン＝“ＶＭ５”ｉｎ＝“００：００：００：００” ｏｕｔ＝“００：００：１６：１０”＞・・・・・＜／シーン＞＜／見出し＞
とされ、このようなタグによって、この文書データの見出し部分に関連するビデオデータが、図３１に示したビデオファイルＶ３に含まれる動画データＶＭ５であることが表されている。また、ｉｎ＝“００：００：００：００”とｏｕｔ＝“００：００：０３：１２”により、ビデオファイルＶ３内における動画データＶＭ５としてのシーンの開始時間（開始フレーム）と終了時間（終了フレーム）、即ちタイムコードが指定されている。
【０２１８】
さらに（例１１）としての部分に示すように、＜段落＞＜シーン＝“ＶＭ９”ｉｎ＝“００：０５：２９：０１” ｏｕｔ＝“００：０６：４１：００”＞・・・・・＜／シーン＞＜／段落＞
とされ、このようなタグによって、この文書データにおける図３２（ｂ）に示した段落部分に関連するビデオデータが、図３１に示したビデオファイルＶ３に含まれる動画データＶＭ９であることが表されている。また、ｉｎ＝“００：０５：２９：０１” ｏｕｔ＝“００：０６：４１：００”により、ビデオファイルＶ３内における動画データＶＭ９としてのシーンの開始時間（開始フレーム）と終了時間（終了フレーム）、即ちタイムコードが指定されている。
【０２１９】
このようなタグ構造により、制御部１１は、当該タグファイルに関連するビデオデータを判別でき、必要に応じて再生出力させることができる。
【０２２０】
また図３３は、前述した図１９と同一の内容としてのタグファイルに、ビデオタグが付加された例である。
この例は、文書データ内の１つの文ごとに、対応する１つの静止画データが指定されている例である。
まず、＜文書 ビデオファイル＝“Ｖ２”＞・・・・＜／文書＞というタグにより、この文書に関連するビデオデータがビデオファイルＶ２に含まれていることが示される。
そして各文は、＜文＞〜＜／文＞というタグで、その範囲が示されるが、（例１２）〜（例１６）において示すように、それぞれ各文についてのタグが、
＜文 シーン＝“ＶＳ１”＞・・・・＜／文＞
＜文 シーン＝“ＶＳ２”＞・・・・＜／文＞
＜文 シーン＝“ＶＳ３”＞・・・・＜／文＞
＜文 シーン＝“ＶＳ４”＞・・・・＜／文＞
＜文 シーン＝“ＶＳ５”＞・・・・＜／文＞
とされており、つまり、各文のそれぞれに、静止画データＶＳ１、ＶＳ２、ＶＳ３、ＶＳ４、ＶＳ５が対応していることが示されている。
【０２２１】
なお、ビデオファイルＶ２において各静止画データＶＳ１〜ＶＳ７がそのデータ名称「ＶＳ１」・・・「ＶＳ７」として再生指定できる管理構造がとられていることを前提とすれば、このようなシーンをデータ名称のみで指定するビデオタグでよいが、静止画データについても上記の動画データと同様にビデオタグ内でタイムコードにより指定されるようにしてもよい。
また逆に、動画データの再生区間をデータ名称のみで指定できる場合は、必ずしも上記のようにタイムコードを指定する必要はない。
【０２２２】
この図３２、図３３のようなタグ構造により、制御部１１は、当該タグファイルの各文に関連するビデオデータを判別でき、必要に応じて再生出力させることができる。
【０２２３】
上記図３２の例は、文書の見出しや段落などの単位で、それぞれに１つの動画データが対応づけられた例で、図３３は文書の各文に、それぞれ静止画データが対応づけられた例であるが、タグファイルによるビデオデータの対応付は、多様なバリエーションで可能となる。
即ち、＜＊＊句＞〜＜／＊＊句＞などのタグにビデオタグを付加すれば、句単位など、任意の単位で或るビデオデータを対応づけることが可能である。また文書全体の範囲を示す＜文書＞〜＜／文書＞のタグにビデオタグを付加すれば、文書全体に対して１つのビデオデータを対応づけることができる。
また、１つのタグファイル内で、複数の動画データを対応付けしたり、静止画データと動画データを複合的に対応付けすることも当然可能である。
【０２２４】
７−２ ビデオ出力処理
以上の例のようなタグファイルによれば、文書処理装置１はタグファイルに関連づけてビデオデータを出力することができる。
以下、ビデオデータに関する出力処理を説明していく。なお、ビデオデータの出力時には、同時に文書データに関して本文又は要約文の表示、テロップ表示、読み上げなどを連動的に実行することもできるが、これらの動作については詳しく後述する。
ここでは文書処理装置１が、ビデオデータのみを出力する場合の動作を説明していく。
【０２２５】
図３５は制御部１１によるビデオ出力処理を示す。この処理は、例えば上述した図２６のように閲覧ウインドウ３０１が表示されている状態で、ビデオボタン３０６ｄがクリックされることにより開始される。もちろん図２７のように要約文が作成され、表示された状態にあるときに、ビデオボタン３０６ｄがクリックされた場合でもよい。
【０２２６】
ビデオボタン３０６ｄがクリックされることに応じて、制御部１１は、まず図３５のステップＦ６０１として、閲覧ウインドウ３０１上に表示されている文書データのタグファイルを確認し、そのタグファイルが上記図３２、図３３のようにビデオタグを含むものであるか、或いは図１８、図１９のようにビデオタグが存在しないものであるかを確認する。
【０２２７】
もしビデオタグが存在しないタグファイルについて、閲覧ウインドウ３０１が開かれていた状態であったときは、表示されている文書データに関連するビデオデータは存在しないと判断し、ステップＦ６０１からビデオ出力処理を終える。つまりその場合は、ビデオボタン３０６ｄのクリックは無効な操作となる。
【０２２８】
ところが、閲覧ウインドウ３０１で表示されている文書データのタグファイルにビデオタグが含まれていた場合は、その文書データに関連するビデオデータが指定されていることになるため、制御部１１は処理をステップＦ６０２に進め、ビデオ出力用ファイルを生成する。
ビデオ出力用ファイルとは、例えば図３４（ａ）（ｂ）に示すように、タグファイルからビデオタグを抽出して生成するファイルである。
図３４（ａ）は図３２のタグファイルから生成したビデオ出力用ファイルであり、この場合、上述したビデオタグが抽出され、図示するようにビデオファイルＶ３における動画データＶＭ５〜ＶＭ９を指定するファイル内容となる。
なお、図３２（ａ）（ｂ）ではタグファイルにおいて動画データＶＭ５、ＶＭ９が指定されて部分のみを示したが、この図３４（ａ）の例は、図３２（ａ）（ｂ）の各文書部分の間に３つの段落が存在し、それぞれの段落について動画データＶＭ６、ＶＭ７、ＶＭ８がそれぞれ指定されていたとしたときの例である。
【０２２９】
また図３４（ｂ）は図３３のタグファイルから生成したビデオ出力用ファイルであり、この場合、図示するようにビデオファイルＶ２における静止画データＶＳ１〜ＶＳ５を指定するファイル内容となる。
【０２３０】
このようなビデオ出力用ファイルは、文書処理装置１内のビデオエンジンによるビデオ再生動作の実行のためのファイルとなる。
ビデオエンジンは、ハードウェアで構成してもよいし、ソフトウェアで実現するようにしてもよい。ビデオエンジンをソフトウェアで実現する場合には、そのアプリケーションプログラムは、ＲＯＭ１５やＨＤＤ３４等に予め記憶されている。ビデオエンジンを含む機能構成については図３７で後述する。
【０２３１】
なお、図３４はビデオ出力用ファイルの構造としての一例であり、実際にビデオ出力用ファイルがこのような構造に限定されるものではない。
また、この図３５の処理や、後述する、文書データの出力をとともに実行する場合のビデオ出力処理では、ビデオ出力用ファイルに基づいてビデオデータが出力されるものとしているが、ビデオエンジンが直接タグファイルに基づいてビデオデータの再生を行うようにすることもできる。
【０２３２】
続いて制御部１１はステップＦ６０３で、ビデオエンジンを起動する。
また制御部１１はステップＦ６０４で、表示部３０に例えば図３６に示すようなビデオウインドウ５０１を開く。
このビデオウインドウ５０１には、文書データファイルのファイル名を表示するファイル名表示部５０２、そのファイル名の文書データに関連するビデオデータを表示するビデオ表示部５０３、ビデオ表示部５０３で表示されている映像の位置（動画データの再生進行位置）を示すビデオバー５０４、表示されている映像の開始位置としてのタイムコードを表示する開始位置表示部５２１、表示されている映像の現在の再生位置（カレントポジション）としてのタイムコードを表示する現在位置表示部５２２、表示されている映像の終了位置としてのタイムコードを表示する終了位置表示部５２３などが表示される。
さらに、画像再生動作をユーザーが指示するために、再生ボタン５０５、一時停止ボタン５０６、停止ボタン５０７、早戻しボタン５０８、早送りボタン５０９、戻し方向の頭出しボタン５１０、送り方向の頭出しボタン５１１などが表示される。
【０２３３】
このようなビデオウインドウ５０１を開いたら、制御部１１はステップＦ６０５としてユーザーインターフェースの操作に応じた処理を行うことになる。
例えば図３４（ａ）のようなビデオ出力用ファイルによれば、図３１に示したビデオファイルＶ３の動画データＶＭ５の再生が指定されたことになるが、ビデオウインドウ５０１で再生ボタン５０５がクリックされた場合は、制御部１１はビデオエンジンにより、動画データＶＭ５の再生を開始させる。これによりビデオ表示部５０３に動画データＶＭ５の映像が表示される。なおこのとき動画データＶＭ５に含まれるオーディオデータは音声出力部３３から音声として出力されることになる。図３４（ａ）のビデオ出力用ファイルによる場合、動画データＶＭ５の再生が完了したら、続いて動画データＶＭ６の再生出力が行われる。以降、動画データＶＭ７，ＶＭ８，ＶＭ９の再生が行われていく。
【０２３４】
また、例えば動画データＶＭ５の再生中に一時停止ボタン５０６がクリックされると、制御部１１はビデオエンジンによる動画データＶＭ５の再生を一時停止させる。
停止ボタン５０７がクリックされると、制御部１１はビデオエンジンによる動画データＶＭ５の再生を停止させる。
早戻しボタン５０８、又は早送りボタン５０９がクリックされると、制御部１１はビデオエンジンによる動画データＶＭ５の再生動作の早戻し又は早送りを実行させる。
戻し方向の頭出しボタン５１０、又は送り方向の頭出しボタン５１１がクリックされると、制御部１１はビデオエンジンによる動画データＶＭ５の再生箇所として、例えば前後のシーン（又はポイントとなる特定箇所）の先頭箇所又は他の動画データ（ＶＭ６等）の先頭箇所に戻し（又は送り）、その箇所からの再生を実行させる。
さらに、ユーザーがビデオバー５０４における現在位置の表示部分をドラッグした場合は、それに応じて、ビデオエンジンによる動画データＶＭ５の再生箇所の戻し方向又は進み方向に移動させる。
【０２３５】
ところで、例えば図３４（ｂ）のようなビデオ出力用ファイルに基づく場合など、表示されるビデオデータが静止画データである場合は、一時停止ボタン５０６、早戻しボタン５０８、早送りボタン５０９操作は実質的に意味がないため表示されないようにしてもよい。
そしてその場合は、再生ボタン５０５のクリックにより、静止画データの表示が開始され、またタグファイルにより複数の静止画データが指定されていた場合は、戻し方向の頭出しボタン５１０、又は送り方向の頭出しボタン５１１のクリックに応じて、静止画データが切り換えられていくようにすればよい。
【０２３６】
このようなユーザーインターフェース操作に応じた処理により、ユーザーは、ビデオデータを任意の状態で視聴できることになる。
そして、このように閲覧ウインドウ３０１で表示されている文書データに関連したビデオデータがビデオウインドウ５０１において表示されることで、ユーザーは文書内容に関連したビデオデータを見ることができ、文書内容（情報内容）をより的確かつ詳細に知ることができる。
【０２３７】
８．文書処理装置の機能ブロック構成
以上、文書処理装置１において実現される各種の動作を説明してきた。具体的にいえば、文書データについての要約作成／表示、本文又は要約文についてのテロップ表示、本文又は要約文についての読み上げ、及びビデオデータの出力である。
これらの動作、及び後述するビデオデータと文書データの連動出力動作を可能とするために、例えば制御部１１内のソフトウエア構成（もしくはハードウエア構成でもよい）及びファイル群構成として、形成される機能ブロックを図３７に示す。
なお図３７は、表示部３０又は音声出力部３３からの出力動作に関連する部位のみを示したものであり、例えば文書受信処理、分類処理などを実現する機能ブロックについては省略した。
【０２３８】
この場合、図示するように上述した音声合成エンジン６０１、テロップ作成エンジン６０２、要約作成エンジン６０３、ビデオエンジン６０４が設けられる。
また後述するビデオデータと文書データの連動出力動作を行うためにビデオ連動文書作成エンジン６２０が設けられる。
また音声出力部３３に対する音声信号の出力処理部として音声制御部６０５や、表示部３０に対する画像信号の出力処理部として表示制御部６０６が設けられる。
さらに、ユーザーインターフェース６０７として、表示される各種ウインドウ上でのボタンについてのユーザー操作（入力部２０としてのマウスのクリック等による操作）についての処理を行う部位が設けられる。
そして、これらの機能ブロックの制御を行うコントローラ６００が形成される。
【０２３９】
またファイルとしては、上述してきた読み上げ用ファイル６０８、本文タグファイル６０９、要約文タグファイル６１０、ビデオファイル６１１、ビデオ出力用ファイル６１２がある。
上述したように、本文タグファイル６０９及びビデオファイル６１１は、通信部２１もしくは記録／再生部３１（記録媒体３２）から取り込まれるものとなる。また、要約文タグファイル６１０は、要約作成エンジン６０３によって本文タグファイル６０９から生成される。
読み上げ用ファイル６０８は、本文タグファイル６０９もしくは要約文タグファイル６１０が変換されて生成される。
ビデオ出力用ファイル６１２は、本文タグファイル６０９もしくは要約文タグファイル６１０から変換されて（具体的にはビデオタグが抽出されて）生成される。
【０２４０】
さらに、後述するビデオデータと文書データの連動出力動作のために、ビデオ連動文書作成エンジン６２０によってビデオ連動出力用文書ファイル６２１が作成される。
このビデオ連動出力用文書ファイル６２１は、本文タグファイル６０９もしくは要約文タグファイル６１０が変換されて、文書の固定表示又はテロップ表示に用いられるファイルとされるか、もしくは読み上げ出力のためのファイルとされる。
【０２４１】
上述してきた各動作、及び後述するビデオデータと文書データの連動出力動作を実現するための図３７の機能ブロックの処理を、以下説明していく。
【０２４２】
・本文又は要約文の読み上げ処理
図１６〜図２２で説明した読み上げ処理の際には、まず本文タグファイル６０９もしくは要約文タグファイル６１０から読み上げ用ファイル６０８が生成される。
そして音声合成エンジン６０１はコントローラ６００の指示に基づいて読み上げ用ファイル６０８を参照し、読み上げ用ファイル６０８に基づいた音声合成処理を行う。
生成された合成音声信号（読み上げ音声信号）Ｙｏｕｔは音声制御部６０５において出力レベル調整等が行われ、音声出力部３３に供給されて出力される。
またコントローラは表示制御部６０６から読み上げウインドウ４０１としての画像信号を出力させ、表示部３０に表示させる。
また読み上げウインドウ４０１に対するユーザー操作の情報はユーザーインターフェース６０７で取り込まれてコントローラ６００に伝えられ、コントローラ６００は、ユーザー操作に応じて音声合成エンジン６０１の動作を制御する。
【０２４３】
・要約作成処理
図２３で説明した要約作成処理の際には、コントローラ６００は要約作成エンジン６０３に指示を出し、本文タグファイル６０９について要約作成を実行させる。これにより要約文タグファイルが形成される。
なおコントローラ６００は、要約作成エンジン６０３に対して、要約表示部３０４のサイズ情報を伝えることで、上述のように要約表示部３０４のサイズに応じた要約生成処理が行われる。
【０２４４】
・要約固定表示処理
図２３、図２４、図２７で説明したように、要約表示部３０４のサイズが所定値ｗｓｔｈ以上であった場合は、そのサイズに応じた文書長の要約文タグファイル６１０が生成され、それが固定表示されることになる。
この場合、生成された要約文タグファイル６１０は、要約作成エンジン６０３によって表示文書出力Ｓｏｕｔとして処理され、表示制御部６０６に供給される。そして表示制御部６０６で、閲覧ウインドウ３００の画像に合成され、表示部３０で図２７のように表示される。
【０２４５】
・要約表示サイズに応じたテロップ表示処理
図２３〜図３０で説明したように、要約表示部３０４のサイズが所定値ｗｓｔｈ未満であった場合は、そのサイズを越える文書長の要約文タグファイル６１０が生成され、それがテロップ表示されることになる。
この場合、生成された要約文タグファイル６１０は、テロップ作成エンジン６０２によってテロップ化処理が行われる。そしてテロップ表示文書出力Ｔｏｕｔとして逐次出力されていく。表示制御部６０６では、テロップ表示文書出力Ｔｏｕｔを閲覧ウインドウ３００の画像に合成し、表示部３０で図２８〜図３０のような表示が実行されていくようにする。
【０２４６】
・要約文／本文のテロップ表示処理
また上述したように、要約表示部３０４のサイズなどに関係なく、本文又は要約文についてのテロップ表示を行うこともできる。
その場合は、本文タグファイル６０９又は要約文タグファイル６１０について、テロップ作成エンジン６０２によってテロップ化処理が行われる。そしてテロップ表示文書出力Ｔｏｕｔとして逐次出力されていく。表示制御部６０６では、テロップ表示文書出力Ｔｏｕｔを閲覧ウインドウ３００その他の所要のウインドウの画像に合成し、表示部３０でテロップ表示が実行されていくようにする。
【０２４７】
・読み上げタイミングでのテロップ表示処理
テロップ表示の変形例として、テロップの進行タイミングを読み上げ音声タイミングに合わせることができることを述べた。
その場合、要約文タグファイル６１０から変換された読み上げ用ファイル６０８が、音声合成エンジン６０１とテロップ作成エンジン６０２の共有ファイルとして用いられる。（図中破線で示す信号系が形成される。）
コントローラ６００の制御に基づいて、音声合成エンジン６０１は読み上げ用ファイル６０８を用いた音声合成／読み上げ出力を行う。但しこの場合、音声制御部６０５は生成された合成音声信号Ｙｏｕｔについて出力レベルをゼロとすることで、ユーザーに対して読み上げ音声が出力されないようにする。
テロップ作成エンジン６０２は、読み上げ用ファイル６０８を用いてテロップ作成を行うが、この際、テロップ作成エンジン６０２と音声合成エンジン６０１は相互にタイミング信号の授受を行う。つまり、テロップ作成エンジン６０２は、読み上げ用ファイル６０８からのタイミング信号に基づいてテロップ作成／テロップ表示文書出力Ｔｏｕｔを実行していく。これにより読み上げ速度によるテロップ表示が実行される。
なお、読み上げ速度（つまりこの場合はテロップ速度）については、ユーザーインターフェース６０７からの情報に基づいてコントローラ６００が音声合成エンジン６０１での設定を変更することで、変更可能となる。
【０２４８】
・ビデオ出力処理
図３５、図３６で説明したビデオ出力処理は、ユーザーインターフェース６０７からの情報に基づくコンピュータ６００の指示によって、ビデオエンジン６０４の処理で行われる。
ビデオエンジン６０４は、本文タグファイル６０９もしくは要約文タグファイル６１０から生成されたビデオ出力用ファイル６１２を参照し、再生すべきビデオデータを判別して、ビデオファイル６１１を読み出す。
読み出されたビデオデータは、ビデオエンジン６０４によって出力用の映像信号Ｖｏｕｔとして処理され、表示制御部６０６に供給される。そして表示制御部６０６で、ビデオウインドウ５０１の画像に合成され、表示部３０で図３６のように表示される。
またビデオデータに含まれるオーディオデータについても、ビデオエンジン６０４によって出力用の音声信号Ａｏｕｔとして処理され、音声制御部６０５に供給されてレベル調整等の処理が行われる。そして音声出力部３３から再生音声として出力される。
ビデオ出力中には、ビデオウインドウ５０１に対するユーザー操作の情報はユーザーインターフェース６０７で取り込まれてコントローラ６００に伝えられ、コントローラ６００は、ユーザー操作に応じてビデオエンジン６０１の動作を制御する。
【０２４９】
・ビデオデータと連動する文書データ固定表示
図４０により後述するが、本例では、ビデオデータの出力に連動させて、文書データとしての本文又は要約文を固定表示出力することができる。
これは、ビデオデータとして出力されているシーン毎に、文書データ内の対応部分を固定的に表示する処理である。
このためには、ビデオデータの位置、即ちタイムコードで規定される区間に対応して、文書部分が特定されていなければならない。
このため、ビデオ連動文書作成エンジン６２０は、出力されるビデオデータのタイムコードに対応する文書部分が指定されたビデオ連動出力用文書ファイル６２１を生成する。これは、上述のようにビデオタグが付されたタグファイルを元にして生成することができる。
この連動出力の場合は、ビデオエンジン６０４は、本文タグファイル６０９もしくは要約文タグファイル６１０から生成されたビデオ出力用ファイル６１２を参照し、再生すべきビデオデータを判別して、ビデオファイル６１１を読み出す。そして読み出されたビデオデータは、ビデオエンジン６０４によって出力用の映像信号Ｖｏｕｔとして処理され、表示制御部６０６に供給される。そして表示制御部６０６で、ビデオウインドウ５０１の画像に合成され、表示部３０で後述する図４２のように表示される。
またビデオデータに含まれるオーディオデータについても、ビデオエンジン６０４によって出力用の音声信号Ａｏｕｔとして処理され、音声制御部６０５に供給されてレベル調整等の処理が行われる。そして音声出力部３３から再生音声として出力される。
ビデオ出力中には、ビデオウインドウ５０１に対するユーザー操作の情報はユーザーインターフェース６０７で取り込まれてコントローラ６００に伝えられ、コントローラ６００は、ユーザー操作に応じてビデオエンジン６０１の動作を制御する。
このようなビデオデータの出力時には、ビデオエンジン６０４からビデオ連動文書作成エンジン６２０に対してタイムコードＴＣが供給されている。
ビデオ連動文書作成エンジン６２０はタイムコードＴＣを監視しながら、ビデオ連動出力用文書ファイル６２１に規定された出力タイミング（タイムコード）を確認し、タイムコードＴＣに対応する文書部分を表示文書出力Ｓｏｕｔとして表示制御部６０６に供給する。そして表示文書出力Ｓｏｕｔは表示制御部６０６で、ビデオウインドウ５０１の画像に合成され、表示部３０で図４２のように表示される。
なお、ビデオウインドウ５０１に対するユーザー操作に応じて、ビデオデータの一時停止、早送り、早戻し、頭出しなどが行われるが、その操作情報に基づいてコントローラ６００がビデオ連動文書作成エンジン６２０に対しても制御を行うことで、ビデオ連動文書作成エンジン６２０は、ビデオデータの一時停止、早送り、早戻し、頭出しなどの状況に応じて、対応する部分の表示文書出力Ｓｏｕｔを行うものとなる。
【０２５０】
・ビデオデータと連動する文書データテロップ表示
これも図４０により後述するが、本例ではビデオデータの出力に連動させて、文書データとしての本文又は要約文をテロップ表示出力することができる。
これは、ビデオデータとして出力されているシーン毎に、文書データ内の対応部分をテロップ表示する処理である。
この場合も、ビデオデータのタイムコードで規定される区間に対応して、文書部分が特定されていなければならないため、ビデオ連動文書作成エンジン６２０は、出力されるビデオデータのタイムコードに対応する文書部分が指定されたビデオ連動出力用文書ファイル６２１を生成する。
重複説明を避けるが、この連動出力の場合も、ビデオエンジン６０４は、上記のビデオデータと連動する文書データ固定表示の場合と同様に、ビデオ出力用ファイル６１２を参照してビデオデータの出力処理を行う。
そしてこのようなビデオデータの出力時には、ビデオエンジン６０４からテロップ作成エンジン６０２に対してタイムコードＴＣが供給されている。
テロップ作成エンジン６０２はタイムコードＴＣを監視しながら、ビデオ連動出力用文書ファイル６２１に規定された出力タイミング（タイムコード）を確認し、タイムコードＴＣに対応する文書部分をテロップ表示文書出力Ｔｏｕｔとして表示制御部６０６に供給する。そしてテロップ表示文書出力Ｔｏｕｔは表示制御部６０６で、ビデオウインドウ５０１の画像に合成され、表示部３０で表示される。
また、ビデオウインドウ５０１に対するユーザー操作に応じて、ビデオデータの一時停止、早送り、早戻し、頭出しなどが行われる場合、その操作情報に基づいてコントローラ６００がテロップ作成エンジン６０２に対しても制御を行うことで、テロップ作成エンジン６０２は、ビデオデータの一時停止、早送り、早戻し、頭出しなどの状況に応じて、対応する部分のテロップ表示文書出力Ｔｏｕｔを行う。
【０２５１】
・ビデオデータと連動する文書データ読み上げ
これについては図４４により述べるが、本例ではビデオデータの出力に連動させて、文書データとしての本文又は要約文を読み上げ出力することができる。
これは、ビデオデータとして出力されているシーン毎に、文書データ内の対応部分を読み上げる処理である。
この場合も、ビデオデータのタイムコードで規定される区間に対応して、文書部分が特定されていなければならないため、ビデオ連動文書作成エンジン６２０は、出力されるビデオデータのタイムコードに対応する文書部分が指定されたビデオ連動出力用文書ファイル６２１を生成する。
重複説明を避けるが、この連動出力の場合も、ビデオエンジン６０４は、上記のビデオデータと連動する文書データ固定表示の場合と同様に、ビデオ出力用ファイル６１２を参照してビデオデータの出力処理を行う。
そしてこのようなビデオデータの出力時には、ビデオエンジン６０４から音声合成エンジン６０１に対してタイムコードＴＣが供給されている。
音声合成エンジン６０１はタイムコードＴＣを監視しながら、ビデオ連動出力用文書ファイル６２１に規定された出力タイミング（タイムコード）を確認し、タイムコードＴＣに対応する文書部分についての合成音声信号（読み上げ音声信号）Ｙｏｕｔを音声制御部６０５に供給する。
なお、この場合、音声制御部６０５では、ビデオデータに付随するオーディオデータの出力はミュートする。又は読み上げ音声に比べて非常に小さい音量レベルとする。
また、ビデオウインドウ５０１に対するユーザー操作に応じて、ビデオデータの一時停止、早送り、早戻し、頭出しなどが行われる場合、その操作情報に基づいてコントローラ６００が音声合成エンジン６０１に対しても制御を行うことで、音声合成エンジン６０１は、ビデオデータの一時停止、早送り、早戻し、頭出しなどの状況に応じて、対応する部分の読み上げ音声信号Ｙｏｕｔを出力する。
【０２５２】
以上のようにして、文書データについての要約作成／表示、本文又は要約文についてのテロップ表示、本文又は要約文についての読み上げ、及びビデオデータの出力、さらにはビデオデータに連動する文書出力（固定表示、テロップ表示、読み上げ）が実行される。
【０２５３】
なお、この図３７の機能ブロックは、あくまでも一例であり、上記各動作を実現する機能ブロックの構成及び動作が、かならずしもこのような例に限定されるものではない。
【０２５４】
９．ビデオ及び連動文書表示出力処理
ビデオデータに連動させて文書データを固定表示又はテロップ表示する場合の例を、以下説明する。
【０２５５】
今、文書データとしての或るタグファイルＴＧ１が、図３８（ａ）に示す構成となっている例をあげる。
この場合、タグファイルＴＧ１は、例えば５つの段落として、各文書部分ＴＸ１〜ＴＸ５により形成されているものであるとする。
そして各文書部分について、図３２で説明したようにビデオタグが付されており、図３８（ａ）に示すように文書部分ＴＸ１〜ＴＸ５のそれぞれに、ビデオファイルＶ３に含まれる動画データＶＭ５〜ＶＭ９（図３１参照）が対応づけられているとする。
このようなタグファイル構造の場合、各段落ＴＸ１〜ＴＸ５が、ビデオデータに対する連動単位の文書部分となる。（以下、連動単位文書ＴＸ１、連動単位文書ＴＸ２・・・と呼ぶ）
なお、もちろん連動単位文書は、必ずしも文書データの段落単位となるものではなく、タグファイルにおけるビデオタグの付加状況によって規定されるものであり、例えば文、句などの単位で連動単位文書となることもある。
【０２５６】
一方、タグファイルＴＧ１のビデオタグで指定されるビデオファイルＶ３には、動画データＶＭ５〜ＶＭ９が、図３８（ｂ）に示すように構成されているとする。
例えばビデオファイルＶ３におけるタイムコードＴＣとして「００：００：００：００」〜「００：００：１６：１０」の範囲が１つのシーンを形成する動画データＶＭ５とされ、また「００：００：１６：１１」〜「００：０２：２０：０１」の範囲が１つのシーンを形成する動画データＶＭ６とされている。
【０２５７】
このようなタグファイルＴＧ１に基づいてビデオデータが出力され、それに連動して文書データが出力される場合は、時間的に見れば図３９のように出力が進行する。
この連動動作の場合、ビデオデータの出力が主となるため、図３９に示すように動画データＶＭ５、ＶＭ６、ＶＭ７、ＶＭ８、ＶＭ９の再生が、順次進行していく。
そして、図から分かるように、動画データＶＭ５の再生中、即ちタイムコードＴＣとして「００：００：００：００」〜「００：００：１６：１０」の期間は、連動文書単位ＴＸ１の部分が固定表示もしくはテロップ表示で出力される。そしてタイムコードＴＣとして「００：００：１６：１１」となったタイミング、即ち動画データＶＭ６の出力が開始された時点から、「００：０２：２０：０１」までの期間は、連動文書単位ＴＸ２が表示出力されることになる。
以下同様に、動画データＶＭ７、ＶＭ８、ＶＭ９の各再生期間に、連動文書単位ＴＸ３、ＴＸ４、ＴＸ５が、それぞれ表示出力される。
なお、後述する読み上げ出力の場合は、同様の期間に、連動文書単位ＴＸ１〜ＴＸ５が、それぞれ読み上げ出力されるものとなる。
【０２５８】
この図３９では、動画データＶＭ５〜ＶＭ９の再生が通常に進行した場合を示しているが、ユーザーが途中で早送りや頭出しなどの操作を行った場合は、ビデオデータがそれに応じて進行／後退するとともに、それに合わせて出力される連動文書単位も切り換えられる。
例えば動画データＶＭ８及び連動文書単位ＴＸ４の出力中に、動画データＶＭ６の頭出し操作が行われた場合は、ビデオデータ出力は動画データＶＭ６の出力に切り換えられるとともに、文書データ出力は連動文書単位ＴＸ２の出力に切り換えられる。
【０２５９】
ビデオデータに連動させて文書データを固定表示又はテロップ表示する場合の制御部１１の処理例を図４０に示す。
【０２６０】
例えば図２６に示したように閲覧ウインドウ３０１において或る文書データが表示されている状態で、ユーザーがビデオボタン３０６ｄをクリックすることで、ビデオデータの出力とそれに連動する文書データ出力が開始されるものとする。なお、上記図３５で説明したビデオデータのみの出力の場合も、このような操作により開始されるとしたが、実際には、閲覧ウインドウ３０１においてビデオデータのみの出力を開始させるためのビデオボタン３０６ｄの他に、以下説明する連動出力を開始させるためのビデオボタンが表示されるようにして、操作を区別できるようにするとよい。
或いはビデオボタン３０６ｄを共用する場合、モード設定などにより、ビデオデータ単独の出力が行われるか、連動出力が行われるかが規定されるようにしてもよい。
ビデオデータ単独出力、ビデオデータと文書データ表示の連動出力、さらには後述するビデオデータと文書データの読み上げの連動出力についての、ユーザーの操作方式（文書処理装置１で設定する操作態様）は、多様に考えられ、実現できる機能や設計上の都合、或いは操作性等を考慮して、決められればよい。
【０２６１】
例えば閲覧ウインドウ３０１に表示されている文書データなどとして、ある文書データが指定されているときに、ビデオデータ／文書データの連動出力が開始される場合、制御部１１は、まず図４０のステップＦ７０１で、指定されている文書データについてのビデオタグの有無を確認する。ビデオタグが存在しなければ、その文書データに関連するビデオファイルは存在しないことになるため、処理を終える。
【０２６２】
ビデオタグが存在し、例えば閲覧ウインドウ３０１に表示されている文書データに関連するビデオファイルの出力及び文書の連動出力を実行する場合は、制御部１１の処理はステップＦ７０２に進み、ビデオエンジン６０４によるビデオ再生動作の実行のためのファイルとして、ビデオ出力用ファイル６１２を生成する。これは図３５のステップＦ６０２と同様に、例えば図３４（ａ）（ｂ）に示すように、文書データとしてのタグファイル（本文タグファイル６０９）からビデオタグを抽出してビデオ出力用ファイルを生成する処理となる。
【０２６３】
続いて制御部１１はステップＦ７０３で、ビデオ連動文書作成エンジン６２０を起動する。そしてステップＦ７０４でビデオ連動文書作成エンジン６２０によりビデオ連動出力用文書ファイル６２１を生成させる。
例えば図３２のようにビデオタグが付されたタグファイル（本文タグファイル６０９）から生成するビデオ連動出力用文書ファイル６２１の例を図４１に示す。即ちこの例のようにビデオ連動出力用文書ファイル６２１は、本文タグファイルから、ビデオタグで指定されるタイムコードと、それに対応する文書（図３８の連動単位文書ＴＸ１〜ＴＸ５）が対にされたファイル構造となる。
例えば図４１（ａ）に示す部分では、タイムコードを指定するタグＴＣｉｎ、ＴＣｏｕｔで規定される「００：００：００：００」〜「００：００：１６：１０」の範囲、つまり動画データＶＭ５と、「［素敵にエイジング］／８ ガン転移、抑えられる！？」という連動文書単位ＴＸ１が対応することが示される。
また図４１（ｂ）に示す部分では、タイムコード「００：０５：２９：０１」〜「００：０６：４１：００」の範囲、つまり動画データＶＭ９と、「この転移、ガン細胞・・・・・近年解明されつつある。」という連動文書単位ＴＸ５が対応することが示される。
なお、ビデオ連動出力用文書ファイル６２１の構造は、このような例に限られるものではなく、タイムコードと連動文書単位の関係が示される内容であればよい。
【０２６４】
続いて制御部１１は、ステップＦ７０５において、文書データの表示出力が固定表示出力となるかテロップ表示出力となるかにより処理を分岐する。
固定表示とするかテロップ表示とするかは、制御部１１が自動的に設定してもよいし、ユーザーが選択できるようにしてもよい。
自動的に設定する場合は、例えば図４２のビデオウインドウ５０１における文書を表示する文書表示エリア５３０のサイズと、表示する文書（連動単位文書）の文書長の関係により設定することが考えられる。
あるいはユーザーが予め選択しておくことで、固定表示とテロップ表示が決められるようにしてもよい。
さらには、閲覧ウインドウ３０１などにおいてビデオデータと文書固定表示を連動させる操作ボタンと、ビデオデータとテロップ表示を連動させる操作ボタンを別に設け、ユーザーがそのどちらをクリックしたかによって決められるようにしてもよい。
テロップ表示を実行する場合は、制御部１１はステップＦ７０６において、テロップ作成エンジン６０２を起動させることになる。
【０２６５】
制御部１１はステップＦ７０７において、ビデオエンジン６０４を起動し、続いてステップＦ７０８で、表示部３０に例えば図４２に示すようなビデオウインドウ５０１を開く。
この場合のビデオウインドウ５０１には、図３６のビデオウインドウ５０１に示した各種表示に加えて、文書表示部５３０が加えられたものとなっている。
【０２６６】
そして制御部１１は、ビデオウインドウ５０１を開いたら、ステップＦ７０９として、ビデオエンジン６０４によるビデオ出力を開始させる。これにより図４２に示すようにビデオ表示部５０３に再生画像が表示される。
また制御部１１は、固定表示を連動させる場合は、ステップＦ７１０としてビデオ連動文書作成エンジン６２０によるタイムコードチェックを実行させ、ステップＦ７１１，Ｆ７１２において、ビデオデータのタイムコードに応じた文書出力処理をビデオ連動文書作成エンジン６２０に実行させる。
これにより図４２に示すように文書表示部５３０に、その時点で表示されているシーンに対応した連動文書単位の文書が表示される。
そして、ステップＦ７１０，Ｆ７１１，Ｆ７１２の処理が続いて行われていくことによって、図３９で説明したように、ビデオデータの進行に応じて、所要のタイムコードのタイミングで、表示される文書部分が、連動文書単位毎に切り換えられていく。
【０２６７】
なお、テロップ表示を実行する場合は、制御部１１はステップＦ７１０，Ｆ７１１，Ｆ７１２の処理をテロップ作成エンジン６０２に実行させることになる。
そして文書表示エリア５３０に連動文書単位毎のテロップ表示を実行させる。
このテロップ表示の場合は、図４２のように複数行の表示が可能な文書表示エリア５３０において実行してもよいが、例えば図４３に示すように文書表示エリア５３０を１行の文書表示が可能な状態とし、そこにテロップ表示を実行させるようにしてもよい。
【０２６８】
制御部１１は、ビデオファイル６１１に基づくビデオデータの出力が全て終了された場合、もしくはユーザーの操作に応じてビデオデータの再生を終了させた場合は、ステップＦ７１３からＦ７１４に進め、固定表示もしくはテロップ表示による連動文書表示も終了させ、一連の処理を終える。
このような出力処理により、ユーザーは、或る文書データに関連するビデオデータを視聴できるとともに、そのビデオデータのシーンに合わせて、文書データ内の対応する部分（連動文書単位）の表示を見ることができる。
【０２６９】
なお、図４０のフローチャートでは詳しく示さなかったが、ステップＦ７１０〜Ｆ７１２の処理の間において、ビデオデータの早送り、頭出しなどの操作が行われて、ビデオデータの再生位置が変化し、対応する連動文書単位が変化することになった場合は、表示される連動文書単位を切り換えることは前述したとおりである。
【０２７０】
１０．ビデオ及び連動文書読み上げ出力処理
次に、ビデオデータに連動させて文書データを読み上げる場合の例を説明する。この場合、図３９で説明したように、ビデオデータの出力が主とされ、動画データＶＭ５、ＶＭ６、ＶＭ７、ＶＭ８、ＶＭ９の再生が、順次進行していくことに応じたタイミングで、それぞれ対応する連動文書単位ＴＸ１、ＴＸ２、ＴＸ３、ＴＸ４、ＴＸ５が読み上げられていく。
【０２７１】
ビデオデータに連動させて文書データを読み上げる場合の制御部１１の処理例を図４４に示す。
例えば閲覧ウインドウ３０１に表示されている文書データなどとして、ある文書データが指定されているときに、ビデオデータ／文書データの連動出力が開始される場合、制御部１１は、まず図４４のステップＦ８０１で、指定されている文書データについてのビデオタグの有無を確認する。ビデオタグが存在しなければ、その文書データに関連するビデオファイルは存在しないことになるため、処理を終える。
【０２７２】
ビデオタグが存在し、例えば閲覧ウインドウ３０１に表示されている文書データに関連するビデオファイルの出力及び文書の連動出力を実行する場合は、制御部１１の処理はステップＦ８０２に進み、ビデオエンジン６０４によるビデオ再生動作の実行のためのファイルとして、ビデオ出力用ファイル６１２を生成する。これは図３５のステップＦ６０２と同様に、例えば図３４（ａ）（ｂ）に示すように、文書データとしてのタグファイル（本文タグファイル６０９）からビデオタグを抽出してビデオ出力用ファイルを生成する処理となる。
【０２７３】
続いて制御部１１はステップＦ８０３で、ビデオ連動文書作成エンジン６２０を起動する。そしてステップＦ８０４でビデオ連動文書作成エンジン６２０によりビデオ連動出力用文書ファイル６２１を生成させる。
この場合、ビデオ連動出力用文書ファイル６２１は、上述した読み上げようファイル６０８に、タイムコードとの関係が指定されたファイルとなる。
例えば図３２のようにビデオタグが付されたタグファイル（本文タグファイル６０９）から生成するビデオ連動出力用文書ファイル６２１の例を図４５に示す。即ちこの例のようにビデオ連動出力用文書ファイル６２１は、図４１と同様にタイムコードを指定するタグＴＣｉｎ、ＴＣｏｕｔにより、ビデオタグで指定されるタイムコードと、それに対応する文書（図３８の連動単位文書ＴＸ１〜ＴＸ５）が対にされる。そして、さらに図２０で説明したような読み上げのための情報が付加されたファイル構造となる。
もちろん、読み上げの場合も、ビデオ連動出力用文書ファイル６２１の構造は、このような例に限られるものではなく、タイムコードと連動文書単位の関係が示され、さらに読み上げのための情報が付加された内容であればよい。
【０２７４】
続いて制御部１１は、ステップＦ８０５において、音声合成エンジン６０１を起動させる。
そして制御部１１はステップＦ８０６において、ビデオエンジン６０４を起動し、続いてステップＦ８０７で、表示部３０にビデオウインドウ５０１を開く。この場合のビデオウインドウ５０１は、図４２のような文書表示エリア５３０は不要なため、例えば図３６のようなビデオウインドウ５０１でよい。
【０２７５】
そして制御部１１は、ビデオウインドウ５０１を開いたら、ステップＦ８０８として、ビデオエンジン６０４によるビデオ出力を開始させる。これにより図３６に示すようにビデオ表示部５０３に再生画像が表示される。
また制御部１１はステップＦ８０９として音声合成エンジン６０１によるタイムコードチェックを実行させ、ステップＦ８１０，Ｆ８１１において、ビデオデータのタイムコードに応じた読み上げ音声Ｙｏｕｔの出力処理を音声合成エンジン６０１に実行させる。
これによりその時点で表示されているシーンに対応した連動文書単位の文書が読み上げ出力される。
そして、ステップＦ８０９，Ｆ８１０，Ｆ８１１の処理が続いて行われていくことによって、図３９で説明したように、ビデオデータの進行に応じて、所要のタイムコードのタイミングで、連動文書単位毎の読み上げが実行されていく。
【０２７６】
制御部１１は、ビデオファイル６１１に基づくビデオデータの出力が全て終了された場合、もしくはユーザーの操作に応じてビデオデータの再生を終了させた場合は、ステップＦ８１２からＦ８１３に進め、読み上げによる連動文書出力も終了させ、一連の処理を終える。
このような出力処理により、ユーザーは、或る文書データに関連するビデオデータを見ることができるとともに、そのビデオデータのシーンに合わせて、文書データ内の対応する部分（連動文書単位）の読み上げ音声を聞くことができる。
【０２７７】
なお、図４４のフローチャートでは詳しく示さなかったが、ステップＦ８０９〜Ｆ８１１の処理の間において、ビデオデータの早送り、頭出しなどの操作が行われて、ビデオデータの再生位置が変化し、対応する連動文書単位が変化することになった場合は、読み上げを行う連動文書単位を切り換えることは前述したとおりである。
【０２７８】
１１．変形例
以上、本例の文書処理装置１で実行されるビデオデータと文書データの連動出力動作について説明してきたが、連動出力のための処理動作についての変形例は多様に考えられる。
【０２７９】
まず、上述のように、ビデオデータと連動させる文書データ出力としては、固定表示、テロップ表示、読み上げの各態様について説明したが、文書データについてこのうちのどの出力態様で出力させるかは、例えばビデオウインドウ５０１が開かれた状態などでユーザーが選択できるようにしてもよい。
例えばビデオウインドウ５０１として図４６に示すように選択操作部５２５を表示し、ビデオデータの出力時に、ビデオデータのみとするか、文書表示（固定又はテロップ）を連動させるか、文書を読み上げるか、を選択できるようにする。そしてユーザーが所望の選択肢のチェックボックス５２６をクリックすることに応じて、どの処理が実行されるかが設定されるようにする。
例えば図４６の状態では、ビデオデータ出力に文書表示を連動させる選択肢が選択されているため、この状態で再生ボタン５０５がクリックされたときは、上述した図４０の処理が行われるようにするものである。
また、ビデオデータのみが選択された状態で再生ボタン５０５がクリックされたときは、図３５の処理が行なわれ、更にまた、ビデオデータ出力に文書読み上げを連動させる選択肢が選択されて再生ボタン５０５がクリックされたときは、図４４の処理が行われることになる。
【０２８０】
また、ビデオデータに連動させる文書データに関しての出力が複合的に実行されてもよい。
例えばビデオデータ再生時に、ビデオデータに対応する連動文書単位毎に固定表示と読み上げが同時に実行されたり、テロップ表示と読み上げが同時に実行されるようにすることが考えられる。
【０２８１】
また図３９のようにビデオデータの再生区間に応じて出力される文書データである各連動文書単位は、文書データ本文から、規定されるタイムコード区間に応じて抽出されたものであるが、例えばこの連動文書単位で要約文を生成し、その要約文を表示又は読み上げ出力するようにしてもよい。
【０２８２】
またビデオデータとともに文書データ（連動文書単位）の出力を行う場合には、連動文書単位としての文書データの出力のタイミング、表示期間などは、ビデオデータの対応部分の時間長や、動画／静止画の別などにより多様に考えられる。
例えばテロップ表示や読み上げなど、時間的に進行していくものの場合は、連動文書単位のテロップ表示や読み上げの完了までの時間長と、それに対応するビデオデータ部分の完了までの時間長が必ずしも一致するものではない。
このため、ビデオデータの進行状況に合わせてテロップ表示速度や読み上げ速度を可変設定するようにしたり、ビデオデータ内容（シーン）の切り替わり応じて、テロップ表示や読み上げを行う文書の一部が省略されたり、逆に一時的にテロップ表示や読み上げの進行が停止されるようにすることも可能である。
【０２８３】
また、ビデオデータと共に文書データの読み上げを行う場合には、上述したようにビデオ連動出力用文書ファイル６２１として、読み上げ用ファイル６０８に相当するファイルを作成することになるが、その作成タイミングは、制御部１１の処理能力や、他の処理との兼ね合いにより各種考えられる。すなわち図４４の例のように、ビデオデータ出力開始前に作成してもよいが、ビデオデータ出力開始後に、タイムコードの進み具合に応じて所要タイミングで連動文書単位毎に作成していってもよい。もちろん、可能であれば、ビデオデータに応じてリアルタイム処理を行ってもよい。
【０２８４】
また以上説明してきた実施の形態としての文書処理装置１のハードウエアもしくはソフトウエア構成、及び処理例は多様に考えられる。
例えば文書処理装置１を構成する具体的なデバイス例は多様であり、例えば文書処理装置１における入力部２０を例に挙げれば、キーボードやマウスだけでなく、タブレット、ライトペン、赤外線等を利用した無線コマンダ装置等の他のデバイスが考えられる。
【０２８５】
また実施の形態においては、通信部２２に外部から電話回線等を介して文書やビデオファイルが送信されてくるものとして説明したが、本発明は、これに限定されるものではない。例えば、衛星等を介して文書やビデオファイルが送信される場合にも適用できる他、記録／再生部３１において記録媒体３２から読み出されたり、ＲＯＭ１５に予め文書やビデオファイルが書き込まれていてもよい。
【０２８６】
また実施の形態において、文書へのタグ付けの方法の一例を示したが、本発明がこのタグ付けの方法に限定されないことはもちろんである。
さらに、上述の実施の形態においては、日本語および英語の文章を例示したが、本発明がこれらの言語に限られないことはいうまでもない。
このように、本発明は、その趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。
【０２８７】
さらにまた、本発明においては、記録媒体３２として、上述したビデオデータ／文書データの連動出力処理を実行させる動作制御プログラムが書き込まれたディスク状記録媒体やテープ状記録媒体等を提供するものである。
もちろん記録媒体３２としては、フロッピーディスクの他に、光ディスク、光磁気ディスク、磁気テープ、フラッシュメモリ等によるメモリカード、メモリチップ等としてもよい。
また図１に示したＨＤＤ３４としても同様に本発明の記録媒体とすることができる。
さらには、その動作制御プログラムを例えばインターネット等のネットワーク通信を介しても提供することができるものであり、従って、プログラムサーバ側もしくは通信過程における記録媒体としても本発明は適用できるものである。
【０２８８】
そしてそのような記録媒体３２等によれば、上記動作制御プログラムが文書処理装置１に提供されることで、ユーザーサイドの各文書処理装置１は、上述の連動出力動作が実現できることになる。
また、上述した分類処理や各種ウインドウの表示動作を含めた動作制御プログラムとすることで、上記してきた文書処理方法を実現する文書処理装置１を、例えば汎用のパーソナルコンピュータ等を用いて容易に実現できる。
【０２８９】
また記録媒体３２等としては、上記処理を実現する動作制御プログラムとともに、そのプログラムの処理対象となる文書データやビデオデータをも記録しているものも有用となる。
つまり、文書処理装置１に対して、記録媒体３２から電子文書データを提供するときに、同時に動作制御プログラムやビデオファイルをも提供することで、その文書処理装置１において、文書データ／ビデオデータに対応した文書出力処理、ビデオ出力処理を実行できるものとなる。
【０２９０】
【発明の効果】
以上の説明からわかるように本発明では、次のような効果が得られる。
即ち本発明の文書処理装置及び文書処理方法によれば、ビデオデータの出力と連動して、ビデオデータに対応する電子文書データの内容が提示出力されることになるため、ユーザーに対してビデオデータによる映像とともに文書を提示でき、多様かつ高度な情報内容を的確に提供できるという効果がある。
特に電子文書データについては、本文又は要約文の表示、テロップ表示、読み上げなどの態様で提示されることで、ユーザーにとって好適な動作が実現される。
また、電子文書データに付加されたビデオデータ指定情報、又はビデオデータに付加されたタイムコードにより、電子文書データとビデオデータの対応関係を判別することで電子文書データとビデオデータの確実な関連づけに基づく出力処理が可能となる。
さらに、出力されているビデオデータのタイムコードを監視して、電子文書データの提示出力部分を切り換えることで、例えば映像内容としての各シーンに対応した文書提示など、より適切かつ高度な連動出力が可能となる。
【０２９１】
さらに本発明の記録媒体によれば、本発明の文書処理方法を実現するプログラムを提供できることになり、例えば汎用のパーソナルコンピュータ等を用いて、本発明の文書処理装置を容易に実現できるようになる。これにより、一般ユーザーは容易に上記効果を享受できるものとなる。
【図面の簡単な説明】
【図１】本発明の実施の形態の文書処理装置のブロック図である。
【図２】実施の形態で用いる文書構造の説明図である。
【図３】実施の形態の文章構造を表示するウインドウの説明図である。
【図４】実施の形態の手動分類処理のフローチャートである。
【図５】実施の形態のインデックス作成処理のフローチャートである。
【図６】実施の形態のエレメントの活性値の説明図である。
【図７】実施の形態の活性拡散処理のフローチャートである。
【図８】実施の形態の中心活性値更新処理のフローチャートである。
【図９】実施の形態の分類ウインドウの説明図である。
【図１０】実施の形態の閲覧ウインドウの説明図である。
【図１１】実施の形態の分類モデルの説明図である。
【図１２】実施の形態の自動分類処理のフローチャートである。
【図１３】実施の形態の自動分類のフローチャートである。
【図１４】実施の形態の語義間関連度算出処理のフローチャートである。
【図１５】実施の形態の語義間関連度の説明図である。
【図１６】実施の形態の文書読み上げ処理のフローチャートである。
【図１７】実施の形態の読み上げ用ファイル生成処理のフローチャートである。
【図１８】実施の形態のタグファイル例の説明図である。
【図１９】実施の形態のタグファイル例の説明図である。
【図２０】実施の形態の読み上げ用ファイル例の説明図である。
【図２１】実施の形態の読み上げ用ファイル例の説明図である。
【図２２】実施の形態の読み上げウインドウの説明図である。
【図２３】実施の形態の要約作成処理のフローチャートである。
【図２４】実施の形態の要約文表示処理のフローチャートである。
【図２５】実施の形態のテロップ表示処理のフローチャートである。
【図２６】実施の形態の閲覧ウインドウの表示例の説明図である。
【図２７】実施の形態の閲覧ウインドウの要約文を含む表示例の説明図である。
【図２８】実施の形態の閲覧ウインドウでのテロップ表示例の説明図である。
【図２９】実施の形態のテロップ表示動作の説明図である。
【図３０】実施の形態の閲覧ウインドウでのテロップ表示後の表示例の説明図である。
【図３１】実施の形態のタグファイル及びビデオファイルの説明図である。
【図３２】実施の形態のビデオタグ付のタグファイルの説明図である。
【図３３】実施の形態のビデオタグ付のタグファイルの説明図である。
【図３４】実施の形態のビデオ出力用ファイルの説明図である。
【図３５】実施の形態のビデオ出力処理のフローチャートである。
【図３６】実施の形態のビデオ出力処理によるビデオウインドウの説明図である。
【図３７】実施の形態の文書処理装置の機能ブロックの説明図である。
【図３８】実施の形態のタグファイルとビデオファイルの関係の説明図である。
【図３９】実施の形態のビデオ出力と連動される文書出力の説明図である。
【図４０】実施の形態のビデオ及び連動文書表示出力処理のフローチャートである。
【図４１】実施の形態のビデオ連動出力用文書ファイルの説明図である。
【図４２】実施の形態のビデオ及び連動文書表示状態の説明図である。
【図４３】実施の形態のビデオ及び連動文書テロップ表示状態の説明図である。
【図４４】実施の形態のビデオ及び連動文書読み上げ出力処理のフローチャートである。
【図４５】実施の形態のビデオ連動出力用文書ファイルの説明図である。
【図４６】実施の形態のビデオウインドウの変形例の説明図である。
【符号の説明】
１ 文書処理装置、１０ 本体、１１ 制御部、１２ インターフェース、１３ ＣＰＵ、１４ ＲＡＭ、１５ ＲＯＭ、２０ 入力部、２１ 通信部、２２携帯端末リーダ、３０ 表示部、３１ 記録再生部、３２ 記録媒体、３３ 音声出力部、３４ ＨＤＤ、１０１ ウインドウ、２０１ 分類ウインドウ、３０１ 閲覧ウインドウ、３０３ 文書表示部、３０４ 要約表示部、４０１ 読み上げウインドウ、５０１ ビデオウインドウ、６００ コントローラ、６０１音声合成エンジン、６０２ テロップ作成エンジン、６０３ 要約作成エンジン、６０４ ビデオエンジン、６０５ 音声制御部、６０６ 表示制御部、６０７ ユーザーインターフェース、６２０ ビデオ連動文書作成エンジン、６２１ビデオ連動出力用文書ファイル

Claims (7)

  1. 複数の要素から構成される階層化された内部構造を有し、上記内部構造に関する属性情報がタグ付けによって付与された電子文書データとビデオデータの対応関係を判別する判別手段と、
    上記電子文書データを構成する要素の重要度を示す重み付けを算出して、上記重み付けと上記電子文書の上記タグ付けによる内部構造における上記要素間の関連性に応じた値に基づいて上記電子文書データの要約文を作成する要約文作成手段と、
    ビデオデータを出力する制御を行うビデオ出力制御手段と、
    前記判別手段により判別された、ビデオデータに対応する電子文書データ又は上記要約文作成手段により作成された要約文の内容を文の長さに基づいて前記ビデオ出力制御手段の制御に基づくビデオデータの出力と連動して提示出力するか、固定提示として提示出力するかの制御を行う文書出力制御手段とを備え、
    さらに、前記文書出力制御手段は、前記ビデオ出力制御手段の制御に基づいて出力されているビデオデータのタイムコードを監視して、電子文書データ及び要約文の提示出力部分を切り替える
    文書処理装置。
  2. 前記判別手段は、電子文書データに付加されたビデオデータ指定情報、又はビデオデータに付加されたタイムコードにより、電子文書データとビデオデータの対応関係を判別することを特徴とする請求項１に記載の文書処理装置。
  3. 前記文書出力制御手段は、電子文書データの本文又は要約文の表示が実行されるように制御を行うことを特徴とする請求項１に記載の文書処理装置。
  4. 前記文書出力制御手段は、電子文書データの本文又は要約文についてのテロップの表示が実行されるように制御を行うことを特徴とする請求項１に記載の文書処理装置。
  5. 前記文書出力制御手段は、電子文書データの本文又は要約文についての読み上げ出力が実行されるように制御を行うことを特徴とする請求項１に記載の文書処理装置。
  6. 複数の要素から構成される階層化された内部構造を有し、上記内部構造に関する属性情報がタグ付けによって付与された電子文書データとビデオデータの対応関係を判別する判別手順と、
    上記電子文書データを構成する要素の重要度を示す重み付けを算出して、上記重み付けと上記電子文書の上記タグ付けによる内部構造における上記要素間の関連性に応じた値に基づいて上記電子文書データの要約文を作成する要約文作成手順と、
    ビデオデータを出力する制御を行うビデオ出力制御手順と、
    前記判別手順において判別された、ビデオデータに対応する電子文書データ又は上記要約文作成手順において作成された要約文の内容を文の長さに基づいて前記ビデオ出力制御手順の制御に基づくビデオデータの出力と連動して提示出力するか、固定提示として提示出力するかの制御を行う文書出力制御手順と、
    が行われ、
    さらに、前記文書出力制御手順は、前記ビデオ出力制御手順の処理に基づいて出力されているビデオデータのタイムコードを監視して、電子文書データ及び要約文の提示出力部分を切り替える
    文書処理方法。
  7. 複数の要素から構成される階層化された内部構造を有し、上記内部構造に関する属性情報がタグ付けによって付与された電子文書データとビデオデータの対応関係を判別する判別手順と、
    上記電子文書データを構成する要素の重要度を示す重み付けを算出して、上記重み付けと上記電子文書の上記タグ付けによる内部構造における上記要素間の関連性に応じた値に基づいて上記電子文書データの要約文を作成する要約文作成手順と、
    ビデオデータを出力する制御を行うビデオ出力制御手順と、
    前記判別手順において判別された、ビデオデータに対応する電子文書データ又は上記要約文作成手順において作成された要約文の内容を文の長さに基づいて前記ビデオ出力制御手順の制御に基づくビデオデータの出力と連動して提示出力するか、固定提示として提示出力するかの制御を行う文書出力制御手順と、
    が行われ、
    さらに、前記文書出力制御手順は、前記ビデオ出力制御手順の処理に基づいて出力されているビデオデータのタイムコードを監視して、電子文書データ及び要約文の提示出力部分を切り替える
    動作制御プログラムが記録されている記録媒体。
JP34470099A 1999-12-03 1999-12-03 文書処理装置、文書処理方法、記録媒体 Expired - Fee Related JP4433532B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP34470099A JP4433532B2 (ja) 1999-12-03 1999-12-03 文書処理装置、文書処理方法、記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP34470099A JP4433532B2 (ja) 1999-12-03 1999-12-03 文書処理装置、文書処理方法、記録媒体

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2009210631A Division JP2010073205A (ja) 2009-09-11 2009-09-11 文書処理装置、文書処理方法、記録媒体

Publications (3)

Publication Number Publication Date
JP2001160064A JP2001160064A (ja) 2001-06-12
JP2001160064A5 JP2001160064A5 (ja) 2006-06-08
JP4433532B2 true JP4433532B2 (ja) 2010-03-17

Family

ID=18371314

Family Applications (1)

Application Number Title Priority Date Filing Date
JP34470099A Expired - Fee Related JP4433532B2 (ja) 1999-12-03 1999-12-03 文書処理装置、文書処理方法、記録媒体

Country Status (1)

Country Link
JP (1) JP4433532B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4689111B2 (ja) * 2001-09-13 2011-05-25 クラリオン株式会社 音楽再生装置
CN100473332C (zh) * 2002-03-20 2009-04-01 诺瓦达克技术公司 用于显现通过导管的液流的系统和方法
JP4792196B2 (ja) 2003-03-27 2011-10-12 三洋電機株式会社 データ入出力方法、およびその方法を利用可能な記憶装置およびホスト装置
CN109213974B (zh) * 2018-08-22 2022-12-20 北京慕华信息科技有限公司 一种电子文档转换方法及装置

Also Published As

Publication number Publication date
JP2001160064A (ja) 2001-06-12

Similar Documents

Publication Publication Date Title
JP4320491B2 (ja) 文書処理システム、端末装置、文書提供装置、文書処理方法、記録媒体
JP2001043215A (ja) 文書処理装置、文書処理方法、及び記録媒体
JP2001051997A (ja) 文書データ作成装置、文書データ作成方法、及び記録媒体
JP2677754B2 (ja) データ処理方法
US20080300872A1 (en) Scalable summaries of audio or visual content
WO2001001390A1 (fr) Trieuse-liseuse electronique
JP2001075989A (ja) 情報提示装置および方法、ならびに情報提示プログラムを記録したコンピュータで読取可能な記録媒体
JP3460964B2 (ja) マルチメディア情報閲覧システムにおける音声読み上げ方法および記録媒体
JP4433532B2 (ja) 文書処理装置、文書処理方法、記録媒体
JP2010073205A (ja) 文書処理装置、文書処理方法、記録媒体
JP4449118B2 (ja) 文書処理装置、文書処理方法、及び記録媒体
JP4798150B2 (ja) 文書処理装置、文書処理方法、及び記録媒体
JP3444831B2 (ja) 編集処理装置、及び編集処理プログラムが記憶された記憶媒体
JP2001014307A (ja) 文書処理装置、文書処理方法、及び記録媒体
JP2001014313A (ja) 文書処理装置、文書処理方法、及び記録媒体
JP2001034384A (ja) 文書処理装置、文書処理方法、及び記録媒体
JP7229296B2 (ja) 関連情報提供方法及びシステム
JP2001159938A (ja) 文書処理方法、記録媒体、文書処理装置
JP2010044767A (ja) 文書処理装置、文書処理方法、及び記録媒体
JP2001014346A (ja) 携帯端末装置、文書処理システム
JP2001147926A (ja) 文書処理システム、端末装置、サービス提供装置、文書処理方法、記録媒体
JP2001022774A (ja) 文書処理装置、文書処理方法、及び記録媒体
JP2001147915A (ja) 文書処理システム、オーサリング装置、文書処理方法、記録媒体
JP2001167114A (ja) 文書処理装置、文書処理方法、記録媒体
JP7295429B2 (ja) 文書処理プログラム、文書処理方法および文書処理装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060316

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060316

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090406

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090616

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090911

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091006

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20091028

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091208

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091221

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130108

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees