JP4789516B2 - 文書変換装置、文書変換方法並びに記憶媒体 - Google Patents

Description

本発明は、文書画像データを所定の文書形式の電子文書に変換する文書変換装置、文書変換方法並びに記憶媒体に関する。

近年、文書変換装置として、複写機等の画像形成装置は、デジタル化により多機能化され、スキャン画像を電子ファイル化し、ネットワークを介して別の装置に送信する能力を持つようになった。ここで、電子ファイル化されるものは、ＴＩＦＦ形式等の単純な画像ファイルや、各ページに全面画像が配置された、ワープロ等の電子文書形式を有する文書ファイルであった。

文書変換装置における次の段階として、複数の文書画像データから自動的に目次や索引を作成して電子文書に変換することが検討されている。この目次や索引を有する電子文書への変換方法では、変換対象となる複数の文書画像データからタイトル部分の抽出を行った後、抽出した情報を用いて所望の電子文書形式に変換することが行われる。

このような文書変換装置として、例えば、スキャナ部によって読み込まれた画像の文字認識を行い、認識された文字から原稿の見出しおよびページ番号を抽出し、抽出された見出しをページ順にソートして目次を出力する画像形成装置が知られている（特許文献１参照）。
特開平８−１３７９０９号公報

しかしながら、上記従来の文書変換装置では、所望の電子文書形式に変換されるまで、全ページの画像データを保持する必要があった。このため、記憶リソースに制約のある機器に搭載する場合、以下に掲げる問題が生じた。即ち、記憶装置を増やすことによってコストアップが生じたり、あるいは機器内の記憶リソースに合わせて電子文書のページ数を制限する必要があった。

また一方では、目次を有する電子文書の使い勝手を向上させることが望まれていた。

そこで、本発明は、機器内の記憶リソースが限られていても、限られた記憶リソース内で複数の文書画像データから目次データを持つ電子文書への変換を容易に行うことができる文書変換装置、文書変換方法並びに記憶媒体を提供することを目的とする。また、本発明は、目次を有する電子文書の使い勝手を向上できる文書変換装置、文書変換方法並びに記憶媒体を提供することを他の目的とする。

上記目的を達成するために、本発明の文書変換装置は、複数ページで構成される文書画像データを所定の文書形式の電子文書に変換する文書変換装置であって、前記文書画像データから文字領域を抽出する文字領域抽出手段と、前記文書画像データのページを前記電子文書のページデータに変換し、目次の作成に必要となる前記文字領域抽出手段で抽出された文字領域と該文字領域のページ番号とをデータ蓄積手段に保存するデータ変換手段と、前記文書画像データのうちの１ページに対して前記文字領域抽出手段による処理と前記データ変換手段による処理とが実行された時点で、前記変換されたページデータを情報処理装置へ送信する処理を開始するページデータ送信手段と、前記文書画像データの全ページに対して前記文字領域抽出手段による処理と前記データ変換手段による処理とが実行された後、前記データ蓄積手段に保存されている前記文字領域と該文字領域のページ番号とに基づいて目次データを作成し、更に、当該作成した目次データの項目と前記電子文書中の該当位置とをリンクさせるためのリンク情報を、当該作成した目次データの項目に付加する目次データ作成手段と、前記目次データ作成手段により作成された前記リンク情報が付加された目次データを、前記情報処理装置へ送信する目次データ送信手段と、を備え、前記所定の文書形式の電子文書は、前記情報処理装置において、前記ページデータ送信手段で送信された前記ページデータと、前記目次データ送信手段で送信された前記目次データとを結合することによって得られることを特徴とする。

上記目的を達成するために、本発明の文書変換方法は、複数ページで構成される文書画像データを所定の文書形式の電子文書に変換する文書変換方法であって、文字領域抽出手段が、前記文書画像データから文字領域を抽出する文字領域抽出ステップと、データ変換手段が、前記文書画像データのページを前記電子文書のページデータに変換し、目次の作成に必要となる前記文字領域抽出ステップで抽出された文字領域と該文字領域のページ番号とをデータ蓄積手段に保存するデータ変換ステップと、ページデータ送信手段が、前記文書画像データのうちの１ページに対して前記文字領域抽出ステップによる処理と前記データ変換ステップによる処理とが実行された時点で、前記変換されたページデータを情報処理装置へ送信する処理を開始するページデータ送信ステップと、目次データ作成手段が、前記文書画像データの全ページに対して前記文字領域抽出ステップによる処理と前記データ変換ステップによる処理とが実行された後、前記データ蓄積手段に保存されている前記文字領域と該文字領域のページ番号とに基づいて目次データを作成し、更に、当該作成した目次データの項目と前記電子文書中の該当位置とをリンクさせるためのリンク情報を、当該作成した目次データの項目に付加する目次データ作成ステップと、目次データ送信手段が、前記目次データ作成ステップにより作成された前記リンク情報が付加された目次データを、前記情報処理装置へ送信する目次データ送信ステップと、を備え、前記所定の文書形式の電子文書は、前記情報処理装置において、前記ページデータ送信ステップで送信された前記ページデータと、前記目次データ送信ステップで送信された前記目次データとを結合することによって得られることを特徴とする。

本発明によれば、作成された目次データ中の項目と当該目の前記電子文書中の該当位置とのリンクを行うために、目次データ中の項目にリンク情報を付加するので、目次を有する電子文書の使い勝手を向上できる。

本発明によれば、目次および索引を有する電子文書の使い勝手を向上でき、また、目次または索引を用いて電子文書中の該当位置に表示を切り替えることができ、さらに、文字認識結果の信頼度に応じたタイトル部の表示に切替可能な目次データを作成できる。

また、本発明によれば、ページ単位の文書データや目次データを次々に送信可能であるので、機器（文書処理装置）内の記憶リソースが限られていても、限られた記憶リソース内で複数の文書画像データから目次データを持つ電子文書への変換を容易に行うことができ、また、目次データおよび索引データを持つ電子文書への変換を容易に行うことができる。

本発明の実施の形態について図面を参照しながら説明する。本実施形態の文書変換装置は、複合機（ＭＦＰ）および情報処理装置（クライアントＰＣ）がネットワークを介して接続された文書変換システムに適用される。

図１は実施の形態における文書変換システムの構成を示す図である。この文書変換システムは、ドキュメントサーバ７、複数台のクライアントＰＣ３、スキャナ装置９および複数台のＭＦＰ５がネットワーク８を介して接続された構成を有する。ドキュメントサーバ７は文書画像データ等を管理する。クライアントＰＣ３は、文書画像データを所定の文書形式の電子文書に変換するジョブの実行を指示したり、変換された電子文書を表示する処理等を行う。スキャナ装置９は、原稿を読み取ることにより得られる文書画像データをドキュメント管理サーバ７に出力する。ＭＦＰ５は、スキャナ機能、プリンタ機能およびファクシミリ機能を有し、文書画像データを所定の文書形式の電子文書に変換する処理等を行う。ここで、ＭＦＰ５によって変換される文書画像データは、ＭＦＰ５のスキャナ機能によって取得されてもよいし、ドキュメントサーバ７から入力してもよい。また、所定の文書形式に変換される電子文書としては、一般的なワープロ文書の他、ＰＤＦ文書、ＨＴＭＬ／ＸＭＬ言語による文書等が挙げられる。

図２はＭＦＰ５の内部構成を示す図である。ＭＦＰ５は、主にスキャナ部１０およびプリンタ部２０から構成される。スキャナ部１０側では、原稿自動送り装置（原稿フィーダ）１４２から給送された原稿は順次、原稿台ガラス１０１上の所定位置に載置される。原稿照明ランプ１０２は、例えばハロゲンランプから構成され、原稿台ガラス１０１上に載置された原稿を露光する。走査ミラー１０３、１０４、１０５は、光学走査ユニット（図示せず）に収容されており、往復動しながら原稿からの反射光をＣＣＤユニット１０６に導く。ＣＣＤユニット１０６は、原稿からの反射光を撮像素子に結像させる結像レンズ１０７、ＣＣＤからなる撮像素子１０８、この撮像素子１０８を駆動するＣＣＤドライバ１０９等から構成される。撮像素子１０８から出力される画像信号は、例えば８ビットのデジタルデータに変換された後、コントローラユニット３０に入力される。

一方、プリンタ部２０側では、画像形成に備え、感光ドラム１１０は前露光ランプ１１２によって除電される。１次帯電器１１３は感光ドラム１１０を一様に帯電させる。露光手段としての半導体レーザ１１７は、コントローラユニット３０で処理された画像データに基づき、感光ドラム１１０を露光し、静電潜像を形成する。現像器１１８は黒色の現像剤（トナー）を収容する。転写前帯電器１１９は感光ドラム１１０上に現像されたトナー像を用紙に転写する前に高圧をかける。手差し給紙ユニット１２０および給紙ユニット１２２、１２４、１４６、１４４では、それぞれ各給紙ローラ１２１、１２３、１２５、１４３、１４５の駆動により、転写用紙が装置内に給送され、レジストローラ１２６の位置で一旦停止した後、感光ドラム１１０に形成された画像との書き出しタイミングに合わせるように、再給送される。転写帯電器１２７は、感光ドラム１１０に現像されたトナー像を給送される転写用紙に転写する。分離帯電器１２８は、転写動作が終了した転写用紙を感光ドラム１１０から分離する。転写されずに感光ドラム１１０上に残ったトナーは、クリーナ１１１によって回収される。

搬送ベルト１２９は、転写プロセスが終了した転写用紙を定着器１３０に搬送し、例えば加熱により定着する。フラッパ１３１は、定着プロセスが終了した転写用紙の搬送パスを、ソータ１３２または中間トレイ１３７の配置方向のいずれかに制御する。また、給送ローラ１３３〜１３６は、一度定着プロセスが終了した転写用紙を、中間トレイ１３７に反転（多重）させて、あるいは非反転（両面）のまま給送する。再給送ローラ１３８は、中間トレイ１３７に載置された転写用紙を再度、レジストローラ１２６の位置まで搬送する。後述するように、コントローラユニット３０は、マイクロコンピュータ、画像処理部等を有し、操作部１４０からの指示に従って、上記画像形成動作を制御する。

図３はコントローラユニット３０のハードウェア構成を示す図である。コントローラユニット３０は、周知のＣＰＵ４１１、ＲＯＭ４１２、ＲＡＭ４１３、プリンタコントローラ（ＰＲＴＣ）４１５、ディスクコントローラ（ＤＫＣ）４１７、ネットワークコントローラ（ＮＴＣ）４１９、スキャナコントローラ４２１および操作インタフェース（Ｉ／Ｆ）４２５がシステムバス４１４を介して接続された構成を有する。プリンタコントローラ（ＰＲＴＣ）４１５には、プリンタ部（プリンタエンジン）２０が接続されている。ディスクコントローラ（ＤＫＣ）４１７には、ハードディスク装置（ＨＤ）４１８が接続されている。このハードディスク装置（以降、単にハードディスクという）４１８には、文書画像データ等が格納されるボックス（ＢＯＸ）４１８ａが記憶領域の一部として割り当てられている。ネットワークコントローラ（ＮＴＣ）４１９には、ＭＦＰ５およびネットワーク８間の接続制御を行うネットワーク装置（ＮＴ）４２０が接続されている。スキャナコントローラ４２１には、スキャナ部（スキャナユニット）１０が接続されている。操作Ｉ／Ｆ４２５には、操作パネル１４０が接続されている。

ＣＰＵ４１１は、装置全体を制御する中央処理装置であり、ＲＡＭ４１３をワークエリアとして利用し、ＲＯＭ４１２に格納された各種プログラムに従って、印刷に必要な各種の処理を実行する。システムバス４１４は、上記各部の間でデータや制御信号を授受するための通路となっている。ＲＯＭ４１２には、各種プログラムの他、文字パターンデータ（フォントデータ）等が格納されている。ＲＡＭ４１３またはＨＤ４１８には、要求に応じて、ドキュメントサーバ７からダウンロードされる文書データ、文書画像データ（イメージデータ）、フォントデータの他、後述する文書変換プログラム等が格納される。また、ＣＰＵ４１１は、ＲＯＭ４１２に格納されたプログラムに従って、文字パターンデータや画像データ（ビットマップデータ）を生成し、プリンタコントローラ４１５内の印刷バッファに展開する。また、後述するように、ＣＰＵ４１１は、文書変換プログラムに従って、文書画像データを所定の文書形式の電子文書に変換する。

プリンタコントローラ４１５は、ビットマップデータに基づいて生成された印刷コントロール信号をプリンタエンジン２０に出力する。ネットワークコントローラ４１９は、ネットワーク８を介して、クライアントコンピュータ３やドキュメントサーバ７との間でデータ送受信を行う際、ネットワーク装置（ＮＴ）４２０の動作を制御する。

図４はクライアントＰＣ３のハードウェア構成を示す図である。複数のクライアントＰＣ３およびドキュメントサーバ７は全て同一の構成を有するので、ここでは、１台のクライアントＰＣ３だけを示す。ＣＰＵ２０１は中央処理装置であり、装置全体の制御および演算処理を行う。ＲＯＭ２０２は読み出し専用メモリであり、システム起動プログラム、基本Ｉ／Ｏプログラム、文字コードをビットパターンに変換するための文字パターンデータ（フォントデータ）等を記憶している。ＲＡＭ２０３はランダムアクセスメモリであり、ＣＰＵ２０１の演算に使用されるデータ、演算結果、表示のために文字コードから変換された文字パターンデータ列や図形データ、イメージデータ等を一時的に記憶する。

入力制御部２０４は、キーボード（ＫＢ）２０５からのキー入力データ（文字コードや制御コード）やマウス２１３からの指示情報を受け取り、ＣＰＵ２０１に伝達する。ディスプレイ制御部２０６は、ＲＡＭ２０３に格納された文字パターンデータ列を読み出してディスプレイ装置２０７に転送する。ディスプレイ装置２０７は、ディスプレイ制御部２０６から文字パターンデータ列、図形データ、イメージデータを受け取り、画面に表示する。

ディスク制御部（ＤＫＣ）２０８は、外部記憶装置２０９に対するアクセス制御を行う。外部記憶装置２０９として、本実施形態では、フロッピー（登録商標）ディスク装置（ＦＤ）２０９ａ、ハードディスク装置（ＨＤ）２０９ｂ、ＣＤ−ＲＯＭドライブ２０９ｃが設けられている。ＨＤ２０９ｂには、文字パターンデータ（フォントデータ）やフォントデータを読み出してビットマップデータに変換する文字展開処理プログラム、図形データを処理する図形展開処理プログラム、イメージデータを処理するイメージデータ処理プログラム、ＭＦＰ５で変換された電子文書を編集可能ワープロ等のアプリケーション等が記憶されている。ネットワーク制御部（ＮＴＣ）２１０は、ネットワーク装置（ＮＴ）２１１の動作を制御する。システムバス２１２は、上記各部の間でデータ転送を行う。

図５はＭＦＰの文書変換機能の構成を示す図である。この文書変換機能は、文書画像解析処理部３０２、文字認識処理部３０３、キーワード抽出部３０４、ページデータ変換部３０５、データ蓄積部３０６およびフッタ変換部３０７から構成される。文書画像解析処理部３０２は、領域判別部３０２ａおよびタイトル判定部３０２ｂを有し、文書画像データ（単に、文書画像という）３０１が入力されると、入力された文書画像に対し、文字領域の抽出やレイアウト解析によるタイトル部（見出し）の判定を行う。文字認識処理部３０３は、文書画像解析処理部３０２によって抽出された文字領域の文字認識処理を行う。キーワード抽出部３０４は、文字認識処理部３０３の認識結果から文書中に含まれるキーワードの抽出処理を行う。

ページデータ変換部３０５は、文書画像３０１と、文書画像解析処理部３０２、文字認識処理部３０３およびキーワード抽出部３０４の処理結果とを受け、ページ単位に所望の電子文書形式を有する電子文書への変換処理を行う。電子文書への変換結果は、１ページ目のデータ３０８から最終ページ目のデータ３０９としてページ毎に出力される。また、目次や索引を作成するために必要なデータは、データ蓄積部３０６に出力される。データ蓄積部３０６は、この出力されたデータを最終ページの変換処理が終わるまで保持する。

フッタ変換部３０７は、データ蓄積部３０６に保持されているデータから、目次データや索引データを作成するともに、フッタへの変換処理を行い、フッタデータ３１０として出力する。変換されたデータ３０８、３０９、３１０は、ページデータ変換部３０５およびフッタ変換部３０７によって電子文書形式に変換されたデータである。１ページ目のデータ３０８には、電子文書のヘッダ情報が含まれている。ヘッダ情報を除けば、１ページ目のデータと２ページ目以降のデータとの間には、構造上の違いはない。これらのページデータがページ順に出力され、そして、フッタデータ３１０がその順番どおりに結合されると、所望の電子文書３３０が得られる。尚、上記文書変換機能の各部は、後述するように、ＣＰＵ４１１がハードディスク４１８に格納された文書変換プログラムを実行することにより実現される。

図６はＭＦＰ５の文書変換機能における電子文書への変換処理手順を示すフローチャートである。この文書変換プログラムは、前述したように、ハードディスク４１８に格納されており、ＣＰＵ４１１によって実行される。まず、文書画像（文書画像データ）の入力処理を行う（ステップＳ１）。この文字画像の入力処理では、スキャナ部１０によって原稿から読み取られる文書画像を入力する。また、本実施形態では、文書画像の入力は１枚毎に行われるが、任意の枚数毎に行われるようにしてもよい。図７は複数枚の文書画像を示す図である。ここでは、取扱説明書に関する複数（Ｎ＝１０）枚の文書画像３０１−１、３０１−２、３０１−３、……、３０１−１０が入力される場合を示す。尚、ＭＦＰ５に備わるスキャナ部１０を使用する代わりに、ネットワーク８に接続されたスキャナ装置９によって読み取られた文書画像を入力するようにしてもよい。

入力された文書画像から領域判別部３０２ａにより文字領域を抽出し、そのレイアウトからタイトル判定部３０２ｂによりタイトル部を判定する文書画像解析処理を行う（ステップＳ２）。ここで、文字領域を抽出する手法として、例えば、画像データ中の黒画素を隣接する１つあるいは複数の白画素にまで水平・垂直方向に膨張させる（文字や文字行を構成している黒画素同士が繋がる程度に膨張させる）ことにより画像データを塗りつぶして文字領域を識別する塗りつぶし手法等が挙げられる。図８は抽出された文字領域を示す図である。また、タイトル部の判定は、抽出された文字領域３７１、３７２の文書画像中における位置、およびこの文字領域内の文字の大きさ等の情報に基づいて行われる。文字の大きさは、例えば、次のように求められる。２値化された文字領域の画像データに対し、主走査方向（文字行方向）に投影された黒画素の計数値（度数）を副走査方向（文字列方向）に亘って表した黒画素分布を求める。この黒画素分布において、副走査方向に亘る黒画素の分布が「０」から「１」に変化する位置から、「１」から「０」に変化する直前までの位置の範囲が文字の行データとして判断され、この文字行データから文字の大きさが判定される。

そして、文字認識処理を行う（ステップＳ３）。この文字認識処理では、抽出された文字領域の文字認識を行い、その結果をテキストコードおよび位置情報として取得する。この文字認識では、抽出された文字領域と辞書データとの識別マッチング処理が行われ、その距離値から文字が認識される。さらに、文字認識の結果から、キーワードとなる単語を抽出するキーワード抽出処理を行う（ステップＳ４）。

ページ変換処理および情報の蓄積処理を行う（ステップＳ５）。ページ変換処理では、所望の電子文書の各ページデータが生成される。このとき、ページ全体が表示されるように、文書画像（文書画像データ）を圧縮して配置する形式に変換される。さらに、文字認識結果の位置情報を基に、文書画像の文字位置と一致するように、テキストコードを非表示で配置する形式に変換される（例えば、文書画像に該テキストコードを透明色で埋め込む）。各ページに対して同じページ変換処理が行われるが、１ページ目の変換データの先頭には、電子文書のヘッダ情報が付加される。

一方、情報の蓄積処理では、ステップＳ４で得られたタイトル部およびキーワードが、そのページ番号、部分画像および位置情報とともに蓄積される。ここで、キーワードに対する部分画像は索引作成用に蓄積されるが、同じキーワードが複数ある場合、そのキーワードに対する部分画像の数は１つでよく、複数の画像を持つ必要がない。また、文書画像データおよび文字認識結果は、ページ変換処理が行われた後、不要になるので、蓄積されずに消去される。

ステップＳ５で変換された１ページ分の変換データ（ページデータ）を送信する（ステップＳ６）。次の文書画像の入力があるか否かを判別する（ステップＳ７）。次の文書画像の入力がある場合、つまり複数枚の文書画像の入力が全て終わっていない場合、ステップＳ１の処理に戻る。一方、次の文書画像の入力がない場合、つまり複数枚の文書画像の入力が全て終わっている場合、目次および索引のデータを作成する（ステップＳ８）。前述したように、ステップＳ５で蓄積された部分画像、文字コードおよび位置情報から、目次データおよび索引データが作成される。このとき、文字部分画像に対し、その解像度の調整（解像度変換）が行われる。そして、作成された目次および索引データを含むフッタデータの送信処理を行う（ステップＳ９）。

図９は電子文書の構造を示す図である。ステップＳ６およびＳ９で送信されたデータ（１ページ目データ３０８〜フッタデータ３１０）を結合すると、電子文書は、ヘッダ、１ページ目データ、２ページ目データ、……、最終ページデータ、目次データ、索引データ、フッタという順に並ぶ構造を有する。図１０はアプリケーションによって開かれた電子文書を示す図である。そして、後述するように、ワープロ等のアプリケーションから電子文書を開くと、「目次、１、２、３、……、最終ページ、索引」の順番になるように、ヘッダ以下の変換が調節される。

図１１はステップＳ８における目次および索引データの作成処理手順を示すフローチャートである。目次データの作成と索引データの作成は同じ手順で行われるので、ここでは、目次データを作成する処理だけを示す。まず、ステップＳ３における文字認識処理の結果を取り出す（ステップＳ２１）。この処理の結果、認識された文字の有無を判別する（ステップＳ２２）。認識された文字がない場合、そのまま本処理を終了し、元の処理に復帰する。一方、認識された文字がある場合、文字認識結果を判定し、その信頼度を求める（ステップＳ２３）。文字認識結果の信頼度は、文字類似度（識別マッチング処理を行った際の辞書データと距離値）等の情報から求められる。

そして、文字類似度が所定値以上で信頼度が高い（閾値を越える）か否かを判別する（ステップＳ２４）。信頼度が低い（閾値以下である）場合、ステップＳ５で蓄積されたタイトル部の部分画像、および認識結果である文字コードを用いて、目次の項目を作成する（ステップＳ２５）。このとき、目次で使用されるフォントに合わせて、部分画像の表示サイズあるいは解像度を調整する。さらに、認識結果である文字コードは、変換対象である電子文書の形式に合わせたテキストコードとして、表示される部分画像の上に非表示で描画される。これにより、電子文書を扱うワープロ等のアプリケーションから、目次の部分もキーワード検索が可能となる。もし文字認識結果が間違っていた場合、正確なキーワード検索はできないが、元の部分画像を用いているのでユーザの視認上は正しい画像で表示され、目次としての役目は十分果たせる。

一方、ステップＳ２４で信頼度が高い（閾値を越える）場合、通常の目次作成と同様、ステップＳ２５で示す部分画像を用いることなく、文字コードに対応するフォントによるテキスト描画を行うように、目次の項目を作成する（ステップＳ２６）。

ステップＳ２５、Ｓ２６で目次の項目を作成する際、加えられるページ番号は、データ蓄積部３０６によって記憶されたものである。この目次作成処理では、ページ番号に、電子文書中の該当個所（ページ）へのリンク情報が付加される。これにより、アプリケーションによって電子文書が開かれた際、ユーザが表示された目次中のページ番号をクリックすると、電子文書中の該当個所に表示ページが切り替わることになる。

そして、ステップＳ２５、Ｓ２６で作成されたデータを、変換作業中のフッタデータに追加する（ステップＳ２７）。この後、ステップＳ２１の処理に戻り、認識結果の取り出しを行う。ステップＳ２２で認識された文字がある場合、ステップＳ２３以降の同様の処理を行い、一方、認識された文字がない場合、そのまま本処理を終了し、元の処理に復帰する。

尚、前述したように、上記処理手順は、索引データの作成に対しても同様に行われる。具体的に、ステップＳ２７でフッタデータに追加して目次データの作成が終了した後、再びステップＳ２１の処理に戻って索引データの作成を開始する。ステップＳ２４で判定される信頼度が低い場合、ステップＳ２５で部分画像および文字コードを用いて索引の項目を作成し、一方、信頼度が高い場合、ステップＳ２６で文字コードを用いて索引の項目を作成する。そして、ステップＳ２７でフッタデータに索引の項目を追加する。これらの処理は索引データの作成が終了するまで繰り返される。また、索引の項目を作成する際、ページ番号に、電子文書中の該当個所（ページ）へのリンク情報が付加される。

図１２はクライアントＰＣ３における電子文書の受信処理手順を示すフローチャートである。この処理プログラムは、外部記憶装置２０９に格納されており、ＣＰＵ２０１によって一旦ＲＡＭ２０３にロードされた後、実行される。

まず、受信の開始に際して、作成する文書ファイルの初期化処理を行う（ステップＳ３１）。この初期化処理では、対象ファイルの作成およびオープン処理が行われる。そして、ステップＳ６、Ｓ９で作成されたデータを受け取り、開いているファイルの末尾に追加するデータ受信処理を行う（ステップＳ３２）。

受け取ったデータがステップＳ９で作成されたデータであるか否かを判別する（ステップＳ３３）。ステップＳ９で作成されたデータである場合、開いているファイルを閉じて文書ファイルとして完成させる受信終了処理を行い（ステップＳ３４）、本処理を終了する。一方、受け取ったデータがステップＳ９で作成されたデータでなく、ステップＳ６で作成されたデータである場合、ステップＳ３１の処理に戻る。

尚、図６では、１ページ単位で文書データの変換および送信処理を行っているが、変換されたデータはそのタイミングで送信されるとは限らない。送受信側の処理効率や、データがやり取りされる通信回線の速度等の条件により、送信側において変換データをすぐに送信せず、可能な範囲でスプールして複数ページの変換データをまとめて送信してもよい。このような場合、図６の処理フローと図１２の処理フローとは同期しなくなる。

図１３はクライアントＰＣ３における電子文書の表示切替処理手順を示すフローチャートである。この処理プログラムは、クライアントＰＣ３に搭載されたワープロ等のアプリケーションの一部として外部記憶装置２０９に格納されており、ＣＰＵ２０１によって一旦ＲＡＭ２０３にロードされた後、実行される。まず、受信した電子文書を開き、ディスプレイ装置２０７に目次のページを表示する（ステップＳ４１）。図１４は目次のページを示す図である。目次を表す画面では、その左側に見出し（タイトル部）が配置され、右側にはページ番号が配置されている。

キーボード２０５のキー入力あるいはマウス２１３のクリック操作により、目次ページ中のページ番号（または目次の各項目）が指示されたか否かを判別する（ステップＳ４２）。ページ番号（または目次の各項目）が指示された場合、そのページ番号（または目次の各項目）に付されているリンク情報を取得する（ステップＳ４３）。取得したリンク情報に従って、該当個所（ページ）に表示ページを切り替える（ステップＳ４４）。この後、本処理を終了する。一方、ステップＳ４２で目次ページ中のページ番号が指示されず、「次へ」あるいは「前へ」等のページ切替キーが操作された場合、それに応じた表示ページの切替処理を行う（ステップＳ４５）。この後、本処理を終了する。尚、索引ページにおいても同様であり、索引中のページ番号（または索引の各項目）を指示するだけで該当個所（ページ）に表示ページを切り替えることが可能である。図１５は索引ページを示す図である。索引を表す画面では、その左側にキーワードが「あいうえお」順に配置されており、右側に該当個所のページ番号が配置されている。

このように、本実施形態の文書検索システムによれば、１ページあるいは複数ページ毎に変換ページがＭＦＰ５からクライアントＰＣ３に送信されるので、ＭＦＰ５内の記憶リソースであるハードディスク４１８（特に、ボックス４１８ａ）の容量が限られていても、文書画像データを上書き保存することにより対処することができる。これにより、複数ページで構成される文書画像から、目次および索引を持つ電子文書への変換を容易に行うことができる。また、目次や索引に含まれるページ番号を指示するだけで、電子文書中の該当個所に表示ページを切り替えることができ、使い勝手の良い電子文書を得ることができる。

尚、本発明は、上記実施形態の構成に限られるものではなく、特許請求の範囲で示した機能、または本実施形態の構成が持つ機能が達成できる構成であればどのようなものであっても適用可能である。例えば、上記実施形態では、目次および索引を作成する際、ページ番号の管理が必要なこと、まとめて送信することにより送受信回数を減らして処理の効率化を図ること等の理由から、ステップＳ５のページ変換処理では、１ページ目であるという条件を満たす場合、電子文書ヘッダを作成していた。しかし、ステップＳ５でこのような処理を行う代わりに、ステップＳ１の処理前に電子文書ヘッダの作成および送信処理を設けてもよいことは勿論である。

また、上記実施形態では、文字認識処理部３０３が設けられていたが、本発明は文字認識処理部を設けなくても実現可能である。この場合、キーワード抽出部３０４も必要なくなる。キーワードを抽出できないので、索引を作成することはできないが、目次を作成することは可能である。すなわち、抽出されたタイトル部の部分画像、その位置情報およびページ番号を蓄積しておき、目次データを作成するステップＳ８の処理において、蓄積された部分画像を目次に貼り付け、ページ番号に該当個所へのリンク情報を付加することで、対応可能である。

また、上記実施形態では、フッタ変換部３０７は、ステップＳ８において、蓄積されている文字部分画像、文字コードおよび文字位置情報から目次データおよび索引データを作成する際、前述したように、部分画像の解像度の調整（解像度変換）を行っている（ステップＳ２５の処理参照）。しかし、部分画像としては、文書画像３０１が高精細であってその画像解像度が非常に高くなるもの、あるいは解像度は非常に高くなくてもフルカラーであって蓄積される部分画像のデータサイズが大きくなるものがある。

このような部分画像の蓄積を行う際の容量に余裕がない場合、ページデータ変換部３０５は、ステップＳ５において、ステップＳ２３と同様の認識結果の判定を行い、認識結果の信頼度が予め決められた閾値に達しない場合のみ、蓄積対象である部分画像の解像度変換処理を行うようにしてもよい。このとき、ページ変換処理の効率は多少落ちることになる。さらには、ステップＳ５において、フルカラー等の多値画像の場合、二値化処理してデータ量を落としてもよい。これに対応するべく、フッタ変換部３０７は、部分画像を持つか否かを選択する際、以下のような処理を行う。即ち、図１１のフローチャートにおいて、ステップＳ２３を削除し、ステップＳ２４の処理を、蓄積されている認識結果に部分画像が付属しているか否かを判別する処理に変更し、付属している場合、ステップＳ２５の処理を行い、付属していない場合、ステップＳ２６の処理を行うようにする。

また、本発明は、複数の機器から構成されるシステムに適用しても、１つの機器からなる装置に適用してもよい。上記実施形態では、ＭＦＰに適用された場合を示したが、文書画像データを入力可能な情報処理装置、上記文書変換機能を有するスキャナ装置等、種々の装置に適用可能である。

また、本発明の目的は、実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行することによっても達成される。

この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。

又、プログラムコードを供給するための記憶媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。または、プログラムコードをネットワークを介してダウンロードしてもよい。

また、コンピュータが読み出したプログラムコードを実行することにより、上記実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。

更に、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。

実施の形態における文書変換システムの構成を示す図である。 ＭＦＰ５の内部構成を示す図である。 コントローラユニット３０のハードウェア構成を示す図である。 クライアントＰＣ３のハードウェア構成を示す図である。 ＭＦＰの文書変換機能の構成を示す図である。 ＭＦＰ５の文書変換機能における電子文書への変換処理手順を示すフローチャートである。 複数枚の文書画像を示す図である。 抽出された文字領域を示す図である。 電子文書の構造を示す図である。 アプリケーションによって開かれた電子文書を示す図である。 ステップＳ８における目次および索引データの作成処理手順を示すフローチャートである。 クライアントＰＣ３における電子文書の受信処理手順を示すフローチャートである。 クライアントＰＣ３における電子文書の表示切替処理手順を示すフローチャートである。 目次のページを示す図である。 索引ページを示す図である。

符号の説明

３ クライアントＰＣ
５ 複合機（ＭＦＰ）
８ ネットワーク
３０ コントローラユニット
３０１ 文書画像
３０２ 文書画像解析処理部
３０３ 文字認識処理部
３０４ キーワード抽出部
３０５ ページデータ変換部
３０６ データ蓄積部
３０７ フッタ変換部
３３０ 電子文書

Claims (10)

1. 複数ページで構成される文書画像データを所定の文書形式の電子文書に変換する文書変換装置であって、
   前記文書画像データから文字領域を抽出する文字領域抽出手段と、
   前記文書画像データのページを前記電子文書のページデータに変換し、目次の作成に必要となる前記文字領域抽出手段で抽出された文字領域と該文字領域のページ番号とをデータ蓄積手段に保存するデータ変換手段と、
   前記文書画像データのうちの１ページに対して前記文字領域抽出手段による処理と前記データ変換手段による処理とが実行された時点で、前記変換されたページデータを情報処理装置へ送信する処理を開始するページデータ送信手段と、
   前記文書画像データの全ページに対して前記文字領域抽出手段による処理と前記データ変換手段による処理とが実行された後、前記データ蓄積手段に保存されている前記文字領域と該文字領域のページ番号とに基づいて目次データを作成し、更に、当該作成した目次データの項目と前記電子文書中の該当位置とをリンクさせるためのリンク情報を、当該作成した目次データの項目に付加する目次データ作成手段と、
   前記目次データ作成手段により作成された前記リンク情報が付加された目次データを、前記情報処理装置へ送信する目次データ送信手段と、を備え、
   前記所定の文書形式の電子文書は、前記情報処理装置において、前記ページデータ送信手段で送信された前記ページデータと、前記目次データ送信手段で送信された前記目次データとを結合することによって得られることを特徴とする文書変換装置。
2. 前記抽出された文字領域からタイトル部を判定するタイトル部判定手段を更に備え、
   前記データ変換手段によって前記データ蓄積手段に保存するデータは、前記タイトル部判定手段で判定されたタイトル部の文字領域と、該タイトル部の文字領域のページ番号とを含み、
   前記目次データ作成手段は、前記文書画像データの全ページに対して前記文字領域抽出手段による処理と前記タイトル部判定手段による処理と前記データ変換手段による処理とが実行された後、前記データ蓄積手段に保存されている前記タイトル部の文字領域と該タイトル部の文字領域のページ番号とに基づいて前記目次データを作成し、更に、当該作成した目次データの項目と前記電子文書中の該当位置とをリンクさせるためのリンク情報を、当該作成した目次データの項目に付加することを特徴とする請求項１記載の文書変換装置。
3. 前記抽出された文字領域の文字認識を行なう文字認識手段を更に備え、
   前記データ変換手段によって前記データ蓄積手段に保存するデータは、前記文字領域と該文字領域の文字認識結果と該文字領域のページ番号とを含み、
   前記目次データ作成手段は、前記文書画像データの全ページに対して前記文字領域抽出手段による処理と前記文字認識手段による処理と前記データ変換手段による処理とが実行された後、前記データ蓄積手段に保存されている前記文字領域と該文字領域の文字認識結果と該文字領域のページ番号とに基づいて前記目次データを作成し、更に、当該作成した目次データの項目と前記電子文書中の該当位置とをリンクさせるためのリンク情報を、当該作成した目次データの項目に付加することを特徴とする請求項１または２記載の文書変換装置。
4. 前記抽出された文字領域の文字認識を行う文字認識手段と、
   前記文字認識の結果からキーワードを抽出するキーワード抽出手段と、
   前記文書画像データの全ページに対して前記文字領域抽出手段による処理と前記文字認識手段による処理と前記キーワード抽出手段による処理と前記データ変換手段による処理とが実行された後、前記抽出されたキーワードとページ番号とに基づいて索引データを作成し、更に、当該作成した索引データ中の項目と当該項目が記載される前記電子文書中の該当位置とをリンクさせるための情報を、当該作成した索引データの項目に付加する索引データ作成手段と、
   前記索引データ作成手段により作成された前記索引データを、前記情報処理装置へ送信する索引データ送信手段と、を更に備え、
   前記所定の文書形式の電子文書は、前記情報処理装置において、前記ページデータ送信手段で送信された前記ページデータと、前記目次データ送信手段で送信された前記目次データと、前記索引データ送信手段で送信された前記索引データとを結合することによって得られることを特徴とする請求項１記載の文書変換装置。
5. 前記情報処理装置において得られる前記所定の文書形式の電子文書に含まれる前記目次データの項目がユーザにより指示されると、前記リンク情報に基づいて、当該項目が記載されている前記生成された電子文書中の該当位置が表示されることを特徴とする請求項１記載の文書変換装置。
6. 前記抽出された文字領域の文字認識を行う文字認識手段と、
   前記文字認識の結果の信頼度を判定する信頼度判定手段と、を更に備え、
   前記目次データ作成手段は、前記信頼度が閾値以下である場合、前記文字領域の部分文字画像データを表示状態とし、前記文字認識の結果として得られた文字コードを非表示状態とする目次データを作成し、前記信頼度が閾値を越える場合、前記文字認識の結果として得られた文字コードに対応するフォントを表示状態とする目次データを作成し、更に、当該作成した目次データの項目と前記電子文書中の該当位置とをリンクさせるためのリンク情報を、当該作成した目次データの項目に付加することを特徴とする請求項１記載の文書変換装置。
7. 前記情報処理装置において得られる前記所定の文書形式の電子文書は、アプリケーションによって開かれた際、前記目次データ、前記ページデータ、索引データの順番で表示されるようになるデータ構造を有することを特徴とする請求項４に記載の文書変換装置。
8. 前記ページデータ送信手段は、前記文書画像データのうちの所定数のページに対して前記文字領域抽出手段による処理と前記データ変換手段による処理とが実行された時点で、前記変換されたページデータを情報処理装置へ送信する処理を開始することを特徴とする請求項１に記載の文書変換装置。
9. 複数ページで構成される文書画像データを所定の文書形式の電子文書に変換する文書変換方法であって、
   文字領域抽出手段が、前記文書画像データから文字領域を抽出する文字領域抽出ステップと、
   データ変換手段が、前記文書画像データのページを前記電子文書のページデータに変換し、目次の作成に必要となる前記文字領域抽出ステップで抽出された文字領域と該文字領域のページ番号とをデータ蓄積手段に保存するデータ変換ステップと、
   ページデータ送信手段が、前記文書画像データのうちの１ページに対して前記文字領域抽出ステップによる処理と前記データ変換ステップによる処理とが実行された時点で、前記変換されたページデータを情報処理装置へ送信する処理を開始するページデータ送信ステップと、
   目次データ作成手段が、前記文書画像データの全ページに対して前記文字領域抽出ステップによる処理と前記データ変換ステップによる処理とが実行された後、前記データ蓄積手段に保存されている前記文字領域と該文字領域のページ番号とに基づいて目次データを作成し、更に、当該作成した目次データの項目と前記電子文書中の該当位置とをリンクさせるためのリンク情報を、当該作成した目次データの項目に付加する目次データ作成ステップと、
   目次データ送信手段が、前記目次データ作成ステップにより作成された前記リンク情報が付加された目次データを、前記情報処理装置へ送信する目次データ送信ステップと、を備え、
   前記所定の文書形式の電子文書は、前記情報処理装置において、前記ページデータ送信ステップで送信された前記ページデータと、前記目次データ送信ステップで送信された前記目次データとを結合することによって得られることを特徴とする文書変換方法。
10. コンピュータを、
    複数のページで構成される文書画像データから文字領域を抽出する文字領域抽出手段、
    前記文書画像データのページを、所定の文書形式の電子文書のページデータに変換するデータ変換手段、
    目次の作成に必要となる前記文字領域抽出手段で抽出された文字領域とそのページ番号とを対応付けてデータ蓄積手段に保存する蓄積手段、
    前記文書画像データのうちの１ページに対して前記文字領域抽出手段による処理と前記データ変換手段による処理と前記蓄積手段による処理とが実行された時点で、前記変換されたページデータを情報処理装置へ送信する処理を開始するページデータ送信手段、
    前記文書画像データの全ページに対して前記文字領域抽出手段による処理と前記データ変換手段による処理と前記蓄積手段による処理とが実行された後、前記データ蓄積手段に保存されている前記文字領域とそのページ番号とに基づいて目次データを作成し、更に、当該作成した目次データの項目と前記電子文書中の該当位置とをリンクさせるためのリンク情報を、当該作成した目次データの項目に付加する目次データ作成手段、
    前記目次データ作成手段により作成された前記リンク情報が付加された目次データを、前記情報処理装置へ送信する目次データ送信手段、
    として機能させるためのプログラムであって、
    前記情報処理装置において、前記ページデータ送信手段で送信された前記ページデータと前記目次データ送信手段で送信された前記目次データとを結合することによって、前記所定の文書形式の電子文書が得られることを特徴とする前記プログラムを格納したコンピュータ読み取り可能な記憶媒体。

Images