JP4043381B2

JP4043381B2 - Document creation support apparatus, method, program, and recording medium

Info

Publication number: JP4043381B2
Application number: JP2003045704A
Authority: JP
Inventors: 憲彦坂田; 俊典高木; 稔長谷川
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2003-02-24
Filing date: 2003-02-24
Publication date: 2008-02-06
Anticipated expiration: 2023-02-24
Also published as: JP2004258724A

Description

【０００１】
【発明の属する技術分野】
本発明は、文書作成支援装置、方法、プログラム、及び記録媒体、より詳細には、コンピュータシステム等に適用して好適なレイアウト認識技術を利用した文書作成支援装置、方法、プログラム、及び記録媒体に関する。
【０００２】
【従来の技術】
紙面上の各種文書をイメージデータとして電子化することにより、従来、複数の紙面上の文書を切り貼りして新しい文書を作成していた編集作業を、コンピュータ上で容易に行えるようにするための編集技術が種々開発されている。このような編集作業を容易且つ効率化するための技術として、文書の構成要素毎にレイアウトを認識するものが知られている。
従来のレイアウト認識技術を利用したものに、レイアウト認識技術により得られたレイアウト構成要素に関する情報に基づく文書編集作業のうち、特に表領域の拡大縮小、内容変更、一部選択などの各種編集作業をユーザの操作負担を著しく軽減して容易且つ迅速に行うことができるようにしたものが開示されている（例えば、特許文献１参照）。
【０００３】
【特許文献１】
特開２００１−２７４９８１号公報
【０００４】
【発明が解決しようとする課題】
ここで、スキャナ等により取り込んだイメージデータを他のアプリケーションのデータ形式に変換して利用する場合、イメージデータを構成する文字や画像の各要素のレイアウト情報がアプリケーション間で保持されていないために、データ変換した後に、ユーザがマニュアル操作によりレイアウトし直す必要が生じ、文書作成に手間がかかっていた。また、カタログ等を作成する場合に、既存のカタログフォームをそのままイメージデータとして取り込んで、例えば、ＭｉｃｒｏｓｏｆｔＷｏｒｄ（Ｒ）や、ＰｏｗｅｒＰｏｉｎｔ（Ｒ）等の所望のアプリケーション上で編集作業を行うことができれば、カタログやパンフレット等を迅速且つ低コストで作成することが可能となる。
【０００５】
本発明は、上述のごとき実情に鑑みてなされたものであり、スキャナ等の読取装置により読み込んだ文書等のレイアウトを認識すると共に、その文書に含まれる文字や画像等の構成要素を識別して取り込み、取り込んだ各構成要素を前記レイアウトを表現するデータ形式に変換し、そのデータ形式に応じたアプリケーション上において各構成要素の再現、編集を可能とする文書作成支援装置、方法、プログラム、及び記録媒体を提供すること、を目的としてなされたものである。
【０００６】
【課題を解決するための手段】
請求項１の発明は、文字領域及び／又は画像領域を含む文書情報が記録された紙面上を走査して前記文書情報をイメージデータとして電子的に読み取る読取装置と接続可能とし、該読取装置により読み取った文書情報の入力を受け付ける入力受付手段と、該入力した文書情報を構成する文字領域及び／又は画像領域のレイアウトを認識するレイアウト認識手段と、該認識したレイアウトに従って前記文書情報を所定のアプリケーションのデータ形式に変換するデータ形式変換手段とを有し、前記レイアウト認識手段は、文書情報全体又は文書情報に指定した範囲内に含まれる画像領域及び／又は文字領域のレイアウトを認識し、該認識した画像領域，文字領域それぞれにおいて前記文書情報の用紙サイズに対する面積比率を算出し、前記データ形式変換手段は、前記レイアウト認識手段により認識した認識結果を所定のアプリケーションのデータ形式に変換する際に、該アプリケーションで使用する用紙サイズ，用紙の向きを少なくとも含む用紙形式を指定し、該指定した用紙形式に対する前記画像領域及び／又は文字領域のサイズを前記算出した面積比率に基づいて調整し、該サイズ調整した画像領域及び／又は文字領域を前記認識したレイアウトに従って所定のアプリケーションのデータ形式に変換して表示することを特徴としたものである。
【０００７】
請求項２の発明は、文字領域及び／又は画像領域を含む文書情報を記憶した記憶手段と、該記憶手段の複数の文書情報の中から選択された文書情報を構成する文字領域及び／又は画像領域のレイアウトを認識するレイアウト認識手段と、該認識したレイアウトに従って前記文書情報を所定のアプリケーションのデータ形式に変換するデータ形式変換手段とを有し、前記レイアウト認識手段は、文書情報全体又は文書情報に指定した範囲内に含まれる画像領域及び／又は文字領域のレイアウトを認識し、該認識した画像領域，文字領域それぞれにおいて前記文書情報の用紙サイズに対する面積比率を算出し、前記データ形式変換手段は、前記レイアウト認識手段により認識した認識結果を所定のアプリケーションのデータ形式に変換する際に、該アプリケーションで使用する用紙サイズ，用紙の向きを少なくとも含む用紙形式を指定し、該指定した用紙形式に対する前記画像領域及び／又は文字領域のサイズを前記算出した面積比率に基づいて調整し、該サイズ調整した画像領域及び／又は文字領域を前記認識したレイアウトに従って所定のアプリケーションのデータ形式に変換して表示することを特徴としたものである。
【０００８】
請求項３の発明は、請求項１又は２の発明において、前記データ形式変換手段によりデータ形式を変換してレイアウトされた画像及び／又は文字の構成要素を他の構成要素に差し替える際に、前記レイアウトされた構成要素の領域に応じて前記他の構成要素の領域サイズを調整して差し替えることを特徴としたものである。
【０００９】
請求項４の発明は、文字領域及び／又は画像領域を含む文書情報が記録された紙面上を走査して前記文書情報をイメージデータとして電子的に読み取る読取装置と接続された文書作成支援装置を用いて文書作成を支援するための文書作成支援方法において、前記文書作成支援装置が、前記読取装置により読み取った文書情報の入力を受け付ける入力受付ステップと、該入力した文書情報を構成する画像領域及び／又は文字領域のレイアウトを認識するレイアウト認識ステップと、該認識したレイアウトに従って前記文書情報を所定のアプリケーションのデータ形式に変換するデータ形式変換ステップとを有し、前記レイアウト認識ステップは、文書情報全体又は文書情報に指定した範囲内に含まれる画像領域及び／又は文字領域のレイアウトを認識し、該認識した画像領域，文字領域それぞれにおいて前記文書情報の用紙サイズに対する面積比率を算出し、前記データ形式変換ステップは、前記レイアウト認識ステップにて認識した認識結果を所定のアプリケーションのデータ形式に変換する際に、該アプリケーションで使用する用紙サイズ，用紙の向きを少なくとも含む用紙形式を指定し、該指定した用紙形式に対する前記画像領域及び／又は文字領域のサイズを前記算出した面積比率に基づいて調整し、該サイズ調整した画像領域及び／又は文字領域を前記認識したレイアウトに従って所定のアプリケーションのデータ形式に変換して表示することを特徴としたものである。
【００１０】
請求項５の発明は、文字領域及び／又は画像領域を含む文書情報を記憶した記憶手段を有する文書作成支援装置を用いて文書作成を支援するための文書作成支援方法において、前記文書作成支援装置が、前記記憶手段の複数の文書情報の中から選択された文書情報を構成する画像領域及び／又は文字領域のレイアウトを認識するレイアウト認識ステップと、該認識したレイアウトに従って前記文書情報を所定のアプリケーションのデータ形式に変換するデータ形式変換ステップとを有し、前記レイアウト認識ステップは、文書情報全体又は文書情報に指定した範囲内に含まれる画像領域及び／又は文字領域のレイアウトを認識し、該認識した画像領域，文字領域それぞれにおいて前記文書情報の用紙サイズに対する面積比率を算出し、前記データ形式変換ステップは、前記レイアウト認識ステップにて認識した認識結果を所定のアプリケーションのデータ形式に変換する際に、該アプリケーションで使用する用紙サイズ，用紙の向きを少なくとも含む用紙形式を指定し、該指定した用紙形式に対する前記画像領域及び／又は文字領域のサイズを前記算出した面積比率に基づいて調整し、該サイズ調整した画像領域及び／又は文字領域を前記認識したレイアウトに従って所定のアプリケーションのデータ形式に変換して表示することを特徴としたものである。
【００１１】
請求項６の発明は、請求項４又は５の発明における文書作成支援方法をコンピュータに実行させるためのプログラムである。
【００１２】
請求項７の発明は、請求項６の発明におけるプログラムを記録したコンピュータ読み取り可能な記録媒体である。
【００１９】
【発明の実施の形態】
図１は、本発明の一実施形態である文書作成支援装置の内部接続状態の一例を示すブロック図で、図中、１０は文書作成支援装置で、該文書作成支援装置１０は、ＣＰＵ１１，メモリ１２，バス１３，記憶装置１４，入力装置１５，表示装置１６，記録媒体１７，記録媒体読取装置１８，ネットワーク１９，通信インタフェイス（通信Ｉ／Ｆ）２０を有する。図１に示すように、文書作成支援装置１０は、例えばＰＣ（パーソナルコンピュータ）などのコンピュータであり、各種演算を行ない文書作成支援装置１０の各部を集中的に制御するＣＰＵ１１と、各種のＲＯＭやＲＡＭからなるメモリ１２等がバス１３で接続されている。
【００２０】
バス１３には、所定のインタフェイスを介して、ハードディスクなどの記憶装置１４と、マウスやキーボードなどで構成される入力装置１５と、ＬＣＤやＣＲＴなどの表示装置１６と、光ディスクなどの記録媒体１７を読み取る記録媒体読取装置１８とが接続され、また、インターネットなどのネットワーク１９と通信を行なう所定の通信Ｉ／Ｆ２０が接続されている。なお、記録媒体１７としては、ＣＤ（ＣＤ−ＲＯＭ，ＣＤ−ＲＷ，ＣＤ−Ｒなどを含む）や、ＤＶＤなどの光ディスク、光磁気ディスク、フレキシブルディスク、各種メモリカードなどの各種方式のメディアを用いることができる。また、記録媒体読取装置１８は、具体的には記録媒体１７の種類に応じて光ディスクドライブ、光磁気ディスクドライブ、フレキシブルディスクドライブ、メモリカードドライブなどが用いられる。
【００２１】
記憶装置１４には、本発明の文書作成支援装置１０としての機能を実行するための文書作成支援プログラムが記憶されている。この文書作成支援プログラムは、記録媒体１７から記録媒体読取装置１８により読み取るか、あるいは、インターネットなどのネットワーク１９からダウンロードするなどして、記憶装置１４にインストールしたものである。このインストールにより文書作成支援装置１０は動作可能な状態となる。なお、この文書作成支援プログラムは、所定のＯＳ上で動作するものであってもよい。また、特定のアプリケーションソフトの一部をなすものであってもよい。このように本発明は、文書作成支援装置１０としての機能をコンピュータに実行させるためのプログラムとしての形態や、当該プログラムを記録した記録媒体としての形態をとることができる。
【００２２】
上記文書作成支援プログラムは、スキャナ等の読取装置により読み込んだ文書等のレイアウトを認識すると共に、その文書に含まれる文字や画像等の各構成要素を識別して取り込み、取り込んだ各構成要素を前記レイアウトを表現するデータ形式に変換し、変換したデータ形式に応じたアプリケーション上において各構成要素の再現、編集を可能とするものである。すなわち、この文書作成支援プログラムは、例えば、ワープロ、表計算、プレゼンテーション、名刺作成、カタログ作成などの各種アプリケーションにリンクされており、これらのアプリケーション上において、原稿に含まれる画像又は文字等の構成要素を当該原稿のレイアウトそのままに再現し、編集を行うことを可能とするものである。これにより、ユーザは、カタログやパンフレット等の各種書類や、名刺などを迅速且つ低コストで作成することができる。
【００２３】
ここで、レイアウト認識とは、文書又は画像データの中から、タイトル部分や、文章の段落、図、表、画像（写真含む）など、まとまった構成要素として見なせる単位で抽出し、その位置やサイズを求めると共に、各構成要素の種類（例えば、文字又は画像など）を認識し、更に関連する情報を抽出するもので、公知の技術により実現することができる。例えば、構成要素が文章部分であれば、文章を構成する各行の位置や長さ（幅）、高さ、方向、傾き、行に含まれる文字単位の位置や、大きさなども含み、構成要素が画像であれば、各画像の位置や長さ（幅）、高さ、傾きなどを含むものとする。
【００２４】
図２は、本発明の文書作成支援装置１０の構成例について説明するためのブロック図で、文書作成支援装置１０は、画像入力手段１０ａ，表示手段１０ｂ，操作入力手段１０ｃ，レイアウト認識手段１０ｄ，補正手段１０ｅ，データ形式変換手段１０ｆ，記憶部１０ｇを有し、スキャナ等の読取装置２１と接続可能とする。読取装置２１は、文字又は画像を含む文書情報が記録された原稿２２を走査して前記文書情報をイメージデータとして電子的に読み取るものとする。
【００２５】
画像入力手段１０ａは、文書作成支援装置１０に接続された読取装置２１により読み取った文書情報（但し、文書情報には画像領域及び／又は文字領域を含む）の入力を受け付ける。レイアウト認識手段１０ｄは、画像入力手段１０ａで受け付けた文書情報を構成する画像領域及び／又は文字領域のレイアウトを認識する。これら各構成要素のレイアウト情報を含む認識結果は記憶部１０ｇに記憶されるものとする。
【００２６】
また、補正手段１０ｅは、レイアウト認識手段１０ｄにより認識した結果を補正するもので、誤認識による不要な結果の一部又は全てを削除したり、認識領域の変更、追加する機能を有する。また、読み込んだ画像の向きが正しくない場合には反転や回転を行って画像補正をしたり、画素数を変更する機能を有するものとする。
【００２７】
また、データ形式変換手段１０ｆは、レイアウト認識手段１０ｄにより認識したレイアウトを表現するデータ形式に前記文書情報を変換する。これにより、例えば、ワープロ、表計算、プレゼンテーション、名刺作成、カタログ作成などの各種アプリケーション上において、原稿２２に含まれる画像領域又は文字領域等の構成要素を、原稿２２のレイアウトそのまま又は相似形に再現し、編集を行うことを可能とする。
【００２８】
ここで、別の実施形態として、レイアウト認識手段１０ｄは、読取装置２１により読み取った画像領域及び／又は文字領域データ以外に、記憶部１０ｇに記憶されている文書データの中から所望の文書データを選択し、選択した文書データを構成する画像領域又は文字領域データのレイアウトを認識するようにしてもよい。また、読み込み対象としては、例えば、カタログやパンフレット等の印刷物や、名刺を読取装置２１で読み込むことに加えて、既存のカタログ画像やパンフレット画像等を記憶部１０ｇに記憶しておけば、直接記憶部１０ｇから画像データ等を読み込むことができる。
【００２９】
以下、本発明の文書作成支援装置１０が有する各手段について詳細に説明する。
まず、レイアウトの認識を行う前に各種設定を行う。レイアウト認識手段１０ｄは、画面上に表示させた文書情報に対してレイアウト認識する範囲を指定する。但し、文書情報全体を認識する場合には範囲指定を行う必要はない。また、この範囲指定は、ユーザにより任意に指定が可能で、マウス等の入力手段により画面上に表示された文書情報の任意の範囲をドラッグすることで指定することができる。この際、指定された範囲は画面上において点線で囲まれる。このように指定した範囲内に含まれる構成要素に応じた領域を画像領域又は文字領域に分類して認識すると共に、その分類した領域が文字領域の場合、文字領域の位置，長さ，高さ，方向，傾きのいずれか複数を認識し、また、分類した領域が画像領域の場合、画像領域の位置，長さ，高さ，傾きのいずれか複数を認識することにより当該画像領域又は文字領域のレイアウト情報を取得する。また、この構成要素には直線を含めるようにしてもよい。
【００３０】
ここで、画像領域又は文字領域を認識する際に、例えば画像領域や写真を含む画像領域は画像ファイルとして認識され、文字領域はＯＣＲ（ＯｐｔｉｃａｌＣｈａｒａｃｔｅｒＲｅａｄｅｒ）認識されたセルデータとして認識され、その認識結果がレイアウト情報と共に画面上に表示される。このようにＯＣＲ処理することで、画像領域と文字領域を分類することができる。ここで、認識した画像領域の画像は画像ファイルとしてトリミングして保存することができる。保存方法としては、例えば、認識結果の表示画面上で選択した画像を個別に保存する、認識結果の表示画面上の全ての画像を一括で保存するなどの方法がある。また、文字領域の文字についても同様に保存することができる。
【００３１】
レイアウト認識手段１０ｄは、文書情報全体又は文書情報に指定した範囲内に含まれる画像領域及び／又は文字領域のレイアウトを認識した結果、認識した画像領域及び／又は文字領域それぞれに応じた領域枠を画面上に表示すると共に、同一画面上に領域枠に応じたレイアウト情報を認識結果として表示することができる。この場合、画像領域，文字領域，直線領域の各構成要素に応じて領域表示の色、すなわち、前記領域枠の色又は領域枠内の領域の色を設定するようにしてもよく、これにより、画像の色と領域表示の色を区別しやすくなる。
【００３２】
また、レイアウト認識手段１０ｄは、文書情報全体又は文書情報に指定した範囲内に含まれる画像領域及び／又は文字領域のレイアウトを認識する際に、認識する領域の画素数が所定値以上の場合、その画素数を予め定めた画素数以下に低減してレイアウトを認識することができ、認識にかかる時間を短縮することができる。もちろん、画素数をそのままにして認識することも可能である。この場合、処理時間はかかるものの、高解像度での領域認識が可能となる。
【００３３】
また、レイアウト認識手段１０ｄは、文書情報全体又は文書情報に指定した範囲内に含まれる画像領域及び／又は文字領域のレイアウトを認識した結果、認識結果の画像領域又は文字領域それぞれにおいて上記文書情報の用紙サイズに対する面積比率を算出する。具体的には、例えば用紙サイズがＡ４の場合、このＡ４サイズに対する画像領域又は文字領域の面積比率を算出する（例えば、Ａ４サイズに対して１０％とする）。この際、画像領域及び／又は文字領域の大きさ（長さ×高さ）はレイアウトを認識したときにわかるので、この認識した領域の大きさに基づいて面積比率を算出することが可能となる。
【００３４】
データ形式変換手段１０ｆは、レイアウト認識手段１０ｄにより認識した認識結果を所定のアプリケーションのデータ形式に変換する際に、そのアプリケーションで使用する用紙サイズ，用紙の向きを少なくとも含む用紙形式を指定する。さらに、指定した用紙形式に対する前記画像領域及び／又は文字領域のサイズを前記算出した面積比率に基づいて調整し、サイズ調整した画像領域及び／又は文字領域を、上記認識結果の画像領域及び／又は文字領域のレイアウトを表現するデータ形式に変換して表示する。具体的には、例えば、認識結果の画像領域及び／又は文字領域がＡ４サイズの１０％の面積比率で且つ指定した用紙サイズがＢ５サイズである場合、このＢ５サイズに対して１０％の大きさに上記画像領域及び／又は文字領域を自動調整する。この際、画像領域及び／又は文字領域の長さ（幅）と高さ（縦と横の長さ）を同じ比率で調整するため、異なる用紙サイズにおいてもレイアウトを相似形に再現することができる。また、レイアウトする位置については、前述したレイアウト情報の位置をＡ４→Ｂ５の変倍率に応じて調整することでデータ変換後にレイアウトする位置を決定することができる。
【００３５】
また、上記データ形式変換時のサイズ調整に関して、例えば、Ａ４→Ｂ５の変倍率に応じて画像領域及び／又は文字領域の長さ（幅）と高さ（縦と横の長さ）、すなわち面積を変倍率に合わせてそれぞれ調整するようにしてもよい。この場合もレイアウトする位置については、前述したレイアウト情報の位置をＡ４→Ｂ５の変倍率に応じて調整することでデータ変換後にレイアウトする位置を決定することができる。この方法によっても、上記と同様の変換結果が得られることになる。
【００３６】
また、本文書作成支援装置１０は、データ形式変換手段１０ｆによりデータ形式を変換してレイアウトされた構成要素に対して、その構成要素の領域に応じて他の構成要素の領域サイズを調整し、レイアウトをそのままに差し替えることもできる。ユーザは、各構成要素を任意に差し替えて、編集することができるため、ユーザオリジナルの書類を容易に作成することができ、また、サイズやレイアウトの調整は適宜ユーザにより行うことができる。
【００３７】
図３は、本発明が適用される文書作成支援方法の一例を説明するためのフロー図である。本例は、図２に示した装置構成に基づいて説明するものとする。まず、ステップＳ１において、画像領域及び／又は文字領域からなる文書情報の読み込みを行う処理を選択する（以下、画像領域で代表するものとする）。この際、ユーザは、読み込み先が外部接続の読取装置２１なのか、文書作成支援装置１０が有する記憶部１０ｇなのかを選択し（ステップＳ２）、記憶部１０ｇを選択した場合（図中、記憶部の場合）、既に記憶部１０ｇに保存してある画像データから所望の画像データを読み込む（ステップＳ３）。上記ステップＳ２において、読取装置２１を選択した場合（図中、読取装置の場合）、読取装置２１（本例ではスキャナ）を利用して原稿２２を読み込む（ステップＳ４）。
【００３８】
上記ステップＳ３又はステップＳ４における読み込み処理後、読み込んだ画像データを画面上に表示し（ステップＳ５）、表示した画像データのレイアウトを認識する（ステップＳ６）。このレイアウト認識に関しては前述した方法により行うものとする。次に、レイアウトを認識した認識結果を補正し（ステップＳ７）、その認識結果をもとのレイアウト（原稿２２のレイアウト）のまま、指定のアプリケーションのデータ形式に変換する（ステップＳ８）。次に、ユーザは、データ形式を変換した画像データを、指定したアプリケーション上で表示、保存する（ステップＳ９）。
【００３９】
図４は、本発明が適用される文書作成支援方法の他の例について説明するための図で、図３に示したステップＳ６の処理について説明したサブフローである。まず、ステップＳ１１において、画面上に表示された画像データのレイアウトを認識する処理を選択する。この際、認識する範囲が原稿２２全体なのか、原稿２２の部分なのかを選択し（ステップＳ１２）、原稿２２の部分の場合（図中、部分の場合）、画面上で認識したい部分を範囲指定する（ステップＳ１３）。上記ステップＳ１２において原稿２２全体の場合（図中、全体の場合）、ステップＳ１４に移行する。次に、ステップＳ１４において、画像データの認識レベルを設定する。この認識レベルとは、例えば、画像データの構成要素を認識する方向（文字の場合）や、２値画像レベルの設定などが含まれる。次に、原稿２２に指定した範囲（又は全体）の画像データを認識し、構成要素毎にレイアウト情報を画面上に表示する（ステップＳ１５）。
【００４０】
図５は、読取装置２１又は記憶部１０ｇから画像データを読み込むステップにおいて表示される画像データの選択画面の一例を示す図である。本例において、記憶部１０ｇに記憶されている画像データがサムネイル表示され、ユーザはこの中から所望の画像データを選択することができる。ここでは画像データ３１が選択されているものとする。尚、読取装置２１により原稿２２をイメージデータとして読み取るようにしてもよい。
【００４１】
図６は、読取装置２１又は記憶部１０ｇから画像を読み込むステップにおいて選択された画像データの表示画面例を示す図である。本例において、画面左側には選択画像（ここでは画像データ３１）が表示され、画面右側にはレイアウト認識を行った結果が認識結果３２として表示される。尚、ここではレイアウト認識を行っていないため、空白となっている。
【００４２】
図７は、レイアウト認識ステップにおいて表示される画面例を示す図である。図７（Ａ）において、ユーザは、画像データ３１に対してレイアウト認識させたい範囲をマウス等でドラッグして指定する（図中、点線部で囲まれた部分が指定範囲である）。この際、画像データ３１全体を認識する場合は、範囲指定する必要はない。さらに、範囲指定した後に、レイアウト認識を行った結果を認識結果３２に示す。図７（Ａ）に示すように、各構成要素について、属性（画像，文字，直線）、データ（画像データ，文字データ，直線データ）、文字方向（縦書き又は横書き）、用紙左端部からの左位置、用紙上端部からの上位置、幅（長さ）、高さを含むレイアウト情報が表示されている。
【００４３】
また、図７（Ｂ）に示すように、領域認識した結果、画像データ３１には、画像，文字，直線として認識された領域枠３１ａ，３１ｂ，３１ｃ，・・・が表示され、この領域枠３１ａ，３１ｂ，３１ｃ，・・・は、画面右側の認識結果３２の結果にそれぞれ対応するものとする。
【００４４】
図８は、認識結果の補正ステップにおいて表示される画面例を示す図である。
本例は、認識結果の補正ステップにおいて、画面表示の切り替えについて示したもので、表示方法として、例えば、「画像＋領域表示」、「画像表示」、「領域表示」などがあり、これらを必要に応じて切り替えることができる。図８（Ａ）は、「画像＋領域表示」を選択した場合の画面表示例で、画像３１ｄの上に認識領域（領域枠３１ｂ）が重なった状態で表示される。尚、領域枠３１ａ，３１ｃについても同様で文字及び／又は画像の上に重なって表示される。図８（Ｂ）は、「画像表示」を選択した場合の画面表示例で、認識領域（領域枠３１ｂ）は表示されずに画像３１ｄのみが表示される。尚、領域枠３１ａ，３１ｃについても同様で文字及び／又は画像の上には表示されず、文字及び／又は画像のみが画面表示される。また、図８（Ｃ）は、「領域表示」を選択した場合の画面表示例で、画像３１ｄは表示されずに認識領域（領域枠３１ｂ）のみが表示される。尚、領域枠３１ａ，３１ｃについても同様で文字及び／又は画像は表示されず、領域枠３１ａ，３１ｃのみが画面表示される。
【００４５】
図９は、他のアプリケーションを起動させて画像データ３１を表示させた画面例を示す図である。図９（Ａ）に示すように、他のアプリケーションを起動させる際に、ページ設定画面が表示される。ここでは用紙サイズにＡ４、用紙向きが縦に指定されている。図９（Ｂ）に示すように、図９（Ａ）に示すページ設定画面で指定された条件で所望のアプリケーション上において画像データ３１が表示される。このように、画像データ３１のレイアウトは、図６に示した画像データ３１のレイアウトと同じ状態、すなわち、本文書作成支援装置１０に画像データ３１を取り込んだ状態と同じレイアウトで表示される。
【００４６】
以上、本発明の文書作成支援装置における各機能を中心に各実施形態を説明してきたが、本発明は、文書作成支援装置における各ステップを実行する方法としても説明したように文書作成支援方法としての形態もとることができる。また、この各機能を有する文書作成支援装置と同様に、コンピュータに文書作成支援装置として機能させるためのプログラムとしての形態も、また、そのプログラムを記録した記録媒体としての形態も可能である。
【００４７】
本発明による文書作成支援の機能を実現するためのプログラムやデータを記憶した記録媒体の実施形態について説明する。記録媒体としては、具体的には、ＣＤ−ＲＯＭ（−Ｒ／−ＲＷ）、光磁気ディスク、ＤＶＤ−ＲＯＭ、ＦＤ、フラッシュメモリ、メモリカードや、メモリスティック及びその他各種ＲＯＭやＲＡＭ等が想定でき、これら記録媒体に上述した本発明の各実施形態の装置の機能をコンピュータに実行させ、文書作成支援の機能を実現するためのプログラムを記録して流通させることにより、当該機能の実現を容易にする。そしてコンピュータ等の情報処理装置に上記のごとくの記録媒体を装着して情報処理装置によりプログラムを読み出すか、若しくは情報処理装置が備えている記憶媒体に当該プログラムを記憶させておき、必要に応じて読み出すことにより、本発明に関わる文書作成支援の機能を実行することができる。
【００４８】
【発明の効果】
本発明によると、スキャナ等の読取装置により読み込んだ文書等のレイアウトを認識すると共に、その文書に含まれる文字や画像等の構成要素を識別して取り込み、取り込んだ各構成要素を前記レイアウトを表現するデータ形式に変換し、該変換したデータ形式に応じたアプリケーション上において各構成要素の再現、編集を可能とすることができる。また、これにより、ユーザは容易且つ迅速にカタログやパンフレット等の書類、名刺等を作成することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態である文書作成支援装置の内部接続状態の一例を示すブロック図である。
【図２】本発明の文書作成支援装置の構成例について説明するためのブロック図である。
【図３】本発明が適用される文書作成支援方法の一例を説明するためのフロー図である。
【図４】本発明が適用される文書作成支援方法の他の例について説明するための図で、図３に示したステップＳ６の処理について説明したサブフローである。
【図５】読取装置又は記憶部から画像データを読み込むステップにおいて表示される画像データの選択画面の一例を示す図である。
【図６】読取装置又は記憶部から画像を読み込むステップにおいて選択された画像データの表示画面例を示す図である。
【図７】レイアウト認識ステップにおいて表示される画面例を示す図である。
【図８】認識結果の補正ステップにおいて表示される画面例を示す図である。
【図９】他のアプリケーションを起動させて画像データを表示させた画面例を示す図である。
【符号の説明】
１０…文書作成支援装置、１０ａ…画像入力手段、１０ｂ…表示手段、１０ｃ…操作入力手段、１０ｄ…レイアウト認識手段、１０ｅ…補正手段、１０ｆ…データ形式変換手段、１０ｇ…記憶部、１１…ＣＰＵ、１２…メモリ、１３…バス、１４…記憶装置、１５…入力装置、１６…表示装置、１７…記録媒体、１８…記録媒体読取装置、１９…ネットワーク、２０…通信Ｉ／Ｆ、２１…読取装置、２２…原稿、３１…画像データ、３１ａ，３１ｂ，３１ｃ…領域枠、３１ｄ…画像、３２…認識結果。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a document creation support apparatus, method, program, and recording medium, and more particularly, to a document creation support apparatus, method, program, and recording medium using layout recognition technology suitable for application to a computer system or the like. .
[0002]
[Prior art]
Various types of documents on paper are digitized as image data, so that editing that used to create a new document by cutting and pasting multiple documents on paper can be easily performed on a computer. Various technologies have been developed. A technique for recognizing a layout for each component of a document is known as a technique for easily and efficiently performing such editing work.
Among the document editing tasks based on information about layout components obtained by the layout recognition technology, in particular, various editing tasks such as table area expansion / contraction, content change, partial selection, etc. There has been disclosed a device that can easily and quickly be performed by significantly reducing the operation burden on the user (see, for example, Patent Document 1).
[0003]
[Patent Document 1]
Japanese Patent Laid-Open No. 2001-249481
[0004]
[Problems to be solved by the invention]
Here, when the image data captured by a scanner or the like is converted into a data format of another application and used, the layout information of the characters and image elements constituting the image data is not retained between applications. After data conversion, it was necessary for the user to re-layout by manual operation, and it took time and effort to create a document. Also, when creating a catalog or the like, if an existing catalog form can be directly imported as image data and edited on a desired application such as Microsoft Word (R) or PowerPoint (R), for example, Catalogs, brochures, etc. can be created quickly and at low cost.
[0005]
The present invention has been made in view of the above circumstances, and recognizes the layout of a document read by a reading device such as a scanner and identifies components such as characters and images included in the document. A document creation support apparatus, method, program, and recording that can capture and convert each captured component into a data format that expresses the layout, and can reproduce and edit each component on an application according to the data format It was made for the purpose of providing a medium.
[0006]
[Means for Solving the Problems]
The invention of claim 1 can be connected to a reading device that scans on a paper surface on which document information including a character area and / or an image area is recorded and electronically reads the document information as image data. age Input accepting means for accepting input of document information read by the reading device; layout recognizing means for recognizing the layout of character areas and / or image areas constituting the inputted document information; and the recognized layout Data format conversion means for converting the document information into a data format of a predetermined application according to the image data and / or character area included in the entire document information or in a range specified in the document information. And the area ratio of the document information with respect to the paper size in each of the recognized image area and character area is calculated, and the data format conversion means converts the recognition result recognized by the layout recognition means to a predetermined application. When converting to the data format, a paper format including at least the paper size and paper orientation used in the application is specified, and the calculated area ratio of the size of the image area and / or character area with respect to the specified paper format And adjusting the size-adjusted image area and / or character area Converting and displaying the data format of the predetermined application according to the serial recognized layout It is characterized by doing.
[0007]
The invention of claim 2 is a storage means for storing document information including a character area and / or an image area; Selected from multiple document information of means Layout recognition means for recognizing the layout of the character area and / or image area constituting the document information, and the recognized layout Data format conversion means for converting the document information into a data format of a predetermined application according to the image data and / or character area included in the entire document information or in a range specified in the document information. And the area ratio of the document information with respect to the paper size in each of the recognized image area and character area is calculated, and the data format conversion means converts the recognition result recognized by the layout recognition means to a predetermined application. When converting to the data format, a paper format including at least the paper size and paper orientation used in the application is specified, and the calculated area ratio of the size of the image area and / or character area with respect to the specified paper format And adjusting the size-adjusted image area and / or character area Converting and displaying the data format of the predetermined application according to the serial recognized layout It is characterized by doing.
[0008]
The invention of claim 3 is the invention of claim 1 or 2. invention In the above When the image and / or character component laid out after the data format is converted by the data format conversion means is replaced with another component, the region of the other component according to the region of the laid-out component Adjust size and replace It is characterized by that.
[0009]
The invention of claim 4 Document creation is supported by using a document creation support device connected to a reading device that scans a paper surface on which document information including a character area and / or an image area is recorded and electronically reads the document information as image data. In the document creation support method, the document creation support device includes an input receiving step for receiving input of document information read by the reading device, and a layout of image areas and / or character areas constituting the input document information. A layout recognition step for recognizing, and a data format conversion step for converting the document information into a data format of a predetermined application according to the recognized layout, wherein the layout recognition step includes the entire document information or a range specified in the document information. Recognizing and recognizing the layout of image areas and / or character areas contained within In each of the image area and the character area, an area ratio with respect to the paper size of the document information is calculated, and when the data format conversion step converts the recognition result recognized in the layout recognition step into a data format of a predetermined application, A paper format including at least a paper size and a paper orientation used in the application is designated, and the size of the image area and / or the character area with respect to the designated paper format is adjusted based on the calculated area ratio, and the size The adjusted image area and / or character area is converted into a predetermined application data format according to the recognized layout and displayed. It is characterized by.
[0010]
The invention of claim 5 In a document creation support method for supporting document creation using a document creation support device having storage means storing document information including a character area and / or an image area, the document creation support apparatus includes a plurality of storage means. A layout recognition step for recognizing a layout of an image area and / or a character area constituting the document information selected from the document information, and data for converting the document information into a data format of a predetermined application according to the recognized layout A format conversion step, wherein the layout recognition step recognizes the entire document information or the layout of the image area and / or character area included in the range specified in the document information, and the recognized image area and character area respectively. The area ratio of the document information to the paper size is calculated and the data format conversion step is performed. Specifies a paper format including at least a paper size and a paper orientation to be used in the application when converting the recognition result recognized in the layout recognition step into a data format of a predetermined application. The size of the image area and / or character area is adjusted based on the calculated area ratio, and the size-adjusted image area and / or character area is converted into a data format of a predetermined application according to the recognized layout. To display It is characterized by.
[0011]
The invention of claim 6 claims A program for causing a computer to execute the document creation support method according to the invention of 4 or 5 It is.
[0012]
The invention of claim 7 is claimed in claim A computer-readable recording medium on which the program according to the invention of 6 is recorded It is.
[0019]
DETAILED DESCRIPTION OF THE INVENTION
FIG. 1 is a block diagram showing an example of an internal connection state of a document creation support apparatus according to an embodiment of the present invention. In the figure, 10 is a document creation support apparatus, and the document creation support apparatus 10 includes a CPU 11 and a memory. 12, a bus 13, a storage device 14, an input device 15, a display device 16, a recording medium 17, a recording medium reading device 18, a network 19, and a communication interface (communication I / F) 20. As shown in FIG. 1, the document creation support apparatus 10 is a computer such as a PC (personal computer), for example, and performs various operations to centrally control each unit of the document creation support apparatus 10, various ROMs, A memory 12 such as a RAM is connected by a bus 13.
[0020]
The bus 13 is connected to a storage device 14 such as a hard disk, an input device 15 including a mouse and a keyboard, a display device 16 such as an LCD and a CRT, and a recording medium 17 such as an optical disk via a predetermined interface. Is connected to a recording medium reading device 18 and a predetermined communication I / F 20 for communicating with a network 19 such as the Internet. As the recording medium 17, various types of media such as a CD (including CD-ROM, CD-RW, CD-R, etc.), an optical disk such as a DVD, a magneto-optical disk, a flexible disk, and various memory cards are used. be able to. As the recording medium reader 18, specifically, an optical disk drive, a magneto-optical disk drive, a flexible disk drive, a memory card drive, or the like is used according to the type of the recording medium 17.
[0021]
The storage device 14 stores a document creation support program for executing functions as the document creation support device 10 of the present invention. This document creation support program is installed in the storage device 14 by being read from the recording medium 17 by the recording medium reader 18 or downloaded from a network 19 such as the Internet. With this installation, the document creation support apparatus 10 becomes operable. The document creation support program may operate on a predetermined OS. Further, it may be a part of specific application software. As described above, the present invention can take the form of a program for causing a computer to execute the function as the document creation support apparatus 10 or the form of a recording medium on which the program is recorded.
[0022]
The document creation support program recognizes a layout of a document read by a reading device such as a scanner, identifies and imports each component such as characters and images included in the document, and loads each captured component The data is converted into a data format expressing the layout, and each component can be reproduced and edited on an application corresponding to the converted data format. That is, this document creation support program is linked to various applications such as word processors, spreadsheets, presentations, business card creation, catalog creation, etc., and on these applications, components such as images or characters included in the manuscript Is reproduced in the original document layout as it is, and can be edited. Thereby, the user can create various documents such as catalogs and brochures, business cards, etc. quickly and at low cost.
[0023]
Here, layout recognition is extracted from a document or image data by a unit that can be regarded as a collective component such as a title part, sentence paragraph, figure, table, image (including photos), and its position and size. , The type of each component (for example, characters or images) is recognized, and related information is extracted, which can be realized by a known technique. For example, if the component is a sentence part, the position, length (width), height, direction, inclination of each line constituting the sentence, and the position and size of each character included in the line are also included. If is an image, the position, length (width), height, inclination, etc. of each image are included.
[0024]
FIG. 2 is a block diagram for explaining a configuration example of the document creation support apparatus 10 of the present invention. The document creation support apparatus 10 includes an image input means 10a, a display means 10b, an operation input means 10c, a layout recognition means 10d, A correction unit 10e, a data format conversion unit 10f, and a storage unit 10g are included, and can be connected to a reading device 21 such as a scanner. The reading device 21 scans a document 22 on which document information including characters or images is recorded, and electronically reads the document information as image data.
[0025]
The image input unit 10 a accepts input of document information read by the reading device 21 connected to the document creation support device 10 (however, the document information includes an image area and / or a character area). The layout recognizing means 10d recognizes the layout of the image area and / or character area constituting the document information received by the image input means 10a. The recognition result including the layout information of each component is assumed to be stored in the storage unit 10g.
[0026]
The correcting unit 10e corrects the result recognized by the layout recognizing unit 10d, and has a function of deleting a part or all of unnecessary results due to misrecognition, and changing or adding a recognition area. In addition, when the orientation of the read image is not correct, the image is corrected by performing inversion and rotation, and the function of changing the number of pixels is provided.
[0027]
The data format conversion unit 10f converts the document information into a data format that represents the layout recognized by the layout recognition unit 10d. Thus, for example, on various applications such as word processing, spreadsheet, presentation, business card creation, catalog creation, etc., components such as image areas or character areas included in the original 22 are reproduced as they are or in a similar form. It is possible to perform editing.
[0028]
Here, as another embodiment, the layout recognizing unit 10d receives desired document data from the document data stored in the storage unit 10g in addition to the image area and / or character area data read by the reading device 21. The layout of the image area or character area data constituting the selected document data may be recognized. Further, as a reading target, for example, in addition to reading a printed matter such as a catalog or a pamphlet or a business card by the reading device 21, an existing catalog image or a pamphlet image is stored in the storage unit 10g, and is directly stored. Image data or the like can be read from the unit 10g.
[0029]
Hereinafter, each unit of the document creation support apparatus 10 according to the present invention will be described in detail.
First, various settings are made before the layout is recognized. The layout recognizing unit 10d designates a layout recognition range for the document information displayed on the screen. However, it is not necessary to specify a range when recognizing the entire document information. This range specification can be arbitrarily specified by the user, and can be specified by dragging an arbitrary range of document information displayed on the screen by an input means such as a mouse. At this time, the designated range is surrounded by a dotted line on the screen. The area corresponding to the component included in the specified range is classified and recognized as an image area or a character area. If the classified area is a character area, the position, length, and height of the character area are recognized. , Direction and inclination are recognized, and if the classified area is an image area, the image area or character area is recognized by recognizing any of the position, length, height and inclination of the image area. Get the layout information. Moreover, you may make it include a straight line in this component.
[0030]
Here, when recognizing an image area or a character area, for example, an image area or an image area including a photograph is recognized as an image file, and a character area is recognized as OCR (Optical Character Reader) recognized cell data. The result is displayed on the screen together with the layout information. By performing the OCR process in this way, the image area and the character area can be classified. Here, the image of the recognized image area can be trimmed and saved as an image file. Examples of the storage method include a method of individually storing images selected on the recognition result display screen, and a method of storing all images on the recognition result display screen in a lump. Similarly, the characters in the character area can be stored.
[0031]
As a result of recognizing the layout of the image area and / or the character area included in the entire document information or the range specified in the document information, the layout recognizing unit 10d creates an area frame corresponding to each recognized image area and / or character area. In addition to displaying on the screen, layout information corresponding to the region frame can be displayed as a recognition result on the same screen. In this case, the color of the area display, that is, the color of the area frame or the color of the area in the area frame may be set according to each component of the image area, the character area, and the straight line area. It becomes easy to distinguish the color of the image from the color of the area display.
[0032]
Further, when the layout recognition unit 10d recognizes the entire document information or the layout of the image area and / or the character area included in the range specified in the document information, if the number of pixels in the recognition area is a predetermined value or more, The layout can be recognized by reducing the number of pixels below a predetermined number of pixels, and the time required for recognition can be shortened. Of course, it is also possible to recognize the pixel number as it is. In this case, although processing time is required, region recognition at high resolution is possible.
[0033]
Further, the layout recognition unit 10d recognizes the document information in each of the recognition result image area or character area as a result of recognizing the entire document information or the layout of the image area and / or character area included in the range specified in the document information. The area ratio with respect to the paper size is calculated. Specifically, for example, when the paper size is A4, the area ratio of the image region or the character region to the A4 size is calculated (for example, 10% with respect to the A4 size). At this time, since the size (length × height) of the image region and / or the character region is known when the layout is recognized, the area ratio can be calculated based on the recognized size of the region. .
[0034]
When converting the recognition result recognized by the layout recognition unit 10d into a data format of a predetermined application, the data format conversion unit 10f specifies a paper format including at least a paper size and a paper orientation used in the application. Further, the size of the image area and / or character area with respect to the designated paper format is adjusted based on the calculated area ratio, and the size-adjusted image area and / or character area is changed to the image area and / or the recognition result. It is converted into a data format that represents the layout of the character area and displayed. Specifically, for example, when the image region and / or character region of the recognition result has an area ratio of 10% of the A4 size and the designated paper size is the B5 size, the size is 10% of the B5 size. The image area and / or the character area are automatically adjusted. At this time, since the length (width) and height (length and width) of the image area and / or the character area are adjusted at the same ratio, the layout can be reproduced in a similar shape even on different paper sizes. . As for the layout position, the layout position after the data conversion can be determined by adjusting the position of the layout information described above according to the scaling factor of A4 → B5.
[0035]
Regarding the size adjustment at the time of data format conversion, for example, the length (width) and height (vertical and horizontal lengths), that is, the area of the image region and / or the character region in accordance with the scaling ratio of A4 → B5 May be adjusted according to the magnification. In this case as well, the layout position can be determined after data conversion by adjusting the position of the layout information described above according to the scaling factor of A4 → B5. Also by this method, a conversion result similar to the above can be obtained.
[0036]
In addition, the document creation support apparatus 10 adjusts the area size of the other component according to the area of the component for the component laid out by converting the data format by the data format conversion unit 10f, You can replace the layout as it is. Since the user can arbitrarily replace and edit each component, the user's original document can be easily created, and the size and layout can be adjusted by the user as appropriate.
[0037]
FIG. 3 is a flowchart for explaining an example of a document creation support method to which the present invention is applied. This example will be described based on the apparatus configuration shown in FIG. First, in step S1, a process for reading document information including an image area and / or a character area is selected (hereinafter, represented by an image area). At this time, the user selects whether the reading destination is the externally connected reading device 21 or the storage unit 10g of the document creation support device 10 (step S2), and selects the storage unit 10g (in FIG. The desired image data is read from the image data already stored in the storage unit 10g (step S3). When the reading device 21 is selected in the above step S2 (in the case of the reading device in the figure), the original 22 is read using the reading device 21 (scanner in this example) (step S4).
[0038]
After the reading process in step S3 or step S4, the read image data is displayed on the screen (step S5), and the layout of the displayed image data is recognized (step S6). This layout recognition is performed by the method described above. Next, the recognition result for recognizing the layout is corrected (step S7), and the recognition result is converted into the data format of the designated application with the original layout (layout of the original 22) (step S8). Next, the user displays and saves the image data whose data format has been converted on the designated application (step S9).
[0039]
FIG. 4 is a diagram for explaining another example of the document creation support method to which the present invention is applied, and is a sub-flow explaining the process of step S6 shown in FIG. First, in step S11, processing for recognizing the layout of image data displayed on the screen is selected. At this time, it is selected whether the recognition range is the entire document 22 or a portion of the document 22 (step S12). In the case of the portion of the document 22 (in the case of a portion in the figure), the range to be recognized on the screen is selected. Designate (step S13). In step S12, when the entire document 22 is present (in the figure, the entire case), the process proceeds to step S14. Next, in step S14, the recognition level of the image data is set. The recognition level includes, for example, a direction for recognizing a component of image data (in the case of characters), a setting of a binary image level, and the like. Next, the image data in the range (or the entire area) designated for the document 22 is recognized, and layout information is displayed on the screen for each component (step S15).
[0040]
FIG. 5 is a diagram illustrating an example of an image data selection screen displayed in the step of reading image data from the reading device 21 or the storage unit 10g. In this example, the image data stored in the storage unit 10g is displayed as thumbnails, and the user can select desired image data from these thumbnails. Here, it is assumed that the image data 31 is selected. Note that the document 22 may be read as image data by the reading device 21.
[0041]
FIG. 6 is a diagram illustrating a display screen example of the image data selected in the step of reading an image from the reading device 21 or the storage unit 10g. In this example, the selected image (here, image data 31) is displayed on the left side of the screen, and the result of layout recognition is displayed as the recognition result 32 on the right side of the screen. Here, the layout is not recognized, so it is blank.
[0042]
FIG. 7 is a diagram illustrating an example of a screen displayed in the layout recognition step. In FIG. 7A, the user designates a range to be recognized for layout with respect to the image data 31 by dragging with a mouse or the like (in the figure, a portion surrounded by a dotted line is a designated range). At this time, when the entire image data 31 is recognized, it is not necessary to specify a range. Furthermore, the result of layout recognition after the range is designated is shown in the recognition result 32. As shown in FIG. 7A, for each component, attribute (image, character, straight line), data (image data, character data, straight line data), character direction (vertical writing or horizontal writing), from the left edge of the paper Layout information including a left position, an upper position from the upper end of the sheet, a width (length), and a height is displayed.
[0043]
As shown in FIG. 7B, as a result of area recognition, area frames 31a, 31b, 31c,... Recognized as images, characters, straight lines are displayed in the image data 31, and this area frame is displayed. 31a, 31b, 31c,... Correspond to the recognition result 32 on the right side of the screen, respectively.
[0044]
FIG. 8 is a diagram illustrating an example of a screen displayed in the recognition result correction step.
This example shows the switching of the screen display in the recognition result correction step. For example, there are “image + area display”, “image display”, “area display”, etc., which are necessary. Can be switched according to FIG. 8A shows a screen display example when “image + area display” is selected, and is displayed in a state where the recognition area (area frame 31b) is superimposed on the image 31d. The region frames 31a and 31c are displayed in the same manner on the characters and / or images. FIG. 8B shows a screen display example when “image display” is selected, and only the image 31d is displayed without displaying the recognition region (region frame 31b). The same applies to the region frames 31a and 31c, and only the characters and / or images are displayed on the screen without being displayed on the characters and / or images. FIG. 8C shows a screen display example when “region display” is selected, and only the recognition region (region frame 31b) is displayed without displaying the image 31d. The same applies to the area frames 31a and 31c. Characters and / or images are not displayed, and only the area frames 31a and 31c are displayed on the screen.
[0045]
FIG. 9 is a diagram showing an example of a screen on which image data 31 is displayed by starting another application. As shown in FIG. 9A, a page setting screen is displayed when starting another application. Here, the paper size is designated as A4 and the paper orientation is designated as vertical. As shown in FIG. 9B, the image data 31 is displayed on the desired application under the conditions specified on the page setting screen shown in FIG. As described above, the layout of the image data 31 is displayed in the same state as the layout of the image data 31 shown in FIG. 6, that is, the same layout as the state in which the image data 31 is taken into the document creation support apparatus 10.
[0046]
As described above, each embodiment has been described centering on each function in the document creation support apparatus of the present invention. However, the present invention is a document creation support method as described also as a method of executing each step in the document creation support apparatus. Can take the form of Further, similarly to the document creation support apparatus having each function, a form as a program for causing a computer to function as a document creation support apparatus or a form as a recording medium storing the program is possible.
[0047]
An embodiment of a recording medium storing a program and data for realizing a document creation support function according to the present invention will be described. Specifically, a CD-ROM (-R / -RW), a magneto-optical disk, a DVD-ROM, an FD, a flash memory, a memory card, a memory stick, and various other ROMs and RAMs can be assumed as the recording medium. The functions of the devices according to the embodiments of the present invention described above are executed on these recording media by a computer, and a program for realizing the function of document creation support is recorded and distributed so that the function can be easily realized. To do. Then, the recording medium as described above is mounted on an information processing apparatus such as a computer and the program is read by the information processing apparatus, or the program is stored in a storage medium provided in the information processing apparatus. By reading, it is possible to execute a document creation support function related to the present invention.
[0048]
【The invention's effect】
According to the present invention, a layout of a document or the like read by a reading device such as a scanner is recognized, and components such as characters and images included in the document are identified and captured, and each captured component is represented by the layout. It is possible to reproduce and edit each component on an application corresponding to the converted data format. Thereby, the user can easily and quickly create documents such as catalogs and pamphlets, business cards, and the like.
[Brief description of the drawings]
FIG. 1 is a block diagram showing an example of an internal connection state of a document creation support apparatus according to an embodiment of the present invention.
FIG. 2 is a block diagram for explaining a configuration example of a document creation support apparatus of the present invention.
FIG. 3 is a flowchart for explaining an example of a document creation support method to which the present invention is applied.
FIG. 4 is a diagram for explaining another example of the document creation support method to which the present invention is applied, and is a sub-flow explaining the process of step S6 shown in FIG. 3;
FIG. 5 is a diagram illustrating an example of an image data selection screen displayed in a step of reading image data from a reading device or a storage unit.
FIG. 6 is a diagram illustrating a display screen example of image data selected in a step of reading an image from a reading device or a storage unit.
FIG. 7 is a diagram showing an example of a screen displayed in a layout recognition step.
FIG. 8 is a diagram showing an example of a screen displayed in a recognition result correction step.
FIG. 9 is a diagram showing an example of a screen on which image data is displayed by starting another application.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 10 ... Document creation assistance apparatus, 10a ... Image input means, 10b ... Display means, 10c ... Operation input means, 10d ... Layout recognition means, 10e ... Correction means, 10f ... Data format conversion means, 10g ... Storage part, 11 ... CPU , 12 ... Memory, 13 ... Bus, 14 ... Storage device, 15 ... Input device, 16 ... Display device, 17 ... Recording medium, 18 ... Recording medium reader, 19 ... Network, 20 ... Communication I / F, 21 ... Reading Apparatus, 22 ... original, 31 ... image data, 31a, 31b, 31c ... area frame, 31d ... image, 32 ... recognition result.

Claims

Character region and / or scanning the paper document information is recorded, including an image region and can be connected to the reading apparatus for reading electronically the document information as image data, the input document information read by said read device Input receiving means for receiving, layout recognition means for recognizing the layout of the character area and / or image area constituting the inputted document information, and data for converting the document information into a data format of a predetermined application according to the recognized layout Format conversion means,
The layout recognizing unit recognizes the layout of the image area and / or the character area included in the entire document information or the range specified in the document information, and the document information sheet in each of the recognized image area and character area. Calculate the area ratio to the size,
The data format conversion means designates a paper format including at least a paper size and a paper orientation used in the application when converting the recognition result recognized by the layout recognition means into a data format of a predetermined application, The size of the image area and / or character area with respect to the specified paper format is adjusted based on the calculated area ratio, and the data format of a predetermined application according to the recognized layout of the size-adjusted image area and / or character area A document creation support apparatus characterized by being converted into and displayed .

Storage means for storing document information including a character area and / or an image area, and a layout for recognizing the layout of the character area and / or image area constituting the document information selected from the plurality of document information in the storage means Recognizing means, and data format converting means for converting the document information into a data format of a predetermined application according to the recognized layout ,
The layout recognizing unit recognizes the layout of the image area and / or the character area included in the entire document information or the range specified in the document information, and the document information sheet in each of the recognized image area and character area. Calculate the area ratio to the size,
The data format conversion means designates a paper format including at least a paper size and a paper orientation used in the application when converting the recognition result recognized by the layout recognition means into a data format of a predetermined application, The size of the image area and / or character area with respect to the specified paper format is adjusted based on the calculated area ratio, and the data format of a predetermined application according to the recognized layout of the size-adjusted image area and / or character area A document creation support apparatus characterized by being converted into and displayed .

3. The document creation support apparatus according to claim 1 or 2, wherein when the data format conversion unit converts the data format and replaces the layout of the image and / or character component, the layout is performed. document creation support apparatus according to claim replacement isosamples adjusting the area size of the other components in accordance with the area of the components was.

Document creation is supported by using a document creation support device connected to a reading device that scans a paper surface on which document information including a character area and / or an image area is recorded and electronically reads the document information as image data. In the document creation support method for
An input receiving step for receiving an input of document information read by the reading device; a layout recognition step for recognizing a layout of an image area and / or a character area constituting the input document information; A data format conversion step for converting the document information into a data format of a predetermined application according to the recognized layout;
The layout recognition step recognizes the entire document information or a layout of an image area and / or a character area included in a range specified in the document information, and corresponds to a paper size of the document information in each of the recognized image area and character area. Calculate the area ratio,
The data format conversion step designates a paper format including at least a paper size and a paper orientation used in the application when converting the recognition result recognized in the layout recognition step into a data format of a predetermined application; The size of the image area and / or character area with respect to the designated paper format is adjusted based on the calculated area ratio, and the image data and / or character area whose size has been adjusted is determined according to the recognized layout. A document creation support method characterized by converting to a format for display .

In a document creation support method for supporting document creation using a document creation support apparatus having a storage unit storing document information including a character area and / or an image area,
A layout recognizing step for recognizing a layout of an image area and / or a character area constituting document information selected from the plurality of document information stored in the storage means; and the document according to the recognized layout. A data format conversion step for converting the information into a data format of a predetermined application,
The layout recognition step recognizes the entire document information or a layout of an image area and / or a character area included in a range specified in the document information, and corresponds to a paper size of the document information in each of the recognized image area and character area. Calculate the area ratio,
The data format conversion step designates a paper format including at least a paper size and a paper orientation used in the application when converting the recognition result recognized in the layout recognition step into a data format of a predetermined application; The size of the image area and / or character area with respect to the designated paper format is adjusted based on the calculated area ratio, and the image data and / or character area whose size has been adjusted is determined according to the recognized layout. A document creation support method characterized by converting to a format for display .

A program for causing a computer to execute the document creation support method according to claim 4 .

A computer-readable recording medium on which the program according to claim 6 is recorded .