JP5159588B2 - 画像処理装置、画像処理方法、コンピュータプログラム - Google Patents

Description

本発明は、画像処理結果の複数のデータを、ユーザが利用しやすくなるように保存するための装置、方法、コンピュータプログラムに関する。

近年、インターネットに代表されるようなネットワークの広がりにより、文書が電子的に配布される機会も増えたが、電子文書が紙に印刷された状態で配布されることも多い。

手元に紙文書だけを所有しているような場合、紙文書をスキャンやデジタルカメラ撮影することにより得た画像に対して文字認識処理などを行い、テキストデータに変換してから利用する技術が考えられている。例えば、特許文献１では、端末から文書画像をサーバに送信し、サーバ上で文字認識を行い、更に、文字認識結果に属性を付与して再利用しやすいフォーマットに変換して端末に戻す技術が開示されている。

また、引用文献２，３には、文字や図形の輪郭に基づいて、ベクトルデータを生成する技術が開示されている。
特開平１１−１６７５３２号公報 特許第３０２６５９２号公報 特開２００５−３４６１３７号公報

ユーザが再利用したいデータの形式は場合によって異なるが、それぞれがユーザにとって利用しやすい状態で配置されたデータ形式の電子ドキュメント（電子データ）が生成されることが望まれる。例えば、文字を、文字コードで表されるテキストデータとして編集などに使いたいユーザにとっては、文字認識結果が利用しやすい状態で配置される事が望ましい。一方、ユーザがテキストデータを用いた編集などを考えずに、そのまま印刷などの用途に利用したい場合、文字認識結果は誤認識している可能性があるので、文字認識結果のテキストデータは、逆にユーザにとっては使いにくいデータになる。

また、特許文献２や３の技術を用いて、文字のベクトルデータを抽出し、ベクトルオブジェクトとして描画する方法がある。このようなベクトルデータは、そのまま印刷などの用途に利用する場合には適しているが、ユーザがテキストデータの編集などに利用する場合には向いていない。

このように、ユーザが文字情報をテキストデータとして編集して使用したい場合や、印刷やディスプレイ出力して使用したい場合など、目的によって最適なデータ形態は変わる。したがって、１つの電子ドキュメントで、各目的を同時に満たす事は困難である。

上記課題を解決するために、本発明の画像処理装置は、入力された画像内に含まれる文字領域と文字色とを解析する解析手段と、前記文字領域内の文字画像に対して文字認識処理を実行することにより、文字コードデータを得る文字認識手段と、前記文字領域内の文字画像に対してベクトル化処理を実行することにより、ベクトルデータを得るベクトル化手段と、複数の色情報定義それぞれについての生成ルールと、前記解析手段で解析した文字色とに基づいて、前記文字コードデータの描画の色と前記ベクトルデータの描画の色とを定義する色情報定義を、複数生成する色情報定義生成手段と、前記文字認識手段で得た文字コードデータと、前記ベクトル化手段で得たベクトルデータと、前記色情報定義生成手段で生成した複数の色情報定義とを含む電子文書を生成する電子文書生成手段と、を有し、前記生成ルールは、前記複数の色情報定義それぞれについて、前記文字色で描画するデータの種類と透明色で描画するデータの種類とを設定したルールであって、前記複数の色情報定義ごとに前記文字色で描画するデータの種類と前記透明色で描画するデータの種類とが異なることを特徴とする。

本発明によれば、文字領域の認識結果である文字コードデータとベクトルデータとを簡単に切り換えられる電子ドキュメント（電子データ）を提供することができる。したがって、ユーザは、用途に応じて必要なデータを容易に使い分けることが可能となる。

＜実施形態１＞
図１は、本実施形態１を用いたシステム構成を示す図の一例である。１００は本発明を実現するための画像処理装置の構成例である。画像処理装置１００は、スキャナ１０１、ＣＰＵ１０２、メモリ０１３、ハードディスク１０４、ネットワークＩ／Ｆ１０５を備えるものとする。スキャナ１０１は、文書をスキャンして、当該スキャンした文書の紙面情報を画像データに変換する。ＣＰＵ１０２は、本発明に係るコンピュータ実行可能な電子ドキュメント生成プログラム（コンピュータプログラム）を実行することにより、画像データに対して、後述する本発明の処理を施す各処理ユニットとして機能する。メモリ１０３は、該プログラムを実行する際のワークメモリやデータの一時保存などに利用され、ハードディスク１０４は該プログラムやデータを格納する。なお、本実施形態では、コンピュータプログラムはハードディスク１０４に格納され、ＣＰＵが必要に応じてメモリ１０３に該プログラム呼び出して実行するものとするが、これに限るものではない。例えば、コンピュータプログラムは、その他のコンピュータ読み取り可能な記憶媒体（例えばＣＤ−ＲＯＭやＵＳＢメモリなど）を介して供給されるものであってもよい。ネットワークＩ／Ｆ１０５は、ネットワークを介して外部装置とデータの入出力を行うためのインターフェースである。

パーソナルコンピュータ（ＰＣ）１２０は、画像処理装置１００とＬＡＮ１１０などのネットワークを介して接続され、画像処理装置１００から送信された電子ドキュメントを受信する。ＰＣ１２０は、不図示のＣＰＵ、メモリ、ハードディスク、ディスプレイ等を備える汎用コンピュータで構成されるものとする。そして、ＰＣ１２０のＣＰＵはハードディスクに格納された表示・編集プロラグム１２１を実行することにより、画像処理装置１００から送信されてきた電子ドキュメントを、画面に表示し編集することが可能である。

図２は本実施形態１の各処理部（処理ユニット）の動作を示すブロック図である。なお、図２で行われる各処理は、ＣＰＵ１０２で電子ドキュメント生成プログラムを実行することによって実現されるものとするが、本発明はこれに限るものではなく、その一部又は全部を電気回路（ハードウェア）で構成するようにしても構わない。

入力画像２００は、スキャナ１０１やカメラ等から入力される入力画像（文書画像データ）である。電子ドキュメント生成部２１０は、この入力画像２００から電子ドキュメント２２０を生成する。

ブロック２１１〜２１６は、電子ドキュメント生成部２１０で実行される各処理を模式的に示したものである。

解析部２１１は、入力された文書画像を解析することにより、文字色と文字領域を抽出する。ここで、解析部２１１は、公知の領域抽出処理（領域分割処理）を行うことにより、文字領域や図画領域や写真領域など、属性毎の領域を抽出することが可能であるとする。更に、各文字領域から文字色（文字代表色）を抽出する。文字色は、公知の文字代表色の決定手法を用いることができ、例えば、類似する文字色ごとに平均値を求めて、文字代表色を決定することができる。

文字認識部２１２は、解析部２１１から抽出された文字領域について文字認識を行い、文字コードデータを取得して、ＯＣＲ結果を表示するためのＯＣＲオブジェクトデータを生成する。ＯＣＲオブジェクトデータには、文字コード情報の他に、当該文字を抽出した位置を示す座標や、文字認識の際に抽出された文字サイズ情報などの情報が含まれる。すなわち、文字認識部２１２は、文字認識処理を実行することにより、文字コードデータを含むＯＣＲオブジェクトデータを生成する。

ベクトル化部２１３は、解析部から抽出された文字領域について各文字の輪郭情報を抽出し、ベクトルデータで近似することにより、ベクトル描画するためのベクトルオブジェクトデータを生成する。すなわち、ベクトル化部２１３は、ベクトル化処理を実行することにより、ベクトルオブジェクトデータ（ベクトルデータ）を生成する。

色情報生成部２１４は、文字認識部２１２が出力するＯＣＲオブジェクトデータと、ベクトル化部２１３が出力するベクトルオブジェクトデータとに対して、それぞれのカラーＩＤ（色情報）を生成し、電子ドキュメントの中で使用するカラーＩＤとして設定する。

色情報定義生成部２１５は、色情報生成部２１４で生成された各カラーＩＤを参照して、ＯＣＲオブジェクトデータ２２６とベクトルオブジェクトデータ２２５とに対して、実際の描画色を割り当てる色情報定義２２３・２２４を生成する。

フォーマット変換部２１６は、色情報を割り当てたＯＣＲオブジェクトデータ２２６とベクトルオブジェクトデータ２２６、色情報定義生成部２１５で生成した色情報定義２２３・２２４を、電子ドキュメント２２０のフォーマットへ変換する。すなわち、フォーマット変換部２１６は、ＯＣＲオブジェクトデータ（文字コード）とベクトルオブジェクトデータ（ベクトルデータ）と色情報定義とを含む電子ドキュメント（電子文書ファイル）を生成する電子文書生成部として機能する。

このようにして生成された電子ドキュメント２２０は、型定義情報２２１と表示情報２２２とによって構成され、ＰＣ１２０にある表示・編集プログラム１２１によって表示・編集が可能である。型定義情報２２１は、表示・編集プログラム１２１において、型定義の変更時に用いられるデータであり、複数の色情報定義２２３，２２４などによって構成される。表示情報２２２は、表示・編集プログラム１２１において表示情報描画時に用いられるデータであり、ベクトルオブジェクトデータ２２５、ＯＣＲオブジェクトデータ２２６によって構成される。

以下に図３のフローチャートを用いて、色情報生成部２１４が実行する処理を説明する。

ステップＳ３０１では、解析部２１１で抽出した文字領域の内、未処理の領域を選択する。

ステップＳ３０２では、当該選択した文字領域の文字色が、既に、カラーＩＤ（色の識別子）を付与済みの色であるか否かを判定する（すなわち、以前に同じ色の文字色を処理したことがあるか否かを判定する）。まだカラーＩＤが付与されていない文字色であると判定した場合（すなわち、同じ色の文字色を処理したことが無いと判定した場合）は、ステップＳ３０３へ進む。一方、カラーＩＤが既に付与されている文字色であると判定した場合（すなわち、以前に同じ色の文字色を処理したことがあると判定した場合）は、ステップＳ３０８へ進む。

ステップＳ３０３では、ＯＣＲオブジェクト用として、新たなカラーＩＤを該文字色に付与する。すなわち、該文字色が関連付けられた新たなカラーＩＤが生成される。

ステップＳ３０４では、ステップＳ３０３で生成したカラーＩＤを、当該文字領域のＯＣＲオブジェクトに対する描画色として関連付け設定する。

ステップＳ３０５では、ベクトルオブジェクト用として、更に新たなカラーＩＤを該文字色に付与する。すなわち、該文字色が関連付けられた新たなカラーＩＤ（ステップＳ３０３で生成されたカラーＩＤと異なるカラーＩＤ）が生成される。

ステップＳ３０６では、ステップＳ３０５で生成したカラーＩＤを、当該文字領域のベクトルオブジェクトに対する描画色として関連付け設定する。

ステップＳ３０７では、解析部２１１で抽出した文字領域の内、未処理の文字領域が残っているかを判断する。未処理の文字領域が見つかれば、ステップＳ３０１へ戻り、処理を繰り返す。未処理の文字領域が無ければ、処理を終了する。

ステップＳ３０８では、処理対象の文字領域の文字色に対して、ＯＣＲオブジェクト用として既に付与済みのカラーＩＤを判別し、当該処理対象の文字領域のＯＣＲオブジェクトに当該判別したカラーＩＤを関連付け設定する。すなわち、他の文字領域において同色のＯＣＲオブジェクトがあれば、同じカラーＩＤが関連付けられることになる。

ステップＳ３０９では、処理対象の文字領域の文字色に対して、ベクトルオブジェクト用として既に付与済みのカラーＩＤを判別し、当該処理対象の文字領域のベクトルオブジェクトに当該判別したカラーＩＤを関連付け設定する。すなわち、他の文字領域において同色のベクトルオブジェクトがあれば、同じカラーＩＤが関連付けられることになる。

以下、入力画像２００の例として図５の画像５００を、電子ドキュメント生成部２１０が処理する場合を説明する。

解析部２１１は、公知の画像解析処理を用いて入力画像中の文字領域と文字色を抽出する。例えば、画像中から各文字を構成する画素の集合を抽出し、さらにそれらのうち、同じくらいの大きさの画素集合の並び具合を判定し、文字行や段落を形成すると判定した画素集合の領域を文字領域として抽出する。なお、文字を構成する画素の集合を抽出する手法としては、入力多値画像から近似色画素塊を抽出する手法や、多値画像を二値化して２値画像における黒画素塊に基づいて抽出する手法を用いることができる。また、多値画像を微分してエッジ画像を生成し、エッジ画素の連結領域を抽出する手法などを用いてもよい。

画像５００の例では、点線で囲まれる領域５０１と５０２がそれぞれ異なる文字色を有する文字領域として抽出されたものとする。

文字認識部２１２では、公知の文字認識技術を用いて各文字領域内の文字認識を行い、文字認識結果の文字コードデータと文字の大きさとで構成されるＯＣＲオブジェクトデータを生成する。

文字認識処理の１例について簡単に説明する。本説明はあくまで一例であって別の手法を用いてもよい。文字認識処理では、処理対象の文字領域の縦書き横書きすなわち行方向を判断し、行ごとの画像に分割する。例えば、画像を二値化し、垂直方向のヒストグラムと水平方向のヒストグラムを取り、そのヒストグラムに基づいて行方向を判定し、文字行ごとに分割する方法がある。次に行画像を個々の文字画像へと分割する。これは、行画像に対して、行と垂直方向への射影を取り、切断すべき文字間を発見することで文字画像へと分割すればよい。そしてそれら文字画像ひとつひとつに対して特徴を取り、あらかじめ全字種分の特徴を保存した辞書から一番特徴の近いものを探し、辞書が示す文字コードを各文字の認識結果とする。

また、文字の大きさは、各文字を認識する際に得られる文字画像の大きさを平均した値として得ることができるが、他の方法を用いてもよい。

図６は、画像５００を、解析部２１１と文字認識部２１２とで処理した結果、文字位置、文字サイズ、文字色、文字認識結果文字列とが得られたことを示す。図６では、文字領域５０１からは、文字色としてＲＧＢ色「＃００００００」、文字認識結果として文字列「ＡＢＣ」が得られた。文字領域５０２からは、文字色としてＲＧＢ色「＃００００ＦＦ」、文字認識結果として文字列「ＤＥＦ」が得られたことを示している。

ベクトル化部２１３では、公知のベクトル化技術を用いて各文字領域の画像データから文字のベクトルオブジェクトデータを生成する。ベクトル化技術の例としては、特許文献２や特許文献３に開示される方法がある。例えば、特許文献２では、画像をラスタ走査しながら注目画素とその近傍画素の状態に基づいて、水平方向及び垂直方向の画素間ベクトルを検出する。次に、これら画素間ベクトル同士の接続状態をもとに、画像データの輪郭を抽出することで、アウトラインベクトルと呼ばれる連結画素データの周回を画素間ベクトルの集合で記述する情報を生成する技術を開示している。また、特許文献３では、アウトラインベクトルを直線や２次や３次のベジェ曲線で近似することで、大きく変倍しても高画質なベクトル記述データをする技術を開示している。

画像５００に対して行われる色情報生成部２１４での処理を、図３のフローチャートに従って説明する。

ステップＳ３０１で、未処理の文字領域として、まず文字領域５０１を選択する。

ステップＳ３０２では、処理済の文字色はまだ無い（カラーＩＤが付与された文字色が無い）ので、ステップＳ３０３に進む。

ステップＳ３０３では、ＯＣＲオブジェクト用として、新規のカラーＩＤ「ｃｌｒ１」を生成して、文字領域５０１で得た文字色（ＲＧＢ色「＃００００００」）を関連付ける。

ステップＳ３０４では、ステップＳ３０３で生成したカラーＩＤを、文字領域５０１から得たＯＣＲオブジェクトの描画色に設定する。

ステップＳ３０５では、ベクトルオブジェクト用として、新規のカラーＩＤ「ｃｌｒ３」を生成して、文字領域５０１で得た文字色（ＲＧＢ色「＃００００００」）を関連付ける。

ステップＳ３０６では、ステップＳ３０５で生成したカラーＩＤを、文字領域５０１から得たベクトルオブジェクトの描画色に設定する。

ステップＳ３０７では、まだ文字領域５０２が未処理の為、ステップＳ３０１に戻り、文字領域５０２を処理対象にする。

そして、ステップＳ３０２では、文字領域５０２の文字色が、既にカラーＩＤを付与済みの色であるか否かを判定する。すなわち、文字領域５０２の文字色「＃００００ＦＦ」と関連付けられているカラーＩＤがあるかチェックする。図５の例では、文字領域５０２の文字色「＃００００ＦＦ」はまだカラーＩＤが付与されていないため、ステップＳ３０３へ進む。

ステップＳ３０３では、ＯＣＲオブジェクト用として、新規のカラーＩＤ「ｃｌｒ２」を生成して、文字領域５０２で得た文字色（ＲＧＢ色「＃００００ＦＦ」）を関連付ける。そして、そのカラーＩＤをステップＳ３０４で文字領域５０２から得たＯＣＲオブジェクトの描画色に設定する。

ステップＳ３０５では、ベクトルオブジェクト用として、新規のカラーＩＤ「ｃｌｒ４」を生成して、文字領域５０２で得た文字色（をＲＧＢ色「＃００００ＦＦ」）を関連付ける。そして、そのカラーＩＤを、ステップＳ３０６で文字領域５０２から得たベクトルオブジェクトの描画色に設定する。

ステップＳ３０７では、既に全文字領域に対して処理を行った為、処理を終了する。

なお、上述した例では、カラーＩＤとして、便宜上「ｃｌｒ１」「ｃｌｒ２」「ｃｌｒ３」「ｃｌｒ４」と命名したが、もちろんこの名称に限るものではない。また、ＯｆｆｉｃｅＯｐｅｎＸＭＬなど、フォーマットの種類によっては、あらかじめカラーＩＤ（色情報）が割り振られているフォーマットもあるので、その場合はあらかじめ指定されているカラーＩＤを使用することとなる。

図２に戻って、色情報定義生成部２１５では、例えば図４のような予め設定しておいたルール（色情報定義の生成ルール）に基づいて複数の色情報定義（カラー・セット）を生成する。本実施形態では、２種類のカラー・セット（２種類のテーマ）の配色を決定する。本実施形態において、色情報定義の生成ルールには、色情報定義それぞれにおいて、文字色で描画するデータの種類と透明色で描画するデータの種類とが設定されている。すなわち、生成ルールには、ＯＣＲオブジェクト（文字コード）とベクトルオブジェクト（ベクトルデータ）について、通常の文字色と透明色とのいずれで描画するかを色情報定義ごとに設定しておく。

図４のルールに従えば、まず、第１の色情報定義（色情報定義名「ＯＣＲ表示」）として、ＯＣＲオブジェクト用のカラーＩＤ「ｃｌｒ１」「ｃｌｒ２」に対してアルファチャネルを１００％に設定し、ベクトルオブジェクト用のカラーＩＤ「ｃｌｒ３」「ｃｌｒ４」に対してアルファチャネルを０％（すなわち透明色）に設定したテーマを生成する。次に、第２の色情報定義（色情報定義名「アウトライン表示」）として、ＯＣＲオブジェクト用のカラーＩＤ「ｃｌｒ１」「ｃｌｒ２」に対してアルファチャネルを０％、ベクトルオブジェクト用のカラーＩＤ「ｃｌｒ３」「ｃｌｒ４」に対してアルファチャネルを１００％に設定したテーマを生成する。このようにして、計２種類の色情報定義（２種類のカラー・セット）が生成される事になる。図７に、生成された色情報定義の結果を示す。

なお、ここでは全ての色情報に関して元の文字色を適用しているが、アルファチャネル０％に設定された色に関しては、透明で描画されるため、ＲＧＢ値は文字色以外の値にしても構わない。

フォーマット変換部２１６では、色情報定義生成部２１５で生成された２種類の色情報定義２２３，２２４とともに、ＯＣＲオブジェクトデータ２２６とベクトルオブジェクトデータ２２５を格納した電子ドキュメント２２０を生成する。このとき、文字認識部２１２で生成したＯＣＲオブジェクトデータ２２６、およびベクトル化部２１３で生成したベクトルオブジェクトデータ２２５が、色情報生成部２１４でそれぞれに関連付けられたカラーＩＤで描画されるように記述されている。２種類の色情報定義（カラー・セット）２２３，２２４が格納されているので、表示・編集プログラム１２１では、色情報定義を切り換えることによりＯＣＲオブジェクトデータやベクトルオブジェクトデータを表示することができるようになる。

図８の電子ドキュメント８００は、本実施例の説明のために作られた仮想的なＸＭＬフォーマットに従って作られた電子ドキュメント２２０の例である。

要素名＜ＤｅｆｉｎｅＳｔｙｌｅ＞と＜／ＤｅｆｉｎｅＳｔｙｌｅ＞で挟まれた箇所８０１は電子ドキュメントの型定義情報２２１を格納する部分である。８０１には、２種類の色情報定義８０３、８０４が格納されている。図８では、初期表示で使用されるカラー・セットとして、要素＜ＣｏｌｏｒＳｅｔ＞において属性“ｄｅｆａｕｌｔ”がｔｒｕｅになっている色情報定義８０４（「ベクトル表示」）が選ばれている。

要素名＜Ｌａｙｏｕｔ＞と＜／Ｌａｙｏｕｔ＞で挟まれた個所８０２は、電子ドキュメントの表示情報を格納する部分である。８０２には、ＯＣＲ結果のテキストを描画するためのＯＣＲオブジェクトデータ８０５と、ベクトル化結果を描画するためのベクトルオブジェクトデータ８０６とが格納されている。ここで、ＯＣＲオブジェクトデータ８０５は、カラーＩＤ「ｃｌｒ１」、「ｃｌｒ２」が関連づけられているので、色情報定義８０３が選択された場合には文字色で描画され、色情報定義８０４が選択された場合には透明になる。また、ベクトルオブジェクトデータ８０６には、カラーＩＤ「ｃｌｒ３」「ｃｌｒ４」が関連付けられているので、色情報定義８０３が選択された場合には透明になり、色情報定義８０４が選択された場合には文字色描画されることになる。

なお、生成される電子ドキュメント２２０の要素名および木構造は、表示・編集プログラム１２１の仕様に準じて生成されるものとする。すなわち、表示・編集プログラム１２１の種類によっては、図８以外の要素名や木構造で出力されることもありうる。

次に、図５の画像５００から生成された図８の電子ドキュメント８００を、図１のパーソナルコンピュータ１２０で実行される表示・編集プログラム１２１で処理する際の例を説明する。

図９は、表示・編集プログラム１２１に電子ドキュメント８００を入力したときの表示例である。

表示・編集プログラム１２１による表示ウィンドウ９０１は、編集ウィンドウ９０２、色定義切り換えメニューウィンドウ９０３を含む。

編集ウィンドウ９０２には、電子ドキュメント２２０中の表示情報２２２の内容に従った表示がなされる。図８の電子ドキュメント８００を表示する場合、ＯＣＲオブジェクトデータ（テキスト描画データ）８０５や、ベクトルオブジェクトデータ（ベクトル描画データ）８０６の内容が描画される。

この編集ウィンドウ９０２内で、ユーザはベクトルオブジェクトの拡大縮小、色情報の変更などといったベクトル編集作業や、テキストオブジェクトの文字列編集、フォント種類変更、サイズ変更、色情報変更などのテキスト編集作業が可能である。また編集後の電子ドキュメントを保存したり、９０２に表示されたとおりの外観で紙面を印刷することも可能である。

図８の電子ドキュメント８００に対しては、色情報定義のデフォルト値が、色情報定義名「ベクトル表示」８０４となっている。したがって、初期状態の表示では、「ｃｌｒ１」「ｃｌｒ２」にアルファチャネル０％、「ｃｌｒ３」「ｃｌｒ４」にアルファチャネル１００％が設定され、ベクトルオブジェクトが設定された文字色で編集ウィンドウ上に描画される。したがって、ユーザはベクトルオブジェクトに対してベクトル編集作業を容易に行う事ができる。

色定義切り換えメニューウィンドウ９０３には、電子ドキュメント２２０中の型定義情報２２１の内容に従って、色情報定義２２３，２２４をユーザの指示に従って切り換える事が可能なメニュー（ラジオボタン）が表示されている。ユーザが色定義を切り換え指示する事で、切り換え内容を反映し、編集ウィンドウ９０２の表示が更新される。図８では、２種類の色情報定義「ＯＣＲ表示」と「ベクトル表示」が設定されているので、図９の９０３に、２種類の色情報定義の切り換えボタンが表示される。

ユーザが、色定義切り換えメニューウィンドウ９０３で色情報を「ＯＣＲ表示」に切り換えた場合、電子ドキュメント８００中の、色情報定義８０３を適用し、「ｃｌｒ１」「ｃｌｒ２」にアルファチャネル１００％、「ｃｌｒ３」「ｃｌｒ４」にアルファチャネル０％が設定される。したがって、ベクトルオブジェクトが透明になり、ＯＣＲオブジェクトが設定された文字色で編集ウィンドウ上に描画される。

なお、図９の例では、色定義の切り換えに表示ウィンドウ９０１上に表示されるメニュー９０３を使用しているが、その他の選択方式を用いても構わない。

図１０は、ユーザが色定義を「ＯＣＲ表示」に切り換え、更に、文字列「ＡＢＣ」を「ａｂ」へ編集した場合の表示例である。「ＯＣＲ表示」の場合は、テキストデータのため、キーボードなどを使って簡単に変更することが可能である。また、「ＯＣＲ表示」を行って、更に、ＯＣＲ結果のテキストデータをコピーし、他のアプリケーション等で再利用することも簡単にできる。

なお、図８の例では、文字認識により、元の文字画像が全て正しく認識されたが、誤認識している場合もありうる。その場合は、「ＯＣＲ表示」で表示した場合に、元の入力画像と見た目が異なってしまうが、もし見た目を再現して印刷、表示を行いたいのであれば、「ベクトル表示」に切り換えれば良い。また、ベクトル表示とＯＣＲ表示を簡単に切り換えられるので、ＯＣＲ結果の文字列を修正することも容易である。

メニューなどのユーザーインターフェースから色情報定義の切り換えが容易にできるので、目的に応じてデータを使い分けることも容易になる。例えば、スキャンした文書をそのままの形で印刷やプレゼンテーションをしたい場合は「ベクトル表示」を選択すればよい。また、スキャン文書の文言などをテキストデータとして編集して扱いたい場合は「ＯＣＲ表示」を選択すればよい。

以上説明したように、本実施例によれば、画像内に含まれる文字領域について、同じ文字領域からベクトル化した情報（ベクトルデータ）と文字認識した情報（文字コード）とを得て、それぞれに異なるカラーＩＤを付与する。そして、複数の色情報定義それぞれで透明にするカラーＩＤを変えるように設定する。ベクトルデータと文字コードとそれぞれのカラーＩＤと複数の色情報定義とを含む電子文書を作成する。このように、複数の色情報定義それぞれで透明にするカラーＩＤを変えるように設定することで、ベクトル化した情報（ベクトルデータ）と文字認識した情報（文字コード）とを簡単な選択操作で切り換え表示させることができる。

このように生成した電子データは表示・編集プログラム１２１において、メニューなどからユーザが容易に切り換え選択し、使用することができる。

すなわち本実施例では、文字領域の認識結果である文字コードデータとベクトルデータの両方を保持し、ユーザの目的に応じてどちらを表示させるか簡単に切り換えることができる電子文書の提供が可能である。

また、表示・編集プログラム１２１として、例えば、マイクロソフト社のパワーポイント２００７（商標）などのプレゼンテーション用アプリケーションを用いることができる。この場合、フォーマット変換部２１６では、図７で説明した「ＯＣＲ表示」の色のセットと「ベクトル表示」の色のセットとのそれぞれが、パワーポイント２００７のテーマの配色パターンに設定されるように変換して電子文書を作成する。このように、本発明によれば、パワーポイント２００７などの市販のアプリケーションにおいて、ＯＣＲ結果のテキストデータと文字の輪郭から生成したベクトルデータとを、容易に切り換え表示できる電子文書を作成することができる。なお、表示・編集プログラム１２１は、パワーポイント２００７に限るものではなく、上述したような色定義切り換えメニューウィンドウ９０３のような、色情報定義を切り換えるためのユーザーインターフェースを備えるアプリケーションであればよい。

＜実施形態２＞
実施形態１では、単純な２種の色情報定義の切り換えであったが、目的に応じて、さらに多種の色情報定義を生成してもよい。

以下では、色情報定義生成ルールとして図１１を適用する場合の処理を説明する。図１１では、４種類の色情報定義を設定するようにしている。

図１７は、実施形態２において、図２の色情報生成部２１４が実行する処理について、フローチャートを用いて説明した図である。

ステップＳ１７０１では、解析部２１１で抽出した文字領域の内、未処理の領域を選択する。

ステップＳ１７０２では、当該選択した文字領域の文字色が、既に、カラーＩＤ（色の識別子）を付与済みの色であるか否かを判定する（すなわち、以前に同じ色の文字色を処理したことがあるか否かを判定する）。まだカラーＩＤが付与されていない文字色であると判定した場合（すなわち、同じ色の文字色を処理したことが無いと判定した場合）は、ステップＳ１７０３へ進む。一方、カラーＩＤが既に付与されている文字色であると判定した場合（すなわち、以前に同じ色の文字色を処理したことがあると判定した場合）は、ステップＳ１７０８へ進む。

ステップＳ１７０３では、ＯＣＲオブジェクト用として、新たなカラーＩＤを該文字色に付与する。すなわち、該文字色が関連付けられた新たなカラーＩＤが生成される。

ステップＳ１７０４では、ステップＳ１７０３で生成したカラーＩＤを、当該文字領域のＯＣＲオブジェクトに対する描画色として関連付け設定する。

ステップＳ１７０５では、ベクトルオブジェクト用として、更に新たなカラーＩＤを該文字色に付与する。すなわち、該文字色が関連付けられた新たなカラーＩＤ（ステップＳ３０３で生成されたカラーＩＤと異なるカラーＩＤ）が生成される。

ステップＳ１７０６では、ステップＳ１７０５で生成したカラーＩＤを、当該文字領域のベクトルオブジェクトに対する描画色として関連付け設定する。

ステップＳ１７０７では、解析部２１１で抽出した文字領域の内、未処理の文字領域が残っているかを判断する。未処理の文字領域が見つかれば、ステップＳ１７０１へ戻り、処理を繰り返す。未処理の文字領域が無ければ、処理を終了する。

ステップＳ１７０８では、該文字領域の認識精度が、ステップＳ１７０２で同色と判定されたカラーＩＤが関連付けられた文字領域の認識精度範囲に含まれるかを判断する。本実施形態では、認識精度（文字類似度）の範囲として、高精度（９０％以上）、中精度（７０％以上〜９０％未満）、低精度（７０％未満）の３つの範囲に分類するものとする。認識精度の範囲に含まれると判断したならばステップＳ１７０９に進み、含まれないと判断した場合はステップＳ１７０３へ進む。

ステップＳ１７０９では、該処理対象の文字領域から得た文字色と認識精度とに関してＯＣＲオブジェクト用として既に付与済みのカラーＩＤを判別し、当該処理対象の文字領域のＯＣＲオブジェクトに当該判別したカラーＩＤを関連付け設定する。すなわち、他の文字領域において同色で且つ同精度のＯＣＲオブジェクトがあれば、同じカラーＩＤが関連付けられることになる。

ステップＳ１７１０では、処理対象の文字領域から得た文字色と認識精度に関してベクトルオブジェクト用として既に付与済みのカラーＩＤを判別し、当該処理対象の文字領域のベクトルオブジェクトに当該判別したカラーＩＤを関連付け設定する。すなわち、他の文字領域において同色で且つ同精度のベクトルオブジェクトがあれば、同じカラーＩＤが関連付けられることになる。

以下、入力画像２００の例として図１２の画像１２００を、実施形態２の電子ドキュメント生成部２１０が処理する場合を説明する。

解析部２１１は、入力画像中の文字領域を抽出する。画像１２００に対して、点線で囲まれる領域、１２０１、１２０２、１２０３および１２０４がそれぞれ異なる文字色を有する文字領域として抽出されたものとする。

文字認識部２１２では、各文字領域内の文字認識を行い、文字認識結果の文字コードデータと、文字認識の確からしさの指標である認識精度（類似度）の値とを得る。本実施形態において、認識精度の値に関しては、各文字領域において、文字の文字認識結果の類似度の平均を求めることによって、文字領域の認識精度を決定するものとするが、これに限るものでない。本実施形態では、複数の文字を１つの文字領域として扱っているが、これに限るものではなく、個々の文字画像を別々の文字領域として扱うようにしても構わない。

図１３は、画像１２００から抽出した文字領域と、文字認識した結果を表している。ここでは、文字領域１２０１に対して文字色「＃００００００」と文字認識結果「ＡＢＣ」と認識精度「Ｈｉｇｈ」とが得られたものとする。また、文字領域１２０２に対して文字色「＃００００ＦＦ」と文字認識結果「ＤＥＦ」と認識精度「Ｍｉｄｄｌｅ」とが得られたものとする。また、文字領域１２０３に対して文字色「＃００００００」と文字認識結果「ＵＶＶＶＶ」と認識精度「Ｌｏｗ」とが得られたものとする。また、文字領域１２０４に対して文字色「＃ＦＦ００００」と文字認識結果「ＸＹＺ」と認識精度「Ｈｉｇｈ」とが得られたものとする。

ベクトル化部２１３では、公知のベクトル化技術を用いて各文字領域の画像データから文字のベクトル描画データを生成する。

画像１２００に対して行われる色情報生成部２１４での処理を、図１７のフローチャートに従って説明する。

ステップＳ１７０１で、未処理の文字領域として、まず文字領域１２０１を選択する。

ステップＳ１７０２では、処理済の文字色はまだ無いため（カラーＩＤが付与された文字色が無い）、ステップＳ１７０３に進む。

ステップＳ１７０３では、ＯＣＲオブジェクト用として、新規のカラーＩＤ「ｃｌｒ１」を生成して、文字領域１２０１で得た文字色（ＲＧＢ色「＃００００００」）を関連付ける。

ステップＳ１７０４では、ステップＳ１７０３で生成したカラーＩＤを、文字領域１２０１から得たＯＣＲオブジェクトの描画色に設定する。

ステップＳ１７０５では、ベクトルオブジェクト用として、新規のカラーＩＤ「ｃｌｒ５」を生成して、文字領域１２０１で得た文字色（ＲＧＢ色「＃００００００」）を関連付ける。

ステップＳ１７０６では、ステップＳ１７０５で生成した色情報を、文字領域１２０１から得たベクトルオブジェクトの描画色に設定する。

ステップＳ１７０７では、未処理の文字領域１２０２があるため、ステップＳ１７０１に戻り、文字領域１２０２を処理対象にする。

そして、ステップＳ１７０２では、文字領域１２０２の文字色が既にカラーＩＤを付与済みの色であるか否かを判定する。すなわち、文字領域１２０２の文字色「＃００００ＦＦ」と関連付けられているカラーＩＤがあるかチェックする。図１２の例では、文字領域１２０２の文字色「＃００００ＦＦ」はまだカラーＩＤが付与されていないため、ステップＳ１７０３へ進む。

ステップＳ１７０３では、ＯＣＲオブジェクト用として、新規のカラーＩＤ「ｃｌｒ２」を生成して、文字領域１２０２で得た文字色（ＲＧＢ色「＃００００ＦＦ」）を関連付ける。そして、そのカラーＩＤをステップＳ１７０４で文字領域１２０２から得たＯＣＲオブジェクトの描画色に設定する。

ステップＳ１７０５では、ベクトルオブジェクト用として、新規のカラーＩＤ「ｃｌｒ６」を生成して、文字領域１２０２で得た文字色（ＲＧＢ色「＃００００ＦＦ」）を関連付ける。そして、そのカラーＩＤを、ステップＳ１７０６で文字領域１２０２から得たベクトルオブジェクトの描画色に設定する。

ステップＳ１７０７では、未処理の文字領域１２０３があるため、ステップＳ１７０１に戻り、文字領域１２０３を処理対象にする。

ステップＳ１７０２では、文字領域１２０３の文字色が既にカラーＩＤを付与済みの色であるか否かを判定する。すなわち、文字領域１２０３の文字色「＃００００００」と関連付けられているカラーＩＤがあるかチェックする。図１２の例では、文字領域１２０３の文字色「＃００００００」に対して、カラーＩＤ「ｃｌｒ１」、ｃｌｒ５”が存在するため、Ｓ１７０８へ進む。

ステップＳ１７０８では、ステップＳ１７０２で得られたカラーＩＤ「ｃｌｒ１」と「ｃｌｒ５」を付加された文字領域１２０１の認識精度の範囲に、文字領域１２０３から得た認識精度が同一か判断する。すなわち、文字領域１２０３での文字認識精度が属する認識精度範囲が、文字領域１２０１での文字認識精度が属する認識精度範囲と同じであるか判断する。

ここで、文字領域１２０１の認識精度は「Ｈｉｇｈ」であるのに対し、文字領域１２０３の認識精度「Ｌｏｗ」であったとすると、ステップＳ１７０３へ進む。

ステップＳ１７０３では、ＯＣＲオブジェクト用として、新規のカラーＩＤ「ｃｌｒ３」を生成して、文字領域１２０３で得た文字色（ＲＧＢ色「＃００００００」）を関連付ける。そして、そのカラーＩＤをステップＳ１７０４で文字領域１２０３から得たＯＣＲオブジェクトの描画色に設定する。

ステップＳ１７０５では、ベクトルオブジェクト用として、新規のカラーＩＤ「ｃｌｒ７」を生成して、文字領域１２０３で得た文字色（ＲＧＢ色「＃００００００」）を関連付ける。そして、そのカラーＩＤを、ステップＳ１７０６で文字領域１２０３から得たベクトルオブジェクトの描画色に設定する。

ステップＳ１７０７では、未処理の文字領域１２０４があるため、ステップＳ１７０１に戻り、文字領域１２０４を処理対象にする。

ステップＳ１７０２では、文字領域１２０４の文字色が既にカラーＩＤを付与済みの色であるか否かを判定する。すなわち、文字領域１２０４の文字色「＃ＦＦ００００」と関連付けられているカラーＩＤがあるかチェックする。図１２の例では、文字領域１２０４の文字色「＃ＦＦ００００」はまだカラーＩＤが付与されていないため、ステップＳ１７０３へ進む。

ステップＳ１７０３では、ＯＣＲオブジェクト用として、新規のカラーＩＤ「ｃｌｒ４」を生成して、文字領域１２０４で得た文字色（ＲＧＢ色「＃ＦＦ００００」）を関連付ける。そして、そのカラーＩＤをステップＳ１７０４で文字領域１２０４から得たＯＣＲオブジェクトの描画色に設定する。

ステップＳ１７０５では、ベクトルオブジェクト用として、新規のカラーＩＤ「ｃｌｒ８」を生成して、文字領域１２０４で得た文字色（ＲＧＢ色「＃ＦＦ００００」）を関連付ける。そして、そのカラーＩＤを、ステップＳ１７０６で文字領域１２０４から得たベクトルオブジェクトの描画色に設定する。

ステップＳ１７０７では、既に全文字領域に対して処理を行った為、処理を終了する。

なお、上述した例では、カラーＩＤとして、便宜上「ｃｌｒ１」〜「ｃｌｒ８」と命名したが、勿論この名称に限るものではない。また、ＯｆｆｉｃｅＯｐｅｎＸＭＬなど、フォーマットの種類によっては、あらかじめカラーＩＤ（色情報）が割り振られている事もあるので、その場合はあらかじめ指定されたカラーＩＤを使用することとなる。

次に、色情報定義生成部２１５では、図１１のように設定しておいたルール（色情報定義の生成ルール）に基づいて色情報定義（カラー・セット）を生成する。本実施形態では、４種類のカラー・セット（４種類のテーマ）の配色を決定する。本実施形態において、色情報定義の生成ルールには、色情報定義それぞれにおいて、文字色で描画するデータの種類と透明色で描画するデータの種類とが設定されている。すなわち、生成ルールには、ＯＣＲオブジェクト（文字コード）とその認識精度とベクトルオブジェクト（ベクトルデータ）とに基づき、通常の文字色と透明色とのいずれで描画するかを色情報定義ごとに設定しておく。

図１４は図１１のルールと図１３の文字認識結果とに従って、色情報定義を生成した結果である。

第１の色情報定義（色情報定義名「全てＯＣＲ表示」）に関しては、ＯＣＲオブジェクト用のカラーＩＤ「ｃｌｒ１」〜「ｃｌｒ４」に対してアルファチャネル１００％、ベクトルオブジェクト用のカラーＩＤ「ｃｌｒ５」〜「ｃｌｒ８」に対してアルファチャネルを０％（すなわち透明色）を設定する。

第２の色情報定義（中精度以上ＯＣＲ表示）に関しては、ＯＣＲオブジェクト用のカラーＩＤで且つ認識精度が「Ｍｉｄｄｌｅ」以上のカラーＩＤ（すなわち「ｃｌｒ１」「ｃｌｒ２」「ｃｌｒ４」）と、ベクトルオブジェクト用のカラーＩＤで且つ認識精度が「Ｍｉｄｄｌｅ」未満のカラーＩＤ（すなわち「ｃｌｒ７」）とをアルファチャネル１００％に設定する。そして、それ以外のカラーＩＤ（すなわち「ｃｌｒ３」「ｃｌｒ５」「ｃｌｒ６」「ｃｌｒ８」）をアルファチャネル０％に設定する。

第３の色情報定義（高精度ＯＣＲ表示）に関しては、ＯＣＲオブジェクト用のカラーＩＤで且つ認識精度が「Ｈｉｇｈ」以上のカラーＩＤ（すなわち、「ｃｌｒ１」「ｃｌｒ４」）に対してアルファチャネル１００％を設定する。また、ベクトルオブジェクト用のカラーＩＤで且つ認識精度が「Ｈｉｇｈ」未満のカラーＩＤ（すなわち「ｃｌｒ６」「ｃｌｒ７」）をアルファチャネル１００％に設定する。そして、それ以外のカラーＩＤ（すなわち「ｃｌｒ２」「ｃｌｒ３」「ｃｌｒ５」「ｃｌｒ８」）にはアルファチャネル０％を設定する。

第４の色情報定義（全てベクトル表示）に関しては、ベクトルオブジェクト用のカラーＩＤ「ｃｌｒ５」〜「ｃｌｒ８」に対してアルファチャネル１００％、ＯＣＲオブジェクト用のカラーＩＤ「ｃｌｒ１」〜「ｃｌｒ４」に対してアルファチャネル０％を設定する。

フォーマット変換部２１６では、色情報定義生成部２１５で生成された４種類の色情報定義とともに、ＯＣＲオブジェクトデータとベクトルオブジェクトデータとを格納した電子ドキュメントを生成する。このとき、文字認識部２１２で生成したＯＣＲオブジェクトデータ、およびベクトル化部２１３で生成したベクトルオブジェクトデータが、色情報生成部２１４でそれぞれに関連付けられたカラーＩＤで描画されるように記述されている。更に、４種類の色情報定義（カラー・セット）が格納されているので、表示・編集プログラム１２１では、色情報定義を切り換えることにより、ＯＣＲオブジェクトデータやベクトルオブジェクトデータを各条件に適した状態で表示することができるようになる。

図１５の電子ドキュメント１５００は、本実施例の説明のために作られた仮想的なＸＭＬフォーマットに従って作られた電子ドキュメントの例である。

要素名＜ＤｅｆｉｎｅＳｔｙｌｅ＞と＜／ＤｅｆｉｎｅＳｔｙｌｅ＞で挟まれた箇所１５０１は電子ドキュメントの型定義情報２２１を格納する部分である。１５０１には、４種類の色情報定義１５０３、１５０４、１５０５、１５０６が格納されている（なお、図１５では、紙面の都合上、一部の記述を省略している）。図１５では、初期表示で使用されるカラー・セットとして、要素＜ＣｏｌｏｒＳｅｔ＞において属性“ｄｅｆａｕｌｔ”がｔｒｕｅになっている色情報定義１５０６（「全てベクトル表示」）が選ばれている。

要素名＜Ｌａｙｏｕｔ＞と＜／Ｌａｙｏｕｔ＞で挟まれた個所１５０２は、電子ドキュメントの表示情報を格納する部分である。１５０２には、ＯＣＲ結果のテキストを描画するためのＯＣＲオブジェクトデータ（テキスト描画情報）１５０７と、ベクトル化結果を描画するためのベクトルオブジェクトデータ（ベクトル描画情報）１５０８とが格納されている。

なお、生成される電子ドキュメントの要素名および木構造は、表示・編集プログラム１２１の仕様に準じて生成されるものとする。すなわち、表示・編集プログラム１２１の種類によっては、図１５以外の要素名や木構造で出力されることもありうる。

次に、図１２の画像１２００から生成された図１５の電子ドキュメント１５００を、図１のパーソナルコンピュータ１２０で実行される表示・編集プログラム１２１で処理する際の例を説明する。

図１６は、表示・編集プログラム１２１に電子ドキュメント１５００を入力したときの表示例である。

表示・編集プログラム１２１により表示される表示ウィンドウ１６０１は、編集ウィンドウ１６０２、色定義切り換えメニューウィンドウ１６０３を含む。

編集ウィンドウ１６０２には、電子ドキュメント中の表示情報の内容に従った表示がなされる。図１５の電子ドキュメント１５００を表示する場合、ＯＣＲオブジェクトデータ（テキスト描画データ）１５０７や、ベクトルオブジェクトデータ（ベクトル描画データ）１５０８の内容が描画される。

この編集ウィンドウ１６０２内で、ユーザはベクトルオブジェクトの拡大縮小、色情報の変更などといったベクトル編集作業や、テキストオブジェクトの文字列編集、フォント種類変更、サイズ変更、色情報変更などのテキスト編集作業が可能である。また編集後の電子ドキュメントを保存したり、９０２に表示されたとおりの外観で紙面を印刷することも可能である。

図１５の電子ドキュメント１５００に対しては、色情報定義のデフォルト値が、色情報定義名「すべてベクトル表示」１５０６となっている。したがって、初期状態の表示では、「ｃｌｒ１」〜「ｃｌｒ４」にアルファチャネル０％、「ｃｌｒ５」〜「ｃｌｒ８」にアルファチャネル１００％が設定され、ベクトルオブジェクトが設定された文字色で編集ウィンドウ上に描画される。したがって、ユーザはベクトルオブジェクトに対してベクトル編集作業を容易に行う事ができる。

色定義切り換えメニューウィンドウ１６０３には、電子ドキュメント中の型定義情報の内容に従って、色情報定義をユーザの指示に従って切り換える事が可能なメニュー（ラジオボタン）が表示されている。ユーザが色定義を切り換え指示する事で、切り換え内容を反映し、編集ウィンドウ１６０２の表示が更新される。

図１５の電子ドキュメント１５００では、４種類の色情報定義「全てＯＣＲ表示」「中精度ＯＣＲ表示」「高精度ＯＣＲ表示」「全てベクトル表示」が設定されているので、図１６の１６０３に、４種類の色情報定義の切り換えボタンが表示される。

ユーザが、色定義切り換えメニューウィンドウ１６０３で色情報定義を「全てＯＣＲ表示」に切り換えた場合、電子ドキュメント１５００中の色情報定義１５０３を適用し、「ｃｌｒ１」〜「ｃｌｒ４」にアルファチャネル１００％、「ｃｌｒ５」〜「ｃｌｒ８」に対してアルファチャネル０％が設定される。したがって、ＯＣＲオブジェクトが設定された文字色で編集ウィンドウ上に描画され、ユーザはＯＣＲオブジェクトに対して、テキスト編集することが可能となる。

なお、図１３の文字領域１２０３のように、文字認識結果に誤りが生じる場合がある。このように、認識に誤りが発生している場合、色情報定義「全てＯＣＲ表示」を適用すると、図１８のように、元の入力画像と見た目に差異が生じてしまうが、もし見た目を再現して印刷、表示を行いたいのであれば、「ベクトル表示」に切り換えれば良い。また、「高精度ＯＣＲ表示」を選択すれば、認識精度（類似度）の高い文字はＯＣＲ結果のテキストを用いて再現し、認識精度の低い文字画像はベクトルデータを用いて再現することができる。また、ベクトル表示とＯＣＲ表示を簡単に切り換えられるので、ＯＣＲ結果の文字列を修正することも容易である。

色情報定義の種類をより詳細化することで、文章の一部分のみを編集したいユーザにとっては文字認識精度の低い文字領域については、ベクトル表示を行い、なるべく見た目の情報を維持しつつ、編集したい箇所に関して編集操作をする事が可能となる。

なお、本実施例では認識精度を基準として色情報定義のルールを作成しているが、その他の基準を用いても良い。例えば、文書中の上部にある閾値以上の文字列をタイトルと判断し、タイトルと本文とで切り換えを分ける色情報定義を作成しても良い。

以上説明したように、本実施例によれば、画像内に含まれる文字領域ついて、同じ文字領域からベクトル化した情報と文字認識した情報とを生成し、それらの情報と複数の色情報定義とを含む電子文書を作成する。そして、複数の色情報定義それぞれで透明にする情報を変えるように設定することで、ベクトル化した情報と文字認識した情報とを簡単な選択操作で切り換え表示させることができる。

このように生成した電子データは表示・編集プログラム１２１において、メニューなどからユーザが容易に切り換え選択し、使用することができる。

すなわち本実施例では、文字領域の認識結果である文字コードデータとベクトルデータの両方を保持し、例えば文字認識の精度を基準として、文字領域ごとに表示される情報を切り換え可能な文書の提供が可能である。

本発明実施形態の構成例を示す図 本実施形態１の動作を説明する図 本実施形態１における色情報生成手段を説明する図 本実施形態１における色情報定義の生成ルールの例 本実施形態１における入力画像の例 本実施形態１における解析、文字認識の結果の例 本実施形態１における色情報定義生成結果の例 本実施形態１における変換された電子ドキュメントの例 本実施形態１における表示・編集プログラムに電子ドキュメントを表示した例 本実施形態１における表示・編集プログラムを用いて電子ドキュメントの色情報定義を切り換えて編集した例 本実施形態２における色情報定義の生成ルールの例 本実施形態２における入力画像の例 本実施形態２における解析、文字認識の結果の例 本実施形態２における色情報定義生成結果の例 本実施形態２における変換された電子ドキュメントの例 本実施形態２における表示・編集プログラムに電子ドキュメントを表示した例 本実施形態２における色情報生成手段を説明する図 本実施形態１における表示・編集プログラムを用いて電子ドキュメントの色情報定義を切り換えて表示した例

Claims (9)

1. 入力された画像内に含まれる文字領域と文字色とを解析する解析手段と、
   前記文字領域内の文字画像に対して文字認識処理を実行することにより、文字コードデータを得る文字認識手段と、
   前記文字領域内の文字画像に対してベクトル化処理を実行することにより、ベクトルデータを得るベクトル化手段と、
   複数の色情報定義それぞれについての生成ルールと、前記解析手段で解析した文字色とに基づいて、前記文字コードデータの描画の色と前記ベクトルデータの描画の色とを定義する色情報定義を、複数生成する色情報定義生成手段と、
   前記文字認識手段で得た文字コードデータと、前記ベクトル化手段で得たベクトルデータと、前記色情報定義生成手段で生成した複数の色情報定義とを含む電子文書を生成する電子文書生成手段と、
   を有し、
   前記生成ルールは、前記複数の色情報定義それぞれについて、前記文字色で描画するデータの種類と透明色で描画するデータの種類とを設定したルールであって、前記複数の色情報定義ごとに前記文字色で描画するデータの種類と前記透明色で描画するデータの種類とが異なることを特徴とする画像処理装置。
2. 前記文字認識処理の結果を表示させるための第１の色情報定義の生成ルールは、前記文字コードデータの描画の色を前記文字色に設定し且つ前記ベクトルデータの描画の色を前記透明色に設定するルールであり、
   前記ベクトル化処理の結果を表示させるための第２の色情報定義の生成ルールは、前記文字コードデータの描画の色を前記透明色に設定し且つ前記ベクトルデータの描画の色を前記文字色に設定するルールであることを特徴とする請求項１に記載の画像処理装置。
3. 同じ文字画像から得られる、前記文字認識手段で得た文字コードデータと前記ベクトル化手段で得たベクトルデータとに対して、異なるカラーＩＤを関連付ける色情報生成手段を更に有し、
   前記色情報定義生成手段は、前記文字コードデータの描画の色と前記ベクトルデータの描画の色とを、前記関連付けられているカラーＩＤに関連付けることにより、前記文字コードデータの描画の色と前記ベクトルデータの描画の色とを定義することを特徴とする請求項１または２のいずれかに記載の画像処理装置。
4. 前記色情報生成手段は、同じ文字色の文字画像に対しては、前記文字認識手段で得た文字コードデータと前記ベクトル化手段で得たベクトルデータのそれぞれで、同じカラーＩＤを関連付けることを特徴とする請求項３に記載の画像処理装置。
5. 前記データの種類は、前記文字コードデータと前記ベクトルデータと前記文字認識手段での認識精度とに基づいて定められるものであり、
   前記色情報定義生成手段は、前記複数の色情報定義それぞれについての生成ルールと、前記解析手段で解析した文字色と、前記文字認識手段での認識精度とに基づいて、前記文字コードデータの描画の色と前記ベクトルデータの描画の色とを定義することを特徴とする請求項１乃至４のいずれかに記載の画像処理装置。
6. 前記電子文書生成手段で生成された電子文書は、前記電子文書に含まれている複数の色情報定義を切り換えて表示させるためのユーザーインターフェースを備えるアプリケーションで表示されることを特徴とする請求項１乃至５のいずれかに記載の画像処理装置。
7. 解析手段が、入力された画像内に含まれる文字領域と文字色とを解析する解析ステップと、
   文字認識手段が、前記文字領域内の文字画像に対して文字認識処理を実行することにより、文字コードデータを得る文字認識ステップと、
   ベクトル化手段が、前記文字領域内の文字画像に対してベクトル化処理を実行することにより、ベクトルデータを得るベクトル化手段と、
   色情報定義生成手段が、複数の色情報定義それぞれについての生成ルールと、前記解析ステップで解析した文字色とに基づいて、前記文字コードデータの描画の色と前記ベクトルデータの描画の色とを定義する色情報定義を、複数生成する色情報定義生成ステップと、
   電子文書生成手段が、前記文字認識ステップで得た文字コードデータと、前記ベクトル化ステップで得たベクトルデータと、前記色情報定義生成ステップで生成した複数の色情報定義とを含む電子文書を生成する電子文書生成ステップと、
   を有し、
   前記生成ルールは、前記複数の色情報定義それぞれについて、前記文字色で描画するデータの種類と透明色で描画するデータの種類とを設定したルールであって、前記複数の色情報定義ごとに前記文字色で描画するデータの種類と前記透明色で描画するデータの種類とが異なることを特徴とする画像処理方法。
8. コンピュータを、入力された画像内に含まれる文字領域と文字色とを解析する解析手段、
   前記文字領域内の文字画像に対して文字認識処理を実行することにより、文字コードデータを得る文字認識手段、
   前記文字領域内の文字画像に対してベクトル化処理を実行することにより、ベクトルデータを得るベクトル化手段、
   複数の色情報定義それぞれについての生成ルールと、前記解析手段で解析した文字色とに基づいて、前記文字コードデータの描画の色と前記ベクトルデータの描画の色とを定義する色情報定義を、複数生成する色情報定義生成手段、
   前記文字認識手段で得た文字コードデータと、前記ベクトル化手段で得たベクトルデータと、前記色情報定義生成手段で生成した複数の色情報定義とを含む電子文書を生成する電子文書生成手段、
   として機能させるためのコンピュータプログラムであって、前記生成ルールは、前記複数の色情報定義それぞれについて、前記文字色で描画するデータの種類と透明色で描画するデータの種類とを設定したルールであって、前記複数の色情報定義ごとに前記文字色で描画するデータの種類と前記透明色で描画するデータの種類とが異なることを特徴とするコンピュータプログラム。
9. 請求項８に記載のコンピュータプログラムを格納した、コンピュータ読み取り可能な記憶媒体。

Images