JP6041836B2 - 画像処理装置および画像処理プログラム - Google Patents

Description

本発明は、画像処理装置および画像処理プログラムに関するものである。

ある複合機は、ラスター画像である原稿画像内の文字画像を抽出し、抽出した文字画像に対応する文字コードおよびフォント種別を特定し、原稿画像内の文字画像を、特定した文字コードおよびフォント種別に基づく文字画像に置換している（例えば特許文献１参照）。

特開２００５−２７５８６３号公報

しかしながら、上述のように、文字画像の置換を行う場合、文字画像のフォント形状が完全に一致しないことがあり、そのような場合、元の文字画像の形状と文字コードおよびフォント種別に基づく文字画像の形状との差によって、置換後の文字画像の周辺に、元の文字画像の一部が残ってしまう。また、そのような場合において、原稿画像内に背景画像内にオブジェクト（模様、図案など）が存在し、文字画像が背景画像のオブジェクトに重なっているときには、置換後の文字画像の周辺に、元の文字画像の形状と文字コードおよびフォント種別に基づく文字画像の形状との差によって背景画像内に隙間（空白部分）が生じてしまう。

このように、原稿文字内の文字画像を、その文字画像から特定された文字コードおよびフォント種別に基づく文字画像に置き換えると文字画像周辺の画質が低下してしまうことがある。

本発明は、上記の問題に鑑みてなされたものであり、原稿文字内の文字画像を、その文字画像から特定された文字コードおよびフォント種別に基づく文字画像に置き換えることに起因する文字画像周辺の画質低下を抑制する画像処理装置および画像処理プログラムを得ることを目的とする。

本発明に係る画像処理装置は、原稿画像内の文字画像を特定する文字認識部と、特定された前記文字画像に対応する文字コードおよびフォント種別を特定するフォントマッチング部と、前記原稿画像を背景画像とし、特定された前記文字コードおよびフォント種別に基づく標準文字画像を前景画像とする前背景設定部と、（ａ）前記背景画像において前記標準文字画像が位置する領域を削除領域として削除し、（ｂ）前記削除領域に接する所定の周辺領域内の、前記文字画像と前記標準文字画像との差分領域を前記背景画像に基づいて補間し、（ｃ）前記削除領域を前記背景画像に基づいて補間する背景画像補正部とを備える。

本発明に係る画像処理プログラムは、コンピューターを、原稿画像内の文字画像を特定する文字認識部、特定された前記文字画像に対応する文字コードおよびフォント種別を特定するフォントマッチング部、前記原稿画像を背景画像とし、特定された前記文字コードおよびフォント種別に基づく標準文字画像を前景画像とする前背景設定部、並びに（ａ）前記背景画像において前記標準文字画像が位置する領域を削除領域として削除し、（ｂ）前記削除領域に接する所定の周辺領域内の、前記文字画像と前記標準文字画像との差分領域を前記背景画像に基づいて補間し、（ｃ）前記削除領域を前記背景画像に基づいて補間する背景画像補正部として機能させる。

本発明によれば、原稿文字内の文字画像を、その文字画像から特定された文字コードおよびフォント種別に基づく文字画像に置き換えることに起因する文字画像周辺の画質低下が抑制される。

図１は、本発明の実施の形態に係る画像処理装置を含む画像形成装置の構成を示すブロック図である。 図２は、原稿画像の一例を示す図である。 図３は、実施の形態１における差分領域（残存領域）の一例を示す図である。 図４は、実施の形態１における削除領域の一例を示す図である。 図５は、図１における背景画像補正部２４の動作について説明するフローチャートである。 図６は、実施の形態１における開領域である削除領域の一例を示す図である。 図７は、実施の形態１における開領域である削除領域の形状変更の一例を説明する図である。 図８は、実施の形態１における開領域である削除領域の形状変更の他の例を説明する図である。 図９は、実施の形態１における開領域である削除領域の形状変更のさらに他の例を説明する図である。 図１０は、実施の形態１における処理後の背景画像１０２の一例を示す図である。

以下、図に基づいて本発明の実施の形態を説明する。

実施の形態１．

図１は、本発明の実施の形態に係る画像処理装置を含む画像形成装置の構成を示すブロック図である。図１に示す画像形成装置１は、複写機であるが、スキャナー、複合機などでもよい。

この画像形成装置１は、印刷装置１１と、画像読取装置１２と、画像処理装置１３と、記憶装置１４と、表示装置１５と、入力装置１６とを備える。

印刷装置１１は、出力デバイスの一例であって、画像処理装置１３による各種画像処理後の画像データに基づいて原稿画像を、ＣＭＹＫ（シアン・マゼンタ・イエロー・ブラック）色のトナーを使用して電子写真プロセスで印刷する内部装置である。

また、画像読取装置１２は、原稿から原稿画像を光学的に読み取り、原稿画像の画像データをＲＧＢデータとして生成する内部装置である。

また、画像処理装置１３は、画像読取装置１２などで生成された画像データに対して、色調整、色変換などの画像処理を行う。

また、記憶装置１４は、フラッシュメモリーなどの、書き換え可能な不揮発性の記憶装置であり、各種データやプログラムを記憶している。

画像処理装置１３は、ＡＳＩＣ（Application Specific Integrated Circuit）やコンピューターで実現され、文字認識部２１、フォントマッチング部２２、前背景設定部２３、および背景画像補正部２４を有する。

図２は、原稿画像の一例を示す図である。図２に示す原稿画像１０１は、文字画像１１１〜１１３とオブジェクト１２１とを含んでおり、文字画像１１１〜１１３がオブジェクト１２１に重なっている。なお、図２におけるオブジェクト１２１は、単一の一様な色の画像である。

文字認識部２１は、ＯＣＲ（Optical Character Recognition）技術を使用して、ラスター画像データに基づく原稿画像１０１内の文字画像１１１〜１１３を特定する。このとき、文字画像１１１〜１１３の位置および形状が特定される。

このとき、文字認識部２１は、例えば原稿画像１０１を２値化した画像に対してラベリング技術を使用して、原稿画像１０１内の文字画像１１１〜１１３の境界（輪郭）を特定する。

フォントマッチング部２２は、特定された文字画像１１１〜１１３に対応する文字コードおよびフォント種別を特定する。このとき、例えば、特定された文字画像１１１〜１１３の形状に基づいて、辞書データにおいて最も近い形状を有する文字画像を示す文字コードおよびフォント種別が特定される。

前背景設定部２３は、原稿画像１０１を背景画像とし、特定された文字コードおよびフォント種別に基づく文字画像（以下、標準文字画像という）を前景画像とする。

背景画像補正部２４は、（ａ）背景画像において特定された文字画像１１１〜１１３またはその文字画像１１１〜１１３に対応する標準文字画像が位置する領域を削除領域として削除し、（ｂ）その削除領域に接する所定の周辺領域（削除領域の境界から所定画素数内の領域、削除領域が重なっている背景オブジェクトの境界の内側の領域など）内の、文字画像１１１〜１１３と標準文字画像との差分領域を背景画像に基づいて補間し、（ｃ）削除領域を背景画像に基づいて補間する。つまり、削除領域は、補間前は白色または空白の領域であり、その削除領域の周辺領域に基づいて削除領域内の各画素に使用する画素値が決定され、背景画像の一部となるように埋められる。

例えば、周辺領域が単一の色であれば、その単一の色で削除領域が埋められ、周辺領域がテクスチャーパターン、グラデーションパターンなどの不均一なパターンを有していれば、そのパターンの連続性が維持されるようなパターンで削除領域が埋められる。

図３は、実施の形態１における差分領域（残存領域）の一例を示す図である。図４は、実施の形態１における削除領域の一例を示す図である。

実施の形態１では、背景画像補正部２４は、(ａ）文字画像１１１〜１１３に対応する標準文字画像が位置する領域を削除領域１３１〜１３３として削除し、（ｂ）その削除領域に接する所定の周辺領域内の、削除領域１３１〜１３３と文字画像１１１〜１１３との差分となる残存領域１４１〜１４３を背景画像１０２に基づいて補間し、（ｃ）削除領域１３１〜１３３を背景画像１０２に基づいて補間する。

また、背景画像補正部２４は、（ｃ１）削除領域が、背景画像１０２内のオブジェクト１２１によって周囲を部分的に囲まれており、背景画像１０２内のオブジェクト１２１によって囲まれていない部分を有する開領域である場合（例えば図４における削除領域１３３の場合）には、オブジェクト１２１の境界と削除領域１３３の境界との交点を端点として特定し、対となる２つの端点を直線または曲線で接続することで、削除領域の形状を変更し、形状変更後の削除領域１３３を背景画像１０２に基づいて補間し、（ｃ２）背景画像１０２内のオブジェクト１２１によって周囲をすべて囲まれている閉領域である場合（例えば図４における削除領域１３１，１３２の場合）には、削除領域１３１，１３２をそのまま変更せずに背景画像１０２に基づいて補間する。

具体的には、背景画像補正部２４は、上述の対となる２つの端点のそれぞれから延びるオブジェクト１２１の境界の形状（直線または曲線）に対応する形状の線で、その２つの端点を接続する。

また、背景画像補正部２４は、削除領域１３１〜１３３に接する所定の周辺領域におけるグラデーションパターンおよびテクスチャーパターンの少なくとも一方を特定し、特定したグラデーションパターンおよびテクスチャーパターンの少なくとも一方に従って、削除領域１３１〜１３３を補間する。グラデーションパターンについては、色の変化方向、変化周期（１色あたりの幅となる画素数）と、色変化量（輝度値の変化量および色差の変化量）とが特定される。テクスチャーパターンについては、単位パターンと配置周期とが特定される。

なお、例えば、前景画像および背景画像１０２はそれぞれ別々のレイヤーとして圧縮され、圧縮された各レイヤーのデータから１つのＰＤＦ（Portable Document Format）ファイルが生成される。あるいは、前景画像および背景画像１０２を合成して１つのラスター画像データを生成するようにしてもよい。

次に、図１における画像処理装置１３の動作について説明する。

画像処理装置１３に原稿画像１０１の画像データが供給されると、文字認識部２１は、ＯＣＲ技術を使用して、原稿画像１０１内の文字画像１１１〜１１３を特定する。

次に、フォントマッチング部２２は、特定された文字画像１１１〜１１３に対応する文字コードおよびフォント種別を特定する。

そして、前背景設定部２３は、原稿画像１０１を背景画像１０２とし、特定された文字コードおよびフォント種別に基づく標準文字画像を前景画像とする。なお、標準文字画像の配置位置とサイズ（高さおよび幅の一方または両方）は、元の文字画像１１１〜１１３と同一とされる。

この時点では、背景画像１０２には文字画像１１１〜１１３が含まれており、文字画像１１１〜１１３と標準文字画像との差分領域が背景画像１０２内に残ってしまうため、背景画像補正部２４は、次のように、背景画像１０２の補正を行う。

図５は、図１における背景画像補正部２４の動作について説明するフローチャートである。

背景画像補正部２４は、例えば図３に示すように、標準文字画像の領域である削除領域１３１〜１３３を背景画像１０２から削除する（ステップＳ１）。

次に、背景画像補正部２４は、削除領域１３１〜１３３の１つを選択し（ステップＳ２）、選択した削除領域の周辺に、元の文字画像１１１〜１１３の残存部分１４１〜１４３があるか否かを判定する（ステップＳ３）。選択した削除領域の周辺に、元の文字画像１１１〜１１３の残存部分１４１〜１４３があると判定した場合には、背景画像補正部２４は、その残存部分１４１〜１４３を削除し、例えば図４に示すように、背景画像１０２（オブジェクト１２１）に基づいて補間する（ステップＳ４）。

そして、背景画像補正部２４は、選択した削除領域が開領域であるか否かを判定する（ステップＳ５）。

図６は、実施の形態１における開領域である削除領域の一例を示す図である。図７は、実施の形態１における開領域である削除領域の形状変更の一例を説明する図である。

例えば、背景画像１０２内のオブジェクト１２１の境界１２１ａ（エッジ）が特定され、オブジェクト１２１の境界１２１ａが削除領域によって切断されている場合には、その削除領域は開領域であると判定され、そうではない場合には、その削除領域は閉領域である（つまり、開領域ではない）と判定される。したがって、図６における削除領域１３３は開領域であると判定される。

あるいは、例えば、削除領域の境界において、削除領域内外の画素値の差がない部分が存在するか否かが判定され、削除領域の境界において、削除領域内外の画素値の差がない部分が存在する場合には、その削除領域は開領域であると判定され、そうではない場合には、その削除領域は閉領域である（つまり、開領域ではない）と判定されるようにしてもよい。

選択した削除領域が開領域であると判定した場合、背景画像補正部２４は、選択した削除領域の形状を変更する（ステップＳ６）。まず、背景画像補正部２４は、例えば図７に示すように、オブジェクト１２１の境界と削除領域１３３の境界との交点を端点１５１−１，１５１−２，１５２−１，１５２−２として特定し、対となる２つの端点（１５１−１，１５１−２），（１５２−１，１５２−２），を特定する。なお、端点の数は常に偶数となり、例えば、オブジェクト１２１の境界に沿って２つの端点を順番に対とすることで、端点の対が特定される。次に、背景画像補正部２４は、対となる２つの端点を直線または曲線で接続することで、例えば図７に示すように、削除領域１３３の形状を変更する。

このとき、背景画像補正部２４は、対となる２つの端点（１５１−１，１５１−２），（１５２−１，１５２−２）のそれぞれから延びるオブジェクト１２１の境界の形状に対応する形状の線で、その２つの端点（１５１−１，１５１−２），（１５２−１，１５２−２）を接続する。

例えば、図７において、端点１５１−１，１５１−２から延びる境界１２１ａ１，１２１ａ２がそれぞれ直線であり、それらの直線が１本の直線上に存在するので、端点１５１−１，１５１−２は、１本の直線で接続される。同様に、端点１５２−１，１５２−２も、１本の直線で接続される。

図８は、実施の形態１における開領域である削除領域の形状変更の他の例を説明する図である。図９は、実施の形態１における開領域である削除領域の形状変更のさらに他の例を説明する図である。

例えば図８に示すように、端点１５１−１，１５１−２から延びる境界１２１ａ１，１２１ａ２がそれぞれ直線であり、それらの直線の傾きが異なる場合、端点１５１−１，１５１−２は、端点１５１−１，１５１−２のそれぞれから延びるオブジェクト１２１の境界を外挿して得られる２本の直線で接続される。

また、例えば図９に示すように、端点１５１−１，１５１−２から延びるオブジェクト１２１の境界の少なくとも一方が曲線である場合、端点１５１−１，１５１−２は、１本の曲線で接続される。その際、その曲線には、ベジエ曲線、スプライン補間曲線などを使用できる。この場合、同様に、端点１５２−１，１５２−２も、曲線で接続される。

そして、背景画像補正部２４は、形状変更後の削除領域１３３を背景画像１０２（オブジェクト１２１）に基づいて補間する（ステップＳ７）。

なお、選択した削除領域が開領域ではない（つまり、閉領域である）と判定した場合、背景画像補正部２４は、選択した削除領域の形状を変更せずに、背景画像１０２（オブジェクト１２１）に基づいて補間する。

図１０は、実施の形態１における処理後の背景画像１０２の一例を示す図である。図１０に示すように、処理後の背景画像１０２は、差分領域を残さずに文字画像１１１〜１１３が除去され、さらに、処理後の背景画像１０２においては、オブジェクト１２１の形状が適切に復元される。

以上のように、上記実施の形態１によれば、文字認識部２１は、原稿画像１０１内の文字画像１１１〜１１３を特定し、フォントマッチング部２２は、特定された文字画像１１１〜１１３に対応する文字コードおよびフォント種別を特定し、前背景設定部２３は、原稿画像１０１を背景画像１０２とし、特定された文字コードおよびフォント種別に基づく標準文字画像を前景画像とする。そして、背景画像補正部２４は、（ａ）背景画像１０２において文字画像１１１〜１１３または標準文字画像（実施の形態１では標準文字画像）が位置する領域を削除領域１３１〜１３３として削除し、（ｂ）削除領域１３１〜１３３に接する所定の周辺領域内の、文字画像１１１〜１１３と標準文字画像との差分領域を背景画像１０２に基づいて補間し、（ｃ）削除領域１１１〜１１３を背景画像１０２に基づいて補間する。

これにより、原稿文字１０１内の文字画像１１１〜１１３を、その文字画像１１１〜１１３から特定された文字コードおよびフォント種別に基づく文字画像に置き換えることに起因する文字画像１１１〜１１３周辺の画質低下が抑制される。

実施の形態２．

実施の形態２に係る画像処理装置は、特定された文字画像１１１〜１１３を削除領域として、背景画像１０２から除去する。したがって、実施の形態２では、文字画像１１１〜１１３と標準文字画像との差分領域は、空白領域となり、空白領域は、背景画像１０２（オブジェクト１２１）に基づいて補間される。

なお、実施の形態２に係る画像処理装置の構成およびその他の動作については実施の形態１のものと同様であるので、その説明を省略する。

実施の形態３．

実施の形態３では、実施の形態１または実施の形態２の画像処理装置の機能（つまり、文字認識部２１、フォントマッチング部２２、前背景設定部２３、および背景画像補正部２４の機能）を、コンピューターに実行させるための画像処理プログラムが、上述の画像形成装置、端末装置などの記憶装置や記録媒体に格納されている。そして、上述の画像形成装置、端末装置などに内蔵されるコンピューターによって、画像処理プログラムが読み出され、実行される。

これにより、上述の画像形成装置、端末装置などにおいて、上述の文字認識部２１、フォントマッチング部２２、前背景設定部２３、および背景画像補正部２４が実現される。

なお、上述の各実施の形態は、本発明の好適な例であるが、本発明は、これらに限定されるものではなく、本発明の要旨を逸脱しない範囲において、種々の変形、変更が可能である。

例えば、上記実施の形態１〜３において、背景画像補正部２４は、複数ページの原稿画像内の共通のオブジェクト１２１（つまり、ページ間で同一な形状および同一な色およびパターンを有するオブジェクト）を特定し、共通のオブジェクト１２１内の、複数ページの原稿画像に対応する複数の削除領域を、複数の削除領域の論理和の領域へ変更し、変更後の削除領域に基づいて上述の処理を行うようにしてもよい。

また、上記実施の形態１〜３において、背景画像補正部２４は、削除領域１３１〜１３３を補間で埋める際に、文字認識部２１で使用される画像データの解像度（例えば３００ｄｐｉ）より高い解像度（例えば６００ｄｐｉ）の画像データを使用して、削除領域１３１〜１３３の周辺領域が、網点などのテクスチャーパターンを有するか否かを判定するようにしてもよい。

本発明は、例えば、画像形成装置内の画像処理装置に適用可能である。

１３ 画像処理装置
２１ 文字認識部
２２ フォントマッチング部
２３ 前背景設定部
２４ 背景画像補正部
１０１ 原稿画像
１０２ 背景画像
１１１〜１１３ 文字画像
１３１〜１３３ 削除領域

Claims (6)

1. 原稿画像内の文字画像を特定する文字認識部と、
   特定された前記文字画像に対応する文字コードおよびフォント種別を特定するフォントマッチング部と、
   前記原稿画像を背景画像とし、特定された前記文字コードおよびフォント種別に基づく標準文字画像を前景画像とする前背景設定部と、
   （ａ）前記背景画像において前記標準文字画像が位置する領域を削除領域として削除し、（ｂ）前記削除領域に接する所定の周辺領域内の、前記文字画像と前記標準文字画像との差分領域を前記背景画像に基づいて補間し、（ｃ）前記削除領域を前記背景画像に基づいて補間する背景画像補正部と、
   を備えることを特徴とする画像処理装置。
2. 前記背景画像補正部は、（ｃ１）前記削除領域が、前記背景画像内のオブジェクトによって周囲を部分的に囲まれており、前記背景画像内のオブジェクトによって囲まれていない部分を有する開領域である場合には、前記オブジェクトの境界と前記削除領域の境界との交点を端点として特定し、対となる２つの前記端点を直線または曲線で接続することで、前記削除領域の形状を変更し、形状変更後の前記削除領域を前記背景画像に基づいて補間し、（ｃ２）前記背景画像内のオブジェクトによって周囲をすべて囲まれている閉領域である場合には、前記削除領域をそのまま前記背景画像に基づいて補間することを特徴とする請求項１記載の画像処理装置。
3. 前記背景画像補正部は、前記対となる２つの端点のそれぞれから延びる前記オブジェクトの境界の形状に対応する形状の線で前記２つの端点を接続することを特徴とする請求項２記載の画像処理装置。
4. 前記背景画像補正部は、複数ページの原稿画像内の共通のオブジェクトを特定し、前記共通のオブジェクト内の、前記複数ページの原稿画像に対応する複数の削除領域を、前記複数の削除領域の論理和の領域に変更することを特徴とする請求項１から請求項３のうちのいずれか１項記載の画像処理装置。
5. 前記背景画像補正部は、前記削除領域に接する所定の周辺領域におけるグラデーションパターンおよびテクスチャーパターンの少なくとも一方を特定し、特定した前記グラデーションパターンおよび前記テクスチャーパターンの少なくとも一方に従って、前記削除領域を補間することを特徴とする請求項１から請求項４のうちのいずれか１項記載の画像処理装置。
6. コンピューターを、
   原稿画像内の文字画像を特定する文字認識部、
   特定された前記文字画像に対応する文字コードおよびフォント種別を特定するフォントマッチング部、
   前記原稿画像を背景画像とし、特定された前記文字コードおよびフォント種別に基づく標準文字画像を前景画像とする前背景設定部、並びに
   （ａ）前記背景画像において前記標準文字画像が位置する領域を削除領域として削除し、（ｂ）前記削除領域に接する所定の周辺領域内の、前記文字画像と前記標準文字画像との差分領域を前記背景画像に基づいて補間し、（ｃ）前記削除領域を前記背景画像に基づいて補間する背景画像補正部、
   として機能させることを特徴とする画像処理プログラム。

Images