JP5697649B2 - 画像処理装置 - Google Patents

Description

本発明は、画像処理装置に関するものである。

原画像から文字と背景画像とを分離し、文字の画像データと背景画像の画像データとを別々に圧縮する場合、ある画像処理装置では、領域解析処理によって原画像から文字と背景画像とを分離し、背景画像における、文字の位置の画素値を、文字周囲の画素（つまり文字の外周に接している画素）の値から決定している（例えば特許文献１参照）。

また、別の画像処理装置では、文章の行などのレイアウト情報から、背景画像において、文字部を含む所定の領域の位置を特定し、その領域の周囲の色に基づく色で、その領域を塗り潰している（例えば特許文献２参照）。

特開２０１１−００９９２４号公報 特開２００６−１９７１７８号公報

しかしながら、特許文献１に記載の技術では、領域解析処理を使用するため処理速度が比較的低くなってしまうとともに、文字の周囲の値を使用するため、原画像内で文字の周囲の画素に文字の色が滲んでいる場合、圧縮後の画質が低下してしまう。

なお、特許文献２に記載の技術は、レイアウト情報がない場合には使用できず、また、領域周囲の色で領域全体を塗り潰してしまうので、その部分の画質が低下してしまう。

本発明は、上記の問題に鑑みてなされたものであり、原画像から文字画像と背景画像とを、比較的高い処理速度で、かつ良好な画質で分離する画像処理装置を得ることを目的とする。

上記の課題を解決するために、本発明では以下のようにした。

本発明に係る画像処理装置は、原画像におけるエッジを検出し、検出した前記エッジで構成されるエッジ画像を生成するエッジ画像生成部と、前記エッジ画像内の連結画素集合を抽出する連結画素抽出部と、前記連結画素集合を、前記連結画素集合の色ごとに分類し、前記色のそれぞれについて２値画像である文字画像を生成する２値画像生成部と、前記文字画像に基づいて前記原画像の背景画像を生成する背景画像生成部と、前記文字画像の画像データと前記背景画像の画像データとを互いに異なる圧縮方式で圧縮する画像圧縮部とを備える。そして、前記２値画像生成部は、前記連結画素集合に外接する矩形内の４つの頂点の画素の、前記原画像での輝度値がすべて所定の２値化閾値より高い場合、前記連結画素集合が通常文字であると判断して前記文字画像を生成し、前記矩形内の４つの頂点の画素の、前記原画像での輝度値がすべて前記２値化閾値より低い場合、前記連結画素集合が濃度反転文字であると判断して前記文字画像を生成し、前記通常文字または前記濃度反転文字であると判断されない前記連結画素集合は非文字であると判断して前記文字画像を生成しない。また、前記背景画像生成部は、前記原画像における、前記文字画像の位置の画素値を、前記矩形の周囲の４つの頂点に位置する４つの画素の、前記原画像での値の平均値として、前記背景画像を生成する。

これにより、領域解析処理やレイアウト情報を使用することなく、原画像から文字画像と背景画像が、比較的高い処理速度で、かつ良好な画質で分離される。

また、本発明に係る画像処理装置は、上記の画像処理装置に加え、次のようにしてもよい。この場合、画像処理装置は、前記連結画素集合に外接する矩形が互いに近接している前記連結画素集合を検出し、１つの前記連結画素集合としてグループ化する連結画素結合部をさらに備える。そして、前記２値画像生成部は、グループ化された前記連結画素集合については、グループ化された前記連結画素集合に外接する矩形内の４つの頂点の画素の、前記原画像での輝度値がすべて所定の２値化閾値より高い場合、グループ化された前記連結画素集合が通常文字であると判断して前記文字画像を生成し、前記矩形内の４つの頂点の画素の、前記原画像での輝度値がすべて前記２値化閾値より低い場合、グループ化された前記連結画素集合が濃度反転文字であると判断して前記文字画像を生成し、前記通常文字または前記濃度反転文字であると判断されないグループ化された前記連結画素集合は非文字であると判断して前記文字画像を生成しない。また、前記２値画像生成部は、グループ化された前記連結画素集合およびグループ化されていない前記連結画素集合を、前記連結画素集合の色ごとに分類し、前記色のそれぞれについて前記文字画像を生成し、前記背景画像生成部は、グループ化された前記連結画素集合については、前記原画像における、前記文字画像の位置の画素値を、グループ化された前記連結画素集合に外接する矩形の周囲の４つの頂点に位置する４つの画素の、前記原画像での値の平均値として、前記背景画像を生成する。

また、本発明に係る画像処理装置は、上記の画像処理装置に加え、次のようにしてもよい。この場合、前記原画像は、多値のカラー画像であり、前記エッジ画像生成部は、前記原画像の輝度成分のみの画像を生成し、その画像においてエッジを検出し、検出した前記エッジで構成されるエッジ画像を生成する。

本発明によれば、原画像から文字画像と背景画像が、比較的高い処理速度で、かつ良好な画質で分離される。

図１は、本発明の実施の形態に係る画像処理装置の構成を示すブロック図である。 図２は、図１に示す画像処理装置において抽出される連結画素集合の例を示す図である。 図３は、図１に示す画像処理装置において抽出される連結画素集合の別の例を示す図である。

以下、図に基づいて本発明の実施の形態を説明する。

図１は、本発明の実施の形態に係る画像処理装置の構成を示すブロック図である。図１に示す画像処理装置は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）、コンピューターなどで実現され、原画像などの各種画像の画像データは、ＲＡＭ（Random Access Memory）、不揮発性メモリーなどに適宜記憶され、ＡＳＩＣやコンピューター内のプロセッサーで以下の処理部が実現される。

エッジ画像生成部１は、原画像におけるエッジを検出し、検出した前記エッジで構成されるエッジ画像を生成する。この実施の形態では、エッジ画像は、検出されたエッジの高濃度側の画素の位置を示す画像であり、２値画像である。つまり、検出されたエッジの高濃度側の画素の値が１であり、それ以外の画素の値が０である。

この実施の形態では、原画像は、多値のカラー画像であり、エッジ画像生成部１は、原画像の輝度成分のみの画像を生成し、その画像においてエッジを検出し、検出したエッジで構成されるエッジ画像を生成する。

連結画素抽出部２は、エッジ画像内の連結画素集合を抽出し、ひと繋がりの連結画素を、１つの集合として識別可能に管理する。つまり、連結画素集合と別の連結画素集合とが、連結していない場合、それらは、２つの集合として、それぞれ識別可能に管理される。なお、連結画素集合は、上述の高濃度側の画素（画素値が１である画素）のうち、１つの単独の画素、または互いに連結している複数の画素からなる。

連結画素結合部３は、連結画素集合に外接する矩形が互いに近接している複数の連結画素集合を検出し、それらを１つの連結画素集合としてグループ化する。つまり、２つの連結画素集合がグループ化されると、１つの連結画素集合として管理される。例えば、連結画素集合に外接する矩形の一部が重なっている場合、連結画素集合に外接する矩形の間の距離が所定値より短い場合などの所定の条件が成立すると、それらの連結画素集合がグループ化される。

２値画像生成部４は、連結画素集合を、連結画素集合の色（つまり、原画像内での色）ごとに分類し、その色のそれぞれについて文字画像を生成する。文字画像は２値画像である。このとき、文字に該当しない連結画素集合を除いた連結画素集合に基づいて文字画像が生成される。

例えば、５つの連結画素集合Ａ〜Ｅが存在し、原画像での連結画素集合Ａ，Ｂが第１の色であり、原画像での連結画素集合Ｃが第２の色（第１の色とは別の色）であり、原画像での連結画素集合Ｄ，Ｅが第３の色（第１，第２の色とは別の色）である場合、第１の色について、連結画素集合Ａ，Ｂの位置の画素値が１であり、その他の位置の画素値が０である文字画像が生成され、第２の色について、連結画素集合Ｃの位置の画素値が１であり、その他の位置の画素値が０である文字画像が生成され、第３の色について、連結画素集合Ｄ，Ｅの位置の画素値が１であり、その他の位置の画素値が０である文字画像が生成される。

背景画像生成部５は、上述の文字画像に基づいて、原画像の背景画像を生成する。具体的には、背景画像生成部５は、文字画像に基づいて、上述の文字画像における文字の位置（つまり、画素値が１である画素の位置）を特定し、原画像におけるその位置の画素値を次のように置き換えて、背景画像を生成する。

背景画像生成部５は、原画像における、文字画像の位置（つまり、文字画像内で画素値が１である画素の位置）の画素値を、連結画素集合に外接する矩形の周囲の少なくとも一部の画素の、原画像での値の平均値として、背景画像を生成する。

図２は、図１に示す画像処理装置において抽出される連結画素集合の例を示す図である。

図２（Ａ）に示す例は、原画像に「エ」という文字がある場合のものであり、この例では、連結画素集合１０１が検出され、連結画素集合１０１に外接する矩形１０２が特定されている。この例において、矩形１０２の周囲の星印を付した画素の、原画像での画素値に基づいて、背景画像における、この連結画素集合１０１の位置の画素値が決定される。

図２（Ｂ）に示す例は、原画像に「Ｅ」という文字がある場合のものであり、この例では、連結画素集合１１１が検出され、連結画素集合１１１に外接する矩形１１２が特定されている。この例において、矩形１１２の周囲の星印を付した画素の、原画像での画素値に基づいて、背景画像における、この連結画素集合１１１の位置の画素値が決定される。

図２（Ｃ）に示す例は、原画像に「つ」という文字がある場合のものであり、この例では、連結画素集合１２１が検出され、連結画素集合１２１に外接する矩形１２２が特定されている。この例において、矩形１２２の周囲の星印を付した画素の、原画像での画素値に基づいて、背景画像における、この連結画素集合１２１の位置の画素値が決定される。

なお、背景画像生成部５は、原画像における、文字画像の位置の画素値を、上述の矩形の周囲のすべての画素の、原画像での値の平均値として、背景画像を生成するようにしてもよい。

また、背景画像生成部５は、原画像における、文字画像の位置の画素値を、上述の矩形の周囲の４つの頂点に位置する４つの画素（図２における黒色の星印の画素）の、原画像での値の平均値として、背景画像を生成するようにしてもよい。

なお、グループ化された連結画素集合が存在する場合、２値画像生成部４は、グループ化された連結画素集合については、その連結画素集合のグループの色ごとに分類し、それらの色のそれぞれについて文字画像を生成する。このとき、グループ化されていない連結画素集合の色と、グループ化された連結画素集合の色とが同一である場合、それらは同一の文字画像に含められる。そして、背景画像生成部５は、グループ化された連結画素集合については、原画像における、文字画像の位置の画素値を、グループ化された連結画素集合全体に外接する矩形の周囲の少なくとも一部の画素の、原画像での値の平均値として、背景画像を生成する。

画像圧縮部６は、上述の文字画像の画像データと背景画像の画像データとを互いに異なる圧縮方式で圧縮する。例えば、文字画像の画像データは、ＭＭＲ（Modified Modified READ）方式で圧縮され、背景画像の画像データは、ＪＰＥＧ（Joint Photographic Experts Group）方式で圧縮される。なお、文字画像の画像データは、色の数と同数のデータがあり、それぞれが圧縮される。また、各色の値は、その色の文字画像の圧縮後の画像データに関連付けて管理される。

次に、上記画像処理装置の動作について説明する。

まず、エッジ画像生成部１が、原画像におけるエッジを検出し、検出したエッジで構成されるエッジ画像を生成する。

次に、連結画素抽出部２は、エッジ画像内の連結画素集合を抽出し、ひと繋がりの連結画素を、１つの集合として識別可能に管理する。

このとき、連結画素結合部３は、連結画素抽出部２により抽出された連結画素集合に外接する矩形の位置およびサイズを特定し、その矩形が互いに近接している連結画素集合が存在する場合、その矩形が互いに近接している連結画素集合を検出し、１つの連結画素集合としてグループ化する。

そして、２値画像生成部４は、連結画素集合を、連結画素集合の色（つまり、原画像内での色）ごとに分類し、その色のそれぞれについて文字画像を生成する。

このようにして、文字画像が、色ごとに生成される。

また、背景画像生成部５は、上述の文字画像に基づいて、原画像の背景画像を生成する。このとき、上述したように、背景画像生成部５は、原画像における、文字画像の位置の画素値を、連結画素集合に外接する矩形の周囲の少なくとも一部の画素の、原画像での値の平均値として、背景画像を生成する。

このようにして、背景画像が生成される。

そして、画像圧縮部６は、上述の文字画像の画像データと背景画像の画像データとを互いに異なる圧縮方式で圧縮する。

このようにして、原画像から文字画像と背景画像とが分離され、別々に画像データの圧縮が行われる。

なお、上述の実施の形態に係る画像処理装置は、以下のようにして、白抜き文字などの濃度反転文字（つまり、背景に比較して低濃度の文字）に対応する連結画素集合を検出する。２値画像生成部４は、連結画素集合（グループ化されたものを含む）に外接する矩形内の４つの頂点の画素の、原画像での輝度値に基づいて、連結画素集合が、通常文字（濃度反転文字以外の文字）、濃度反転文字、および非文字のうちのいずれであるかを特定する。

この実施の形態では、２値画像生成部４は、連結画素集合（グループ化されたものを含む）に外接する矩形内の４つの頂点の画素の、原画像での輝度値がすべて所定の２値化閾値より高い場合、連結画素集合が通常文字であると判断し、その４つの輝度値がすべてその２値化閾値より低い場合、連結画素集合が濃度反転文字であると判断し、それ以外の場合、連結画素集合は非文字であると判断する。

濃度反転文字の場合も、通常文字の場合と同様にして、実施の形態１に示すように、濃度反転文字の色ごとに、文字画像が生成される。つまり、濃度反転文字および通常文字については文字画像が生成され、非文字については文字画像が生成されない。

図３は、図１に示す画像処理装置において抽出される連結画素集合の別の例を示す図である。

図３（Ａ）に示す例は、原画像に「エ」という白抜き文字がある場合のものであり、この例では、連結画素集合２０１が検出され、連結画素集合２０１に外接する矩形２０２が特定される。ここでは、矩形２０２内の４つの頂点の画素（白色の星印の画素）についての、原画像での輝度値に基づいて、この連結画素集合２０１が白抜き文字であると特定されている。

図３（Ｂ）に示す例は、原画像に「Ｅ」という白抜き文字がある場合のものであり、この例では、連結画素集合２１１が検出され、連結画素集合２１１に外接する矩形２１２が特定される。ここでは、矩形２１２内の４つの頂点の画素（白色の星印の画素）についての、原画像での輝度値に基づいて、この連結画素集合２１１が白抜き文字であると特定されている。

図３（Ｃ）に示す例は、原画像に「つ」という白抜き文字がある場合のものであり、この例では、連結画素集合２２１が検出され、連結画素集合２２１に外接する矩形２２２が特定される。ここでは、矩形２２２内の４つの頂点の画素（白色の星印の画素）についての、原画像での輝度値に基づいて、この連結画素集合２２１が白抜き文字であると特定されている。

以上のように、上記実施の形態によれば、エッジ画像生成部１は、原画像におけるエッジを検出し、検出したエッジで構成されるエッジ画像を生成し、連結画素抽出部２は、そのエッジ画像内の連結画素集合を抽出し、２値画像生成部４は、連結画素集合を、連結画素集合の色ごとに分類し、それらの色のそれぞれについて、２値画像である文字画像を生成する。また、背景画像生成部５は、その文字画像に基づいて原画像の背景画像を生成する。その際、背景画像生成部５は、原画像における、その文字画像の位置の画素値を、連結画素集合に外接する矩形の周囲の少なくとも一部の画素の、原画像での値の平均値として、背景画像を生成する。そして、画像圧縮部６は、文字画像の画像データと背景画像の画像データとを互いに異なる圧縮方式で圧縮する。

これにより、領域解析処理やレイアウト情報を使用することなく、原画像から文字画像と背景画像が、比較的高い処理速度で、かつ良好な画質で分離される。

なお、上述の実施の形態は、本発明の好適な例であるが、本発明は、これらに限定されるものではなく、本発明の要旨を逸脱しない範囲において、種々の変形、変更が可能である。

本発明は、例えば、画像データの圧縮に適用可能である。

１ エッジ画像生成部
２ 連結画素抽出部
３ 連結画素結合部
４ ２値画像生成部
５ 背景画像生成部
６ 画像圧縮部
１０１，１１１，１２１，２０１，２１１，２２１ 連結画素集合

Claims (3)

1. 原画像におけるエッジを検出し、検出した前記エッジで構成されるエッジ画像を生成するエッジ画像生成部と、
   前記エッジ画像内の連結画素集合を抽出する連結画素抽出部と、
   前記連結画素集合を、前記連結画素集合の色ごとに分類し、前記色のそれぞれについて、２値画像である文字画像を生成する２値画像生成部と、
   前記文字画像に基づいて前記原画像の背景画像を生成する背景画像生成部と、
   前記文字画像の画像データと前記背景画像の画像データとを互いに異なる圧縮方式で圧縮する画像圧縮部とを備え、
   前記２値画像生成部は、前記連結画素集合に外接する矩形内の４つの頂点の画素の、前記原画像での輝度値がすべて所定の２値化閾値より高い場合、前記連結画素集合が通常文字であると判断して前記文字画像を生成し、前記矩形内の４つの頂点の画素の、前記原画像での輝度値がすべて前記２値化閾値より低い場合、前記連結画素集合が濃度反転文字であると判断して前記文字画像を生成し、前記通常文字または前記濃度反転文字であると判断されない前記連結画素集合は非文字であると判断して前記文字画像を生成せず、
   前記背景画像生成部は、前記原画像における、前記文字画像の位置の画素値を、前記矩形の周囲の４つの頂点に位置する４つの画素の、前記原画像での値の平均値として、前記背景画像を生成すること、
   を特徴とする画像処理装置。
2. 前記連結画素集合に外接する矩形が互いに近接している前記連結画素集合を検出し、１つの前記連結画素集合としてグループ化する連結画素結合部をさらに備え、
   前記２値画像生成部は、グループ化された前記連結画素集合およびグループ化されていない前記連結画素集合を、前記連結画素集合の色ごとに分類し、前記色のそれぞれについて前記文字画像を生成し、
   前記２値画像生成部は、グループ化された前記連結画素集合については、グループ化された前記連結画素集合に外接する矩形内の４つの頂点の画素の、前記原画像での輝度値がすべて所定の２値化閾値より高い場合、グループ化された前記連結画素集合が通常文字であると判断して前記文字画像を生成し、前記矩形内の４つの頂点の画素の、前記原画像での輝度値がすべて前記２値化閾値より低い場合、グループ化された前記連結画素集合が濃度反転文字であると判断して前記文字画像を生成し、前記通常文字または前記濃度反転文字であると判断されないグループ化された前記連結画素集合は非文字であると判断して前記文字画像を生成せず、
   前記背景画像生成部は、グループ化された前記連結画素集合については、前記原画像における、前記文字画像の位置の画素値を、グループ化された前記連結画素集合に外接する矩形の周囲の４つの頂点に位置する４つの画素の、前記原画像での値の平均値として、前記背景画像を生成すること、
   を特徴とする請求項１記載の画像処理装置。
3. 前記原画像は、多値のカラー画像であり、
   前記エッジ画像生成部は、前記原画像の輝度成分のみの画像を生成し、その画像においてエッジを検出し、検出した前記エッジで構成されるエッジ画像を生成すること、
   を特徴とする請求項１または請求項２記載の画像処理装置。

Images