JP5847062B2

JP5847062B2 - 画像処理装置

Info

Publication number: JP5847062B2
Application number: JP2012258800A
Authority: JP
Inventors: 敏明六尾; 政樹馬場
Original assignee: Kyocera Document Solutions Inc
Current assignee: Kyocera Document Solutions Inc
Priority date: 2012-11-27
Filing date: 2012-11-27
Publication date: 2016-01-20
Anticipated expiration: 2032-11-27
Also published as: JP2014107685A; US20140147036A1; CN103841295A; US9064175B2; EP2735998B1; EP2735998A1; CN103841295B

Description

本発明は、画像処理装置に関するものである。

ある画像処理装置では、原画像から文字と背景画像とを分離し、文字の画像データと背景画像の画像データとを別々に圧縮する（例えば特許文献１参照）。

原画像内の文字を検出する際、ラベリング処理により得られる黒画素集合に外接する矩形領域を特定し、その矩形領域のサイズが小さい場合、その矩形領域を、文字検出の対象とし、その矩形領域のサイズが大きい場合、ラベリング率、周辺長率などに基づいて、その矩形領域を、文字検出の対象とするか否かを判定している（例えば特許文献２参照）。ラベリング率とは、矩形領域内の全画素数に対する黒画素集合内の画素数の割合であり、周辺長率とは、矩形領域内の全画素数に対する、白画素に隣接する黒画素数の割合である。

特表２００５−５００７０９号公報特開２００７−３３６０００号公報

しかしながら、上述のようにして文字を検出する場合、矩形領域のサイズが大きい場合、ラベリング率、周辺長率などを計算する必要があり、高速に文字の検出を行うことが困難である。

本発明は、上記の問題に鑑みてなされたものであり、文字の検出を、正確かつ高速に行う画像処理装置を得ることを目的とする。

上記の課題を解決するために、本発明では以下のようにした。

本発明に係る画像処理装置は、原画像におけるエッジを検出し、検出した前記エッジで構成されるエッジ画像を生成するエッジ画像生成部と、前記エッジ画像内の連結画素集合を抽出する連結画素抽出部と、前記連結画素集合を、前記連結画素集合の色ごとに分類し、前記色のそれぞれについて、２値画像である文字画像を生成する２値画像生成部と、前記文字画像に基づいて前記原画像の背景画像を生成する背景画像生成部と、前記文字画像の画像データと前記背景画像の画像データとを互いに異なる圧縮方式で圧縮する画像圧縮部とを備える。そして、前記２値画像生成部は、前記連結画素集合に外接する矩形内の領域である矩形領域内の前記連結画素集合以外の画素の、前記原画像での色と、前記連結画素集合内の画素の、前記原画像での色との差である色差について、前記色差のばらつきに関する所定の指標の値と色差閾値とを比較して、前記連結画素集合が文字であるか非文字であるかを判定し、前記矩形領域のサイズが所定の閾値に基づき小さいか大きいかを判定し、前記矩形領域のサイズが小さい場合と前記矩形領域のサイズが大きい場合とで異なる値を、前記色差閾値に設定する。

これにより、矩形領域のサイズが大きい場合でも文字の誤検出が低減され、文字の検出が、正確かつ高速に行われる。

また、本発明に係る画像処理装置は、上記の画像処理装置に加え、次のようにしてもよい。この場合、前記２値画像生成部は、前記矩形領域内の前記連結画素集合の画素と前記矩形領域内の前記連結画素集合以外の画素との輝度の差が所定の閾値以上である場合、前記指標の値と前記色差閾値とを比較して、前記連結画素集合が文字であるか非文字であるかを判定し、前記矩形領域内の前記連結画素集合の画素と前記矩形領域内の前記連結画素集合以外の画素との輝度の差が所定の閾値より小さい場合、前記連結画素集合が非文字であると判定する。

また、本発明に係る画像処理装置は、上記の画像処理装置に加え、次のようにしてもよい。この場合、前記２値画像生成部は、前記色差の最大値と最小値との差と、前記色差閾値とを比較して、前記連結画素集合が文字であるか非文字であるかを判定する。

また、本発明に係る画像処理装置は、上記の画像処理装置に加え、次のようにしてもよい。この場合、前記２値画像生成部は、前記矩形領域内の前記連結画素集合の画素と前記矩形領域内の前記連結画素集合以外の画素との輝度および色の差の最大値と最小値との差と、前記色差閾値との比較結果に基づいて、前記連結画素集合が文字であるか非文字であるかを判定する。

また、本発明に係る画像処理装置は、上記の画像処理装置に加え、次のようにしてもよい。この場合、前記２値画像生成部は、前記色差の分散値と前記色差閾値とを比較して、前記連結画素集合が文字であるか非文字であるかを判定する。

また、本発明に係る画像処理装置は、上記の画像処理装置に加え、次のようにしてもよい。この場合、前記２値画像生成部は、前記矩形領域内の前記連結画素集合の画素と前記矩形領域内の前記連結画素集合以外の画素との輝度および色の差の分散値と前記色差閾値との比較結果に基づいて、前記連結画素集合が文字であるか非文字であるかを判定する。

また、本発明に係る画像処理装置は、上記の画像処理装置に加え、次のようにしてもよい。この場合、前記２値画像生成部は、前記色差の平均値に応じて、前記色差閾値を変更する。

また、本発明に係る画像処理装置は、上記の画像処理装置に加え、次のようにしてもよい。この場合、画像処理装置は、前記連結画素集合に外接する矩形が互いに近接している前記連結画素集合を検出し、１つの前記連結画素集合としてグループ化する連結画素結合部をさらに備える。

本発明によれば、文字の検出が、正確かつ高速に行われる。

図１は、本発明の実施の形態に係る画像処理装置の構成を示すブロック図である。図２は、図１に示す画像処理装置において抽出される連結画素集合の例を示す図である。図３は、図１における２値画像生成部による文字判定処理について説明するフローチャートである。

以下、図に基づいて本発明の実施の形態を説明する。

図１は、本発明の実施の形態に係る画像処理装置の構成を示すブロック図である。図１に示す画像処理装置は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）、コンピューターなどで実現され、原画像などの各種画像の画像データは、ＲＡＭ（Random Access Memory）、不揮発性メモリーなどに適宜記憶され、ＡＳＩＣやコンピューター内のプロセッサーで以下の処理部が実現される。

エッジ画像生成部１は、原画像におけるエッジを検出し、検出した前記エッジで構成されるエッジ画像を生成する。この実施の形態では、エッジ画像は、検出されたエッジの高濃度側の画素の位置を示す画像であり、２値画像である。つまり、検出されたエッジの高濃度側の画素の値が１であり、それ以外の画素の値が０である。

この実施の形態では、原画像は、多値のカラー画像であり、エッジ画像生成部１は、原画像の輝度成分のみの画像を生成し、その画像においてエッジを検出し、検出したエッジで構成されるエッジ画像を生成する。

連結画素抽出部２は、エッジ画像内の連結画素集合を抽出し、ひと繋がりの連結画素を、１つの集合として識別可能に管理する。つまり、連結画素集合と別の連結画素集合とが、連結していない場合、それらは、２つの集合として、それぞれ識別可能に管理される。なお、連結画素集合は、上述の高濃度側の画素（画素値が１である画素）のうち、１つの単独の画素、または互いに連結している複数の画素からなる。

連結画素結合部３は、連結画素集合に外接する矩形が互いに近接している複数の連結画素集合を検出し、それらを１つの連結画素集合としてグループ化する。つまり、２つの連結画素集合がグループ化されると、１つの連結画素集合として管理される。例えば、連結画素集合に外接する矩形の一部が重なっている場合、連結画素集合に外接する矩形の間の距離が所定値より短い場合などの所定の条件が成立すると、それらの連結画素集合がグループ化される。

２値画像生成部４は、連結画素集合を、連結画素集合の色（つまり、原画像内での色）ごとに分類し、その色のそれぞれについて文字画像を生成する。文字画像は２値画像である。このとき、文字に該当しない連結画素集合を除いた連結画素集合に基づいて文字画像が生成される。

例えば、５つの連結画素集合Ａ〜Ｅが存在し、原画像での連結画素集合Ａ，Ｂが第１の色であり、原画像での連結画素集合Ｃが第２の色（第１の色とは別の色）であり、原画像での連結画素集合Ｄ，Ｅが第３の色（第１，第２の色とは別の色）である場合、第１の色について、連結画素集合Ａ，Ｂの位置の画素値が１であり、その他の位置の画素値が０である文字画像が生成され、第２の色について、連結画素集合Ｃの位置の画素値が１であり、その他の位置の画素値が０である文字画像が生成され、第３の色について、連結画素集合Ｄ，Ｅの位置の画素値が１であり、その他の位置の画素値が０である文字画像が生成される。

また、２値画像生成部４は、連結画素集合に外接する矩形内側の領域である矩形領域内の連結画素集合以外の画素の色（原画像での色であって、ＹＵＶ色空間でのＵ座標とＶ座標の値）と、その連結画素集合内の画素の色（原画像での色であって、ＹＵＶ色空間でのＵ座標とＶ座標の値）との差を色差（つまり、ＵＶ平面での両者の距離）とし、その色差のばらつきに関する所定の指標の値と色差閾値とを比較して、その連結画素集合が文字であるか非文字であるかを判定する。

なお、上述の色差のばらつきは、連結画素集合以外の各画素と連結画素集合内の各画素との色差のばらつきとしてもよいし、連結画素集合以外の画素の色の平均値と連結画素集合内の各画素の色との差のばらつきとしてもよい。

このとき、２値画像生成部４は、その矩形領域のサイズが、所定の閾値に基づき小さいか大きいかを判定し、矩形領域のサイズが小さい場合と矩形領域のサイズが大きい場合とで異なる値を、その色差閾値に設定する。

ここでは、主走査方向における矩形領域の幅および副走査方向における矩形領域の幅の少なくとも一方が、所定の閾値以上である場合、矩形領域のサイズが大きいと判定され、そうではない場合、矩形領域のサイズが小さいと判定される。

なお、２値画像生成部４は、上述の色差の最大値と最小値との差を上述の指標として、連結画素集合が文字であるか非文字であるかを判定するようにしてもよい。

また、２値画像生成部４は、上述の色差の分散値を上述の指標として、連結画素集合が文字であるか非文字であるかを判定するようにしてもよい。

さらに、この実施の形態では、２値画像生成部４は、その矩形領域内の連結画素集合の画素と矩形領域内の連結画素集合以外の画素との輝度の差が所定の閾値以上である場合、その指標の値と色差閾値とを比較して、その連結画素集合が文字であるか非文字であるかを判定し、矩形領域内の連結画素集合の画素と矩形領域内の連結画素集合以外の画素との輝度の差が所定の閾値より小さい場合、その連結画素集合が非文字であると判定する。

背景画像生成部５は、上述の文字画像に基づいて、原画像の背景画像を生成する。具体的には、背景画像生成部５は、文字画像に基づいて、上述の文字画像における文字の位置（つまり、画素値が１である画素の位置）を特定し、原画像におけるその位置の画素値を次のように置き換えて、背景画像を生成する。

例えば、背景画像生成部５は、原画像における、文字画像の位置（つまり、文字画像内で画素値が１である画素の位置）の画素値を、連結画素集合に外接する矩形の周囲の少なくとも一部の画素の、原画像での値の平均値として、背景画像を生成する。

図２は、図１に示す画像処理装置において抽出される連結画素集合の例を示す図である。

図２（Ａ）に示す例は、原画像に「エ」という文字がある場合のものであり、この例では、連結画素集合１０１が検出され、連結画素集合１０１に外接する矩形１０２が特定されている。この例において、矩形１０２の周囲の星印を付した画素の、原画像での画素値に基づいて、背景画像における、この連結画素集合１０１の位置の画素値が決定される。なお、矩形１０２の内側の画素領域が、この場合の上述の矩形領域となる。

図２（Ｂ）に示す例は、原画像に「Ｅ」という文字がある場合のものであり、この例では、連結画素集合１１１が検出され、連結画素集合１１１に外接する矩形１１２が特定されている。この例において、矩形１１２の周囲の星印を付した画素の、原画像での画素値に基づいて、背景画像における、この連結画素集合１１１の位置の画素値が決定される。

図２（Ｃ）に示す例は、原画像に「つ」という文字がある場合のものであり、この例では、連結画素集合１２１が検出され、連結画素集合１２１に外接する矩形１２２が特定されている。この例において、矩形１２２の周囲の星印を付した画素の、原画像での画素値に基づいて、背景画像における、この連結画素集合１２１の位置の画素値が決定される。

なお、背景画像生成部５は、例えば、原画像における、文字画像の位置の画素値を、上述の矩形の周囲のすべての画素の、原画像での値の平均値として、背景画像を生成するようにしてもよい。また、背景画像生成部５は、原画像における、文字画像の位置の画素値を、上述の矩形の周囲の４つの頂点に位置する４つの画素（図２における黒色の星印の画素）の、原画像での値の平均値として、背景画像を生成するようにしてもよい。

なお、グループ化された連結画素集合が存在する場合、２値画像生成部４は、グループ化された連結画素集合については、その連結画素集合のグループの色ごとに分類し、それらの色のそれぞれについて文字画像を生成する。このとき、グループ化されていない連結画素集合の色と、グループ化された連結画素集合の色とが同一である場合、それらは同一の文字画像に含められる。

画像圧縮部６は、上述の文字画像の画像データと背景画像の画像データとを互いに異なる圧縮方式で圧縮する。例えば、文字画像の画像データは、ＭＭＲ（Modified Modified READ）方式で圧縮され、背景画像の画像データは、ＪＰＥＧ（Joint Photographic Experts Group）方式で圧縮される。なお、文字画像の画像データは、色の数と同数のデータがあり、それぞれが圧縮される。また、各色の値は、その色の文字画像の圧縮後の画像データに関連付けて管理される。

次に上記画像処理装置の動作について説明する。

まず、エッジ画像生成部１が、原画像におけるエッジを検出し、検出したエッジで構成されるエッジ画像を生成する。

次に、連結画素抽出部２は、エッジ画像内の連結画素集合を抽出し、ひと繋がりの連結画素を、１つの集合として識別可能に管理する。

このとき、連結画素結合部３は、連結画素抽出部２により抽出された連結画素集合に外接する矩形の位置およびサイズを特定し、その矩形が互いに近接している連結画素集合が存在する場合、その矩形が互いに近接している連結画素集合を検出し、１つの連結画素集合としてグループ化する。

そして、２値画像生成部４は、連結画素集合を、連結画素集合の色（つまり、原画像内での色）ごとに分類し、その色のそれぞれについて文字画像を生成する。

このようにして、文字画像が、色ごとに生成される。

ここで、２値画像生成部４による文字判定処理について説明する。図３は、図１における２値画像生成部４による文字判定処理について説明するフローチャートである。

まず、２値画像生成部４は、矩形領域内の連結画素集合の輝度値（例えば、連結画素集合内の画素の輝度値の平均値）と、矩形領域内の連結画素集合以外の部分の輝度値（例えば、その部分における画素の輝度値の平均値）との差が所定の第１閾値以上であるか否かを判定する（ステップＳ１）。

上述の輝度値の差が所定の第１閾値以上ではない場合、２値画像生成部４は、その連結g画素集合を非文字であると判定する（ステップＳ２）。

一方、上述の輝度値の差が所定の第１閾値以上である場合、２値画像生成部４は、以下のようにして、その連結画素集合が文字であるか否かを判定する。

まず、２値画像生成部４は、その矩形領域内の連結画素集合の色差の平均値が所定の第２閾値以上であるか否かを判定する（ステップＳ３）。

その色差の平均値が所定の第２閾値以上ではない場合、２値画像生成部４は、その矩形領域のサイズが所定の第３閾値以上であるか否かを判定し（ステップＳ４）、その矩形領域のサイズが所定の第３閾値以上である場合、連結画素集合の色差のばらつきが第４閾値以上であるか否かを判定し（ステップＳ５）、その矩形領域のサイズが所定の第３閾値以上ではない場合、連結画素集合の色差のばらつきが、第４閾値とは異なる第５閾値以上であるか否かを判定する（ステップＳ６）。ステップＳ５において連結画素集合の色差のばらつきが第４閾値以上である場合には、この連結画素集合は非文字であると判定され（ステップＳ７）、そうではない場合には、この連結画素集合は文字であると判定される（ステップＳ８）。また、ステップＳ６において連結画素集合の色差のばらつきが第５閾値以上である場合には、この連結画素集合は非文字であると判定され（ステップＳ９）、そうではない場合には、この連結画素集合は文字であると判定される（ステップＳ１０）。

一方、上述の色差の平均値が所定の第２閾値以上である場合、２値画像生成部４は、その矩形領域のサイズが所定の第３閾値以上であるか否かを判定し（ステップＳ１１）、その矩形領域のサイズが所定の第３閾値以上である場合、連結画素集合の色差のばらつきが、第４閾値とは異なる第６閾値以上であるか否かを判定し（ステップＳ１２）、その矩形領域のサイズが所定の第３閾値以上ではない場合、連結画素集合の色差のばらつきが、第６閾値とは異なる第７閾値以上であるか否かを判定する（ステップＳ１３）。ステップＳ１２において連結画素集合の色差のばらつきが第６閾値以上である場合には、この連結画素集合は非文字であると判定され（ステップＳ１４）、そうではない場合には、この連結画素集合は文字であると判定される（ステップＳ１５）。また、ステップＳ１３において連結画素集合の色差のばらつきが第７閾値以上である場合には、この連結画素集合は非文字であると判定され（ステップＳ１６）、そうではない場合には、この連結画素集合は文字であると判定される（ステップＳ１７）。

ここで、第５閾値は、第４閾値より大きい値とされ、第７閾値は、第６閾値より大きい値とされ、第６閾値は、第４閾値より大きい値とされ、第７閾値は、第５閾値より大きい値とされる。

例えば、ＹＵＶの各座標が２５５階調である場合、第１閾値が８とされ、第２閾値が１６とされ、第３閾値が１１５（１０ミリメートル）とされ、第４閾値が４０とされ、第５閾値が８０とされ、第６閾値が６０とされ、第７閾値が２５５とされる。

このようにして、連結画素集合が文字であるか非文字であるかが判定される。これにより、連結画素集合の色が均一でなくても、正確に文字検出が行われる。

また、背景画像生成部５は、上述の文字画像に基づいて、原画像の背景画像を生成する。このとき、上述したように、背景画像生成部５は、原画像における、文字画像の位置の画素値を、連結画素集合に外接する矩形の周囲の少なくとも一部の画素の、原画像での値の平均値として、背景画像を生成する。

このようにして、背景画像が生成される。

そして、画像圧縮部６は、上述の文字画像の画像データと背景画像の画像データとを互いに異なる圧縮方式で圧縮する。

このようにして、原画像から文字画像と背景画像とが分離され、別々に画像データの圧縮が行われる。

以上のように、上記実施の形態によれば、２値画像生成部４は、連結画素集合に外接する矩形内側の領域である矩形領域内の連結画素集合以外の画素の色と、その連結画素集合内の画素の色との差である色差について、その色差のばらつきに関する所定の指標の値と色差閾値とを比較して、その連結画素集合が文字であるか非文字であるかを判定する。このとき、２値画像生成部４は、その矩形領域のサイズが所定の閾値に基づき小さいか大きいかを判定し、矩形領域のサイズが小さい場合と矩形領域のサイズが大きい場合とで異なる値を、その色差閾値に設定する。

例えばスキャナーで生成された画像データの場合、スキャナーの光学系などの要因で文字エッジ付近に偽色が生じることがあり、その場合、文字が非文字と判定されやすくなるが、上述のように文字を検出することで、文字か非文字かの判定の誤りが低減される。

なお、上述の実施の形態は、本発明の好適な例であるが、本発明は、これらに限定されるものではなく、本発明の要旨を逸脱しない範囲において、種々の変形、変更が可能である。

例えば、上記実施の形態において、２値画像生成部４は、矩形領域内の連結画素集合の画素と矩形領域内の連結画素集合以外の画素との輝度および色の差（つまり、ＹＵＶ空間内での両者の距離）の最大値と最小値との差と、色差閾値との比較結果に基づいて、連結画素集合が文字であるか非文字であるかを判定するようにしてもよい。

また、上記実施の形態において、２値画像生成部４は、矩形領域内の連結画素集合の画素と矩形領域内の連結画素集合以外の画素との輝度および色の差の分散値（つまり、ＹＵＶ空間内での分散値）と色差閾値との比較結果に基づいて、連結画素集合が文字であるか非文字であるかを判定するようにしてもよい。

さらに、上記実施の形態において、矩形領域のサイズが第３閾値より小さい連結画素集合については、一律に、文字と判定するようにしてもよい。

本発明は、例えば、画像データの圧縮に適用可能である。

１エッジ画像生成部
２連結画素抽出部
３連結画素結合部
４２値画像生成部
５背景画像生成部
６画像圧縮部
１０１，１１１，１２１連結画素集合

Claims

原画像におけるエッジを検出し、検出した前記エッジで構成されるエッジ画像を生成するエッジ画像生成部と、
前記エッジ画像内の連結画素集合を抽出する連結画素抽出部と、
前記連結画素集合を、前記連結画素集合の色ごとに分類し、前記色のそれぞれについて、２値画像である文字画像を生成する２値画像生成部と、
前記文字画像に基づいて前記原画像の背景画像を生成する背景画像生成部と、
前記文字画像の画像データと前記背景画像の画像データとを互いに異なる圧縮方式で圧縮する画像圧縮部とを備え、
前記２値画像生成部は、前記連結画素集合に外接する矩形内の領域である矩形領域内の前記連結画素集合以外の画素の、前記原画像での色と、前記連結画素集合内の画素の、前記原画像での色との差である色差について、前記色差のばらつきに関する所定の指標の値と色差閾値とを比較して、前記連結画素集合が文字であるか非文字であるかを判定し、前記矩形領域のサイズが所定の閾値に基づき小さいか大きいかを判定し、前記矩形領域のサイズが小さい場合と前記矩形領域のサイズが大きい場合とで異なる値を、前記色差閾値に設定すること、
を特徴とする画像処理装置。
前記２値画像生成部は、前記矩形領域内の前記連結画素集合の画素と前記矩形領域内の前記連結画素集合以外の画素との輝度の差が所定の閾値以上である場合、前記指標の値と前記色差閾値とを比較して、前記連結画素集合が文字であるか非文字であるかを判定し、前記矩形領域内の前記連結画素集合の画素と前記矩形領域内の前記連結画素集合以外の画素との輝度の差が所定の閾値より小さい場合、前記連結画素集合が非文字であると判定することを特徴とする請求項１記載の画像処理装置。
前記２値画像生成部は、前記色差の最大値と最小値との差と、前記色差閾値とを比較して、前記連結画素集合が文字であるか非文字であるかを判定することを特徴とする請求項１記載の画像処理装置。
前記２値画像生成部は、前記矩形領域内の前記連結画素集合の画素と前記矩形領域内の前記連結画素集合以外の画素との輝度および色の差の最大値と最小値との差と、前記色差閾値との比較結果に基づいて、前記連結画素集合が文字であるか非文字であるかを判定することを特徴とする請求項１記載の画像処理装置。
前記２値画像生成部は、前記色差の分散値と前記色差閾値とを比較して、前記連結画素集合が文字であるか非文字であるかを判定することを特徴とする請求項１記載の画像処理装置。
前記２値画像生成部は、前記矩形領域内の前記連結画素集合の画素と前記矩形領域内の前記連結画素集合以外の画素との輝度および色の差の分散値と前記色差閾値との比較結果に基づいて、前記連結画素集合が文字であるか非文字であるかを判定することを特徴とする請求項１記載の画像処理装置。
前記２値画像生成部は、前記色差の平均値に応じて、前記色差閾値を変更することを特徴とする請求項１から請求項６のうちのいずれか１項記載の画像処理装置。
前記連結画素集合に外接する矩形が互いに近接している前記連結画素集合を検出し、１つの前記連結画素集合としてグループ化する連結画素結合部をさらに備えることを特徴とする請求項１から請求項７のうちのいずれか１項記載の画像処理装置。