WO2012091180A1 - 文字検出装置、文字検出方法、および記録媒体 - Google Patents
文字検出装置、文字検出方法、および記録媒体 Download PDFInfo
- Publication number
- WO2012091180A1 WO2012091180A1 PCT/JP2012/000007 JP2012000007W WO2012091180A1 WO 2012091180 A1 WO2012091180 A1 WO 2012091180A1 JP 2012000007 W JP2012000007 W JP 2012000007W WO 2012091180 A1 WO2012091180 A1 WO 2012091180A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- pixel
- frequency
- gradation
- character
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/146—Aligning or centring of the image pick-up or image-field
- G06V30/147—Determination of region of interest
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/16—Image preprocessing
- G06V30/168—Smoothing or thinning of the pattern; Skeletonisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/18—Extraction of features or characteristics of the image
- G06V30/18086—Extraction of features or characteristics of the image by performing operations within image blocks or by using histograms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/148—Segmentation of character regions
- G06V30/155—Removing patterns interfering with the pattern to be recognised, such as ruled lines or underlines
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Facsimile Image Signal Circuits (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
文字を表わす第一の画像と半透明のオブジェクトを表わす第二の画像と含む画像から前記文字を検出する文字検出装置を提供する。前記文字検出装置に、前記第一の画像に前記第二の画像が重なっている領域である重畳領域を複数に分割したブロックごとに、画素の属性の階調ごとの出現の度数を算出する、算出部と、前記各階調の前記度数に基づいて、前記重畳領域から前記文字を検出する、検出部と、を設ける。
Description
本発明は、透過画像を含む画像に対して画像処理を行う装置および方法などに関する。
本出願は、日本特許出願2010-294504(2010年12月29日出願)に基づくものであり、当該日本出願に記載された全ての記載内容を援用するものである。
近年、コピー、PCプリント、スキャン、ファックス、およびファイルサーバなどの様々な機能を備えた画像形成装置が普及している。このような画像形成装置は、「複合機」または「MFP(Multi Function Peripherals)」などと呼ばれる。
PCプリントは、パーソナルコンピュータから画像データを受信し画像を用紙に印刷する機能である。
また、近年、パーソナルコンピュータで描画を行うためのアプリケーションが流通している。このようなアプリケーションは、「描画ソフト」と呼ばれている。描画ソフトの中には、透過画像をディスプレイに表示する機能が備わっているものがある。
「透過画像」は、後ろに他のオブジェクトの画像があっても当該他のオブジェクトの画像が透けて表れる性質を有する。
つまり、例えば、図4(A)に示すように、背後画像40bの左半分の上に透過画像40aを重ねる。すると、図4(B)に示すように、背後画像40bの、透過画像40aと重なる部分は、透けて見える。しかし、背後画像40bの右半分の上に透過画像でない非透過画像40cを重ねても、透けて見えない。透過画像の透過率が高いほど、それが重ねられた背後の画像は、よく透けて見える。
画像形成装置は、パーソナルコンピュータに表示されている透過画像を用紙に印刷することができる。印刷されるまでに透過画像は、透過率の高さに応じて、図5(B)および図5(C)に示すように、画素の間引きの処理が施される。そして、間引かれた画素の位置に、透過画像の背後の画像が印刷される。これにより、背後の画像が透けて表れているように見える。
また、画像の中の文字または数字などの字を検出する技術が、実用化されている。さらに、字を精度よく検出する方法が提案されている。例えば、次のような方法が提案されている。
デジタル画像を複数のブロックに分割し、ブロックに含まれる複数の画素の画素値に関するコントラスト量を求め、ブロックに含まれる複数の画素の画素値のヒストグラムに関する画素値二峰性評価値を求め、複数の上記コントラスト量に基づくコントラスト閾値を求め、複数の上記画素値二峰性評価値に基づく二峰性閾値を求め、上記ブロックをテキストブロックまたは非テキストブロックとして分類する。上記分類においては、上記コントラスト量および上記画素値二峰性評価値が、上記コントラスト閾値および上記二峰性閾値に基づいた第1基準を満たしている上記ブロックを、テキストブロックとして分類し、上記第1基準を満たしていない上記ブロックを、非テキストブロックとして分類する(特許文献1)。
しかし、特許文献1に記載されるような従来の方法では、透過画像が重ねられた字を上手く検出することは、できない。透過画像を重ねられた部分の全面がテキストの領域であると、判定されるからである。
本発明は、このような問題点に鑑み、透過画像が重ねられた字を従来よりも精度よく検出することを、目的とする。
本発明の一形態に係る文字検出装置は、文字を表わす第一の画像と半透明のオブジェクトを表わす第二の画像と含む画像から前記文字を検出する文字検出装置であって、前記第一の画像に前記第二の画像が重なっている領域である重畳領域を複数に分割したブロックごとに、画素の属性の階調ごとの出現の度数を算出する、算出部と、前記各階調の前記度数に基づいて、前記重畳領域から前記文字を検出する、検出部と、を有する。
好ましくは、前記度数のうちの、前記階調のうちの第一の階調における度数である第一の度数、前記階調のうちの第二の階調における度数である第二の度数、および前記階調のうちの第三の階調における度数である第三の度数がピークであり、かつ、任意の2つの前記ブロックにおける前記第三の度数同士の差が、当該2つのブロックにおける前記第一の度数同士の差および当該2つのブロックにおける前記第二の度数同士の差よりも大きい場合に、前記重畳領域の画素のうちの前記第三の階調の画素である第三の画素を前記第一の階調の画素である第一の画素に変更することによって第一の置換画像を生成し、前記重畳領域の画素のうちの前記第三の画素を前記第二の階調の画素である第二の画素に変更することによって第二の置換画像を生成する、生成部と、前記第一の置換画像の前記第二の画素をクロージングする第一のクロージング処理部と、前記第二の置換画像の前記第一の画素をクロージングする第二のクロージング処理部と、を有し、前記検出部は、前記重畳領域の画素のうちの、クロージング後の前記第一の置換画像の前記第一の画素と同じ位置またはクロージング後の前記第二の置換画像の前記第二の画素と同じ位置にある画素の集合を、前記文字として検出する。
前記第二の画像がカラー画像である場合は、前記属性は、例えば、色の明るさである。または、前記第一の画像および前記第二の画像がモノクロ画像である場合は、前記属性は、例えば、濃度である。
以下、図面を参照しながら好適な実施例を説明することによって、本発明の上記および他の特徴や目的を明示する。
図1は、画像形成装置1を含むネットワークシステムの例を示す図である。図2は、画像形成装置1のハードウェア構成の例を示す図である。
図1に示す画像形成装置1は、一般に複合機またはMFP(Multi Function Peripherals)などと呼ばれる装置であって、コピー、ネットワークプリンティング(PCプリント)、ファックス、およびスキャナなどの機能を集約した装置である。
画像形成装置1は、LAN(Local Area Network)、公衆回線、またはインターネットなどの通信回線4Tを介してパーソナルコンピュータ4Aなどの装置と画像データのやり取りを行うこととができる。
画像形成装置1は、図2に示すように、CPU(Central Processing Unit)10a、RAM(Random Access Memory)10b、ROM(Read Only Memory)10c、大容量記憶装置10d、スキャナ10e、印刷装置10f、ネットワークインタフェース10g、タッチパネルディスプレイ10h、モデム10i、および画像処理回路10jなどによって構成される。
スキャナ10eは、原稿の用紙に記されている写真、文字、絵、図表などの画像を読み取って画像データを生成する装置である。
タッチパネルディスプレイ10hは、ユーザに対してメッセージまたは指示を与えるための画面、ユーザが処理の指令および条件を入力するための画面、およびCPU10aの処理の結果を示す画面などを表示する。また、ユーザが指で触れた位置を検知し、検知結果を示す信号をCPU10aに送信する。
ネットワークインタフェース10gは、通信回線4Tを介してパーソナルコンピュータ4Aなどの他の装置と通信を行うためのNIC(Network Interface Card)である。
モデム10iは、固定電話網を介して他のファックス端末との間でG3などのプロトコルで画像データをやり取りするための装置である。
画像処理回路10jは、パーソナルコンピュータ4Aから送信されてきた画像データに基づいて、印刷の対象の画像に対して画像処理を施す。画像処理回路10jの各部は、ASIC(Application Specific Integrated Circuit)またはFPGA(Field Programmable Gate Array)などの回路によって実現される。画像処理回路10jの各部の処理については、後述する。
印刷装置10fは、スキャナ10eによって読み取られた画像または画像処理回路10jによって画像処理が施された画像などを用紙に印刷する。
ROM10cおよび大容量記憶装置10dには、OS(Operating System)のほかファームウェアおよびアプリケーションなどのプログラムが記憶されている。これらのプログラムは、必要に応じてRAM10bにロードされ、CPU10aによって実行される。大容量記憶装置10dとして、ハードディスクまたはフラッシュメモリなどが用いられる。
次に、画像処理回路10jの構成および画像処理回路10jによる画像処理について、説明する。
図3は、画像処理回路10jの構成の例を示す図である。図4は、背後画像40bへの透過画像40aおよび非透過画像40cの重ね合わせの例を説明するための図である。図5は、透過画像の特性の例を説明するための図である。図6は、背後画像41bへの透過画像41aの重ね合わせの例を説明するための図である。図7は、背後画像50bに透過画像50aを重ね合せた際の透過画像重畳領域50Kと透過画像非重畳領域50Lとの位置関係の例を示す図である。図8は、透過画像重畳領域50Kを構成する画素の例を示す図である。図9は、各明度の画素の個数の分布の例を示すヒストグラムである。図10は、文字画素判別部104の構成の例を示す図である。図11は、第一の画素置換部303、第一のクロージング処理部304、および第一の文字画素判別部305の処理の例を説明するための図である。図12は、第二の画素置換部306、第二のクロージング処理部307、および第二の文字画素判別部308の処理の例を説明するための図である。図13は、論理和演算部309の処理の例を説明するための図である。
画像処理回路10jは、図3に示すように、透過画像重畳領域抽出部101、ブロック分割部102、ヒストグラム算出部103、文字画素判別部104、および透過画像重畳領域補正部105などによって構成される。画像処理回路10jは、印刷の対象の画像に対して画像処理を施す。画像処理は、具体的には、印刷の対象の画像を表す画像データ70を編集する情報処理である。
本実施形態では、画像データ70として、透過画像が他の画像に重なった様子を表す画像データが用いられる。
一般に、「透過画像」は、後ろに他のオブジェクトの画像があっても当該他のオブジェクトの画像が透けて表れる性質を有する画像である。つまり、透過画像はガラスおよびセロハンなどのような半透明のオブジェクトを表わしていると、言える。透過画像の一例として、透過GIF(Graphics Interchange Format)の画像がある。
例えば、図4(A)に示すように、背後画像40bの左半分の上に透過画像40aを重ね、背後画像40bの右半分の上に非透過画像40cを重ねる。すると、図4(B)に示すように、背後画像40bの、透過画像40aと重なる部分は、透けて見える。しかし、背後画像40bの、非透過画像40cと重なる部分は、全く表れない。
透過画像の透過率が高いほど、その透過画像が上に重ねられた他の画像(つまり、背後画像)は、よく透けて見える。
また、一般に、透過画像は、パーソナルコンピュータ4Aなどで表示されるときには図5(A)に示すようにすべての画素が一定の濃度を有していても、印刷時には、図5(B)または図5(C)に示すように一定の濃度を有する画素と有しない画素とによって構成されるように変換される。
なお、図5(B)および図5(C)において、ハッチングした画素が、一定の濃度を有する画素である。一方、ハッチングしていない画素が、一定の濃度を有しない画素である。図6、図8、図11(A)~(C)、および図12(A)~(C)においても、同様である。以下、一定の濃度を有する画素を「濃度有画素」と記載し、一定の濃度を有しない画素を「濃度無画素」と記載する。また、「濃度」は、透過画像がカラー画像である場合は各色(例えば、Red、Green、Blueそれぞれ)の階調であり、透過画像がモノクロ画像である場合はグレースケールである。
濃度有画素は、決められた濃度で印刷される。一方、濃度無画素は、後ろに他の画像がなければ印刷されないが、他の画像があれば、当該他の画像の中の、この濃度無画素と同じ位置にある画素が印刷される。
よって、例えば図6に示すように透過画像41aの一部分が背後画像41bの一部分の上に重なっている場合は、透過画像41aの濃度無画素の位置に背後画像41bの対応する画素を配置して印刷することによって、背後画像41bが透過画像41aに透けているかのように、両画像が印刷される。
また、透過画像の透過率が高いほど、濃度有画素が出現する頻度が低い。したがって、図5(B)に示す透過画像のほうが図5(C)に示す透過画像よりも透過率が高い。
図5(B)に示す濃度有画素の上下左右には、濃度無画素が存在する。一方、図5(C)に示す濃度無画素の上下左右には、濃度有画素が存在する。
以下、他方のタイプの画素が上下左右に存在する画素を「孤立点」と記載する。したがって、図5(B)においては、濃度有画素が孤立点画素であり、図5(C)においては、濃度無画素が孤立点画素である。
本実施形態では、画像データ70として、オリジナル画像50を表す画像データを取り扱う場合を例に、画像処理回路10jによる画像処理を説明する。
オリジナル画像50は、図7(A)に示すように、背後画像50bの上に透過画像50aを重ねたものである。ユーザは、オリジナル画像50を、パーソナルコンピュータ4Aにインストールされている描画ソフトなどのアプリケーションを用いて作成する。これにより、オリジナル画像50を再現するためのデータが画像データ70として生成される。
なお、透過画像50aは、背後画像50bよりも小さい。よって、オリジナル画像50には、図7(B)に示すように、背後画像50bと透過画像50aとが重なっている領域と背後画像50bのみの領域とがある。以下、前者を「透過画像重畳領域50K」と記載し、後者を「透過画像非重畳領域50L」と記載する。また、背後画像50bの、透過画像50aが重なった部分には、「A」という文字が記されている。この文字の色は、特定の1つの色(例えば、青色)である。また、この文字の背景の色は、別の特定の1つの色(例えば、黄色)である。
パーソナルコンピュータ4Aは、印刷の指令とともに画像データ70を画像形成装置1へ送信する。
画像形成装置1において、印刷の指令および画像データ70が受信されると、画像処理回路10jの各部は、次のような処理を実行する。
透過画像重畳領域抽出部101は、オリジナル画像50の中から透過画像重畳領域50Kを判別し、抽出する。
具体的には、透過画像重畳領域抽出部101は、透過画像の上述の特性に基づいて、透過画像重畳領域50Kを、例えば次のように判別し検出する。
透過画像重畳領域抽出部101は、オリジナル画像50の中から孤立点を次のように検出する。ある1つの画素に注目する。以下、この画素を「注目画素」と記載する。注目画素の濃度(階調)と、注目画素の上下左右に隣接する他の画素(以下、「隣接画素」と記載する。)それぞれの濃度とを比較する。
注目画素の濃度と当該他の画素それぞれの濃度との差がすべて所定の値β以上であるという要件を満たす場合は、透過画像重畳領域抽出部101は、注目画素を孤立点として検出する。
なお、オリジナル画像50がカラー画像である場合は、透過画像重畳領域抽出部101は、この比較を各色それぞれについて独立して行う。そして、いずれか1つでも要件を満たす場合は、注目画素を孤立点として検出する。以下、オリジナル画像50がカラー画像である場合における要件の具備の判断において、同様である。
図5(B)および図5(C)に示したように、透過画像の孤立点の出現には、一定の周期性(規則性)がある。そこで、透過画像重畳領域抽出部101は、検出した孤立点のうちの、出現の仕方に周期性がある複数の孤立点を抽出する。
そして、透過画像重畳領域抽出部101は、抽出した複数の孤立点の分布を表す画像(以下、「分布画像」と記載する。)に対してクロージングの処理を行う。つまり、各孤立点の位置にあるドットを拡張(膨張)させ縮小(収縮)させる処理を行う。クロージングの処理がなされた分布画像の位置および形状が、透過画像重畳領域50Kの位置および形状にほぼ対応する。
透過画像重畳領域抽出部101は、このようにして透過画像重畳領域50Kの位置および形状を特定し、オリジナル画像50から透過画像重畳領域50Kを抽出する。
なお、透過画像の透過率が50%前後である場合は、濃度有画素が孤立点として検出されるとともに、濃度無画素の位置に表れている背後画像の画素も孤立点として検出される。つまり、領域の中のほとんどの画素が孤立点として検出される。各濃度有画素の濃度は一定であるが、各濃度無画素の位置に表れている背後画像の画素は、一定でない。そこで、領域の中のほとんどの画素が孤立点として検出された場合は、透過画像重畳領域抽出部101は、一定の濃度を有する孤立点だけを選出し、選出した孤立点の分布を表す画像を分布画像としてクロージングを行えばよい。
ブロック分割部102は、透過画像重畳領域抽出部101によって抽出された透過画像重畳領域50Kを所定の個数のブロック51に分割する。本実施形態では、図8(A)に示す透過画像重畳領域50Kを、図8(B)に示すように、4×4個のブロック51A~51Pに分割する。ブロック51A~51Pのサイズはすべて等しいものとする。
なお、図8(A)および図8(B)において、ハッチングした画素は、透過画像50aの濃度有画素である。黒色の画素およびグレー色の画素は、ともに、透過画像50aの濃度無画素の位置に表れた、背後画像50bの画素であるが、黒色の画素は「A」の文字の画素であり、グレー色の画素は文字の背景の画素である。
ヒストグラム算出部103は、ブロック51A~51Pそれぞれの、各明度の画素の個数を度数とする度数分布を算出する。算出された各度数分布は、図9に示すように、ヒストグラムとして表すことができる。
図9(A)、図9(B)、および図9(C)に示すヒストグラムは、それぞれ、ブロック51A、ブロック51B、およびブロック51Cの度数分布を表すヒストグラムである。
これらの3つのヒストグラムには、2つまたは3つのピークが表れている。各ピークは、透過画像50aの濃度有画素と明度が同じである画素の個数の分布、背後画像50bの文字と明度が同じである画素の個数の分布、および背後画像50bの文字の背景と明度が同じである画素の個数の分布のうちのいずれか1つに対応している。
文字画素判別部104は、図10に示すように、24個の比較演算部、画素種別明度判別部302、第一の画素置換部303、第一のクロージング処理部304、第一の文字画素判別部305、第二の画素置換部306、第二のクロージング処理部307、第二の文字画素判別部308、および論理和演算部309などによって構成される。このような構成により、文字画素判別部104は、ヒストグラム算出部103によって算出された各ブロック51の度数分布に基づいて、透過画像重畳領域50Kの中から文字の画素を次のように判別する。以下、24個の比較演算部の1つ1つを「第一の比較演算部201」、「第二の比較演算部202」、…、「第二十四の比較演算部224」と区別して記載することがある。
透過画像重畳領域50Kには、上下または前後に隣り合う2つのブロック51の組合せが、24通りある。文字画素判別部104には、これらの組合せごとに、比較演算部が設けられている。そして、比較演算部は、ヒストグラム算出部103によって算出された、ブロック51それぞれの度数分布を比較する。
例えば、第一の比較演算部201は、ブロック51Aの度数分布とブロック51Bの度数分布とを比較する。第二の比較演算部202は、ブロック51Bの度数分布とブロック51Cの度数分布とを比較する。第三の比較演算部203は、ブロック51Cの度数分布とブロック51Dの度数分布とを比較する。
比較演算部は、ブロック51それぞれの度数分布を次のように比較する。図9で説明した通り、ブロック51の度数分布には、2つまたは3つのピークがある。比較演算部は、2つのブロック51の、明度が同じであるピーク同士を比較する。
例えば、第一の比較演算部201は、ブロック51Aの第一の明度Br1の度数とブロック51Bの第一の明度Br1の度数とを比較する。ブロック51Aの第二の明度Br2の度数とブロック51Bの第二の明度Br2の度数とを比較する。さらに、ブロック51Aの第三の明度Br3の度数とブロック51Bの第三の明度Br3の度数とを比較する。
同様に、第二の比較演算部202は、ブロック51Bの第一の明度Br1の度数とブロック51Cの第一の明度Br1の度数とを比較する。ブロック51Bの第二の明度Br2の度数とブロック51Cの第二の明度Br2の度数とを比較する。さらに、ブロック51Bの第三の明度Br3の度数とブロック51Cの第三の明度Br3の度数とを比較する。
そして、比較演算部は、画素種別明度判別部302へ、2つの度数の差が所定の値α未満である明度を一定明度として通知するとともに、2つの度数の差が所定の値α以上である明度を不定明度として通知する。
例えば、ブロック51Aの度数分布は、図9(A)のヒストグラムの通りであり、ブロック51Bの度数分布は、図9(B)のヒストグラムの通りである。両者を比較すると、両ブロック51の明度Br3の画素の度数は等しいが、明度Br1の画素の度数は相違し、明度Br2の画素の度数も相違する。
よって、第一の比較演算部201は、明度Br3を一定明度として画素種別明度判別部302へ通知する。さらに、明度Br1および明度Br2を、所定の値αに応じて、一定明度または不定明度として画素種別明度判別部302へ通知する。例えば、所定の値αが「1」であれば、2つの度数が少しでも違えば差が「1」以上になるので、不定明度に決まる。したがって、明度Br1および明度Br2を不定明度として通知する。
画素種別明度判別部302には、24個の比較演算部から、合計、約24個の一定明度と約48個の不定明度とが通知される。
前述の通り、透過画像50aの濃度有画素の色はすべて同じであり、背後画像50bの文字の画素の色はすべて同じであり、背後画像50bの文字の背景の画素の色はすべて同じである。したがって、これらの一定明度および不定明度は、第一の明度Br1、第二の明度Br2、および第三の明度Br3のうちのいずれかと一致する。
画素種別明度判別部302は、通知された約24個の一定明度を、値ごとに分類する。本例では、第一の明度Br1、第二の明度Br2、および第三の明度Br3のいずれかに分類されるはずである。そして、最も多く分類された一定明度を、透過画像50aの濃度有画素の明度であると、判別する。その結果、本例では、第三の明度Br3に分類される一定明度が最も多く、第三の明度Br3が透過画像50aの濃度有画素の明度であると判別されるはずである。透過画像50aの濃度有画素の明度の分布は、すべてのブロック51において、ほぼ一定だからである。以下、透過画像50aの濃度有画素の明度であると判別された明度(一定明度)を「濃度有画素明度Bn」と記載する。
さらに、画素種別明度判別部302は、通知された約48個の不定明度も同様に、値ごとに分類する。本例では、第一の明度Br1、第二の明度Br2、および第三の明度Br3のいずれかに分類されるはずである。そして、分類された不定明度のうちの、透過画像50aの濃度有画素の明度でないものを、背後画像50bの画素の明度であると、判別する。本例では、先に第三の明度Br3を透過画像50aの濃度有画素の明度であると判別しているので、第一の明度Br1および第二の明度Br2を背後画像50bの画素の明度であると、判別する。以下、背後画像50bの画素の明度であると判別された2つの明度(不定明度)をそれぞれ「第一の背後画像明度Bh1」、「第二の背後画像明度Bh2」と記載する。以下、第一の明度Br1が第一の背後画像明度Bh1であり、第二の明度Br2が第二の背後画像明度Bh2である場合を例に、説明する。
そして、画素種別明度判別部302は、第一の画素置換部303および第二の画素置換部306へ、濃度有画素明度Bn、第一の背後画像明度Bh1、および第二の背後画像明度Bh2を通知する。
第一の画素置換部303、第一のクロージング処理部304、および第一の文字画素判別部305は、画像データ70、濃度有画素明度Bn、第一の背後画像明度Bh1、および第二の背後画像明度Bh2に基づいて処理を行う。ここで、この処理の手順を、図11を参照しながら説明する。
第一の画素置換部303は、オリジナル画像50の中から、透過画像重畳領域50Kに属しかつ明度が濃度有画素明度Bnである画素を検索する。これにより、図11(A)においてハッチングで示す画素が見つかる。そして、第一の画素置換部303は、濃度有画素明度Bnである画素を、図11(B)に示すように、明度が第一の背後画像明度Bh1である画素(グレー色で示す画素)に置換する。以下、第一の画素置換部303によって置換の処理がなされた透過画像重畳領域50Kの画像を「置換処理画像52A」と記載する。
第一のクロージング処理部304は、第二の背後画像明度Bh2の画素(黒色で示す画素)を膨張させ収縮させることによって、置換処理画像52Aに対してクロージングの処理を行う。これにより、図11(C)に示すような結果が得られる。以下、第一のクロージング処理部304によってクロージングの処理がなされた置換処理画像52Aを「クロージング処理画像52B」と記載する。
クロージング処理画像52Bを構成する画素の明度は、第一の背後画像明度Bh1および第二の背後画像明度Bh2のうちのいずれかである。
第一の文字画素判別部305は、第一の背後画像明度Bh1の画素および第二の背後画像明度Bh2の画素のうちの個数が少ない方を画素を、文字の画素であると、判別する。そして、それらの画素が「1」になり、それ以外の画素が「0」になるように、クロージング処理画像52Bを二値化する。これにより、図11(D)に示すような結果が得られる。なお、図11(D)において、黒点を付した画素の値が「1」であり、付していない画素の値が「0」である。後に示す図12(D)および図13においても、同様である。以下、第一の文字画素判別部305によって二値化されたクロージング処理画像52Bを「第一の二値画像52C」と記載する。
第二の画素置換部306、第二のクロージング処理部307、および第二の文字画素判別部308も、第一の画素置換部303、第一のクロージング処理部304、および第一の文字画素判別部305と同様に、画像データ70、濃度有画素明度Bn、第一の背後画像明度Bh1、および第二の背後画像明度Bh2に基づいて処理を行う。ただし、第一の背後画像明度Bh1および第二の背後画像明度Bh2の使い方が、異なる。
以下、第二の画素置換部306、第二のクロージング処理部307、および第二の文字画素判別部308の処理を、図12を参照しながら説明する。
第二の画素置換部306は、オリジナル画像50の中から、透過画像重畳領域50Kに属しかつ明度が濃度有画素明度Bnである画素を検索し、図12(B)に示すように、それらの画素を、明度が第二の背後画像明度Bh2である画素(黒色で示す画素)に置換する。以下、第二の画素置換部306によって置換の処理がなされた透過画像重畳領域50Kの画像を「置換処理画像53A」と記載する。
第二のクロージング処理部307は、第一の背後画像明度Bh1の画素(グレー色で示す画素)を膨張させ収縮させることによって、置換処理画像53Aに対してクロージングの処理を行う。これにより、図12(C)に示すような結果が得られる。以下、第二のクロージング処理部307によってクロージングの処理がなされた置換処理画像53Aを「クロージング処理画像53B」と記載する。
置換処理画像53Aを構成する画素の明度も、クロージング処理画像52Bを構成する画素の明度と同様に、第一の背後画像明度Bh1および第二の背後画像明度Bh2のうちのいずれかである。
第二の文字画素判別部308は、第一の背後画像明度Bh1の画素および第二の背後画像明度Bh2の画素のうちの個数が少ない方を画素を、文字の画素であると、判別する。そして、それらの画素が「1」になり、それ以外の画素が「0」になるように、クロージング処理画像53Bを二値化する。これにより、図12(D)に示すような結果が得られる。以下、第二の文字画素判別部308によって二値化されたクロージング処理画像53Bを「第二の二値画像53C」と記載する。
論理和演算部309は、図13に示すように、同じ位置にある、第一の二値画像52Cの画素の値および第二の二値画像53Cの画素の値同士の論理和を算出する。二値画像54は、各位置の論理和を表している。
二値画像54の中の値が「1」である画素が、透過画像重畳領域50Kの中の文字の画素に対応する。
以上のようにして、文字画素判別部104の各部による処理によって、透過画像重畳領域50Kの中の文字の画素が判別される。
図3に戻って、透過画像重畳領域補正部105は、文字画素判別部104による判別結果などに基づいて、オリジナル画像50の中の透過画像重畳領域50Kの補正を行う。例えば、文字の画素であると判別された画素群に対して、エッジ強調処理を行い、残りの部分に対して、ぼかしの処理を行う。以下、透過画像重畳領域補正部105によって処理がなされたオリジナル画像50を「補正画像60」と記載する。
その後、印刷装置10fは、補正画像60を用紙に印刷する。または、ネットワークインタフェース10gは、補正画像60の画像データをパーソナルコンピュータ4Aなどに送信する。
本実施形態によると、透過画像が重ねられた字を従来よりも精度よく検出することができる。
本実施形態では、透過画像重畳領域50Kを、濃度有画素である孤立点の位置の規則性に基づいて検出したが、画像データ70に透過画像50aの位置を示すデータが予め含まれている場合は、このデータに基づいて検出すればよい。
本実施形態では、透過画像重畳領域50Kを16個のブロック51に分割したが、16個未満のブロック51に分割してもよいし、17個以上のブロック51に分割してもよい。
本実施形態では、上下左右に隣り合うブロック51の度数分布同士を比較したが、他の組合せであってもよい。例えば、さらに、斜めの方向に並ぶブロック51の度数分布同士を比較してもよい。または、上下に隣り合うブロック51の度数分布同士のみを比較してもよいし、左右に隣り合うブロック51の度数分布同士のみを比較してもよい。
本実施形態では、透過画像重畳領域50Kを複数のブロック51に等分したが、サイズの異なる複数のブロック51に分割してもよい。ただし、その場合は、図3のヒストグラム算出部103は、各明度の画素の度数として、個数の代わりに、ブロック51全体に対して占める割合を算出するのが、望ましい。
本実施形態では、図11~図13で説明した通り、クロージングの処理および論理和の演算によって、文字を構成する画素を判別した。
上述の通り、3つのピークの明度のうち、透過画像50aの濃度有画素の明度を最初に特定することができる。図9の例では、第三の明度Br3が、透過画像50aの濃度有画素の明度である。
よって、残りの2つのピークの明度(第一の明度Br1、第二の明度Br2)のうちの、一方が文字を構成する画素であり、もう一方が文字の背景を構成する画素である。
両明度のうちのどちらがどちらのオブジェクトのものであるのかを、図11~図13で説明した方法以外の方法によって、判別してもよい。
例えば、ブロック51A~51Pの第一の明度Br1の度数の合計を算出し、ブロック51A~51Pの第二の明度Br2の度数の合計を算出する。そして、合計が少ない方の明度を文字の明度であると判別し、合計が多い方の明度を文字の背景の明度であると判別してもよい。
この方法によると、図9の例では、第二の明度Br2が文字の明度であると判別され、第一の明度Br1が文字の背景の明度であると判別される。
本実施形態では、透過画像重畳領域50Kからの文字の検出を主に画像処理回路10jによって行ったが、コンピュータプログラムをCPU10aに実行させることによって行うこともできる。この場合は、図3に示す透過画像重畳領域抽出部101ないし透過画像重畳領域補正部105の処理の手順をメインルーチンとするプログラムモジュールと図10に示す第一の比較演算部201ないし論理和演算部309の処理の手順をサブルーチンとするプログラムモジュールとを有するコンピュータプログラムを、用意すればよい。そして、このコンピュータプログラムをROM10cまたは大容量記憶装置10dに記憶させておき、CPU10aに実行させればよい。
本実施形態では、ヒストグラム算出部103は、明度の度数分布を算出したが、他の属性の度数分布を算出してもよい。例えば、明度の代わりに、色相または彩度を用いてもよい。オリジナル画像50がモノクロ画像である場合は、濃度の度数分布を算出してもよい。
本発明の一実施形態によると、透過画像が重ねられた字を従来よりも精度よく検出することができる。
その他、画像形成装置1全体または各部の構成、処理内容、処理順序、データの構成などは、本発明の趣旨に沿って適宜変更することができる。
本発明は以上に述べた以外の実施態様とすることができ、各種の方法で実施しまたは遂行することができるものである。よって、本発明は、図面に示した例に制約されるものではない。また、この明細書中に用いた表現および用語は、説明を目的としたものであって、それに限定されるものではない。
Claims (12)
- 文字を表わす第一の画像と半透明のオブジェクトを表わす第二の画像と含む画像から前記文字を検出する文字検出装置であって、
前記第一の画像に前記第二の画像が重なっている領域である重畳領域を複数に分割したブロックごとに、画素の属性の階調ごとの出現の度数を算出する、算出部と、
前記各階調の前記度数に基づいて、前記重畳領域から前記文字を検出する、検出部と、
を有することを特徴とする文字検出装置。 - 前記度数のうちの、前記階調のうちの第一の階調における度数である第一の度数、前記階調のうちの第二の階調における度数である第二の度数、および前記階調のうちの第三の階調における度数である第三の度数がピークであり、かつ、任意の2つの前記ブロックにおける前記第三の度数同士の差が、当該2つのブロックにおける前記第一の度数同士の差および当該2つのブロックにおける前記第二の度数同士の差よりも大きい場合に、前記重畳領域の画素のうちの前記第三の階調の画素である第三の画素を前記第一の階調の画素である第一の画素に変更することによって第一の置換画像を生成し、前記重畳領域の画素のうちの前記第三の画素を前記第二の階調の画素である第二の画素に変更することによって第二の置換画像を生成する、生成部と、
前記第一の置換画像の前記第二の画素をクロージングする第一のクロージング処理部と、
前記第二の置換画像の前記第一の画素をクロージングする第二のクロージング処理部と、を有し、
前記検出部は、前記重畳領域の画素のうちの、クロージング後の前記第一の置換画像の前記第一の画素と同じ位置またはクロージング後の前記第二の置換画像の前記第二の画素と同じ位置にある画素の集合を、前記文字として検出する、
請求項1記載の文字検出装置。 - 前記第二の画像がカラー画像である場合は、前記属性は、色の明るさである、
請求項1に記載の文字検出装置。 - 前記第一の画像および前記第二の画像がモノクロ画像である場合は、前記属性は、濃度である、
請求項1に記載の文字検出装置。 - 文字を表わす第一の画像と半透明のオブジェクトを表わす第二の画像と含む画像から前記文字を検出する文字検出方法であって、
前記第一の画像に前記第二の画像が重なっている領域である重畳領域を複数に分割したブロックごとに、画素の属性の階調ごとの出現の度数を算出する第一のステップと、
前記各階調の前記度数に基づいて、前記重畳領域から前記文字を検出する第二のステップと、
を有することを特徴とする文字検出方法。 - 前記度数のうちの、前記階調のうちの第一の階調における度数である第一の度数、前記階調のうちの第二の階調における度数である第二の度数、および前記階調のうちの第三の階調における度数である第三の度数がピークであり、かつ、任意の2つの前記ブロックにおける前記第三の度数同士の差が、当該2つのブロックにおける前記第一の度数同士の差および当該2つのブロックにおける前記第二の度数同士の差よりも大きい場合に、前記重畳領域の画素のうちの前記第三の階調の画素である第三の画素を前記第一の階調の画素である第一の画素に変更することによって第一の置換画像を生成し、前記重畳領域の画素のうちの前記第三の画素を前記第二の階調の画素である第二の画素に変更することによって第二の置換画像を生成する、第三のステップと、
前記第一の置換画像の前記第二の画素をクロージングする第四のステップと、
前記第二の置換画像の前記第一の画素をクロージングする第五のステップと、
を有し、
前記第二のステップは、前記重畳領域の画素のうちの、クロージング後の前記第一の置換画像の前記第一の画素と同じ位置またはクロージング後の前記第二の置換画像の前記第二の画素と同じ位置にある画素の集合を、前記文字として検出する処理である、
請求項5に記載の文字検出方法。 - 前記第二の画像がカラー画像である場合は、前記属性は、色の明るさである、
請求項5に記載の文字検出方法。 - 前記第一の画像および前記第二の画像がモノクロ画像である場合は、前記属性は、濃度である、
請求項5に記載の文字検出方法。 - 文字を表わす第一の画像と半透明のオブジェクトを表わす第二の画像と含む画像から前記文字を検出するコンピュータに用いられるコンピュータプログラムであって、
前記コンピュータに、
前記第一の画像に前記第二の画像が重なっている領域である重畳領域を複数に分割したブロックごとに、画素の属性の階調ごとの出現の度数を算出する第一の処理を実行させ、
前記各階調の前記度数に基づいて、前記重畳領域から前記文字を検出する第二の処理を実行させる、
コンピュータプログラムを記録する、
ことを特徴とするコンピュータによる読取りが可能でありかつ非一時的な記録媒体。 - 前記コンピュータプログラムは、前記コンピュータに、
前記度数のうちの、前記階調のうちの第一の階調における度数である第一の度数、前記階調のうちの第二の階調における度数である第二の度数、および前記階調のうちの第三の階調における度数である第三の度数がピークであり、かつ、任意の2つの前記ブロックにおける前記第三の度数同士の差が、当該2つのブロックにおける前記第一の度数同士の差および当該2つのブロックにおける前記第二の度数同士の差よりも大きい場合に、前記重畳領域の画素のうちの前記第三の階調の画素である第三の画素を前記第一の階調の画素である第一の画素に変更することによって第一の置換画像を生成し、前記重畳領域の画素のうちの前記第三の画素を前記第二の階調の画素である第二の画素に変更することによって第二の置換画像を生成する、第三の処理と、
前記第一の置換画像の前記第二の画素をクロージングする第四の処理と、
前記第二の置換画像の前記第一の画素をクロージングする第五の処理と、
を実行させ、
前記第二の処理として、前記重畳領域の画素のうちの、クロージング後の前記第一の置換画像の前記第一の画素と同じ位置またはクロージング後の前記第二の置換画像の前記第二の画素と同じ位置にある画素の集合を前記文字として検出する処理を、前記コンピュータに実行させる、
請求項9に記載の記録媒体。 - 前記第二の画像がカラー画像である場合は、前記属性は、色の明るさである、
請求項9に記載の記録媒体。 - 前記第一の画像および前記第二の画像がモノクロ画像である場合は、前記属性は、濃度である、
請求項9に記載の記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13/393,768 US9098768B2 (en) | 2010-12-29 | 2012-01-04 | Character detection apparatus, character detection method, and computer-readable storage medium |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010294504A JP5454466B2 (ja) | 2010-12-29 | 2010-12-29 | 文字検出装置、文字検出方法、およびコンピュータプログラム |
JP2010-294504 | 2010-12-29 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2012091180A1 true WO2012091180A1 (ja) | 2012-07-05 |
Family
ID=46383243
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2012/000007 WO2012091180A1 (ja) | 2010-12-29 | 2012-01-04 | 文字検出装置、文字検出方法、および記録媒体 |
Country Status (3)
Country | Link |
---|---|
US (1) | US9098768B2 (ja) |
JP (1) | JP5454466B2 (ja) |
WO (1) | WO2012091180A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020110309A1 (ja) * | 2018-11-30 | 2020-06-04 | 日本電気株式会社 | 画像照合装置、画像照合方法、プログラム |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS63131272A (ja) * | 1986-11-21 | 1988-06-03 | Fuji Electric Co Ltd | 2値化しきい値決定方法 |
JP2002369011A (ja) * | 2001-06-06 | 2002-12-20 | Canon Inc | 画像処理装置、画像処理方法及び画像処理プログラム |
JP2005150855A (ja) * | 2003-11-11 | 2005-06-09 | Fujitsu Ltd | カラー画像の圧縮方法及びカラー画像圧縮装置 |
JP2010004137A (ja) * | 2008-06-18 | 2010-01-07 | Konica Minolta Business Technologies Inc | 画像処理装置および画像処理方法 |
JP2011029856A (ja) * | 2009-07-23 | 2011-02-10 | Canon Inc | 画像処理方法、画像処理装置、及びプログラム |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5594809A (en) * | 1995-04-28 | 1997-01-14 | Xerox Corporation | Automatic training of character templates using a text line image, a text line transcription and a line image source model |
US7505604B2 (en) * | 2002-05-20 | 2009-03-17 | Simmonds Precision Prodcuts, Inc. | Method for detection and recognition of fog presence within an aircraft compartment using video images |
US8189917B2 (en) | 2008-09-25 | 2012-05-29 | Sharp Laboratories Of America, Inc. | Methods and systems for locating text in a digital image |
JP2012155010A (ja) * | 2011-01-24 | 2012-08-16 | Keyence Corp | 顕微鏡システム、表面状態観察方法および表面状態観察プログラム |
-
2010
- 2010-12-29 JP JP2010294504A patent/JP5454466B2/ja not_active Expired - Fee Related
-
2012
- 2012-01-04 US US13/393,768 patent/US9098768B2/en active Active
- 2012-01-04 WO PCT/JP2012/000007 patent/WO2012091180A1/ja active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS63131272A (ja) * | 1986-11-21 | 1988-06-03 | Fuji Electric Co Ltd | 2値化しきい値決定方法 |
JP2002369011A (ja) * | 2001-06-06 | 2002-12-20 | Canon Inc | 画像処理装置、画像処理方法及び画像処理プログラム |
JP2005150855A (ja) * | 2003-11-11 | 2005-06-09 | Fujitsu Ltd | カラー画像の圧縮方法及びカラー画像圧縮装置 |
JP2010004137A (ja) * | 2008-06-18 | 2010-01-07 | Konica Minolta Business Technologies Inc | 画像処理装置および画像処理方法 |
JP2011029856A (ja) * | 2009-07-23 | 2011-02-10 | Canon Inc | 画像処理方法、画像処理装置、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
US20120201461A1 (en) | 2012-08-09 |
US9098768B2 (en) | 2015-08-04 |
JP5454466B2 (ja) | 2014-03-26 |
JP2012142802A (ja) | 2012-07-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5274495B2 (ja) | 文書画像サイズ変更方法 | |
US9723177B2 (en) | Image processing system, image processing apparatus, and image forming apparatus | |
JP6127877B2 (ja) | 画像処理装置、および、コンピュータプログラム | |
JP2013145491A (ja) | 画像処理装置、画像形成装置、プログラム、記録媒体 | |
US9858513B2 (en) | Document file output apparatus, document file output method, and computer readable medium | |
JP2022147074A (ja) | 画像処理装置、画像処理方法およびプログラム | |
US8577132B2 (en) | Electronic document generation system, electronic document generation method, and program | |
JP5598325B2 (ja) | 文字検出装置、文字検出方法、およびコンピュータプログラム | |
JP5454466B2 (ja) | 文字検出装置、文字検出方法、およびコンピュータプログラム | |
JP2007088912A (ja) | 画像処理装置およびプログラム | |
JP2007249774A (ja) | 文字色判別装置、文字色判別方法、およびコンピュータプログラム | |
US9305250B2 (en) | Image processing apparatus and image processing method including location information identification | |
JP5212425B2 (ja) | 画像処理装置および画像処理方法 | |
US10924634B2 (en) | Image processing apparatus and image processing method | |
JP2012145978A (ja) | 文字検出装置、文字検出方法、およびコンピュータプログラム | |
JP6292061B2 (ja) | 情報処理装置およびプログラム | |
JP5884509B2 (ja) | 画像処理装置、画像読取装置およびプログラム | |
JP5825142B2 (ja) | 画像処理装置、画像処理方法およびコンピュータープログラム | |
JP2011139373A (ja) | 色黒判定装置および色黒判定方法 | |
US11405525B2 (en) | Image processing apparatus, control method, and product capable of improving compression efficiency by converting close color to background color in a low light reading mode | |
JP6163964B2 (ja) | 画像処理装置 | |
WO2022065298A1 (ja) | 画像形成装置 | |
JP2012151730A (ja) | 文字検出装置、文字検出方法、およびコンピュータプログラム | |
JP2009060216A (ja) | 画像処理装置及び画像処理プログラム | |
JP2005269072A (ja) | 画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
WWE | Wipo information: entry into national phase |
Ref document number: 13393768 Country of ref document: US |
|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 12729815 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 12729815 Country of ref document: EP Kind code of ref document: A1 |