JP7433887B2 - 画像を処理するための装置、プログラム、画像処理方法 - Google Patents

画像を処理するための装置、プログラム、画像処理方法 Download PDF

Info

Publication number
JP7433887B2
JP7433887B2 JP2019232162A JP2019232162A JP7433887B2 JP 7433887 B2 JP7433887 B2 JP 7433887B2 JP 2019232162 A JP2019232162 A JP 2019232162A JP 2019232162 A JP2019232162 A JP 2019232162A JP 7433887 B2 JP7433887 B2 JP 7433887B2
Authority
JP
Japan
Prior art keywords
pixels
color
image
binary image
specific color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019232162A
Other languages
English (en)
Other versions
JP2021099752A (ja
Inventor
理 山中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2019232162A priority Critical patent/JP7433887B2/ja
Priority to US17/125,753 priority patent/US11935314B2/en
Priority to KR1020200178033A priority patent/KR20210081267A/ko
Publication of JP2021099752A publication Critical patent/JP2021099752A/ja
Application granted granted Critical
Publication of JP7433887B2 publication Critical patent/JP7433887B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/40012Conversion of colour to monochrome
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/1444Selective acquisition, locating or processing of specific regions, e.g. highlighted text, fiducial marks or predetermined fields
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/148Segmentation of character regions
    • G06V30/155Removing patterns interfering with the pattern to be recognised, such as ruled lines or underlines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/18Extraction of features or characteristics of the image
    • G06V30/18105Extraction of features or characteristics of the image related to colour
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/405Halftoning, i.e. converting the picture signal of a continuous-tone original into a corresponding signal showing only two levels
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077Types of the still picture apparatus
    • H04N2201/0081Image reader

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Character Input (AREA)
  • Image Analysis (AREA)

Description

本発明は、入力画像から特定色を有する画素を除去した状態の二値画像を生成する技術に関する。
スキャナで読み取った帳票画像の文字情報を抽出して文字認識(以下、OCR)することにより、会計業務の効率化を図るシステムの開発が行われている。帳票から抽出する文字情報としては、日付や合計金額、企業名などが挙げられ、各情報の項目名や単位、形式を基に項目値を推測して取得している。しかし、帳票画像の中には、文字の上に印影が重ねて押されているなど、抽出対象の文字と文字以外の画像とが重なっているために文字情報を抽出できない場合がある。
特許文献1では、印影と重なった文字を認識するために以下の方法を用いている。つまり、印影色と同系統の赤色画素を抽出して当該赤色画素の塊を連結成分として抽出し、当該連結成分の外接矩形を求め、外接矩形のサイズまたは外接矩形内の赤色画素の密度を検出し、当該サイズまたは密度をもとに外接矩形を印影領域として抽出する。更に、印影領域内の赤色画素を白色画素に変換(以下、白画素化)することで印影の画素を除去し、印影が押された箇所の文字を認識しやすくしている。
特開2005-92543号公報
しかしながら、特許文献1の方法では以下の課題が生じる。つまり、印影と同系統色(赤色)の文字列が複数行にわたり帳票内に存在し、その複数行の文字列の領域のサイズや画素密度が印影に近い場合、その文字列領域を印影と誤検出して除去(白画素化)してしまうことがある。また、サイズ、密度、色が印影に近い文字や、赤色(印影と同系統色)の枠線で囲われた赤色の文字が帳票内に存在した場合も同様に、これらの文字を除去してしまうことがある。
上記課題を解決するために、本発明の装置は、入力画像に含まれる特定色の画素に基づき、複数の候補領域を判断する判断手段と、前記複数の候補領域それぞれにおいて、前記特定色と背景色とのいずれとも異なる色の画素の数を計数し、当該計数した数が閾値より大きい候補領域処理対象の領域として判定する判定手段と、前記入力画像を二値化することによって得られる第1の二値画像において、前記判定手段で判定された前記処理対象の領域内に含まれる画素であって且つ前記特定色の画素に対応する画素を白画素化することにより第2の二値画像を作成する作成手段と、を有することを特徴とする。
本発明によれば、入力画像内の特定色(例えば印影の色)の画素を除去した二値画像を生成する際に、類似する色を有する別のオブジェクト(例えば文字)を誤って除去しないようにすることができる。
第一の実施形態に係る情報処理システムを示す図である。 第一の実施形態に係る画像処理を示すフローチャートである。 入力画像の一例である。 入力画像内の赤色画素に基づいて生成される赤色抽出画像の例である。 赤色抽出画像に対してモルフォロジー処理を実行した結果の領域判定用画像の例である。 印影らしさの条件を満たす矩形情報を選別する処理を示すフローチャートである。 入力画像に対して二値化処理を行うことにより得られる二値画像の例である。 二値画像から文字と重なった印影を除去する処理のフローチャートである。 赤色画素除去画像の例である。 印影と文字とが重なった領域と判定された領域に関して、赤色画素を除去(白画素化)することにより得られる印影除去二値画像である。 第二の実施形態に係る画像処理を示すフローチャートである。 第二の実施形態に係る、入力画像の解析結果の頻度分布である。
(第1の実施形態)
図1は、第1の実施形態に係る情報処理システムを示す図である。情報処理システムは、複合機100と、情報処理装置110とを有している。複合機100は、カラーの読み取りが可能なスキャナ101と、プリンタ102と、通信部103とを有している。スキャナ101は、文書のスキャンを行い、スキャン画像を生成する。プリンタ102は、画像を形成する。通信部103は、ネットワークを介して外部装置と通信を行う。
情報処理装置110は、CPU111と、ROM112と、RAM113と、HDD114と、表示部115と、入力部116と、通信部117とを有している。CPU111は、ROM112に記憶された制御プログラムを読み出して各種処理を実行する。RAM113は、CPU111の主メモリ、ワークエリア等の一時記憶領域として用いられる。HDD114は、各種データや各種プログラム等を記憶する。なお、後述する情報処理装置110の機能や処理は、CPU111がROM112又はHDD114に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。言い換えると、該プログラムは、コンピュータを、後述する各機能や処理を実行する各処理部として機能させるための、コンピュータ実行可能なプログラムである。
通信部117は、ネットワークを介して外部装置との通信処理を行う。表示部115は、各種情報を表示する。入力部116は、キーボードやマウスを有し、ユーザによる各種操作を受け付ける。なお、表示部115と入力部116は、タッチパネルのように一体に設けられていてもよい。また、表示部115は、プロジェクタによる投影を行うものであってもよく、入力部116は、投影された画像に対する指先の位置を、カメラで認識するものであってもよい。
本実施形態においては、複合機100のスキャナ101が帳票等の文書をスキャンし、入力画像を生成する。そして、入力画像は、通信部103を介して情報処理装置110に送信される。情報処理装置110は、通信部117を介して入力画像を受信し、これをHDD114等の記憶部に記憶する。また、本実施形態では、印影の色を赤色とし、赤色の印影を含む画像を入力画像として受信したものとして説明する。
図2は、本実施形態に係る印影と重なった文字の画像処理を示すフローチャートである。S201において、CPU111は、入力画像(帳票画像)の色情報を分析し、赤色画素を黒画素としそれ以外を白画素として表した二値画像を作成する。図3に入力画像の一例である帳票画像300を示す。帳票画像300の文字領域301には、印影と重なった文字が存在し、赤文字領域302には、赤色の文字が存在する。図3の帳票画像300から、赤色画素を判定し、当該判定された赤色画素に基づいて生成される赤色抽出画像400を、図4Aに示す。赤色抽出画像400は抽出対象の赤色画素を黒画素、その他の画素を白画素として表した二値画像である。図4Aの赤色抽出画像400では、文字領域301に重なっていた赤色の印影画像が領域401に出現し、赤文字領域302に存在する赤色文字画像が領域402に出現している。
次に、S202において、CPU111は、赤色抽出画像400に対してモルフォロジー処理を実行して、赤色抽出画像400内において、近くに存在する黒画素同士を結合させる処理を行うことにより、領域判定用画像410を作成してRAM113に格納する。本実施形態では、赤色抽出画像400内の黒画素に対して膨張処理と収縮処理を1~複数回ずつ行うことによって作成するものとする。例えば、文字の黒画素同士が繋がる程度に黒画素を周りに1画素ずつ膨張させる膨張処理を複数回行い、文字の黒画素同士が繋がった後に収縮処理を複数回行うことにより、近傍の黒画素が連結した状態の領域判定用画像が得られる。図4Aの赤色抽出画像400に対してモルフォロジー処理を行うことによって、図4Bのように、近くの黒画素同士が連結した状態の領域判定用画像410が得られる。例えば、図4Aの領域401内に含まれる黒画素同士が連結し、図4Bの領域411のように、一つの黒画素塊となっている。また、図4Aの領域402内に含まれる黒画素同士も連結し、図4Bの領域412のように、一つの黒画素塊となっている。なお、領域402内の文字は、行間が狭い為、文字行同士も連結してしまい、領域412のように一つの黒画素塊となっている。
次に、S203において、CPU111は、領域判定用画像410から、各黒画素塊に外接する矩形情報を取得してRAM113(rects)に格納する。ここで、矩形情報とは、位置とサイズから成る情報のことである。具体的には、領域判定用画像410の最左上部を原点、右方向を正のx軸、下方向を正のy軸とすると、各矩形情報として、各黒画素塊の左上の座標位置(黒画素塊の最左部のx座標及び最上部のy座標)、並びに、各矩形のサイズ(幅、高さ)で表現される。
次に、CPU111は、S203でRAM113に格納した矩形情報に対して、S204において印影らしさを評価し、印影候補と判定した矩形情報をRAM113の別領域に格納する。図5は、印影らしさの条件を満たす矩形情報を選別する処理の詳細を示すフローチャートである。CPU111は、S501~S505の処理を各矩形情報に対して実行する。
S501はループ処理の開始を示すループ端であり、S505は当該ループ処理の終了を示すループ端であり、すべての矩形情報についてS502~S504の処理が実行されるまで、処理が繰り返し実行される。
S502において、CPU111は、S203で取得された矩形情報の1つを処理対象として、当該処理対象の矩形情報のサイズ(幅、高さ)が所定の条件(印影候補の条件)を満たすかどうかを評価する。本実施形態では、幅、高さの閾値を30pixelとして、矩形情報のサイズがその閾値より大きい場合に条件を満たすものとする。すなわち、矩形情報が閾値より大きければ(S502でYes)、S503へ進み、閾値以下であれば(S502でNo)S505へ進む。なお、印影らしさを評価できるなら、別の閾値を用いてもよく、例えば、下限の閾値だけでなく、上限の閾値を設けてもよい。その場合は、矩形情報のサイズが、下限の閾値と上限の閾値の間に収まるか否かで判断する。
次に、S503において、CPU111は、処理対象の矩形情報により示される領域内の画素密度を算出し、閾値以上かどうかを評価する。本実施形態における画素密度は、赤色抽出画像400において各矩形情報により示される領域内の黒画素数を計数し、各矩形領域のサイズに対する当該計数した黒画素数の割合を求めることによって得られる。本実施形態では、閾値を0.18として、画素密度が当該閾値より大きければ(S503でYes)、S504へ進み、閾値以下であれば(S503でNo)S505へ進む。なお、本実施形態では、閾値を0.18として説明したが、閾値の値はこれに限るものではない。
次に、S504において、CPU111は、S502およびS503の条件を満たした矩形情報を印影候補であると判断して、RAM113の別領域(rects’)に格納する。なお、S504の処理は、別領域に格納することが目的ではなく、印影候補の条件を満たす矩形情報を他の矩形情報と区別することが目的であるので、例えば、該当矩形情報に対してラベル付けをすることによって、区別するようにしてもよい。
S505では、ループ処理の終了条件を満たすかどうか(すべての矩形情報を評価したかどうか)を判断し、未評価の矩形情報があれば、次の矩形情報を処理対象として、S502~S504の処理を繰り返す。一方、すべての矩形情報の評価が完了していれば、図5(S204)の処理を終了し、図2のS205へ進む。本実施形態では、図5に示したように、各矩形情報のサイズと画素密度を用いて評価を行ったが、印影らしさを評価できるなら、他の評価指標を用いてもよく、例えば、矩形のアスペクト比、赤色抽出画像400内の黒画素の輪郭情報、OCR結果の確からしさを示した数値などと組み合わせて評価してもよい。
次に、S205において、CPU111は、帳票画像300に対して二値化した二値画像をRAM113に格納する。ここでの二値化処理とは、画像を白と黒の2階調に変換する処理のことであり、閾値より濃い色の画素は黒画素、その閾値より薄い色の画素は白画素となる。すなわち、黒文字を構成する黒画素や、赤文字および印影を構成する赤色の画素なども、二値化後の二値画像では黒画素となる。図6に、図3の帳票画像300を二値化した結果の帳票二値画像600を示す。なお、本実施形態では、帳票画像300全体の輝度ヒストグラムを求め、背景の白画素に相当するピークに基づいて閾値を決定して二値画像を作成する手法を用いるものとするが、その後の文字認識が可能な精度で白と黒の二値に変換できるその他の手法でもよい。
次に、S206において、CPU111は、帳票二値画像600から、文字と重なっている印影のみを除去する。図7に、本実施形態に係る二値画像から文字と重なった印影を除去する処理のフローチャートを示す。S701において、CPU111は、帳票二値画像600から赤色抽出画像400の黒画素と同じ位置の画素を除去(白画素化)した赤色画素除去画像800(図8参照)を作成する。赤色画素除去画像800は、入力画像から赤色画素を白画素化し、残った色(すなわち、赤色と背景の白色以外の所定の色。例えば、文字色である黒色)を黒画素とする二値化処理により得られる画像に等しい。
次に、CPU111は、S204で印影らしさの条件を満たすと判断した各矩形情報(印影の候補領域と判断された矩形情報)に基づいて、S702~S706の処理を実行する。S702はループ処理の開始を示すループ端であり、S706は当該ループ処理の終了を示すループ端であり、S204で選別した矩形情報を順に処理対象として、S703~S705の処理が繰り返し実行される。
S703において、CPU111は、赤色画素除去画像800において、当該処理対象の矩形情報に対応する領域(801または802)の黒画素数を計数する。
次に、S704において、CPU111は、当該計数した黒画素数が閾値より多いかどうかを評価する。矩形領域内の黒画素数が閾値より多い場合(S704でYes)、その領域は印影と文字とが重なった領域であると判断してS705へ進む。一方、黒画素数が閾値以下の場合(S704でNo)、印影と文字とが重なった領域でないと判定してS706へ進む。図8の例では、領域801には、閾値より多い黒画素が存在するため、印影と文字とが重なった領域であると判定される。一方、領域802は、黒画素数が0のため印影と文字とが重なった領域でないと判定する。本実施形態では、印影と文字とが重なった領域かどうかの判定基準として黒画素数を用いたが、例えば、黒画素塊のサイズや黒画素密度、アスペクト比などを用いて領域内に文字が存在するかどうかを判定してもよい。また、各矩形領域内においてOCRを実行して文字の確からしさを数値化し、その数値が閾値を超えたかどうかを評価することで領域内に文字らしい黒画素塊が存在するかを判定する方法を用いてもよい。
次に、S705において、CPU111は、印影と文字とが重なった領域であると判定した矩形情報(重なり領域)を区別できるように、RAM113の別領域(rects’’)に格納する。S705では、印影と文字とが重なった領域であると判定した矩形情報を、他の矩形情報と区別することが目的であるので、例えば、該当矩形情報に対して所定のラベル付けをすることによって、区別するようにしてもよい。
次に、S706では、ループ処理の終了条件を満たすかどうか(S204で選別された印影候補の矩形情報すべてについて評価したかどうか)を判断し、未評価の矩形情報があれば、次の矩形情報を処理対象として、S703~S705の処理を繰り返す。一方、S204で選別された印影候補の矩形情報すべての評価が完了していれば、S707へ進む。
次に、S707において、CPU111は、帳票二値画像600において、S705で判定された印影と文字とが重なった領域(S705でrects’’として格納された領域情報に対応する領域)に含まれる画素で、且つ、赤色抽出画像400内の黒画素(すなわち帳票画像300で赤色であった画素)に対応する位置の画素を白画素化することにより、図9の印影除去二値画像900を作成する。S704で印影と文字とが重なった領域と判定した矩形領域801に相当する領域901では、印影の画素(赤色画素)が除去されたことにより、文字のみが残ることになる。一方、S704で印影と文字とが重なった領域でないと判定された領域802に相当する領域902では、赤色画素の除去が行われないので、赤色文字に相当する画素が除去されることなく存在している。なお、印影除去二値画像900の作成方法として、同じ画像が作成できるのであれば、上述した手順とは異なる手順を用いてもよい。例えば、赤色画素除去画像800から、印影と文字とが重なった領域と判定された領域801に対応する部分画像を抽出し、当該抽出した部分画像を帳票二値画像600の領域601に上書きすることで印影除去二値画像900を作成してもよい。
次に、S207において、CPU111は、印影除去二値画像900を用いて、文字領域の抽出処理(各文字画像を切り出す文字切り処理)、および、各文字画像の文字認識処理(OCR)を実行し、当該画像内に含まれる各文字画像の認識結果を出力する。領域抽出処理や文字認識処理のアルゴリズムについては、どのような手法を用いても構わない。
なお、上述した実施形態では、印影の色を赤色として説明したが、これに限るものではない。例えば、青色等の印影を処理対象とするのであれば、赤色画素の代わりに青色画素を判定対象にするようにすればよい。また、本実施形態における印影とは、印章、印鑑、ハンコ、スタンプ等による押跡のことを指すものとする。
本実施形態1では、印影候補と判定された領域のうち、当該領域内に印影と別系統の色の画素(例えば黒画素)が所定以上存在する領域について、印影と同系統色の画素(赤色画素)を削除(白画素化)する。一方、印影候補と判定された領域のうち、当該領域内に印影と別系統の色の画素(例えば黒画素)が所定以上存在しない領域については、印影と同系統色の画素(赤色画素)を削除しない。これにより、印影と同系統色の文字が、印影として誤認識されて除去されてしまうことを防ぐことができる。
(第2の実施形態)
第2の実施形態については、第1の実施形態との差分のみの説明とし、特に明記しない部分については第1の実施形態と同様の構成/手順となる。第1の実施形態では、印影の色を赤色として処理を行ったが、第2の実施形態では、印影の色を入力画像を解析することにより特定し、当該特定された色に基づいて処理を行う。
図10は、第2の実施形態に係る処理を示すフローチャートである。S1001において、CPU111は、まず、入力画像に含まれる色を解析する。本実施形態では、入力画像を構成する各画素に対して、同色と判断される画素ごとに同じラベルを付与していくラベリング処理を実行し、各ラベルが付与された画素をラベルごとに計数して、当該入力画像に含まれる各色の頻度分布を求める。図11に、入力画像における色情報の解析を行い、同色と判断された画素ごとの出現頻度の集計結果を示す。通常の帳票等のビジネス文書では、最も頻度が多い色は背景色であるので、図11の例では、1101のラベルに対応する色(例えば、白色)が背景色と考えられる。次に頻度の多い色は、本文で多く使用されている色であるので、1102のラベルに対応する色(例えば、黒色)が本文の文字色であると考えられる。そして、最も頻度が少ない色が、印影等に使用されている色であると考えられるので、第2の実施形態では、1103のラベルに対応する色を、印影に対応する特定色であるとみなす。そして、特定色のラベルが付与されている画素を黒画素とし、それ以外を白画素として表した二値画像(特定画素抽出画像)を作成する。
なお、図11の解析結果の例では、特定色のラベルは1103の1つであったが、入力画像内に、複数種類の異なる色の印影が押下されている場合は、ラベリング処理の結果、背景の出現頻度や本文の主要色の出現頻度と比較して、出現頻度が低い色ラベルが複数出現する。この場合は、出現頻度が低い色ラベルすべてを特定色として、当該特定色のラベルが付与されている画素を黒画素とし、それ以外を白画素として表した二値画像(特定画素抽出画像)を作成する。
次に、S1002において、CPU111は、特定画素抽出画像に対してモルフォロジーを実行して、特定画素抽出画像内において、近くに存在する黒画素同士を結合させる処理を行うことにより、領域判定用画像を作成する。S1003では、第1の実施形態のS203とどうように、領域判定用画像から各黒画素塊に外接する矩形情報を取得してRAMに格納する。
次に、CPU111は、S1003で取得した矩形情報に対して、S1004において印影らしさを評価し、印影候補と判定した矩形情報を選別する。S1004の選別処理では、第1の実施形態のS204と同様の処理を行うことで、印影候補の矩形情報を選別できる。さらに、S1005~S1007の処理についても、第1の実施形態のS205~S207と同様の処理を行うことで、印影と文字とが重なった領域であると判定した領域についてのみ、印影の特定色を除去する処理を行う。
本実施形態により、印影の色として赤色以外の色が使用されていたとしても、入力画像を解析することで自動的に印影の色を特定して、除去することができる。
(第3の実施形態)
第3の実施形態については、第1の実施形態との差分のみの説明とし、特に明記しない部分については第1の実施形態と同じ構成/手順となる。
第1の実施形態において、CPU111は、図7のS703で計数した黒画素の数が閾値以下であるとS704で判定した場合、S706に進むように構成していた。第3の実施形態では、図7のS703で計数した黒画素の数が閾値以下であるとS704で判定した場合、S707で作成される印影除去二値画像900において、当該計数した黒画素に相当する画素を除去(白画素化)する。
本実施形態では、印影と同系統色の文字領域から、ノイズを除去することができるため、印影と重なった文字だけでなく、印影と同系統色の文字の文字認識精度を向上させることが出来る。
(第4の実施形態)
第4の実施形態については、第1の実施形態との差分のみの説明とし、特に明記しない部分については第1の実施形態と同じ構成/手順となる。
第4の実施形態において、CPU111は、S704で、印影と文字とが重なった領域であると判定した場合、S703で計数した黒画素塊の外接矩形情報を取得しておく。
第1の実施形態のS707では、帳票二値画像600において、印影と文字とが重なった領域に含まれる画素で、かつ、赤色画素に対応する位置の画素を白画素化していた。第4の実施形態では、帳票二値画像600において、S703で取得した黒画素塊の外接矩形より数画素大きい領域に含まれる画素で、かつ、赤色画素に対応する位置の画素を白画素化する。すなわち、印影と文字とが重なった領域のうち、さらに文字の画素が存在する位置の周辺についてのみ、印影と同系色の赤色画素を除去する。
第4の実施形態によれば、印影候補領域内において、本文の黒文字周辺についてのみ赤色画素を除去するように構成したので、当該印影候補領域内に、印影と同系色の赤文字が含まれていた場合、その赤文字は除去されずに残るようになる。
(第5の実施形態)
第1の実施形態では、情報処理装置110において、図2などに示した各フローチャートの処理を実行するものとしたが、本発明は、これに限るものではなく他の装置で行ってもよい。例えば、スキャナ101を備える複合機100内において、上述した各フローチャートの画像処理方法を実行するようにしてもよいし、ネットワークを介して接続されたサーバやクラウド等において、述した各フローチャートの画像処理方法を実行するようにしてもよい。

Claims (17)

  1. 入力画像に含まれる特定色の画素に基づき、複数の候補領域を判断する判断手段と、
    前記複数の候補領域それぞれにおいて、前記特定色と背景色とのいずれとも異なる色の画素の数を計数し、当該計数した数が閾値より大きい候補領域処理対象の領域として判定する判定手段と、
    前記入力画像を二値化することによって得られる第1の二値画像において、前記判定手段で判定された前記処理対象の領域内に含まれる画素であって且つ前記特定色の画素に対応する画素を白画素化することにより第2の二値画像を作成する作成手段と、
    を有することを特徴とする装置。
  2. 前記判断手段は、前記入力画像に含まれる前記特定色の画素に基づき第3の二値画像を作成し、当該作成した第3の二値画像に基づいて、前記複数の候補領域を判断することを特徴とする請求項1に記載の装置。
  3. 前記判断手段は、前記入力画像に含まれる前記特定色の画素に基づき第3の二値画像を作成し、当該作成した第3の二値画像に対してモルフォロジー処理を行い、当該モルフォロジー処理を行った後の二値画像に基づいて、前記複数の候補領域を判断することを特徴とする請求項1に記載の装置。
  4. 前記判断手段は、前記入力画像に含まれる前記特定色の画素に基づき第3の二値画像を作成し、当該作成した第3の二値画像に対してモルフォロジー処理を行い、当該モルフォロジー処理を行った後の二値画像に基づいて判定される領域のうち、所定の条件を満たす複数の領域を前記複数の候補領域として判断することを特徴とする請求項1に記載の装置。
  5. 前記所定の条件は、印影らしさを評価するための条件であることを特徴とする請求項4に記載の装置。
  6. 前記所定の条件は、領域のサイズと、領域内の黒画素の画素密度との少なくともいずれかを含むことを特徴とする請求項4または5に記載の装置。
  7. 前記特定色は、印影の色であることを特徴とする請求項1乃至6のいずれか1項に記載の装置。
  8. 前記特定色は、赤色であることを特徴とする請求項1乃至6のいずれか1項に記載の装置。
  9. 前記特定色は、前記入力画像を解析することにより特定される色であることを特徴とする請求項1乃至6のいずれか1項に記載の装置。
  10. 前記特定色は、前記入力画像に対して同色の画素ごとにラベルを付与し、当該ラベルが付与された画素に基づいて求めた頻度分布に基づいて特定される色であることを特徴とする請求項1乃至6のいずれか1項に記載の装置。
  11. 前記特定色と前記背景色とのいずれとも異なる色の画素は、本文の文字色の画素であることを特徴とする請求項1乃至10のいずれか1項に記載の装置。
  12. 前記複数の候補領域それぞれにおいて計数した、前記特定色と背景色とのいずれとも異なる色の画素の数は、前記第1の二値画像において前記第3の二値画像における黒画素と同じ位置の画素を白画素化することにより作成した第4の二値画像において、前記複数の候補領域それぞれに対応する領域内の黒画素を計数することにより求められる、ことを特徴とする請求項乃至のいずれか1項に記載の装置。
  13. 前記作成手段は、前記第1の二値画像において、前記判定手段で計数したが前記閾値以下である候補領域内の、当該計数の対象となった、前記特定色と前記背景色とのいずれとも異なる色の画素を、白画素化する処理を更に行うことにより、前記第2の二値画像を作成することを特徴とする請求項に記載の装置。
  14. 前記作成手段は、前記入力画像を二値化することによって得られる前記第1の二値画像において、前記判定手段で判定された前記処理対象の領域内に含まれる画素であって且つ前記特定色と背景色とのいずれとも異なる色の画素が存在する位置の周辺についてのみ、前記特定色の画素に対応する画素を白画素化することにより、前記第2の二値画像を作成することを特徴とする請求項1に記載の装置。
  15. 前記第2の二値画像に対して、文字認識処理を実行する文字認識手段を更に有することを特徴とする請求項1乃至14のいずれか1項に記載の装置。
  16. コンピュータを、請求項1乃至15のいずれか1項に記載の装置の各手段として機能させるためのプログラム。
  17. 画像処理装置が実行する画像処理方法であって、
    前記画像処理装置の判断手段が、入力画像に含まれる特定色の画素に基づき、複数の候補領域を判断する判断工程と、
    前記画像処理装置の判定手段が、前記複数の候補領域それぞれにおいて、前記特定色と背景色とのいずれとも異なる色の画素の数を計数し、当該計数した数が閾値より大きい候補領域処理対象の領域として判定する判定工程と、
    前記画像処理装置の作成手段が、前記入力画像を二値化することによって得られる第1の二値画像において、前記判定工程で判定された前記処理対象の領域内に含まれる画素であって且つ前記特定色の画素に対応する画素を白画素化することにより第2の二値画像を作成する作成工程と、
    を有することを特徴とする画像処理方法。
JP2019232162A 2019-12-23 2019-12-23 画像を処理するための装置、プログラム、画像処理方法 Active JP7433887B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019232162A JP7433887B2 (ja) 2019-12-23 2019-12-23 画像を処理するための装置、プログラム、画像処理方法
US17/125,753 US11935314B2 (en) 2019-12-23 2020-12-17 Apparatus for generating a binary image into a white pixel, storage medium, and method
KR1020200178033A KR20210081267A (ko) 2019-12-23 2020-12-18 화상 처리 장치, 저장 매체, 및 화상 처리 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019232162A JP7433887B2 (ja) 2019-12-23 2019-12-23 画像を処理するための装置、プログラム、画像処理方法

Publications (2)

Publication Number Publication Date
JP2021099752A JP2021099752A (ja) 2021-07-01
JP7433887B2 true JP7433887B2 (ja) 2024-02-20

Family

ID=76439241

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019232162A Active JP7433887B2 (ja) 2019-12-23 2019-12-23 画像を処理するための装置、プログラム、画像処理方法

Country Status (3)

Country Link
US (1) US11935314B2 (ja)
JP (1) JP7433887B2 (ja)
KR (1) KR20210081267A (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230063213A1 (en) * 2021-09-01 2023-03-02 FootPrintKu Inc. Image object labeling method, system and computer readable medium
US11947634B2 (en) * 2021-09-01 2024-04-02 FootPrintKu Inc. Image object classification method, system and computer readable medium
CN114694154A (zh) * 2022-04-11 2022-07-01 平安国际智慧城市科技股份有限公司 文件解析方法、系统及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004280530A (ja) 2003-03-17 2004-10-07 Oki Electric Ind Co Ltd 帳票処理システム及び帳票処理方法
JP2005092543A (ja) 2003-09-18 2005-04-07 Hitachi Ltd 帳票読取り装置
JP2005165661A (ja) 2003-12-02 2005-06-23 Glory Ltd 画像処理装置、画像処理プログラムおよび画像処理方法
JP2010157107A (ja) 2008-12-26 2010-07-15 Hitachi Software Eng Co Ltd 業務文書処理装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003325409A (ja) * 2002-05-14 2003-11-18 Mac Sanko Co Ltd ブラシ付きタワシ
US9525802B2 (en) * 2013-07-24 2016-12-20 Georgetown University Enhancing the legibility of images using monochromatic light sources
US9773183B2 (en) * 2015-05-07 2017-09-26 The United States Of America As Represented By The Secretary Of The Air Force Morphological automatic Landolt C orientation detection
JP6970834B2 (ja) * 2018-09-28 2021-11-24 株式会社Pfu 画像処理装置、制御方法及び制御プログラム
WO2020065995A1 (ja) * 2018-09-28 2020-04-02 株式会社Pfu 画像処理装置、制御方法及び制御プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004280530A (ja) 2003-03-17 2004-10-07 Oki Electric Ind Co Ltd 帳票処理システム及び帳票処理方法
JP2005092543A (ja) 2003-09-18 2005-04-07 Hitachi Ltd 帳票読取り装置
JP2005165661A (ja) 2003-12-02 2005-06-23 Glory Ltd 画像処理装置、画像処理プログラムおよび画像処理方法
JP2010157107A (ja) 2008-12-26 2010-07-15 Hitachi Software Eng Co Ltd 業務文書処理装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Soumyadeep Dey et al.,"Removal of Gray Rubber Stamps",2016 12th IAPR Workshop on Document Analysis Systems (DAS),米国,IEEE,2016年04月11日,pp.210-214
永崎 健、外3名,"文書画像の輪郭演算によるスタンプ検知手法",電子情報通信学会技術研究報告,日本,社団法人電子情報通信学会,2010年02月11日,Vol.109, No.418,pp.111-116

Also Published As

Publication number Publication date
US20210192262A1 (en) 2021-06-24
JP2021099752A (ja) 2021-07-01
US11935314B2 (en) 2024-03-19
KR20210081267A (ko) 2021-07-01

Similar Documents

Publication Publication Date Title
JP7433887B2 (ja) 画像を処理するための装置、プログラム、画像処理方法
JP6139396B2 (ja) 文書を表す二値画像を圧縮する方法及びプログラム
KR100625755B1 (ko) 문자 인식 장치, 문자 인식 방법, 매체 처리 방법 및 문자 인식 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체
JP4960897B2 (ja) 画像処理装置、画像処理方法、プログラム、記憶媒体
US7035463B1 (en) Document image processor, method for extracting document title, and method for imparting document tag information
JP4443576B2 (ja) パターン分離抽出プログラム、パターン分離抽出装置及びパターン分離抽出方法
KR20150137752A (ko) 문자 인식 방법 및 그 장치
JP4100885B2 (ja) 帳票認識装置、方法、プログラムおよび記憶媒体
RU2581786C1 (ru) Определение преобразований изображения для повышения качества оптического распознавания символов
JP4821663B2 (ja) 文字ノイズ除去装置、文字ノイズ除去方法、文字ノイズ除去プログラム
JP2010157107A (ja) 業務文書処理装置
TW200540728A (en) Text region recognition method, storage medium and system
JP4077919B2 (ja) 画像処理方法及び装置及びその記憶媒体
JP2011248702A (ja) 画像処理装置、画像処理方法、画像処理プログラム及びプログラム記憶媒体
JP4613397B2 (ja) 画像認識装置、画像認識方法および画像認識プログラムを記録したコンピュータ読取可能な記録媒体
CN110210467B (zh) 一种文本图像的公式定位方法、图像处理装置、存储介质
JPH09311905A (ja) 行検出方法および文字認識装置
JP2010074342A (ja) 画像処理装置、画像形成装置、及びプログラム
JP5335581B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2021044803A (ja) 画像処理装置、画像処理方法、及びプログラム
JP5601027B2 (ja) 画像処理装置及び画像処理プログラム
JP2001034763A (ja) 文書画像処理装置、その文書タイトル抽出方法及び文書タグ情報付与方法
US20220343666A1 (en) Image processing apparatus, image processing method, and storage medium
JP6055952B1 (ja) 画像検査装置、画像検査方法、およびプログラム
US11948342B2 (en) Image processing apparatus, image processing method, and non-transitory storage medium for determining extraction target pixel

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221208

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231026

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231031

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20231213

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231222

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240207

R151 Written notification of patent or utility model registration

Ref document number: 7433887

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151