JP6122988B1 - 画像処理装置、画像処理方法、および、プログラム - Google Patents

Abstract

【課題】二値画像だけでなく多値画像も対象に、画像を構成する直線状の画素群を構造要素として、モルフォロジー演算を行い、補正処理を行うことができる画像処理装置、画像処理方法、および、プログラムを提供することを課題とする。【解決手段】本発明は、原稿画像データと、原稿画像データの各画素行に対してクロージング処理を行った横方向クロージング画像データと、の差分をとることにより横方向ブラックハット画像データを取得し、原稿画像データと、原稿画像データの各画素列に対してクロージング処理を行った縦方向クロージング画像データと、の差分をとることにより縦方向ブラックハット画像データを取得し、横方向ブラックハット画像データと縦方向ブラックハット画像データとの論理積を取った論理積画像データを取得する。【選択図】図１

Description

本発明は、画像処理装置、画像処理方法、および、プログラムに関する。

従来から、ドット画像に対して画像処理を行う技術が開示されている。

ここで、二値画像を対象に、ドット文字を投影して得られたドット密度の形状が予め狙ったパターンに合致するまで、注目画素の上下左右に隣接する４画素を構造要素として、ドット文字の膨張処理を用いた補正を繰り返しつつ照合を繰り返す技術が開示されている（特許文献１を参照）。

また、二値画像における網点領域と文字領域の分離を目的として、注目画素を中心として隣接する８画素を構造要素として、膨張処理および収縮処理により網点領域の候補を見付け、その領域のサイズが小さい場合、文字を誤検知したと判断し、網点領域だけを検出する技術が開示されている（特許文献２を参照）。

特開２００３−１６８１１９号公報 特開２０１２−１５６８３９号公報

しかしながら、従来の画像処理装置（特許文献１等）においては、二値画像のみを対象にモルフォロジー演算を行い、認識処理または分離処理を行うものであるため、多値画像の補正処理ができないという問題点を有していた。

本発明は、上記問題点に鑑みてなされたもので、二値画像だけでなく多値画像も対象に、画像を構成する直線状の画素群を構造要素として、モルフォロジー演算を行い、補正処理を行うことができる画像処理装置、画像処理方法、および、プログラムを提供することを目的とする。

このような目的を達成するため、本発明に係る画像処理装置は、原稿画像データと、前記原稿画像データの各画素行に対してクロージング処理を行った横方向クロージング画像データと、の差分をとることにより横方向ブラックハット画像データを取得する横方向ブラックハット画像取得手段と、前記原稿画像データと、前記原稿画像データの各画素列に対して前記クロージング処理を行った縦方向クロージング画像データと、の差分をとることにより縦方向ブラックハット画像データを取得する縦方向ブラックハット画像取得手段と、前記横方向ブラックハット画像データと前記縦方向ブラックハット画像データとの論理積を取った論理積画像データを取得する論理積画像取得手段と、を備えたことを特徴とする。

また、本発明に係る情報処理方法は、原稿画像データと、前記原稿画像データの各画素行に対してクロージング処理を行った横方向クロージング画像データと、の差分をとることにより横方向ブラックハット画像データを取得する横方向ブラックハット画像取得ステップと、前記原稿画像データと、前記原稿画像データの各画素列に対して前記クロージング処理を行った縦方向クロージング画像データと、の差分をとることにより縦方向ブラックハット画像データを取得する縦方向ブラックハット画像取得ステップと、前記横方向ブラックハット画像データと前記縦方向ブラックハット画像データとの論理積を取った論理積画像データを取得する論理積画像取得ステップと、を含むことを特徴とする。

また、本発明に係るプログラムは、原稿画像データと、前記原稿画像データの各画素行に対してクロージング処理を行った横方向クロージング画像データと、の差分をとることにより横方向ブラックハット画像データを取得する横方向ブラックハット画像取得ステップと、前記原稿画像データと、前記原稿画像データの各画素列に対して前記クロージング処理を行った縦方向クロージング画像データと、の差分をとることにより縦方向ブラックハット画像データを取得する縦方向ブラックハット画像取得ステップと、前記横方向ブラックハット画像データと前記縦方向ブラックハット画像データとの論理積を取った論理積画像データを取得する論理積画像取得ステップと、をコンピュータに実行させることを特徴とする。

この発明によれば、ドットを適切に検出することで、ドット文字以外への補正の影響を防ぐことができる。

図１は、本実施形態に係る画像処理装置の構成の一例を示す機能ブロック図である。 図２は、本実施形態に係る画像処理装置のハードウェア構成の一例を示すブロック図である。 図３は、本実施形態の画像処理装置における処理の一例を示すフローチャートである。 図４は、本実施形態のドット検出処理の一例を示すフロー図である。 図５は、本実施形態のドット補正処理の一例を示すフロー図である。 図６は、本実施形態における全体処理画像データの一例を示す図である。 図７は、本実施形態におけるドット検出補正処理の一例を示す図である。

以下に、本発明に係る画像処理装置、画像処理方法、および、プログラムの実施形態を図面に基づいて詳細に説明する。なお、この実施形態により本発明が限定されるものではない。

［本実施形態の構成］
以下、本発明の実施形態に係る画像処理装置１００の構成の一例について図１および図２を参照して説明し、その後、本実施形態の処理等について詳細に説明する。図１は、本実施形態に係る画像処理装置１００の構成の一例を示す機能ブロック図である。

但し、以下に示す実施形態は、本発明の技術思想を具体化するための画像処理装置１００を例示するものであって、本発明をこの画像処理装置１００に特定することを意図するものではなく、請求の範囲に含まれるその他の実施形態の画像処理装置１００にも等しく適用し得るものである。

また、本実施形態で例示する画像処理装置１００における機能分散の形態は以下に限られず、同様の効果や機能を奏し得る範囲において、任意の単位で機能的または物理的に分散・統合して構成することができる。

図１に示すように、画像処理装置１００は、概略的に、制御部１０２と、記憶部１０６と、を備えて構成される。また、これら画像処理装置１００の各部は任意の通信路を介して通信可能に接続されている。

ここで、本実施形態の画像処理装置１００は、画像読取装置２００（図１では省略）と接続して構成されてもよい。また、画像処理装置１００は、筐体内に画像読取装置２００を備えていてもよい。

また、画像読取装置２００は、手挿入給紙方式（連送給紙機構（ＣＤＦ）方式）のドキュメントスキャナ装置、自動給紙機構方式（ＡＤＦ方式）のドキュメントスキャナ装置、フラットベッド式のドキュメントスキャナ装置、または、オーバーヘッド型画像読取装置等であってもよい。

ここで、画像処理装置１００は、更に、入出力部１１２（図１では省略）を備えて構成されてもよい。ここで、入出力部１１２は、データの入出力（Ｉ／Ｏ）を行う。

また、入出力部１１２は、例えば、キー入力部、タッチパネル、コントロールパッド（例えば、タッチパッド、および、ゲームパッド等）、マウス、キーボード、および／または、マイク等の入力部であってもよい。

また、入出力部１１２は、アプリケーション等の表示画面を表示する表示部（例えば、液晶または有機ＥＬ等から構成されるディスプレイ、モニタ、および、タッチパネル等）、および／または、音声情報を音声として出力する音声出力部（例えば、スピーカ等）等の出力部であってもよい。

また、画像処理装置１００は、更に、インターフェース部１０８を備えていてもよい。ここで、画像処理装置１００は、インターフェース部１０８を介して、外部装置（例えば、画像読取装置２００等）と相互に通信可能に接続されていてもよい。

また、インターフェース部１０８は、通信回線および／または電話回線等に接続されるアンテナおよび／またはルータ等の通信装置に接続されるインターフェース（ＮＩＣ等）であってもよく、画像処理装置１００とネットワークとの間における通信制御を行う通信インターフェースであってもよい。

ここで、ネットワークは、有線通信および／または無線通信（例えば、ＷｉＦｉ等）の遠隔通信等を含む。また、インターフェース部１０８は、画像読取装置２００等と制御部１０２との間の入出力制御を行う入出力インターフェースであってもよい。

なお、制御部１０２は、インターフェース部１０８、および、入出力部１１２を制御してもよい。

記憶部１０６は、各種のデータベース、テーブル、および／または、ファイル（画像データファイル１０６ａ等）などを格納する。また、記憶部１０６は、各種アプリケーションプログラム（例えば、ユーザアプリケーション等）を記憶していてもよい。

また、記憶部１０６は、ストレージ手段であり、例えばＲＡＭ・ＲＯＭ等のメモリ、ハードディスクのような固定ディスク装置、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、フレキシブルディスク、および／または、光ディスク等を用いることができる。記憶部１０６には、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）に命令を与え各種処理を行うためのコンピュータプログラム等が記録されている。

これら記憶部１０６の各構成要素のうち、画像データファイル１０６ａは、画像データを記憶する。ここで、画像データは、画像読取装置２００にて読み取られたデータであってもよい。

ここで、画像データは、原稿画像データ、横方向クロージング画像データ、横方向ブラックハット画像データ、縦方向クロージング画像データ、縦方向ブラックハット画像データ、論理積画像データ、斜め膨張画像データ、マスク画像データ、全体処理画像データ、補正後画像データ、二値化横方向ブラックハット画像データ、二値化縦方向ブラックハット画像データ、または、正立補正画像データ等であってもよい。

また、制御部１０２は、画像処理装置１００を統括的に制御するＣＰＵ、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、および／または、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍｉｎｇ Ｇａｔｅ Ａｒｒａｙ）等を含む有形のコントローラから構成されてもよい。

制御部１０２は、制御プログラムと各種の処理手順等を規定したプログラムと所要データとを格納するための内部メモリを有し、これらプログラムに基づいて種々の処理を実行するための情報処理を行う。

特に、制御部１０２は、モルフォロジー演算に関するプログラムに基づいて種々の情報処理を実行することができる。ここで、モルフォロジー演算は、二値画像等の画像の形状を変化させ、抽出するのに用いられる計算手法である。

また、モルフォロジー演算は、「膨張処理」と「収縮処理」とを基本処理としており、これらの組み合わせで多彩な計算が実現される。また、モルフォロジー演算は、「構造要素」にて、フィルタの形状のように、ある注目画素に対する「隣接」を定義する。

ここで、構造要素は、隣接画素を定義する要素である。例えば、構造要素は、注目画素を中心とする３×３の９画素からなる矩形の画素群であってもよい。

また、膨張処理は、ある黒画素の近傍に白画素がある場合、当該黒画素を白画素に変更する処理である。すなわち、膨張処理は、白画素を文字通り膨張させる。ここで、膨張処理は、多値画像データを含めると、隣接画素の中での最大値を取る処理と言い換えることができる。

また、収縮処理は、ある白画素の近傍に黒画素がある場合、当該白画素を黒画素に変更する処理である。すなわち、収縮処理は、白画素を文字通り収縮させる。ここで、収縮処理は、多値画像データを含めると、隣接画素の中での最小値を取る処理と言い換えることができる。

また、他のモルフォロジー演算であるクロージング処理は、膨張処理後に収縮処理を行う処理である。すなわち、クロージング処理は、細かな形状を失わせる処理である。

特に、クロージング処理は、白い領域の中に点々と黒いノイズのような領域がある場合、効果的に消すことができる。また、クロージング処理は、多値画像の場合、明るい領域内にある小さな暗い領域を消すことができる。

また、他のモルフォロジー演算であるオープニング処理は、収縮処理後に膨張処理を行う処理である。すなわち、オープニング処理は、クロージング処理と逆の性質の処理である。

ここで、オープニング処理は、黒い領域の中に点々と残った白いノイズ（孤立点等）のような領域を、効果的に消すことができる。また、オープニング処理は、多値画像の場合、暗い領域内にある小さな明るい領域を消すことができる。

また、他のモルフォロジー演算であるブラックハット処理は、元画像からクロージング画像を引く処理である。すなわち、ブラックハット処理は、クロージング処理によって消えた明るい領域内の小さな暗い領域を抽出することができる。

ここで、制御部１０２は、大別して、画像取得部１０２ａ、ドット検出部１０２ｂ、マスク画像取得部１０２ｈ、ドット補正部１０２ｉ、正立補正部１０２ｎ、ＯＣＲ部１０２ｐ、および、画像出力部１０２ｑを備える。

画像取得部１０２ａは、画像データを取得する。ここで、画像取得部１０２ａは、画像読取装置２００にて読み取られた原稿画像データを取得してもよい。また、画像取得部１０２ａは、画像データを画像データファイル１０６ａに格納してもよい。

ドット検出部１０２ｂは、原稿画像データからドット文字を表すドット領域を検出する。ここで、ドット検出部１０２ｂは、横方向ブラックハット画像取得部１０２ｃと、縦方向ブラックハット画像取得部１０２ｄと、二値化部１０２ｅと、論理積画像取得部１０２ｆと、斜め膨張画像取得部１０２ｇと、を少なくとも備える。

なお、ドット文字（ドット印刷文字）は、複写が必要な宅配便伝票（カーボン紙）などへの印刷、長期間にわたり同じ紙を使い回すタイムカードまたは通帳等への印刷、ならびに、ランニングコストや保存性を重視するレシート等において多用されている。

横方向ブラックハット画像取得部１０２ｃは、原稿画像データと、原稿画像データの各画素行に対してクロージング処理を行った横方向クロージング画像データと、の差分をとることにより横方向ブラックハット画像データを取得する。

縦方向ブラックハット画像取得部１０２ｄは、原稿画像データと、原稿画像データの各画素列に対してクロージング処理を行った縦方向クロージング画像データと、の差分をとることにより縦方向ブラックハット画像データを取得する。

二値化部１０２ｅは、画像データに対して二値化処理を行うことにより、二値化画像データを取得（に変換）する。

ここで、二値化部１０２ｅは、所定の閾値に基づいて、横方向ブラックハット画像データおよび縦方向ブラックハット画像データに対して二値化処理を行うことにより、二値化横方向ブラックハット画像データおよび二値化縦方向ブラックハット画像データを取得してもよい。

ここで、所定の閾値は、背景画素との階調差が２０階調以上の値であってもよい。また、所定の閾値は、大津の二値化法により設定された値であってもよい。

論理積画像取得部１０２ｆは、二つの異なる画像データの論理積を取った論理積画像データを取得する。ここで、論理積画像取得部１０２ｆは、横方向ブラックハット画像データと縦方向ブラックハット画像データとの論理積を取った論理積画像データを取得してもよい。

また、論理積画像取得部１０２ｆは、二値化横方向ブラックハット画像データと二値化縦方向ブラックハット画像データとの論理積を取った論理積画像データを取得してもよい。

斜め膨張画像取得部１０２ｇは、画像データの画素行または画素列に対して斜め方向となる各斜め画素群に対して膨張処理を行うことにより、斜め膨張画像データを取得する。

ここで、斜め膨張画像取得部１０２ｇは、論理積画像データの画素行または画素列に対して斜め方向となる各斜め画素群に対して膨張処理を行うことにより、斜め膨張画像データを取得してもよい。ここで、斜め方向は、±４５度の方向であってもよい。

このように、ドット検出部１０２ｂは、ドット（領域）だけを補正処理の対象とするため、ドット領域だけが消えるような処理を用いて、ドット領域だけを抽出するドット検出処理を実行してもよい。

マスク画像取得部１０２ｈは、斜め膨張画像データの各画素行および各画素列に対して膨張処理を行うことにより、マスク画像データを取得する。

ドット補正部１０２ｉは、ドット領域への補正を行う。ここで、ドット補正部１０２ｉは、全体処理画像取得部１０２ｊと、全体処理画素抽出部１０２ｋと、補正後画像取得部１０２ｍと、を少なくとも備える。

全体処理画像取得部１０２ｊは、原稿画像データの全体に対して収縮処理を行うことにより、全体処理画像データを取得する。

ここで、全体処理画像取得部１０２ｊは、原稿画像データの全体に対して収縮処理を行った後、更に膨張処理を行うことにより、全体処理画像データを取得してもよい。

全体処理画素抽出部１０２ｋは、論理積画像データまたはマスク画像データに含まれるドット領域画素の位置に対応する、全体処理画像データに含まれる全体処理画素を抽出する。

補正後画像取得部１０２ｍは、原稿画像データに含まれるドット領域画素の位置に対応する原稿画素を、全体処理画素に置き換えた補正後画像データを取得する。

このように、ドット補正部１０２ｉは、ドット検出処理の結果を用いて、ドット（領域）以外に影響を与えない形で、ドット（領域画素）の繋がりおよび太さの補正を行なうドット補正処理を実行してもよい。

正立補正部１０２ｎは、画像データに対して正立補正処理を行うことにより、正立補正画像データを取得する。ここで、正立補正部１０２ｎは、補正後画像データに対して正立補正処理を行うことにより、正立補正画像データを取得してもよい。

また、正立補正部１０２ｎは、正立補正画像データを画像データファイル１０６ａに格納してもよい。

ＯＣＲ部１０２ｐは、画像データに対してＯＣＲ処理を行い、文字データを取得する。ここで、ＯＣＲ部１０２ｐは、補正後画像データまたは正立補正画像データに対してＯＣＲ処理を行い、文字データを取得してもよい。

また、ＯＣＲ部１０２ｐは、文字データを画像データファイル１０６ａに格納してもよい。

画像出力部１０２ｑは、画像データを出力させる。ここで、画像出力部１０２ｑは、画像データを入出力部１１２を介して出力させてもよい。

更に、図２を参照して、本実施形態に係る画像処理装置１００のハードウェア構成の一例について説明する。図２は、本実施形態に係る画像処理装置１００のハードウェア構成の一例を示すブロック図である。

図２に示すように、画像処理装置１００は、インターフェース部（Ｉ／Ｆ）１０８を介して、画像読取装置２００と通信可能に接続されていてもよい。

ここで、図２に示すように、画像処理装置１００は、画像処理装置１００を統括的に制御するＣＰＵ１０２、および、ストレージ手段であるメモリ１０６および補助記憶装置１０６を備えていてもよい。

また、図２に示すように、画像処理装置１００は、画像読取装置２００と通信可能な接続を制御するＩ／Ｆ１０８、記憶媒体等を接続するためのＵＳＢ端子等のインターフェース部（媒体読取部）１０８、データ入力を行うための入力部１１２、および、データ出力を行うための出力部１１２等を備えていてもよい。

また、図２に示すように、画像読取装置２００は、画像読取装置２００を統括的に制御するＣＰＵ、ストレージ手段であるブロックバッファ、メモリおよび画像メモリ、および、メモリへのアクセス要求を調停する調停部を備えていてもよい。

また、図２に示すように、画像読取装置２００は、画像読取を行うイメージセンサ、イメージセンサとシェーディング処理部とを結ぶアナログ回路であるアナログフロントエンド（ＡＦＥ）、および、画像データの陰影を調整するシェーディング処理部を備えていてもよい。

また、図２に示すように、画像読取装置２００は、読み取った画像データへの画像処理を制御する画像処理制御部、画像処理装置１００と通信可能な接続を制御するＩ／Ｆ（インターフェース部）、データ入力を行うための入力部、および、データ出力を行うための出力部等を備えていてもよい。

［本実施形態の処理］
上述した構成の画像処理装置１００で実行される処理の一例について、図３から図７を参照して説明する。図３は、本実施形態の画像処理装置１００における処理の一例を示すフローチャートである。図４は、本実施形態のドット検出処理の一例を示すフロー図である。図５は、本実施形態のドット補正処理の一例を示すフロー図である。

図３に示すように、まず、横方向ブラックハット画像取得部１０２ｃは、画像読取装置２００にて読み取られた原稿画像データ（元画像データ）と、元画像データの各画素行において、注目画素を中心とするＮ×１のＮ画素（Ｎ：自然数）を構造要素としたクロージング処理を行った横方向クロージング画像データと、の差分をとることにより横方向ブラックハット画像データを取得する（ステップＳＡ−１）。

具体的には、図４に示すように、横方向ブラックハット画像取得部１０２ｃは、構造要素を横一直線としたブラックハット処理を実行することで、横方向に連続性の無い、元画像データの地色より暗い画素を抽出してもよい。

すなわち、横方向ブラックハット画像取得部１０２ｃは、ドット、縦の罫線、および、文字の中でも縦線部分等に該当する画素を抽出してもよい。

図３に戻り、縦方向ブラックハット画像取得部１０２ｄは、元画像データと、元画像データの各画素列において、注目画素を中心とする１×ＮのＮ画素を構造要素としたクロージング処理を行った縦方向クロージング画像データと、の差分をとることにより縦方向ブラックハット画像データを取得する（ステップＳＡ−２）。

具体的には、図４に示すように、縦方向ブラックハット画像取得部１０２ｄは、構造要素を縦一直線としたブラックハット処理を実行することで、縦方向に連続性の無い、元画像データの地色より暗い画素を抽出してもよい。

すなわち、縦方向ブラックハット画像取得部１０２ｄは、ドット、横の罫線、および、文字の中でも横線部分等に該当する画素を抽出してもよい。

図３に戻り、論理積画像取得部１０２ｆは、横方向ブラックハット画像データと縦方向ブラックハット画像データとの論理積を取った論理積画像データ（縦横のＡＮＤ画像データ）を取得する（ステップＳＡ−３）。

具体的には、図４に示すように、論理積画像取得部１０２ｆは、ステップＳＡ−１とステップＳＡ−２との結果の論理積（ＡＮＤ）を取ってもよい。

ここで、縦横の両方向のクロージング処理で等しく消える（すなわち、ブラックハット処理で抜き出される）画素は、ドット領域画素だけであるため、両方向の結果に含まれる画素を抽出することは、ドット領域画素を抽出することになる。

また、本実施形態において、元画像データが多値画像データである場合、論理積画像取得部１０２ｆは、任意の閾値に基づいて、横方向ブラックハット画像データおよび縦方向ブラックハット画像データにおいて閾値以上の画素を、二値のドット領域画素として抽出してもよい。

図３に戻り、斜め膨張画像取得部１０２ｇは、ＡＮＤ画像データの画素行または画素列に対して±４５度の方向となる各斜め画素群に対して膨張処理を行うことにより、斜め膨張画像データを取得し、マスク画像取得部１０２ｈは、斜め膨張画像データの各画素行および各画素列に対して膨張処理を行うことにより、マスク画像データを取得する（ステップＳＡ−４）。

具体的には、図４に示すように、斜め膨張画像取得部１０２ｇは、ＡＮＤ画像データ（ドット領域画素を抽出したデータ）を、斜め方向に広げ（膨張させ）てもよい。

ここで、ドット文字を表すドット領域は、斜め方向で全く繋がっておらず、ドット領域画素間が途切れているため、斜め膨張画像取得部１０２ｇは、これを補完するために、ＡＮＤ画像データに対して斜め方向（「×」形状）に膨張処理を行い、ドット領域画素の斜め方向の接続性を高めてもよい。

また、図４に示すように、マスク画像取得部１０２ｈは、斜め膨張画像データに対して縦横方向（「＋」形状）に膨張処理を行うことで、更に縦横方向に広げるようにドット領域間の途切れを繋ぎ、適度に文字を太らせて、ドット領域を広げてもよい。

ここで、本実施形態においては、注目画素を中心とする矩形の３×３の９画素を構造要素とすると、斜め方向に繋がり過ぎるため、各画素行および各画素列からなる十字形状の画素群を構造要素としてもよい。

なお、図３に示すステップＳＡ−１からステップＳＡ−３の処理迄で、狭義のドット検出処理が完了し、図３に示すステップＳＡ−４の処理は、ドット補正処理に適した形に加工する処理となっている。

このように、ドット文字を表すドット領域は、一つ当たりは小さな領域であるため、縦にも横にも連続性が無く、両方向のクロージング処理によって消えてしまう。

一方、ドット以外の要素を表す領域については、普通のサイズの文字または罫線等であっても、縦または横の最低１方向に連続した領域を持つため、両方向のクロージング処理によって消えることがない。

これらの性質を利用し、本実施形態においては、ドット領域を判別し、縦方向と横方向の両方のクロージング処理で消えた画素を集め、膨張処理などの補正を行うことで、ドット文字を表すドット領域画素だけを抽出したマスク画像データを作成してもよい。

図３に戻り、全体処理画像取得部１０２ｊは、元画像データの全体において、注目画素を中心とする３×３の９画素を構造要素とした収縮処理を行うことにより、全体処理画像データを取得する（ステップＳＡ−５）。

ここで、全体処理画像取得部１０２ｊは、元画像データの全体において、注目画素を中心とする３×３の９画素を構造要素とした収縮処理を行った後、更に膨張処理を行うことにより、全体処理画像データを取得してもよい。

具体的には、図５に示すように、全体処理画像取得部１０２ｊは、元画像データの全体を、多値で収縮処理（暗い画素にとって膨張処理）させた全体処理画像データを取得してもよい。

これにより、図５に示すように、元画像は、全体的に濃い色を膨張させたような全体処理画像となる。なお、本実施形態において、構造要素の形状、および、膨張処理と収縮処理との組み合わせは、解像度等に基づいて、回数または数値等を調整してもよい。

ここで、図６を参照して、本実施形態における全体処理画像取得処理の一例について説明する。図６は、本実施形態における全体処理画像データの一例を示す図である。

全体処理画像取得部１０２ｊは、図６の左図に示すように、元画像データの全体に対して収縮処理を行うことにより、ドット領域が太くなり過ぎた場合、図６の右図に示すように、収縮処理後に膨張処理を加えて（オープニング処理として）、画素同士の接続性を少し落とした細い線状のドット領域としてもよい。

図３に戻り、全体処理画素抽出部１０２ｋは、ＡＮＤ画像データまたはマスク画像データに含まれるドット領域画素の位置に対応する、全体処理画像データに含まれる全体処理画素を抽出する（ステップＳＡ−６）。

具体的には、図５に示すように、全体処理画素抽出部１０２ｋは、ドット検出処理で作成したドット領域を繋ぎ合わせたＡＮＤ画像データまたはマスク画像データに含まれるドット領域画素の位置と同一座標にある、全体処理画像データに含まれる全体処理画素を抽出（クロッピング）してもよい。

ここで、本実施形態においては、ＡＮＤ画像データを用いることで、ドット領域の接続性および形状を変化させず、色味または輪郭だけを強調することができる。

また、本実施形態においては、元画像データの全体に対して収縮処理を行うことで、元画像に含まれるドット領域にある色ムラ、および、曖昧だった輪郭（元々ドット文字と地色との境目）が、ドット領域における最も濃い色で塗りつぶされるため、濃くハッキリした色となる。

また、本実施形態において、ＡＮＤ画像は、元々のドット領域を捉えたものであるため、ＡＮＤ画像データを本ドット補正処理に用いることによって、ドット領域の形状は変化させず、ドット領域の色を濃く均一にし、ドット領域の輪郭をハッキリさせる効果が得られる。

図３に戻り、補正後画像取得部１０２ｍは、元画像データに含まれるドット領域画素の位置に対応する原稿画素（元画素）を、全体処理画素に置き換えた補正後画像データを取得する（ステップＳＡ−７）。

具体的には、図５に示すように、補正後画像取得部１０２ｍは、元画像データに含まれる画素を全体処理画素に置き換えることで、ドット領域が繋げられて太く補正されるが、その他の普通の文字および罫線部分等に影響がない補正後画像の補正後画像データを取得することができる。

すなわち、本実施形態においては、（全体を多値で収縮処理する前の）元画像データのドット領域画素に含まれる色データも、（元画像データのドット領域画素を多値で収縮処理した後の）全体処理画素に含まれる色データに置き換えている。

ここで、全体処理画像データには、元画像データに含まれる濃い色のドット領域画素に対応する画素が多く含まれているため、元画像データに含まれるドット領域画素を、全体処理画素（ドット位置に該当の画素）と置き換えることで、形状だけでなく色もハッキリさせる（濃い要素で塗られる印象とする）ことができる。

このように、本実施形態においては、元画像データに含まれるドット文字を表すドット領域画素を、マスク画像データ等に基づいて置き換え、併せて、適切なドット色データで置き換えることで、歯抜けのドット領域画素を繋げた補正後画像データを取得することができる。

これにより、本実施形態においては、ドットを繋いで太くし、人の目にも機械にも認識し易い線文字に補正した補正後画像の画像データを取得することができる。

また、本実施形態においては、事前に原稿画像からドット領域を切り出すようなデータ処理を必要としないため、処理手順および処理時間を少なくすることができる。

図３に戻り、正立補正部１０２ｎは、補正後画像データに対して正立補正処理を行うことにより、正立補正画像データを取得し、ＯＣＲ部１０２ｐは、正立補正画像データに対してＯＣＲ処理を行い、文字データを取得し（ステップＳＡ−８）、処理を終了する。

これにより、本実施形態においては、ドット補正処理を前処理として、既存の認識処理を行うことで、ドット部分に基づいて、より正確な文字データを取得し、高精度な認識処理を行うことができる。

ここで、正立補正処理は、多くの場合、文字単位で画像データを抽出し、その文字の方向を判断しているが、ドット文字は、人の目には容易に判断できるものの、一般に機械処理では文字としての認識精度が低い傾向がある。

そこで、本実施形態におけるドット検出処理およびドット補正処理（ドット検出補正処理）を前処理として、正立補正処理と組み合わせることで、正立補正処理の判定精度を高めている。

特に、識字エンジンの判定精度にも依存するが、ドット文字しか文字が含まれない原稿画像において、本前処理（ドット検出補正処理）無しの原稿画像データに対する正立補正処理は、失敗する傾向にある。

一方、本ドット検出補正処理と組み合わせることで、文字の認識精度が高くなるため、正立補正処理の判定精度が高まる。本ドット検出補正処理は、正立補正処理に限らず、ＯＣＲ処理、二値化処理、または、帳票識別処理等の識字または文字形状がカギとなる多くの処理で、有効な組み合わせとなる。

ここで、図７を参照して、本実施形態におけるドット検出補正処理の一例について説明する。図７は、本実施形態におけるドット検出補正処理の一例を示す図である。

図７に示すように、本実施形態においては、画像読取装置２００にて読み取られた原稿画像データを、ドット印刷文字の文字領域のみを繋げて太くした補正後画像の画像データに補正することで、ドット印刷文字の視認性を改善している。

ここで、本実施形態において、原稿画像が、地色およびドットともに有彩色のカラー画像（例えば、地色が水色、且つ、ドットが紫色等）の場合、ブラックハット画像データは、カラー画像データで得られるが、当該ブラックハット画像データをマスク画像データに変換する際に、所定の閾値を設けて、マスク画像データを作成してもよい。

ここで、所定の閾値は、原稿画像の地色のムラと、ドット文字が目視で判別可能な程度の階調差と、があればよく、特に大きな階調差を要求するものではない。

例えば、ＲＧＢのいずれかにおいて、１０階調程度の変動が原稿地色のムラでもあり得るため、所定の閾値は、２０階調以上であってもよい。

この場合、縦横方向のブラックハット画像データは、カラー画像データとして取得されるため、マスク画像データを作成する際に、２０階調程度を閾値とした二値化処理を行い、原稿ムラなどの誤検出を防いでもよい。

また、二値化処理の閾値は、「大津の二値化法」等の動的に閾値を定める手法と組み合わせて、自動的に設定してもよい。

なお、本実施形態においては、変化のなかった結果の黒画素を除くと、ドット由来の画素と地色由来の画素とが偏るため、自動で閾値設定が可能である。

ここで、従来から、正立補正処理およびＯＣＲ処理など、文字データを入力データとした処理は多く存在していた。これらの処理においては、文字が文字に見えるように、綺麗に読み取りができることが要求されていた。

しかしながら、ドットで印字された文字を含む原稿は、綺麗に読み取られたとしても、認識処理に不向きな点の集合でしかないため、多くの判定処理において、精度が大幅に低下する問題があった。

また、スキャン後の画像データを人が見る際にも、文字が途切れ途切れで細く且つ薄く見えがちなドット文字は、可読性が良いとはいえなかった。

また、従来、原稿全体の文字を太らせる方法等があったが、従来技術においては、罫線およびノイズ等まで太くなってしまい、可読性の低下および元原稿からの乖離を招くという問題があった。

例えば、ドットインパクトプリンタによる文字を含む、飛び飛びであったり、かすれていたりする、可読性の悪い画像に対する補正としては、ぼかし（スムージング、アンチエリアシング、または、平滑化等）処理、膨張処理、および、収縮処理などがあった。

しかしながら、従来技術による処理おいては、画像全体に影響を与え、非ドット文字がボケたり、変形するデメリットがあった。

一方で、従来から、画像全体への影響を避けるために、像域分離処理（文字または絵等の区分で領域を分ける処理）を行っていた。

しかしながら、像域分離処理は、文字か否かの判定において、線の連続性を見ることが多いため、連続性が無いドット文字への適用が難しかった。

また、像域分離処理は、前処理（ノイズ除去）において、ドット文字が薄まる、または、潰れる傾向があるため、ドット文字への適用が難しかった。

そこで、本実施形態においては、これらの背景を踏まえ、ドット文字のドット間を繋げることで、点の集合からなる文字を線のように補正して可読性を高めている。特に、本実施形態においては、点の集合を斜め方向につなげることで、可読性を高めている。

また、本実施形態においては、ドット文字を太くすることで、細くて隙間に原稿地色が混ざることからくる読み辛さを解消して、可読性を高めている。

また、本実施形態においては、ドット文字以外のコンテンツに、補正の影響を与えないため、ドットを補正しても、他コンテンツが無闇に潰れること、および、太ることを抑制している。

これにより、本実施形態においては、ドットだけを抽出する処理によってドット文字を抜き出し、ドット文字だけに補正を行なうことで、悪影響を抑えつつ、文字の可読性を高めた画像データを取得している。

すなわち、本実施形態のドット検出処理においては、ドットだけを抽出し、更に抽出したドット同士が繋がるよう補完したマスク画像の画像データを検出結果として作成している。

また、本実施形態のドット補正処理においては、元画像データに対して一様に膨張処理を行なった後、マスク画像データに基づいて、画素の置換を行うことで、補正後画像データを得ている。

また、本実施形態においては、ドット検出補正処理を、正立補正処理等の他の判定処理の前処理として用いることで、正立補正処理等の判定精度を高めることを可能としている。

すなわち、本実施形態におけるドット検出補正処理は、人の目で見る際の可読性向上として有効なだけでなく、正立補正処理またはＯＣＲ処理等の機械処理の前処理として行うことで、従来、文字認識に失敗していた原稿画像データに対する、文字認識を可能としている。

［他の実施形態］
さて、これまで本発明の実施形態について説明したが、本発明は、上述した実施形態以外にも、請求の範囲に記載した技術的思想の範囲内において種々の異なる実施形態にて実施されてよいものである。

例えば、画像処理装置１００は、スタンドアローンの形態で処理を行ってもよく、クライアント端末（画像処理装置１００とは別筐体である）からの要求に応じて処理を行い、その処理結果を当該クライアント端末に返却するようにしてもよい。

また、実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。

このほか、明細書中および図面中で示した処理手順、制御手順、具体的名称、各処理の登録データもしくは検索条件等のパラメータを含む情報、画面例、または、データベース構成については、特記する場合を除いて任意に変更することができる。

また、画像処理装置１００に関して、図示の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。

例えば、画像処理装置１００の各装置が備える処理機能、特に制御部１０２にて行われる各処理機能については、その全部または任意の一部を、ＣＰＵおよび当該ＣＰＵにて解釈実行されるプログラムにて実現してもよく、また、ワイヤードロジックによるハードウェアとして実現してもよい。

なお、プログラムは、後述する、コンピュータに本発明に係る方法を実行させるためのプログラム化された命令を含む、一時的でないコンピュータ読み取り可能な記録媒体に記録されており、必要に応じて画像処理装置１００に機械的に読み取られる。すなわち、ＲＯＭまたはＨＤＤなどの記憶部１０６などには、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）と協働してＣＰＵに命令を与え、各種処理を行うためのコンピュータプログラムが記録されている。このコンピュータプログラムは、ＲＡＭにロードされることによって実行され、ＣＰＵと協働して制御部を構成する。

また、このコンピュータプログラムは、画像処理装置１００に対して任意のネットワークを介して接続されたアプリケーションプログラムサーバに記憶されていてもよく、必要に応じてその全部または一部をダウンロードすることも可能である。

また、本発明に係るプログラムを、コンピュータ読み取り可能な記録媒体に格納してもよく、また、プログラム製品として構成することもできる。ここで、この「記録媒体」とは、メモリーカード、ＵＳＢメモリ、ＳＤカード、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、および、Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ等の任意の「可搬用の物理媒体」を含むものとする。

また、「プログラム」とは、任意の言語や記述方法にて記述されたデータ処理方法であり、ソースコードやバイナリコード等の形式を問わない。なお、「プログラム」は必ずしも単一的に構成されるものに限られず、複数のモジュールやライブラリとして分散構成されるものや、ＯＳに代表される別個のプログラムと協働してその機能を達成するものをも含む。なお、実施形態に示した各装置において記録媒体を読み取るための具体的な構成、読み取り手順、あるいは、読み取り後のインストール手順等については、周知の構成や手順を用いることができる。

記憶部１０６に格納される各種のデータベース等は、ＲＡＭもしくはＲＯＭ等のメモリ装置、ハードディスク等の固定ディスク装置、フレキシブルディスク、および／または、光ディスク等のストレージ手段であり、各種処理やウェブサイト提供に用いる各種のプログラム、テーブル、データベース、および／または、ウェブページ用ファイル等を格納してもよい。

また、画像処理装置１００は、既知のパーソナルコンピュータ等の情報処理装置として構成してもよく、また、該情報処理装置に任意の周辺装置を接続して構成してもよい。また、画像処理装置１００は、該情報処理装置に本発明の方法を実現させるソフトウェア（プログラム、データ等を含む）を実装することにより実現してもよい。

更に、装置の分散・統合の具体的形態は図示するものに限られず、その全部または一部を、各種の付加等に応じて、または、機能負荷に応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。すなわち、上述した実施形態を任意に組み合わせて実施してもよく、実施形態を選択的に実施してもよい。

以上のように、画像処理装置、画像処理方法、および、プログラムは、産業上の多くの分野、特にスキャナまたはカメラで読み込んだ画像を扱う画像処理分野で実施することができ、極めて有用である。

１００ 画像処理装置
１０２ 制御部
１０２ａ 画像取得部
１０２ｂ ドット検出部
１０２ｃ 横方向ブラックハット画像取得部
１０２ｄ 縦方向ブラックハット画像取得部
１０２ｅ 二値化部
１０２ｆ 論理積画像取得部
１０２ｇ 斜め膨張画像取得部
１０２ｈ マスク画像取得部
１０２ｉ ドット補正部
１０２ｊ 全体処理画像取得部
１０２ｋ 全体処理画素抽出部
１０２ｍ 補正後画像取得部
１０２ｎ 正立補正部
１０２ｐ ＯＣＲ部
１０２ｑ 画像出力部
１０６ 記憶部
１０６ａ 画像データファイル
１０８ インターフェース部
１１２ 入出力部
２００ 画像読取装置

Claims (20)

1. 原稿画像データと、前記原稿画像データの各画素行に対してクロージング処理を行った横方向クロージング画像データと、の差分をとることにより横方向ブラックハット画像データを取得する横方向ブラックハット画像取得手段と、
   前記原稿画像データと、前記原稿画像データの各画素列に対して前記クロージング処理を行った縦方向クロージング画像データと、の差分をとることにより縦方向ブラックハット画像データを取得する縦方向ブラックハット画像取得手段と、
   前記横方向ブラックハット画像データと前記縦方向ブラックハット画像データとの論理積を取った論理積画像データを取得する論理積画像取得手段と、
   を備えたことを特徴とする、画像処理装置。
2. 前記論理積画像データの画素行または画素列に対して斜め方向となる各斜め画素群に対して膨張処理を行うことにより、斜め膨張画像データを取得する斜め膨張画像取得手段と、
   前記斜め膨張画像データの各画素行および各画素列に対して前記膨張処理を行うことにより、マスク画像データを取得するマスク画像取得手段と、
   を更に備えた、請求項１に記載の画像処理装置。
3. 前記原稿画像データの全体に対して収縮処理を行うことにより、全体処理画像データを取得する全体処理画像取得手段と、
   前記論理積画像データまたは前記マスク画像データに含まれるドット領域画素の位置に対応する、全体処理画像データに含まれる全体処理画素を抽出する全体処理画素抽出手段と、
   前記原稿画像データに含まれる前記位置に対応する原稿画素を、前記全体処理画素に置き換えた補正後画像データを取得する補正後画像取得手段と、
   を更に備えた、請求項２に記載の画像処理装置。
4. 前記全体処理画像取得手段は、
   前記原稿画像データの全体に対して前記収縮処理を行った後、更に前記膨張処理を行うことにより、前記全体処理画像データを取得する、請求項３に記載の画像処理装置。
5. 所定の閾値に基づいて、前記横方向ブラックハット画像データおよび前記縦方向ブラックハット画像データに対して二値化処理を行うことにより、二値化横方向ブラックハット画像データおよび二値化縦方向ブラックハット画像データを取得する二値化手段、
   を更に備え、
   前記論理積画像取得手段は、
   更に、前記二値化横方向ブラックハット画像データと前記二値化縦方向ブラックハット画像データとの前記論理積を取った論理積画像データを取得する、請求項１から４のいずれか一つに記載の画像処理装置。
6. 前記所定の閾値は、
   背景画素との階調差が２０階調以上の値である、請求項５に記載の画像処理装置。
7. 前記所定の閾値は、
   大津の二値化法により設定された値である、請求項５に記載の画像処理装置。
8. 前記補正後画像データに対して正立補正処理を行うことにより、正立補正画像データを取得する正立補正手段、
   を更に備えた、請求項３に記載の画像処理装置。
9. 前記斜め方向は、
   ±４５度の方向である、請求項２から４のいずれか一つに記載の画像処理装置。
10. 前記補正後画像データまたは前記正立補正画像データに対してＯＣＲ処理を行い、文字データを取得するＯＣＲ手段、
    を更に備えた、請求項８に記載の画像処理装置。
11. 原稿画像データと、前記原稿画像データの各画素行に対してクロージング処理を行った横方向クロージング画像データと、の差分をとることにより横方向ブラックハット画像データを取得する横方向ブラックハット画像取得ステップと、
    前記原稿画像データと、前記原稿画像データの各画素列に対して前記クロージング処理を行った縦方向クロージング画像データと、の差分をとることにより縦方向ブラックハット画像データを取得する縦方向ブラックハット画像取得ステップと、
    前記横方向ブラックハット画像データと前記縦方向ブラックハット画像データとの論理積を取った論理積画像データを取得する論理積画像取得ステップと、
    を含むことを特徴とする、画像処理方法。
12. 前記論理積画像データの画素行または画素列に対して斜め方向となる各斜め画素群に対して膨張処理を行うことにより、斜め膨張画像データを取得する斜め膨張画像取得ステップと、
    前記斜め膨張画像データの各画素行および各画素列に対して前記膨張処理を行うことにより、マスク画像データを取得するマスク画像取得ステップと、
    を更に含む、請求項１１に記載の画像処理方法。
13. 前記原稿画像データの全体に対して収縮処理を行うことにより、全体処理画像データを取得する全体処理画像取得ステップと、
    前記論理積画像データまたは前記マスク画像データに含まれるドット領域画素の位置に対応する、全体処理画像データに含まれる全体処理画素を抽出する全体処理画素抽出ステップと、
    前記原稿画像データに含まれる前記位置に対応する原稿画素を、前記全体処理画素に置き換えた補正後画像データを取得する補正後画像取得ステップと、
    を更に含む、請求項１２に記載の画像処理方法。
14. 前記全体処理画像取得ステップにて、
    前記原稿画像データの全体に対して前記収縮処理を行った後、更に前記膨張処理を行うことにより、前記全体処理画像データを取得する、請求項１３に記載の画像処理方法。
15. 所定の閾値に基づいて、前記横方向ブラックハット画像データおよび前記縦方向ブラックハット画像データに対して二値化処理を行うことにより、二値化横方向ブラックハット画像データおよび二値化縦方向ブラックハット画像データを取得する二値化ステップ、
    を更に含み、
    前記論理積画像取得ステップにて、
    更に、前記二値化横方向ブラックハット画像データと前記二値化縦方向ブラックハット画像データとの前記論理積を取った論理積画像データを取得する、請求項１１から１４のいずれか一つに記載の画像処理方法。
16. 前記所定の閾値は、
    背景画素との階調差が２０階調以上の値である、請求項１５に記載の画像処理方法。
17. 前記所定の閾値は、
    大津の二値化法により設定された値である、請求項１５に記載の画像処理方法。
18. 前記補正後画像データに対して正立補正処理を行うことにより、正立補正画像データを取得する正立補正ステップ、
    を更に含む、請求項１３に記載の画像処理方法。
19. 前記斜め方向は、
    ±４５度の方向である、請求項１２から１４のいずれか一つに記載の画像処理方法。
20. 原稿画像データと、前記原稿画像データの各画素行に対してクロージング処理を行った横方向クロージング画像データと、の差分をとることにより横方向ブラックハット画像データを取得する横方向ブラックハット画像取得ステップと、
    前記原稿画像データと、前記原稿画像データの各画素列に対して前記クロージング処理を行った縦方向クロージング画像データと、の差分をとることにより縦方向ブラックハット画像データを取得する縦方向ブラックハット画像取得ステップと、
    前記横方向ブラックハット画像データと前記縦方向ブラックハット画像データとの論理積を取った論理積画像データを取得する論理積画像取得ステップと、
    をコンピュータに実行させるためのプログラム。