JP7202520B2

JP7202520B2 - 画像処理装置

Info

Publication number: JP7202520B2
Application number: JP2018194062A
Authority: JP
Inventors: 博之原田
Original assignee: Kyocera Document Solutions Inc
Current assignee: Kyocera Document Solutions Inc
Priority date: 2018-10-15
Filing date: 2018-10-15
Publication date: 2023-01-12
Anticipated expiration: 2038-10-15
Also published as: US20200117870A1; US10860827B2; JP2020065106A

Description

本発明は、画像処理装置に関するものである。

ある画像処理システムは、原稿画像内の可視コード（１次元バーコード、２次元コードなど）を検出し、検出した可視コードをデコードして、その可視コードに符号化された情報を取得している。可視コードに汚れが付着した場合、可視コードの検出またはデコードに失敗することがあり、この画像処理システムでは、可視コードの検出またはデコードに失敗した場合、原稿画像に対して所定の画像処理を実行した後に、再度、可視コードの検出およびデコードを試みている（例えば特許文献１参照）。

特開２０１０－２１１７３８号公報

他方、原稿上の可視コードに汚れが付着していると、原稿から光学的に読み取られた原稿画像内の可視コードにも可視コードに付着した汚れの画像（以下、汚れ画像という）が重畳してしまう。

このような原稿画像内の可視コードの検出およびデコードを良好に行うために、汚れ画像を除去することが提案されている。

例えば、可視コードを除去せずに汚れ画像を除去するために、（原稿画像がカラー画像である場合には、原稿画像をグレースケール画像に変換した後に）所定の閾値で原稿画像を２値化することで汚れの画像を除去することが考えられる。しかしながら、汚れの画像の濃度は未知でありかつ濃度の取り得る範囲が広いため、高濃度の汚れ画像を除去するために２値化の閾値を高くすると、原稿画像内の比較的低濃度のオブジェクト（有彩色の文字など）が誤って除去されてしまい、２値化の閾値を低くすると、汚れ画像が十分に除去されないことがある。

このように、原稿画像内の可視コード、および文字、図形などといった他のオブジェクト（汚れなど意図せず付着したオブジェクトではない本来のオブジェクト）を除去せずに、可視コードの汚れ画像を除去することは困難である。

本発明は、上記の問題に鑑みてなされたものであり、原稿画像内の可視コードおよび他のオブジェクトを除去せずに、可視コードの汚れ画像を適切に除去する画像処理装置を得ることを目的とする。

本発明に係る画像処理装置は、原稿に対応するカラー原稿画像内で可視コードを含む可視コードエリアを検索する可視コードエリア検索部と、（ａ）前記可視コードエリアにおいて所定の色空間における色ヒストグラムをローカル色ヒストグラムとして生成し、前記ローカル色ヒストグラムにおける前記可視コードの汚れ画像の色が含まれるビンに分類される画素の割合に基づいて、前記汚れ画像の除去を実行するか否かを判定し、（ｂ）前記汚れ画像の除去を実行すると判定した場合、前記可視コードエリアで前記可視コードの汚れ画像の色を前記原稿の地色に置換する色置換処理部とを備える。

本発明によれば、原稿画像内の可視コードおよび他のオブジェクトを除去せずに、可視コードの汚れ画像を適切に除去する画像処理装置が得られる。

本発明の上記又は他の目的、特徴および優位性は、添付の図面とともに以下の詳細な説明から更に明らかになる。

図１は、本発明の実施の形態に係る画像処理装置を含む画像形成装置の構成例を示すブロック図である。図２は、カラー原稿画像の一例を示す図である。図３は、図２に示すカラー原稿画像において検出された可視コードエリアを示す図である。図４は、ローカル色ヒストグラムの一例を示す図である。図５は、全域色ヒストグラムの一例を示す図である。図６は、置換色範囲について説明する図である。図７は、図２に示すカラー原稿画像で検出された可視コードエリア内の汚れ画像１０２が除去された後のカラー原稿画像の一例を示す図である。図８は、図１における画像処理装置１４の動作について説明するフローチャートである。

以下、図に基づいて本発明の実施の形態を説明する。

図１は、本発明の実施の形態に係る画像処理装置を含む画像形成装置の構成例を示すブロック図である。図１に示す画像形成装置１は、複写機であるが、スキャナー、複合機などでもよい。

この画像形成装置１は、プリント装置１１と、画像読取装置１２と、記憶装置１３と、画像処理装置１４と、表示装置１５と、入力装置１６とを備える。

プリント装置１１は、画像処理装置１４による各種画像処理後の画像データに基づいて原稿画像を、例えばＣＭＹＫ（シアン・マゼンタ・イエロー・ブラック）色のトナーを使用して電子写真プロセスでプリントする内部装置である。

また、画像読取装置１２は、原稿から原稿画像を光学的に読み取り、原稿画像の画像データをＲＧＢデータとして生成する内部装置である。

また、記憶装置１３は、フラッシュメモリーなどの、書き換え可能な不揮発性の記憶装置であり、各種データやプログラムを記憶している。

また、画像処理装置１４は、画像読取装置１２などで生成された画像データに対して、各種画像処理を行う。

画像処理装置１４は、ＡＳＩＣ（Application Specific Integrated Circuit）やコンピューターで実現され、そのようなソフトウェアおよび／またはハードウェアに基づいて、制御部３１、可視コードエリア検索部３２、色置換処理部３３、地色除去部３４、およびデコード部３５として動作する。

制御部３１は、画像読取装置１２などの内部装置を制御する処理部であって、画像読取装置１２に原稿画像の読取を実行させ、画像読取装置１２からカラー原稿画像（画像データ）を取得したり、記憶装置１３に記憶されているカラー原稿画像（画像データ）を取得したりする。

可視コードエリア検索部３２は、原稿に対応するカラー原稿画像内で可視コード（１次元バーコード、２次元コード（例えばＱＲコード（登録商標））など）を含む可視コードエリアを検索する。

例えば、可視コードエリア検索部３２は、カラー原稿画像の縮小画像を生成し、その縮小画像内で、所定濃度範囲の濃度かつ所定彩度範囲の彩度を有する略矩形の所定形状（例えば所定アスペクト比および／または所定サイズ）の特定矩形エリアを検出し、検出した特定矩形エリアに対応する、カラー原稿画像内の領域を上述の可視コードエリアとして検出する。

例えば平均画素法で、カラー原稿画像の解像度（例えば３００ｄｐｉ）を所定の低解像度（つまり、元の解像度より低い解像度、例えば７５ｄｐｉ）に変換することで上述の縮小画像が生成される。これにより、可視コードエリアに対応する上述の特定矩形エリアは、可視コードの色と地色とを平均した色に近づく。したがって、所定濃度範囲の濃度かつ所定彩度範囲（可視コードの色が黒色である場合には、無彩色から所定低彩度までの範囲）の彩度を有する特定矩形エリアを検出することで、（汚れ画像が重畳した可視コードを含む）可視コードを含む可視コードエリアが検出される。

図２は、カラー原稿画像の一例を示す図である。図３は、図２に示すカラー原稿画像において検出された可視コードエリアを示す図である。図２に示すカラー原稿画像は、可視コード（ここでは黒色の１次元バーコード）１０１、汚れ画像１０２、低濃度（高輝度）の有彩色文字（ここでは、緑色の文字）１０３、および無彩色（黒色）の文字１０４を含んでいる。そして、例えば図３に示すように、縮小画像における特定矩形エリア１４１が検出され、特定矩形エリア１４１に対応する、カラー原稿画像内の領域が可視コードエリア１２１として検出される。

色置換処理部３３は、可視コードの汚れ画像を原稿の地色に置換する。具体的には、色置換処理部３３は、（ａ）上述の可視コードエリア１２１において所定の色空間（ここではＲＧＢ色空間）における色ヒストグラムをローカル色ヒストグラム（つまり、可視コードエリア１２１内の画素の色をＲＧＢ空間におけるビンに分類したもの）として生成し、ローカル色ヒストグラムにおける可視コードの汚れ画像の色が含まれるビンに分類される画素の割合に基づいて、汚れ画像１０２の除去を実行するか否かを判定し、（ｂ）その汚れ画像１０２の除去を実行すると判定した場合、可視コードエリア１２１で可視コードの汚れ画像１０２の色を原稿の地色（つまり、カラー原稿画像の背景色）に置換する。なお、各ヒストグラムのビンの数およびサイズは、実験などによって適宜設定される。

この実施の形態では、特に、色置換処理部３３は、（ａ）カラー原稿画像全域において所定の色空間における色ヒストグラムを全域色ヒストグラムとして生成し、（ｂ）全域色ヒストグラムとローカル色ヒストグラムとに基づいて、可視コードエリア１２１外のオブジェクト（図２における有彩色文字１０３および文字１０４）の色を特定し、（ｃ）汚れ画像１０２の除去を実行すると判定した場合、カラー原稿画像全域において、可視コードエリア１２１外のオブジェクトの色を除外して、可視コードの汚れ画像１０２の色を原稿の地色に置換する。

図４は、ローカル色ヒストグラムの一例を示す図である。図５は、全域色ヒストグラムの一例を示す図である。図４に示すローカル色ヒストグラムは、茶色の汚れ画像１０２が存在する場合のローカル色ヒストグラムである。図５に示す全域色ヒストグラムでは、ローカル色ヒストグラムで所定割合以上の画素の色が分類されたビンに加え、有彩色文字１０３の色（ここでは、緑色）が別のビンに分類されている。

したがって、全域色ヒストグラムにおいて所定割合以上の画素が分類されたビンのうち、ローカル色ヒストグラムにおいて所定割合以上の画素が分類されたビン以外のビンの色が、上述の可視コードエリア１２１外のオブジェクトの色として特定される。

図６は、置換色範囲について説明する図である。この実施の形態では、例えば、図６に示すように、色置換処理部３３は、可視コードの汚れ画像１０２の色を原稿の地色に置換する際に、（ａ）汚れ画像１０２における最大濃度の色を特定し、（ｂ）色空間において、その最大濃度の色から原稿の地色までの直線区間から所定幅の領域を置換色範囲として特定し、（ｃ）その置換色範囲に属する色を原稿の地色に置換する。

図７は、図２に示すカラー原稿画像で検出された可視コードエリア内の汚れ画像１０２が除去された後のカラー原稿画像の一例を示す図である。上述のようにして、可視コードエリア１２１内の汚れ画像１０２が除去されると、図２に示すカラー原稿画像は、図７に示すようになる。

地色除去部３４は、カラー原稿画像に対して地色除去を実行するとともに、可視コードエリア１２１に対して２値化処理を実行する。なお、地色除去は、カラー原稿画像の背景色を白色に変換する処理であり、既知の方法で実行される。

デコード部３５は、上述の地色除去および２値化処理の後に、可視コードエリア１２１における可視コードをデコードする。

次に、上記画像処理装置１４の動作について説明する。図８は、図１における画像処理装置１４の動作について説明するフローチャートである。

例えば入力装置１６に対するユーザー操作に従って制御部３１がカラー原稿画像を取得すると（ステップＳ１）、可視コードエリア検索部３２は、カラー原稿画像の縮小画像を生成し（ステップＳ２）、縮小画像内で上述の特定矩形エリアを検索し、発見した特定矩形エリア１４１に対応する、カラー原稿画像内の領域を、可視コードエリア１２１として検出する（ステップＳ３）。

次に、色置換処理部３３は、検出された可視コードエリア１２１のすべての画素の色を、所定色空間（ここではＲＧＢ空間）の所定範囲を分割して得られた複数のビンに分類して、可視コードエリアの色ヒストグラム（つまり、ローカル色ヒストグラム）を生成する（ステップＳ４）。

そして、色置換処理部３３は、ローカル色ヒストグラムにおける可視コードの汚れ画像１０２の色が含まれるビンに分類される画素の割合を特定する。なお、汚れ画像１０２の色が含まれるビンは、所定のビン（つまり、特定の色分布を含む１または複数のビン）として予め設定されてもよいし、可視コードの色が含まれるビン以外のビンとして選択されるようにしてもよい。

なお、可視コードエリア１２１内の大多数の画素の色は、可視コードの色または地色であるので、最も多くの画素の色が分類された２つのビンのうち、高濃度のビンが、可視コードの色が含まれるビンであり、低濃度のビンが、地色が含まれるビンであると判定される。

色置換処理部３３は、可視コードエリア１２１の画素に対する、汚れ画像１０２の色が含まれるビンに分類される画素の割合が所定閾値を超えるか否かを判定し、その割合が所定閾値を超える場合には、汚れ画像１０２の除去を実行すると判定し、そうではない場合には、汚れ画像１０２の除去を実行しないと判定する（ステップＳ５）。

汚れ画像１０２の除去を実行すると判定した場合、色置換処理部３３は、カラー原稿画像全域または可視コードエリアから、既知の方法で原稿の地色を特定し（ステップＳ６）、また、上述の汚れ画像１０２の色が含まれるビンに分類された色のうち、最大濃度を有する色（以下、最大濃度汚れ色という）を特定し（ステップＳ７）、最大濃度汚れ色および地色に基づいて、上述のようにして置換色範囲を特定する（ステップＳ８）。

そして、色置換処理部３３は、可視コードエリア内の画素の色のうち、置換色範囲内の色を、地色に置換する（ステップＳ９）。このようにすることで、汚れ画像に濃淡があっても良好に除去される。

このようにして汚れ画像が除去された後、地色除去部３４は、カラー原稿画像において地色を除去し、さらに、可視コードエリア１２１内の色を、黒色と白色の２色に２値化する（ステップＳ１０）。

一方、ステップＳ５において色置換処理部３３が汚れ画像の除去を行わないと判定した場合には、ただちに、地色除去部３４は、カラー原稿画像において地色を除去し、さらに、可視コードエリア１２１内の色を、黒色と白色の２色に２値化する（ステップＳ１０）。

このようにして、地色除去および２値化が実行された後、デコード部３５は、可視コードエリア１２１内の可視コードを抽出しデコードする。

以上のように、上記実施の形態によれば、可視コードエリア検索部３２は、原稿に対応するカラー原稿画像内で可視コードを含む可視コードエリアを検索する。色置換処理部３３は、（ａ）可視コードエリアにおいて所定の色空間における色ヒストグラムをローカル色ヒストグラムとして生成し、そのローカル色ヒストグラムにおける可視コードの汚れ画像の色が含まれるビンに分類される画素の割合に基づいて、汚れ画像の除去を実行するか否かを判定し、（ｂ）汚れ画像の除去を実行すると判定した場合、可視コードエリアで可視コードの汚れ画像の色を原稿の地色に置換する。

これにより、原稿画像内の可視コードおよび他のオブジェクトを除去せずに、可視コードの汚れ画像が適切に除去される。つまり、ローカル色ヒストグラムによって、汚れ画像の有無およびその色分布が、可視コードの色や地色とは区別して特定されるため、汚れ画像が選択的に除去される。また、一般的に可視コードに重畳してオブジェクトは配置されないが、仮に、有彩色オブジェクトが可視コードエリアに含まれていても、汚れ画像とは色分布が異なるため、そのような有彩色オブジェクトとは区別して汚れ画像が選択的に除去される。

なお、上述の実施の形態に対する様々な変更および修正については、当業者には明らかである。そのような変更および修正は、その主題の趣旨および範囲から離れることなく、かつ、意図された利点を弱めることなく行われてもよい。つまり、そのような変更および修正が請求の範囲に含まれることを意図している。

例えば、上記実施の形態において、可視コードエリア１２１における置換色範囲を、汚れ画像の最大濃度の色の輝度から地色の輝度までの輝度範囲としてもよい。

本発明は、例えば、複合機などの画像形成装置に適用可能である。

１４画像処理装置
３２可視コードエリア検索部
３３色置換処理部
３４地色除去部
３５デコード部

Claims

原稿に対応するカラー原稿画像内で可視コードを含む可視コードエリアを検索する可視コードエリア検索部と、
（ａ）前記可視コードエリアにおいて所定の色空間における色ヒストグラムをローカル色ヒストグラムとして生成し、前記ローカル色ヒストグラムにおける前記可視コードの汚れ画像の色が含まれるビンに分類される画素の割合に基づいて、前記汚れ画像の除去を実行するか否かを判定し、（ｂ）前記汚れ画像の除去を実行すると判定した場合、前記可視コードエリアで前記可視コードの汚れ画像の色を前記原稿の地色に置換する色置換処理部と、
を備えることを特徴とする画像処理装置。
前記色置換処理部は、（ａ）前記カラー原稿画像の全域において前記所定の色空間における色ヒストグラムを全域色ヒストグラムとして生成し、（ｂ）前記全域色ヒストグラムと前記ローカル色ヒストグラムとに基づいて、前記可視コードエリア外のオブジェクトの色を特定し、（ｃ）前記汚れ画像の除去を実行すると判定した場合、前記カラー原稿画像全域において、前記可視コードエリア外のオブジェクトの色を除外して、前記可視コードの汚れ画像の色を前記原稿の地色に置換することを特徴とする請求項１記載の画像処理装置。
前記色置換処理部は、前記可視コードの汚れ画像の色を前記原稿の地色に置換する際に、（ａ）前記汚れ画像における最大濃度の色を特定し、（ｂ）前記色空間において、前記最大濃度の色から前記原稿の地色までの直線区間から所定幅の領域を置換色範囲として特定し、（ｃ）前記置換色範囲に属する色を前記原稿の地色に置換することを特徴とする請求項１または請求項２記載の画像処理装置。
前記可視コードエリア検索部は、前記カラー原稿画像の縮小画像を生成し、前記縮小画像内で、所定濃度範囲の濃度かつ所定彩度範囲の彩度を有する矩形エリアを検出し、前記矩形エリアに対応する、前記カラー原稿画像内の領域を前記可視コードエリアとして検出することを特徴とする請求項１記載の画像処理装置。
前記カラー原稿画像に対して地色除去を実行するとともに、前記可視コードエリアに対して２値化処理を実行する地色除去部と、
前記地色除去および前記２値化処理の後に、前記可視コードエリアにおける可視コードをデコードするデコード部と、
をさらに備えることを特徴とする請求項１から請求項４のうちのいずれか１項記載の画像処理装置。