JP5993100B2 - 画像処理装置および特定図形検出方法 - Google Patents

Description

本発明は、画像処理装置および特定図形検出方法に関するものである。

近年、原稿画像内に存在するフルカラーのロゴマークを検出したいという要求が強くなっている。図形を含むロゴマークの場合、ＯＣＲ（Optical Character Recognition）技術では検出できないため、パターンマッチング技術を利用して検出される。パターンマッチング技術では、基準画像と、対象画像とのマッチングの度合いが算出される（例えば特許文献１参照）。

特開２００７−７９９８２号公報

しかしながら、原稿画像内に存在するロゴマークは、サイズ、回転角などについて様々な状態となっており、そのようなロゴマーク（特にフルカラーのログマーク）をテンプレートマッチングで高速に検出することは困難である。

本発明は、上記の問題に鑑みてなされたものであり、原稿画像内のロゴマークをテンプレートマッチングで高速に検出する画像処理装置および特定図形検出方法を得ることを目的とする。

本発明に係る画像処理装置は、テンプレートマッチングの候補画像に対して、輝度および彩度の少なくとも一方を有するか否かに基づき、２値化処理を行う２値化処理部と、２値化後の前記候補画像に対してラベリング処理を行い、２値化後の前記候補画像における画素ブロックを抽出するラベリング処理部と、前記画素ブロックの最外周の位置座標をサンプリングし、前記位置座標として、前記画素ブロックの重心位置を基準とした距離および所定方向からの角度を特定する外形特定処理を行う外形特定部と、テンプレートマッチングの基準画像について前記２値化処理、前記ラベリング処理、および前記外形特定処理を行うことで得られる基準外形データを記憶する記憶装置と、前記基準外形データに基づいて、前記候補画像についての前記位置座標の前記距離および前記角度と、前記基準画像についての前記位置座標の前記距離および前記角度との相関を特定し、特定した前記相関の度合いに基づいて前記候補画像をテンプレートマッチングの候補から除外する相関特定部と、前記基準画像と前記相関特定部により除外されなかった前記候補画像とのテンプレートマッチングを行い、前記相関特定部により除外された前記候補画像についてテンプレートマッチングを行わないテンプレートマッチング部とを備える。

本発明に係る特定図形検出方法は、テンプレートマッチングの候補画像に対して、輝度および彩度の少なくとも一方を有するか否かに基づき、２値化処理を行うステップと、２値化後の前記候補画像に対してラベリング処理を行い、２値化後の前記候補画像における画素ブロックを抽出するステップと、前記画素ブロックの最外周の位置座標をサンプリングし、前記位置座標として、前記画素ブロックの重心位置を基準とした距離および所定方向からの角度を特定する外形特定処理を行うステップと、テンプレートマッチングの基準画像について前記２値化処理、前記ラベリング処理、および前記外形特定処理を行うことで得られる基準外形データに基づき、前記候補画像についての前記位置座標の前記距離および前記角度と、前記基準画像についての前記位置座標の前記距離および前記角度との相関を特定し、特定した前記相関の度合いに基づいて前記候補画像をテンプレートマッチングの候補から除外するステップと、前記基準画像と除外されなかった前記候補画像とのテンプレートマッチングを行い、除外された前記候補画像についてテンプレートマッチングを行わないステップとを備える。

本発明によれば、原稿画像内のロゴマークをテンプレートマッチングで高速に検出することができる。

図１は、本発明の実施の形態に係る画像処理装置の構成を示すブロック図である。 図２Ａは、図１に示す画像処理装置における外形特定処理について説明する図である（１／２）。 図２Ｂは、図１に示す画像処理装置における外形特定処理について説明する図である（２／２）。

以下、図に基づいて本発明の実施の形態を説明する。

図１は、本発明の実施の形態に係る画像処理装置の構成を示すブロック図である。
図１に示す画像処理装置は、演算処理装置１および記憶装置２を備える。演算処理装置１は、例えばコンピューターなどを内蔵し、各種処理部として機能する。記憶装置２は、不揮発性の記憶装置であって、各種データを記憶している。

図１における演算処理装置１は、２値化処理部１１、ラベリング処理部１２、構造解析部１３、外形特定部１４、相関特定部１５、およびテンプレートマッチング部１６として機能する。また、記憶装置２には、基準画像データ２１および基準外形データ２２が記憶されている。

２値化処理部１１は、テンプレートマッチングの基準画像および候補画像に対して、輝度および彩度の少なくとも一方を有するか否かに基づき、２値化処理を行う。具体的には、２値化処理部１１は、各画素について、輝度および彩度の少なくとも一方を有する場合には、２値化後の値を１とし、輝度および彩度のいずれも有さない場合には、２値化後の値を０とする。

なお、テンプレートマッチングは、基準画像と候補画像との間で行われ、基準画像に合致する候補画像が検出される。ここでは、基準画像は、図形を含むロゴマーク（企業のシンボルマークなど）であり、候補画像は、原稿画像内から文字、罫線などを除去して抽出されたり、基準画像の構成色またはその構成色から所定範囲内の類似色を含む画像部分が候補画像としてそれぞれ抽出される。

ラベリング処理部１２は、２値化処理部１１による２値化後の基準画像および候補画像に対してラベリング処理を行い、２値化後の基準画像および候補画像における１または複数の画素ブロック（同一ラベルを付された画素の集合）を抽出する。

このとき、ラベリング処理部１２は、鮮鋭化処理を行い画像内のエッジを抽出し、画素ブロックを特定する。なお、ラベリング処理部１２は、２値化後の基準画像および候補画像に対して平滑化処理を行った後に鮮鋭化処理を行い、ノイズやスクリーンを除去するようにしてもよい。

構造解析部１３は、ラベリング処理部１２を使用して、２値化後の基準画像に対して膨張処理または収縮処理を行うと膨張処理または収縮処理の前後で画素ブロックの数が変動するか否かを判定する。

２値化後の基準画像に対して膨張処理または収縮処理を行うと膨張処理または収縮処理の前後における画素ブロックの数が変動すると構造解析部１３により判定された場合、ラベリング処理部１２は、２値化後の候補画像に対して膨張処理を行った後に、ラベリング処理を行う。つまり、近接する２つの画素ブロックが膨張処理によって結合する場合、その２つの画素ブロックは１つの画素ブロックとして認識される。

図２Ａおよび図２Ｂは、図１に示す画像処理装置における外形特定処理について説明する図である。外形特定部１４は、基準画像および候補画像における画素ブロックの最外周の位置座標を所定の角度（例えば１度）ごとにサンプリングし、その位置座標（ｒ，θ）として、画素ブロックの重心位置を基準とした距離ｒおよび所定方向からの角度θを特定する外形特定処理を行う。

また、基準画像データ２１は、基準画像のイメージデータであり、基準外形データ２２は、テンプレートマッチングの基準画像について２値化処理、ラベリング処理、および外形特定処理を行うことで得られるデータである。

相関特定部１５は、基準外形データ２２に基づいて、候補画像についての位置座標の距離および角度（ｒ，θ）と、基準画像についての位置座標の距離および角度（ｒ，θ）との相関を特定し、特定した相関の度合いに基づいて候補画像をテンプレートマッチングの候補から除外する。

このとき、０〜３５９度の範囲で特性をシフトさせて両者の相関の度合いが特定される。このようにすることで、候補画像が、基準画像を回転させたものである場合、そのような候補画像は除外されない。

また、候補画像が、基準画像をサイズ変更したものである場合、候補画像の（ｒ，θ）特性と基準画像の（ｒ，θ）特性とは相似となるため、そのような候補画像は除外されない。

ここでは、基準画像は、図形を含むロゴマークであり、そのロゴマークがｎ回（ｎ＞１）対称の回転対称の図形である場合、相関特定部１５は、候補画像についての位置座標の距離および角度の特性（つまり、最外周に沿って位置座標を動かした際の角度θに対する距離ｒの特性）、並びに基準画像についての位置座標の距離および角度の特性のうちの一方の他方に対する相対位置を、上述のｎに応じた範囲だけ角度の方向にシフトさせて相関を特定する。

つまり、ロゴマークが回転対称の図形ではない場合には、０〜３５９度の範囲で特性をシフトさせて両者の相関の度合いが特定されるが、ロゴマークがｎ回対称の図形である場合には、０〜（３６０／ｎ−１）度の範囲で特性をシフトさせることで両者の相関の度合いが特定される。

また、相関特定部１５は、基準画像のアスペクト比および候補画像のアスペクト比を比較して、候補画像をテンプレートマッチングの候補から除外するようにしてもよい。例えば、両者のアスペクト比の差が所定の閾値以上となった場合に、候補画像をテンプレートマッチングの候補から除外する。

テンプレートマッチング部１６は、基準画像データ２１および候補画像の画像データに基づいて、基準画像と相関特定部１５により除外されなかった候補画像とのテンプレートマッチングを行い、相関特定部１５により除外された候補画像についてテンプレートマッチングを行わない。なお、テンプレートマッチングでは、基準画像データ２１に基づく基準画像の画素値と候補画像の画素値とが１画素ごとに比較され、その比較結果に基づいて基準画像と候補画像とが一致するか否かが判定される。

なお、候補画像が、基準画像をサイズ変更したものである場合、相関特定部１５は、候補画像の（ｒ，θ）特性と基準画像の（ｒ，θ）特性とから、候補画像のサイズと基準画像のサイズとの比率（変倍率）を算出する。テンプレートマッチング部１６は、算出された変倍率に基づき、候補画像のサイズと基準画像のサイズとが同じになるように候補画像または基準画像を変倍して、テンプレートマッチングを行う。

次に、上記画像処理装置の動作について説明する。

まず、ユーザーによって所望の基準画像の基準画像データ２１を用意され記憶装置に記憶される。基準画像データ２１は、例えばＣＡＤ（Computer Aided Design）で生成してもよいし、基準画像が印刷された原稿をスキャナーに読み取らせて生成するようにしてもよい。次に、２値化処理部１１、ラベリング処理部１２、構造解析部１３、および外形特定部１４は、その基準画像データ２１から基準外形データ２２を生成し、記憶装置２に記憶する。

その後、例えばスキャナーで読み取られた原稿画像からテンプレートマッチングの候補画像が得られると、２値化処理部１１は、その候補画像に対して２値化処理を行う。

次に、ラベリング処理部１２は、２値化処理部１１による２値化後の候補画像に対してラベリング処理を行い、１または複数の画素ブロックを抽出する。

さらに、このとき、構造解析部１３は、２値化後の基準画像に対して膨張処理（各画素ブロックの外周を拡げる処理）または収縮処理（各画素ブロックの外周を縮める処理）を行い、ラベリング処理部１２を使用して、２値化後の基準画像に対して膨張処理または収縮処理を行うと膨張処理または収縮処理の前後における画素ブロックの数が変動するか否かを判定する。例えば、図２Ａに示すような連結箇所が、膨張処理で繋がったり、収縮処理で離れたりする。

２値化後の基準画像に対する膨張処理または収縮処理の前後で画素ブロックの数が変動すると構造解析部１３により判定された場合、ラベリング処理部１２は、２値化後の候補画像に対して膨張処理を行った後に、ラベリング処理を行う。

これにより、仮に図２Ａにおける連結箇所が離れた状態で複数の画素ブロックが検出されていても図２Ｂに示すような１つの画素ブロックに対してラベリング処理が行われる。

そして、外形特定部１４は、候補画像の外形データ（上述の最外周の位置座標（ｒ，θ）のサンプリングデータ）を得るために、外形特定処理を行う。

そして、相関特定部１５は、基準外形データ２２および候補画像の外形データに基づいて、両者の位置座標（ｒ，θ）の相関係数を特定し、特定した相関係数が所定の閾値未満の候補画像をテンプレートマッチングの候補から除外する。

テンプレートマッチング部１６は、基準画像データ２１および候補画像の画像データに基づいて、基準画像と相関特定部１５により除外されなかった候補画像とのテンプレートマッチングを行い、相関特定部１５により除外された候補画像についてテンプレートマッチングを行わない。

以上のように、上記実施の形態によれば、２値化処理部１１は、テンプレートマッチングの候補画像に対して２値化処理を行い、ラベリング処理部１２は、２値化後の候補画像に対してラベリング処理を行い、２値化後の候補画像における画素ブロックを抽出し、外形特定部１４は、画素ブロックの最外周の位置座標をサンプリングし、その位置座標として、画素ブロックの重心位置を基準とした距離および所定方向からの角度を特定する外形特定処理を行う。相関特定部１５は、基準外形データに基づいて、基準画像および候補画像についての位置座標の距離および角度の相関を特定し、特定した相関の度合いに基づいて候補画像をテンプレートマッチングの候補から除外する。そして、テンプレートマッチング部１６は、相関特定部１５により除外されなかった候補画像についてのみテンプレートマッチングを行う。

これにより、テンプレートマッチングの前処理で、外形の全く異なる候補画像が除外されるため、テンプレートマッチングすべき候補画像が減り、結果として、原稿画像内のロゴマークをテンプレートマッチングで高速に検出することができる。

なお、上述の実施の形態は、例示および説明を目的として示したものであり、これがすべてではなく、発明をこの形態に限定するものではない。

例えば、上記実施の形態では、構造解析部１３を使用しているが、構造解析部１３を使用せずにラベリング処理後にただちに外形特定処理を行うようにしてもよい。

また、上述の実施の形態に対する様々な変更および修正については、当業者には明らかである。そのような変更および修正は、その主題の趣旨および範囲から離れることなく、かつ、意図された利点を弱めることなく行われてもよい。つまり、そのような変更および修正が追加請求項に含まれることを意図している。

本発明は、例えば、原稿画像内の、図形を含むロゴマークの検出に適用可能である。

Claims (6)

1. テンプレートマッチングの候補画像に対して、輝度および彩度の少なくとも一方を有するか否かに基づき、２値化処理を行う２値化処理部と、
   ２値化後の前記候補画像に対してラベリング処理を行い、２値化後の前記候補画像における画素ブロックを抽出するラベリング処理部と、
   前記画素ブロックの最外周の位置座標をサンプリングし、前記位置座標として、前記画素ブロックの重心位置を基準とした距離および所定方向からの角度を特定する外形特定処理を行う外形特定部と、
   テンプレートマッチングの基準画像について前記２値化処理、前記ラベリング処理、および前記外形特定処理を行うことで得られる基準外形データを記憶する記憶装置と、
   前記基準外形データに基づいて、前記候補画像についての前記位置座標の前記距離および前記角度と、前記基準画像についての前記位置座標の前記距離および前記角度との相関を特定し、特定した前記相関の度合いに基づいて前記候補画像をテンプレートマッチングの候補から除外する相関特定部と、
   前記基準画像と前記相関特定部により除外されなかった前記候補画像とのテンプレートマッチングを行い、前記相関特定部により除外された前記候補画像についてテンプレートマッチングを行わないテンプレートマッチング部と、
   を備えることを特徴とする画像処理装置。
2. ２値化後の前記基準画像に対して膨張処理または収縮処理を行うと前記膨張処理または前記収縮処理の前後で前記画素ブロックの数が変動する場合、前記ラベリング処理部は、２値化後の前記候補画像に対して前記膨張処理を行った後に、前記ラベリング処理を行うことを特徴とする請求項１記載の画像処理装置。
3. 前記基準画像は、図形を含むロゴマークであって、
   前記相関特定部は、前記ロゴマークがｎ回対称の回転対称の図形である場合、前記候補画像についての前記位置座標の前記距離および前記角度の特性、並びに前記基準画像についての前記位置座標の前記距離および前記角度の特性のうちの一方の他方に対する相対位置を、前記ｎに応じた範囲だけ前記角度の方向にシフトさせて前記相関を特定すること、
   を特徴とする請求項１記載の画像処理装置。
4. 前記相関特定部は、前記基準画像のアスペクト比および前記候補画像のアスペクト比を比較して、前記候補画像をテンプレートマッチングの候補から除外することを特徴とする請求項１記載の画像処理装置。
5. 前記候補画像が、前記基準画像をサイズ変更したものである場合、前記相関特定部は、前記候補画像の（ｒ，θ）特性と前記基準画像の（ｒ，θ）特性とから、前記候補画像のサイズと前記基準画像のサイズとの比率を変倍率として算出し、前記テンプレートマッチング部は、算出された前記変倍率に基づき、前記候補画像のサイズと前記基準画像のサイズとが同じになるように前記候補画像または前記基準画像を変倍して、前記テンプレートマッチングを行うことを特徴とする請求項１記載の画像処理装置。
6. テンプレートマッチングの候補画像に対して、輝度および彩度の少なくとも一方を有するか否かに基づき、２値化処理を行うステップと、
   ２値化後の前記候補画像に対してラベリング処理を行い、２値化後の前記候補画像における画素ブロックを抽出するステップと、
   前記画素ブロックの最外周の位置座標をサンプリングし、前記位置座標として、前記画素ブロックの重心位置を基準とした距離および所定方向からの角度を特定する外形特定処理を行うステップと、
   テンプレートマッチングの基準画像について前記２値化処理、前記ラベリング処理、および前記外形特定処理を行うことで得られる基準外形データに基づき、前記候補画像についての前記位置座標の前記距離および前記角度と、前記基準画像についての前記位置座標の前記距離および前記角度との相関を特定し、特定した前記相関の度合いに基づいて前記候補画像をテンプレートマッチングの候補から除外するステップと、
   前記基準画像と除外されなかった前記候補画像とのテンプレートマッチングを行い、除外された前記候補画像についてテンプレートマッチングを行わないステップと、
   を備えることを特徴とする特定図形検出方法。

Images