JP4522468B2 - 画像判別装置、画像検索装置、画像検索プログラムおよび記録媒体 - Google Patents

Description

本発明は、入力された画像データが文書画像データであるか非文書画像データであるかを判別する画像判別装置、画像検索装置、画像検索プログラムおよび記録媒体に関する。

複写機、ファクシミリ装置、プリンターおよびこれらの機能を複数併せ持つ複合機などの画像形成装置では、入力された原稿画像などの画像データを大容量の記憶装置に記憶しておき、１度入力され、登録された画像データであればいつでも読み出して再出力することができる機能が備えられているものがある。

再出力できる機能は便利ではあるが、登録されるデータ量が多くなると再出力したいデータを探すことが困難になるため、複数の画像データの中から所望の画像データを検索する画像検索技術が重要となる。

画像データを検索する際には、登録された画像データと、入力された画像データを比較して類似性を算出する必要があるが、登録された画像データには、文書画像データと、非文書画像データ（写真や図形、イラスト画像など）とが混在している。

従来の技術においては、たとえば、特許文献１に記載の画像検索装置では、文書画像データと、非文書画像データの２種類の画像データに対して同じアルゴリズムを使用して特徴量を算出しており、文書画像データと、非文書画像データとを判別するような処理ステップはない。

一方で、画像データの判別に応用される技術として領域分離技術がある。領域分離技術は、たとえば、１つの画像データを文字領域、写真領域、網点領域、下地領域などの複数の領域に分離し、領域毎に適切な処理（フィルタ処理、中間調処理）を施すために予め行われる処理ステップである。

このような領域分離技術は、特許文献２〜４などに開示される。
また、特許文献５記載の領域属性識別装置は、黒ランと黒ランとの連結箇所を検出し、連結が終了していると黒画素群の外接矩形を検出する。この外接矩形の高さまたは幅を度数とするヒストグラムを作成し、微小矩形の出現度数が閾値以上であると写真領域とみなし、ヒストグラムの標準偏差からばらつきが小さいと文字領域とみなし、ばらつきが大きいと図形領域とみなす。

従来の技術では、文書画像データと、非文書画像データの２種類の画像データに対して同じアルゴリズムを使用して特徴量を算出していることから、検索精度を十分に向上させることができない。検索に当たって入力された画像データをすべての登録画像データと比較する必要があるので、登録画像データが多いほど検索処理に要する時間がかかってしまう。

また、文書画像データと、非文書画像データのいずれかに判別する判別精度については、従来技術では十分な精度は得られていない。

中国特許第２００５１０００５３３４．９号明細書 米国特許第５４６５３０４号明細書 米国特許第７０８５４２０号明細書 中国特許第２００５１００６３７６８．４号明細書 特開平４−３０９１９１号公報

本発明の目的は、判別精度を向上させることが可能な画像判別装置を提供することであり、他の目的は、検索処理に要する時間を短縮するとともに検索精度を向上させることが可能な画像検索装置、画像検索プログラムおよび記録媒体を提供することである。

本発明は、入力された画像データが、文書画像データであるか非文書画像データであるかを判別する画像判別装置であって、
入力された画像データを２値化して２値画像データに変換し、画像データを構成する全画素数のうち、黒画素数の割合である全体黒画素割合を算出する２値化処理部と、
前記２値画像データ中に含まれる、同じ色の画素が連結して集合した画素群である結合要素を検出し、この結合要素に外接する外接矩形を検出し、階級を外接矩形の大きさとし、度数を結合要素数とするヒストグラムを生成する特徴抽出部と、
生成されたヒストグラムに関連する情報と、前記全体黒画素割合とに基づいて、入力された画像データが、文書画像データであるか非文書画像データであるかを判別する判別部とを備え、
前記判別部は、外接矩形の大きさが最も小さい階級の結合要素数をｒ１とし、すべての結合要素数のうち前記結合要素数ｒ１の割合をｒ２とし、前記全体黒画素割合をｒ０としたとき、判別特徴量ＦをＦ＝ｒ１×ｒ２／ｒ０として算出し、判別特徴量Ｆと２つの閾値ＴＨ１およびＴＨ２（＞ＴＨ１）とを比較して閾値処理を行い、判別特徴量Ｆが閾値ＴＨ２より大きければ、入力画像データが文書画像データであると判断し、判別特徴量Ｆが閾値ＴＨ１より小さければ、入力画像データが、非文書画像データであると判断することを特徴とする画像判別装置である。

また本発明は、前記特徴抽出部は、外接矩形の大きさと、外接矩形内の全画素数のうち結合要素を構成する画素数の割合である矩形黒画素割合とに基づいて、すべての結合要素から外接矩形の大きさが所定の大きさよりも小さい結合要素を除去し、さらに前記矩形黒画素割合が所定の範囲外となる結合要素を除去し、残余の結合要素を用いてヒストグラムを生成することを特徴とする。

また本発明は、予め登録された画像データの中から、入力された画像データに類似した画像データを検索する画像検索装置であって、
前記画像判別装置と、
前記画像判別装置の判別結果に基づいて、入力された画像データが文書画像データであれば、文書画像データ用の特徴データを生成し、非文書画像データであれば、非文書画像データ用の特徴データを生成する特徴データ生成部と、
予め登録された画像データの特徴データと、前記特徴データ生成部で生成された特徴データとに基づいて、予め登録された画像データの中から、入力された画像データに類似した画像データを検索する検索部と、
検索部による検索結果に基づいて、予め登録された画像データのうち入力された画像データに類似した画像データを表示する表示部とを備えることを特徴とする画像検索装置である。

また本発明は、予め登録された画像データは、文書画像データと非文書画像データとに分類されて登録され、
前記検索部は、前記画像判別装置の判別結果に基づいて、入力された画像データが文書画像データであれば、文書画像データとして登録された画像データを検索対象とし、入力された画像データが非文書画像データであれば、非文書画像データとして登録された画像データを検索対象とすることを特徴とする。

また本発明は、コンピュータを上記の画像検索装置として機能させるための画像検索プログラムである。

また本発明は、コンピュータを上記の画像検索装置として機能させるための画像検索プログラムを記録したコンピュータ読み取り可能な記録媒体である。

本発明によれば、まず２値化処理部によって、入力された画像データを２値化し、全体黒画素割合を算出する。

特徴抽出部では、前記２値画像データ中に含まれる、同じ色の画素が連結して集合した画素群である結合要素を検出し、この結合要素に外接する外接矩形を検出する。階級を外接矩形の大きさとし、度数を結合要素数とするヒストグラムを生成する。

前記判別部は、外接矩形の大きさが最も小さい階級の結合要素数をｒ１とし、すべての結合要素数のうち前記結合要素数ｒ１の割合をｒ２とし、前記全体黒画素割合をｒ０としたとき、判別特徴量ＦをＦ＝ｒ１×ｒ２／ｒ０として算出し、判別特徴量Ｆと２つの閾値ＴＨ１およびＴＨ２（＞ＴＨ１）とを比較して閾値処理を行い、判別特徴量Ｆが閾値ＴＨ２より大きければ、入力画像データが文書画像データであると判断し、判別特徴量Ｆが閾値ＴＨ１より小さければ、入力画像データが、非文書画像データであると判断する。
文書画像データのヒストグラムでは、外接矩形の大きさが最も小さい階級の結合要素数に顕著なピークが現れるので、ｒ１およびｒ２が比較的大きく、全体的な黒画素は少ないので、ｒ０は小さい。したがって、Ｆは大きな値となる傾向がある。逆に、非文書画像データのヒストグラムでは、各階級の結合要素数が平坦で、顕著なピークが見られないので、ｒ１およびｒ２が比較的小さく、全体的な黒画素は多いので、ｒ０は大きい。したがって、Ｆは小さな値となる傾向がある。

ヒストグラムに関連する情報と、前記全体黒画素割合とに基づくことで、判別処理に要する時間の短縮、および判別精度を向上させることができ、判別特徴量Ｆと２つの閾値ＴＨ１およびＴＨ２（＞ＴＨ１）とを用いて、上記のような閾値処理による判別を行うことで、判別精度をより向上させることができる。

また本発明によれば、前記特徴抽出部は、第１段階として、外接矩形の大きさが所定の大きさよりも小さい結合要素を除去し、第２段階として前記矩形黒画素割合が所定の範囲外となる結合要素を除去する。このような不要の結合要素が除去された残余の結合要素を用いて、ヒストグラムを作成する。

外接矩形の大きさが極端に小さい場合、点であったり罫線であることが多く、文書画像データであるか非文書画像データであるかを判別するにあたって、判別精度に与える影響が小さいので、これを予め除去することでヒストグラム生成における演算量を抑えることができる。

矩形黒画素割合が極端に大きいものは、たとえばインク汚れなどがあり、単なる汚れなどを予め除去できていないと、汚れ部分が文字の外接矩形に類似していれば、文字でないのにもかかわらず文書画像データへの判別に寄与され、汚れ部分が図形の外接矩形に類似していれば、図形でないのにもかかわらず非文書画像データへの判別に寄与され、結果的に誤判別を引き起こし、判別精度を低下させる原因となる。

このようにして結合要素の除去を行うことで、ヒストグラム処理における演算量を抑えるとともに、判別精度を向上させることができる。

また本発明によれば、特徴データ生成部が、上記の画像判別装置の判別結果に基づいて、入力された画像データが文書画像データであれば、文書画像データ用の特徴データを生成し、非文書画像データであれば、非文書画像データ用の特徴データを生成する。検索部が、予め登録された画像データの特徴データと、前記特徴データ生成部で生成された特徴データとに基づいて、入力された画像データに類似した画像データを検索すると、表示部が、予め登録された画像データのうち入力された画像データに類似した画像データを表示する。

入力された画像データが、文書画像データであるか非文書画像データであるかを、検索処理よりも前に判別することで、好適な特徴量を算出することができ、検索精度を向上させることができる。

また本発明によれば、入力された画像データが文書画像データであれば、文書画像データとして登録された画像データを検索対象とし、入力された画像データが非文書画像データであれば、非文書画像データとして登録された画像データを検索対象とする。

これにより、検索部において特徴量を比較する対象の画像データ数を限定することができるので、検索処理に要する時間を短縮することができる。

また本発明によれば、画像検索プログラム、画像検索プログラムを記録したコンピュータ読み取り可能な記録媒体として提供することができる。

以下図面を参考にして本発明の好適な実施形態を詳細に説明する。
図１は、画像検索装置１０の機械的構成を示すブロック図である。画像検索装置１０は、プロセッサ４と、プロセッサ４が実際の処理を行うためのソフトウェアなどを格納する外部記憶装置５とを含む。

プロセッサ４は、入力された画像データ（以下では「入力画像データ」という）が、文書画像データであるか非文書画像データであるかを判別する判別処理を行い、さらにその判別結果に基づいて入力画像データと、予め登録されている複数の画像データ（以下では「登録画像データ」という）との照合を行い、入力画像データに類似の登録画像データを検索して表示する画像検索処理などを実際に行う。プロセッサ４における実際の処理は、外部記憶装置５に格納されるソフトウェアによって実行される。プロセッサ４は、たとえば通常のコンピュータ本体などで構成される。

外部記憶装置５は、たとえば高速アクセスが可能なハードディスクなどで構成することができる。外部記憶装置５は、登録画像データを大量に保持するために光ディスクなどの大容量デバイスを用いるような構成であっても構わない。また、判別処理中および検索処理中に各処理ステップの段階で作成された一時的なデータなどは、外部記憶装置５に記憶してもよいし、プロセッサ４に内蔵される半導体メモリに記憶してもよい。

画像検索装置１０には、キーボード１が接続されるとともに、表示装置３が接続される。キーボード１は、各種ソフトウェアを実行するための指示の入力などに用いられる。

表示装置３は、入力画像データおよび登録画像データに基づく画像の表示、検索結果の表示などを行う。

画像検索装置１０には、イメージスキャナ２がさらに接続される。イメージスキャナ２は、画像が印刷された原稿を読み取り、入力画像データを取り込むために用いられる。

入力画像データの取得は、イメージスキャナ２からの入力の他に通信Ｉ／Ｆ（インターフェイス）６を介して、ネットワーク上の他の装置からデータ通信により取得することもできる。通信Ｉ／Ｆ６は、ＬＡＮ（Local Area Network）に接続するためのＬＡＮカードや、公衆交換電話網に接続してデータ通信を行うためのモデムカードなどで実現される。

図２は、画像検索装置１０の機能的構成を示すブロック図である。
画像検索装置１０は、入力部１１、画像判別部１２、検索部１３、表示部１４および登録画像記憶部１５を含んで構成される。

入力部１１は、入力画像データ、登録画像データを入力する。図１に示したハードウェア構成のうち、イメージスキャナ２、通信Ｉ／Ｆ６などが機能的に入力部１１に相当する。登録画像データは、入力画像データが入力されるより前に予め入力されていた画像データであり、登録画像記憶部１５に記憶されている。

図３は、画像判別部１２の機能的構成を示すブロック図である。
画像判別部１２は、前処理部１２０、特徴抽出部１２１、判別部１２２を含んで構成される。

画像判別部１２は、入力部１１によって入力された画像データが、文書画像データであるか非文書画像データであるかを判別し、その判別結果を後段の検索部１３に出力する。検索部１３では、入力画像データが、文書画像データか非文書画像データかによって、検索処理に必要な特徴量を変更し、画像データに好適な特徴量を算出する。

図４は、画像判別部１２による判別処理を示すフローチャートである。ステップＡ１では、前処理部１２０が、入力された画像データに対する前処理として２値化処理を施す。ステップＡ２では、２値化された画像データに基づいて、特徴抽出部１２１が、結合画素の外接矩形の検出および外接矩形の統計処理（ヒストグラム作成）を行う。ステップＡ３では、判別部１２２が、統計処理結果に基づいて、入力画像データが文書画像データであるか非文書画像データであるかを判別し、ステップＡ４で、判別結果を検索部１３に出力する。

以下では、各ステップについて詳細に説明する。
前処理部１２０によるステップＡ１の前処理は、たとえば図５のフローチャートに示される。

画像データが入力されると、ステップＢ１で、入力された画像データがカラー画像データかどうかを判断する。カラー画像データであれば、ステップＢ２に進み、明度成分に基づくグレイ化を行い濃淡画像データに変換する。カラー画像でなければ、ステップＢ３に進み、濃淡画像データであるかどうかを判断する。濃淡画像データであれば、ステップＢ４に進み、予め定める閾値を用いて２値化し、濃淡画像データを２値画像データに変換する。濃淡画像データでなければ、すなわち２値画像データであるので、処理を終了する。

２値画像データは、画像データを構成する各画素の画素値を０か１（白画素か黒画素）のいずれかとする、いわゆる白黒画像データであり、濃淡画像データの各画素の濃淡度（濃度）を閾値処理して、全画素を黒画素と白画素とに分類する。

また、ステップＢ４では、判別対象となる画像データを構成する全画素数のうち、黒画素数の割合である全体黒画素割合を算出する。

特徴抽出部１２１によるステップＡ２の特徴抽出処理は、たとえば図６のフローチャートに示される。

前処理部１２０によって２値化処理された２値画像データが入力されると、ステップＣ１では、２値画像データ中のすべての結合要素を検出する。

結合要素とは、連結した同じ色の画素が集合した画素群である。黒画素の結合要素を検出するか、白画素の結合要素を検出するかは、入力された画像データｎ下地が黒画素であるか白画素であるかに依存する。一般的には下地が白画素である場合が多く、文字画像や図形画像が黒画素で描画されているので、本実施形態では、黒画素の結合要素を検出するとして説明する。下地が黒画素の場合は、文字画像や図形画像が白画素で描画される、白抜き文字や白抜き図形であり、この場合は、白画素の結合要素を検出することになる。

なお、下地が黒画素であるか白画素であるかは、公知の下地判別処理で判別することができ、たとえば、上記の全体黒画素割合が所定の割合よりも小さいと下地が白画素と判別し、所定の割合よりも大きいと下地が黒画素と判別する。

結合要素の検出は、公知の検出方法で検出することができる。たとえば、１ラインについて、そのライン中で互いに隣接する黒画素の連続部分（黒ラン）を検出し、黒ランのランレングスと、黒ランの両端の黒画素の座標とを、ラインごとに記憶しておく。座標は、たとえば、ラインに平行な方向をｘ軸とし、ラインに直交する方向をｙ軸として予め決定される。

１つの注目ラインをｙ方向に挟む上下ラインの黒ランについて、その両端の黒
画素のｘ座標が、注目ラインの各黒ランにおける両端の黒画素座標のｘ座標の範囲内にあれば注目ラインの当該黒ランと、ｘ座標が範囲内となる黒画素を端部画素とする黒ランとはｙ方向に連結されているものとみなすことができる。

このようにして、注目ラインを順次ずらしながらすべての画像データに対して、ｘ方向の連結部分とｙ方向の連結部分を検出し、黒画素の結合要素を検出する。

黒画素の結合要素を検出すると、検出したすべての結合要素に外接する外接矩形を生成する。外接矩形は、ｘ方向に平行な辺とｙ方向に平行な辺とで構成される矩形であって、ｘ方向の辺の長さを矩形幅とし、ｙ方向の辺の長さを矩形高さとする。

外接矩形の生成は、公知の生成方法で生成することができる。たとえば、結合要素を検出した際に、各黒ランの両端の黒画素の座標は既に検出されているので、すべての黒ランを対象として、ｘ座標の最小値と最大値とを抽出し、最大値と最小値との差が矩形幅（画素数）として算出する。また、結合要素を構成するすべての黒ランを対象として、ｙ座標の最小値と最大値とを抽出し、最大値と最小値との差が矩形高さ（画素数）として算出する。

本発明ではさらに、すべての結合要素について、外接矩形内の画素のうち黒画素が占める割合である矩形黒画素割合を算出する。上記のように、外接矩形のサイズ情報である矩形幅と矩形高さとが算出されているので、これらを用いて外接矩形内の全画素数を算出し、結合要素を構成するすべての黒ランのランレングスの総和から黒画素数を算出する。

したがって、矩形黒画素割合は、（結合要素を構成する黒画素数）／（外接矩形内の全画素数）の算出式で算出できる。

以上のようにして、ステップＣ１では、２値画像データ中のすべての結合要素に対し、結合要素を構成する黒画素の位置（座標）、外接矩形の位置（座標）、外接矩形の矩形幅、矩形高さおよび矩形黒画素割合を、各結合要素に関連付けて所定の記憶領域に記憶する。

次にステップＣ２では、統計処理を行う前に結合要素の選別を行う。ここでの選別は、統計処理に使用しない結合要素を除去することを目的とする。ステップＣ２における選別、すなわち結合要素の除去は、２つの段階を経て行われる。

第１段階目の選別は、外接矩形のサイズに基づく選別である。
外接矩形の矩形幅および矩形高さに対して閾値（たとえば０．４）を設定しておき、閾値と矩形幅および矩形高さとを比較し、矩形幅および矩形高さのいずれかが閾値よりも小さい場合は、その外接矩形の結合要素を除去する。

矩形幅または矩形高さが極端に小さいものは、点であったり罫線であることが多く、文書画像データであるか非文書画像データであるかを判別するにあたって、判別精度に与える影響が小さいので、これを予め除去することで統計処理における演算量を抑えることができる。

第２段階目の選別は、矩形黒画素割合に基づく選別である。
矩形黒画素割合に対して所定の範囲（たとえば０．０５〜０．８）を設定しておき、所定範囲と矩形黒画素割合とを比較し、矩形黒画素割合が所定範囲外であった場合は、その外接矩形の結合要素を除去する。

矩形黒画素割合が極端に小さいものは、たとえば斜線の罫線などがあり、判別精度に与える影響が小さいので、これを予め除去することで後段の統計処理における演算量を抑えることができる。

矩形黒画素割合が極端に大きいものは、たとえばインク汚れなどがあり、単なる汚れなどを予め除去できていないと、汚れ部分が文字の外接矩形に類似していれば、文字でないのにもかかわらず文書画像データへの判別に寄与され、汚れ部分が図形の外接矩形に類似していれば、図形でないのにもかかわらず非文書画像データへの判別に寄与され、結果的に誤判別を引き起こし、判別精度を低下させる原因となる。

矩形黒画素割合に基づいて選別を行うことで、後段の統計処理における演算量を抑えるとともに、判別精度を向上させることができる。

以上のようにして、ステップＣ２では、２段階の選別を行い、統計処理前に予め不要な結合要素を削除し、選別後の残余の結合要素のみを統計処理に使用させる。

ステップＣ３では、選別後の結合要素を用いて統計処理を行う。
統計処理は、具体的にはヒストグラムの生成である。すべての結合要素は、矩形幅および矩形高さのサイズ情報を有しているので、このサイズ情報を用いてヒストグラムを生成する。

ここで生成するヒストグラムは、階級を外接矩形のサイズ（矩形幅または矩形高さ）とし、度数を階級に含まれる結合要素数として生成する。

生成するヒストグラムの階級は、画像データ全体の幅Ｗまたは高さＨによって決まる。階級の数をＮとすると１×Ｗ／Ｎよりも矩形幅が小さい結合要素は、第１階級に含まれるものとして度数をカウントする。したがって、矩形幅がｋ×Ｗ／Ｎ〜（ｋ＋１）×Ｗ／Ｎの範囲に含まれる結合要素は、第ｋ階級に含まれるものとしてカウントする。

作成したヒストグラムをグラフとして可視化すると、たとえば図７に示すように横軸がサイズであり、縦軸が結合要素数の度数分布グラフとなる。

図７（ａ）は、文書画像データのヒストグラム例を示し、図７（ｂ）は、非文書画像データのヒストグラム例を示す。結合要素が文字である場合、外接矩形が正方形に近く、同じサイズの結合要素が多く含まれるので、ヒストグラムとしては、主に小さいサイズの階級の結合要素数に顕著なピークが見られることが特徴である。また、結合要素が非文字である場合、結合要素が点状、線形状、ブロック状などであり、形状に規則性がなく、サイズにもばらつきがある。したがって、ヒストグラムとしては、各階級の結合要素数が平坦で、顕著なピークが見られないことが特徴である。

なお本発明では、必ずしもヒストグラムをグラフ化して表示しなくとも後段の処理は可能であるが、表示部１４でグラフ化したヒストグラムを表示するように構成してもよい。

判別部１２２は、このようなヒストグラムの特徴に基づいて、入力画像データが文書画像データであるか、非文書画像データであるかを判別することができる。

特徴抽出部１２１から判別部１２２へ出力されるヒストグラムに関連する情報としては、たとえば、全体黒画素割合ｒ０、第１階級の結合要素数ｒ１、全結合要素数に対する第１階級の結合要素数の割合をｒ２および判別処理に用いる特徴量（判別特徴量）Ｆである。判別特徴量Ｆは、Ｆ＝ｒ１×ｒ２／ｒ０で算出される。

ヒストグラムの特徴から、文書画像データは、第１階級の結合要素数に顕著なピークが現れるので、ｒ１およびｒ２が比較的大きく、全体的な黒画素は少ないので、ｒ０は小さい。したがって、Ｆは大きな値となる傾向がある。

逆に、非文書画像データは、各階級の結合要素数が平坦で、顕著なピークが見られないので、ｒ１およびｒ２が比較的小さく、全体的な黒画素は多いので、ｒ０は大きい。したがって、Ｆは小さな値となる傾向がある。

判別部１２２によるステップＡ３の判別処理は、たとえば図８のフローチャートに示される。判別処理では、判別特徴量Ｆと２つの閾値ＴＨ１およびＴＨ２（＞ＴＨ１）とを比較して閾値処理を行う。

特徴抽出部１２１によって生成されたヒストグラムに関連する情報として判別特徴量Ｆが入力されると、ステップＤ１では、ＦとＴＨ２とを比較し、ＦがＴＨ２より大きいかどうかを判断する。ＦがＴＨ２より大きければステップＤ２で入力画像データが、文書画像データであると判断する。ＦがＴＨ２以下であればステップＤ３で、ＦとＴＨ１とを比較し、ＦがＴＨ１より小さいかどうかを判断する。ＦがＴＨ１より小さければステップＤ４で入力画像データが、非文書画像データであると判断する。ＦがＴＨ１以上であれば、すなわちＦがＴＨ１とＴＨ２との間の値であれば判別不能であると判断する。

判別部１２２によるステップＡ４の出力処理は、ステップＡ３での判別結果を検索部１３に出力する。

検索部１３では、入力画像データを検索するにあたって、入力画像データの検索用の特徴データを生成し、登録画像データの特徴データと比較する。文書画像データの場合と非文書画像データの場合とでは、生成すべき入力画像データの特徴データの種類が異なるので、画像判別部１２から入力される判別結果に基づいて、好適な特徴データを生成することができる。

文書画像データの特徴データとしては、たとえば文書画像データに対して文字認識を行って得たテキストデータを用いることができる。非文書画像データの特徴データとしては、たとえば非文書画像データが濃淡画像であればヒストグラム生成処理によって得た輝度ヒストグラムを用いることができ、非文書画像データがカラー画像であればＲＧＢの各色成分に対応するヒストグラム生成処理によって得たカラー輝度ヒストグラムを用いることができる。

入力画像データに対して生成した特徴データと、予め生成されている登録画像データに対する特徴データとを比較し、これらの類似度を求め、最も類似度が高い登録画像データを選択し、検索結果とする。

検索結果としては、最も類似度が高い登録画像データのみではなく、類似度の高い方から所定数の登録画像データを選択してこれを検索結果としてもよい。

検索部１３によって検索結果が出力されると、表示部１４が検索結果として選択された登録画像データを可視化した画像を表示する。

登録画像データについては、登録時に上記のような画像判別処理を施し、文書画像データであるか非文書画像データであるかを示す種別情報を関連付けて登録画像記憶部１５に記憶しておくことが好ましい。

種別情報を関連付けておけば、入力画像データを判別した結果、入力画像データと同じ種別の登録画像データのみを検索対象とすればよいので、すべての登録画像データとの比較を行わないでよいので、検索処理に要する時間を短縮することができる。

本発明によれば以下のような効果が得られる。
結合要素の選別を行うことにより、不要な要素を予め除去し、統計処理における演算量を減少させ、判別処理、検索処理に要する時間を短縮することができる。さらに、誤判別の原因となるような結合要素を予め除去することで、判別精度を向上させることができる
なお、画像検索装置１０の各ブロック、特に、入力部１１、画像判別部１２、検索部１３、表示部１４および登録画像記憶部１５等は、ハードウエアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウエアによって実現してもよい。

すなわち、画像検索装置１０は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only
memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリなどの記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウエアである画像検索装置１０の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記画像検索装置１０に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

上記記録媒体としては、例えば、磁気テープやカセットテープなどのテープ系、フロッピー（登録商標）ディスク／ハードディスクなどの磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒなどの光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カードなどのカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭなどの半導体メモリ系などを用いることができる。

また、画像検索装置１０を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網などが利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線などの有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網などの無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

本発明は、その精神または主要な特徴から逸脱することなく、他のいろいろな形態で実施できる。したがって、前述の実施形態はあらゆる点で単なる例示に過ぎず、本発明の範囲は特許請求の範囲に示すものであって、明細書本文には何ら拘束されない。さらに、特許請求の範囲に属する変形や変更はすべて本発明の範囲内のものである。

画像検索装置１０の機械的構成を示すブロック図である。 画像検索装置１０の機能的構成を示すブロック図である。 画像判別部１２の機能的構成を示すブロック図である。 画像判別部１２による判別処理を示すフローチャートである。 前処理部１２０による前処理を示すフローチャートである。 特徴抽出部１２１による特徴抽出処理を示すフローチャートである。 ヒストグラムを可視化したグラフである。 判別部１２２による判別処理を示すフローチャートである。

符号の説明

１ キーボード
２ イメージスキャナ
３ 表示装置
４ プロセッサ
５ 外部記憶装置
１０ 画像検索装置
１１ 入力部
１２ 画像判別部
１３ 検索部
１４ 表示部
１５ 登録画像記憶部
１２０ 前処理部
１２１ 特徴抽出部
１２２ 判別部

Claims (6)

1. 入力された画像データが、文書画像データであるか非文書画像データであるかを判別する画像判別装置であって、
   入力された画像データを２値化して２値画像データに変換し、画像データを構成する全画素数のうち、黒画素数の割合である全体黒画素割合を算出する２値化処理部と、
   前記２値画像データ中に含まれる、同じ色の画素が連結して集合した画素群である結合要素を検出し、この結合要素に外接する外接矩形を検出し、階級を外接矩形の大きさとし、度数を結合要素数とするヒストグラムを生成する特徴抽出部と、
   生成されたヒストグラムに関連する情報と、前記全体黒画素割合とに基づいて、入力された画像データが、文書画像データであるか非文書画像データであるかを判別する判別部とを備え、
   前記判別部は、外接矩形の大きさが最も小さい階級の結合要素数をｒ１とし、すべての結合要素数のうち前記結合要素数ｒ１の割合をｒ２とし、前記全体黒画素割合をｒ０としたとき、判別特徴量ＦをＦ＝ｒ１×ｒ２／ｒ０として算出し、判別特徴量Ｆと２つの閾値ＴＨ１およびＴＨ２（＞ＴＨ１）とを比較して閾値処理を行い、判別特徴量Ｆが閾値ＴＨ２より大きければ、入力画像データが文書画像データであると判断し、判別特徴量Ｆが閾値ＴＨ１より小さければ、入力画像データが、非文書画像データであると判断することを特徴とする画像判別装置。
2. 前記特徴抽出部は、外接矩形の大きさと、外接矩形内の全画素数のうち結合要素を構成する画素数の割合である矩形黒画素割合とに基づいて、すべての結合要素から外接矩形の大きさが所定の大きさよりも小さい結合要素を除去し、さらに前記矩形黒画素割合が所定の範囲外となる結合要素を除去し、残余の結合要素を用いてヒストグラムを生成することを特徴とする請求項１記載の画像判別装置。
3. 予め登録された画像データの中から、入力された画像データに類似した画像データを検索する画像検索装置であって、
   請求項１記載の画像判別装置と、
   前記画像判別装置の判別結果に基づいて、入力された画像データが文書画像データであれば、文書画像データ用の特徴データを生成し、非文書画像データであれば、非文書画像データ用の特徴データを生成する特徴データ生成部と、
   予め登録された画像データの特徴データと、前記特徴データ生成部で生成された特徴データとに基づいて、予め登録された画像データの中から、入力された画像データに類似した画像データを検索する検索部と、
   検索部による検索結果に基づいて、予め登録された画像データのうち入力された画像データに類似した画像データを表示する表示部とを備えることを特徴とする画像検索装置。
4. 予め登録された画像データは、文書画像データと非文書画像データとに分類されて登録され、
   前記検索部は、前記画像判別装置の判別結果に基づいて、入力された画像データが文書画像データであれば、文書画像データとして登録された画像データを検索対象とし、入力された画像データが非文書画像データであれば、非文書画像データとして登録された画像データを検索対象とすることを特徴とする請求項３記載の画像検索装置。
5. コンピュータを請求項３記載の画像検索装置として機能させるための画像検索プログラム。
6. コンピュータを請求項３記載の画像検索装置として機能させるための画像検索プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images