JP4966077B2 - 画像処理装置及びその制御方法 - Google Patents

Description

本発明は、画像処理装置及びその制御方法、並びに記憶媒体及びプログラムに関するものであり、特に、画像検索に利用可能な画像特徴量の抽出に関する。なお、画像特徴量は画像情報に基づいて算出されるものであるが、本明細書では画像特徴量については「抽出」という表現を用いる。

従来より類似画像を検索するための種々の技術が提案されている。それらの類似画像検索では、画像から抽出した画像特徴量同士を比較し、類似度を算出することにより、画像検索を行う。また、一般にこの種の類似画像検索では、検索速度を向上させるために、あらかじめ検索対象となる画像から画像特徴量を抽出しておき、画像と画像特徴量とを関連付けて画像データベースに登録しておく。また、検索結果の画像を画面に表示する際は、元の画像を縮小した画像を表示することも多い。元の画像を縮小した画像を表示するようなシステムにおいては、予め縮小した画像を作成しておき、縮小画像も画像データベースに登録しておくことにより、検索結果の表示をより高速に行うようにしている。

以上のような理由により、画像特徴量抽出時に、１つの画像について複数の解像度の画像が存在することがある。このように複数の解像度の画像が存在するシステムにおける画像特徴量の抽出方法に関して、特許文献１、特許文献２には次のような方法が提案されている。

特許文献１では、解像度が異なると抽出される特徴量も変化するような特徴量を用いた画像検索装置において、複数の解像度について特徴量が抽出され、保持される構成が記載されている。また、特許文献２では、画像検索のための画像特徴量を抽出する際に、最も低い解像度の画像データを用いることにより効率の良い検索を実現することが記載されている。画像特徴量を抽出する画像の解像度が異なっても、抽出される画像特徴量がそれほど異ならない画像特徴量を抽出する場合は、解像度が低い画像から画像特徴量を抽出した方が高速に処理できる。従って、そのような画像特徴量を用いる場合には、常に低解像度の画像を利用する方が有利である。また、特許文献２には、装置の処理能力に基づいて解像度を選択することにより、効果的な検索を可能にすることも記載されている。
特開２０００−０９０１０１号公報 特開２００１−０５２０１０号公報

しかしながら、画像特徴量を抽出する画像の解像度が異なると抽出される画像特徴量も異なるような画像特徴量を抽出する場合は、あらゆる解像度の画像から画像特徴量を抽出しなければならないため、画像特徴量を抽出するのに多くの時間を要する。また、この場合、１つの画像について複数の解像度の画像から得られる全ての画像特徴量が保存されるため、保存される画像特徴量データが膨大になり、類似画像検索速度にも大きく影響を及ぼしてしまう。また、この手法では、登録する画像の解像度とクエリ画像の解像度が一致しなければ精度良く検索することができないため、検索精度に関してもあまり期待ができないという課題がある。

また、画像特徴量を抽出する画像の解像度が異なっても抽出される画像特徴量が大きく異ならないような画像特徴量を抽出する場合でも、有効な画像特徴量を抽出するために必要な画素数という制約が存在する。必要な画素数よりも少ない画素数の画像では、画像特徴量の抽出が不可能であったり、有効とはいえない画像特徴量しか抽出できなかったりする。なお、ここでいう有効な画像特徴量とは、画像取得方法の違いや、画像特徴量を取得する領域の微少なズレ等があっても、それらから抽出される画像特徴量が大きく異なることのない画像特徴量のことである。即ち、有効な画像特徴量を用いれば、登録する画像とクエリ画像との間で、画像取得方法や画像特徴量の取得領域に多少の違いがあっても良好な信頼度で検索することができる。

一般に、画像の色数や、抽出する画像特徴量の種類等によって、有効な画像特徴量を抽出するために必要な画像の画素数は異なる。したがって、それらの条件によっては、最低解像度の画像からは有効な画像特徴量が抽出できないことがある。特に、画像中の一部の領域から画像特徴量を取得する場合には、処理の対象となる領域が小さい場合があり、最低解像度の画像からは有効な画像特徴量を抽出できないことも多くある。

また、画像特徴量抽出に高速性を求められるシステムにおいては、装置の処理能力が高性能であったとしても、処理は高速であるほうがよい。したがって、そのようなシステムにおいては、より高速に処理を行うために、装置の台数を増やして処理を分散させたりすることも考えられており、装置の処理能力に応じてより高解像度の画像を使用するという余地はない。

本発明は上記の課題に鑑みてなされたものであり、複数種類の解像度の画像が保持された環境において、有効な画像特徴量を高速に抽出可能とすることを目的とする。

上記の目的を達成するための本発明の一態様による画像処理装置は以下の構成を備える。即ち、
画像から画像特徴量を算出する画像処理装置であって、
１つの画像について、複数種類の解像度の画像データを保持する保持手段と、
前記画像における、画像特徴量の算出対象となる処理対象領域の位置及び大きさを取得する取得手段と、
画像特徴量の種類と画像特徴量の算出に必要な画素数とを対応付けて登録したテーブルを有し、該テーブルを参照して算出すべき画像特徴量の算出に必要な画素数を決定する決定手段と、
前記決定手段で決定された画素数を、前記取得手段で取得された前記処理対象領域の大きさに存在させるのに必要な解像度を算出する解像度算出手段と、
前記解像度算出手段で算出された解像度に基づいて、前記複数種類の解像度の画像データのうちの一つを選択し、選択された画像データの前記処理対象領域に対応する部分画像を前記取得手段で取得した位置及び大きさに従って取得し、取得された部分画像から前記算出すべき画像特徴量を算出する特徴量算出手段と、を備える。

また、上記の目的を達成するための本発明の他の態様による画像処理装置の制御方法は、
画像から画像特徴量を算出する画像処理装置の制御方法であって、
保持手段が、１つの画像について、複数種類の解像度の画像データをメモリに保持する保持工程と、
取得手段が、前記画像における、画像特徴量の算出対象となる処理対象領域の位置及び大きさを取得する取得工程と、
決定手段が、画像特徴量の種類に応じて画像特徴量の算出に必要な画素数とを登録したテーブルを参照することにより、算出すべき画像特徴量の算出に必要な画素数を決定する決定工程と、
解像度算出手段が、前記決定工程で決定された画素数を、前記取得工程で取得された前記処理対象領域の大きさに存在させるのに必要な解像度を算出する解像度算出工程と、
特徴量算出手段が、前記解像度算出工程で算出された解像度に基づいて、前記複数種類の解像度の画像データのうちの一つを選択し、選択された画像データの前記処理対象領域に対応する部分画像を前記取得工程で取得した位置及び大きさに従って取得し、取得された部分画像から前記算出すべき画像特徴量を算出する特徴量算出工程と、を有する。

また、本発明の他の形態によれば、上記画像処理装置に対応する画像処理方法、及び該画像処理方法を実現するための制御プログラムを格納する記憶媒体が提供される。

本発明によれば、画像特徴量を抽出する際に、複数の解像度の画像の中から抽出される画像特徴量に適した解像度の画像を選択し、選択された解像度の画像から画像特徴量を抽出する。このため、複数種類の解像度の画像が保持された環境において、有効な画像特徴量を高速に抽出することが可能となる。

以下、添付の図面を参照して本発明の好適な実施形態を説明する。

〔画像処理装置の制御構成〕
図１８は本実施形態による画像処理装置のハードウエア構成を示すブロック図である。本実施形態の画像処理装置は、以下に説明する画像処理を実行する専用の装置であっても良いし、パーソナルコンピュータ等の汎用コンピュータに所定の制御プログラムをインストールして以下の画像処理を実行することによって実現されたものでもよい。

図１８において、ディスプレイ１は、ＣＰＵ５の制御下で、アプリケーションプログラムによって処理中のデータの情報、各種メッセージメニューなどを表示するＣＲＴを示している。ＶＲＡＭ２は、ＣＲＴ１の画面に表示されるイメージを展開するビデオＲＡＭ（以下、ＶＲＡＭ）を示している。キーボード３及びポインティングデバイス４は、画面上の所定欄に文字などを入力したり、アイコンやＧＵＩにおけるボタンなどを指し示すためなどに用いられる。ＣＰＵ５は、ＲＯＭ６に記憶されている制御プログラム、或いはＲＡＭ７にロードされた制御プログラムを実行することにより、当該画像処理装置全体の制御を司る。

ＲＯＭ６はＣＰＵ５の動作処理手順（制御プログラム）や各種データを記憶してい。なお、ＲＯＭ６にはデータ処理に係るアプリケーションプログラムやエラー処理プログラムをはじめ、後述するフローチャートに係るプログラムも記憶されている。ＲＡＭ７は上述した各種プログラムをＣＰＵ５が実行する時のワークエリア、エラー処理時の一時退避エリアとして用いられる。

９はハードディスクドライプ（以下、ＨＤＤ）、１０はフレキシブルディスクドライプ（以下、ＦＤＤ）をそれぞれ示し、それぞれのディスクはアプリケーションプログラムやデータ、ライプラリなどの保存及び読み込み用に用いられる。また、ＦＤＤの替わりに、あるいは追加してＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ等の光（磁気）ディスクドライブや、テープストリーマ、ＤＤＳなどの磁気テープドライブ等を設けてもよい。

１０は装置をネットワークに接続するためのネットワークインターフェイスである。１１は上述した各ユニット間を接続する１／０バス（アドレスバス、データバスおよび制御バスからなる）である。スキャナ１２は、原稿画像を光学的に読み取って画像データを生成する。なお、スキャナ１２は、ネットワークインターフェイス１０を介して接続されていても良い。更に、画像を保存するための格納装置等が、ネットワークインターフェイス１０を介して接続されていてもよい。

図１は、本実施形態による画像処理装置の構成を示すブロック図である。文書画像読み取り部１０１は、原稿台、オートドキュメントフィーダ（ＡＤＦ）を有したスキャナ１２を含み、原稿台上に供給された原稿から画像を読み取る。文書画像読み取り部１０１は、原稿台上の原稿に対し、光源（不図示）からの光を照射する。原稿に照射され、原稿から反射された光は、不図示のレンズにより、固体撮像素子上に原稿反射像として結像される。そして、固体撮像素子から、ラスタ状の画像読取信号が所定密度（例えば、６００ＤＰＩ）のラスタ画像（以下、文書画像という）として得られる。尚、本実施形態では、文書画像読み取り部１０１の読み取り対象として、画像等が印刷された紙文書を例に挙げて説明するがこれに限られるものではない。たとえば、紙以外の記録媒体（例えば、ＯＨＰシート、フィルム等の透過原稿、布等）からなる印刷物を読み取り対象としても良い。

画像解像度変換部１０２は、文書画像読み取り部１０１で読み込んで得た文書画像を所定密度（例えば、１００ＤＰＩ）に縮小する。即ち、画像解像度変換部１０２は、文書画像読み取り部１０１から得られた文書画像の解像度を変更する。画像保存部１０３は、文書画像読み取り部１０１で得られた文書画像と画像解像度変換部１０２で得られた文書画像を、例えばＨＤＤ８やネットワークインターフェイス１０を介して接続された格納装置に保存する。

像域分離部１０４は、文書画像読み取り部１０１で得られた文書画像を解析し、文書画像中の絵柄領域、テキスト領域等を分離し、それらの領域の座標情報を得る。画像解像度選択部１０５は、存在する文書画像の解像度情報、文書画像の色数、画像特徴量を抽出する領域情報、抽出する画像特徴量の種類等を利用し、画像特徴量抽出に使用する解像度を選択する。画像特徴量抽出部１０６は、画像解像度選択部１０５で選択された解像度の文書画像を用いて、領域情報によって指定された領域の画像特徴量を抽出する。画像特徴量登録部１０７は、画像特徴量抽出部１０６で抽出された画像特徴量を画像、領域情報と関連付けて、例えばＨＤＤ８に保存、登録する。

なお、上述の画像解像度変換部１０２、画像保存部１０３、像域分離部１０４、画像解像度選択部１０５、画像特徴量抽出部１０６、画像特徴量登録部１０７は、ＣＰＵ５が所定の制御プログラムを実行することにより実現される。或いは、それらの機能の一部或いはすべてが、専用のハードウェアによって実現されるようにしても良い。

〔画像特徴量抽出処理の概要説明〕
次に、本実施形態に係る画像処理装置における画像特徴量抽出処理の詳細について図２を用いて説明する。図２は、本実施形態の画像処理装置による画像特徴量抽出処理の流れを説明するためのフローチャートである。

まず、操作者が文書画像読み取り部１０１の原稿台もしくはＡＤＦに原稿を置き、画像の読み取りを指示する。画像の読み取りの指示を受け付けた文書画像読み取り部１０１は、ステップＳ２０１において、当該原稿から画像を読み取る。なお、文書画像読み取り部１０１は、後に文書画像を編集したり、再度印刷したりできるように、高解像度で（例えば６００ＤＰＩ）で原稿の読み取りを行う。次にステップＳ２０２において、画像解像度変換部１０２は、ステップＳ２０１で得られた文書画像に対して画像縮小処理を施す。ここでは、画像検索結果の一覧を表示したり、画面上で文書画像の内容を確認したりする際に使用できるような低解像度（例えば１００ＤＰＩ）の画像を得るためにステップＳ２０１で取得した画像が縮小される。更に、一覧表示用として、より低解像度に画像を縮小してもよい。即ち、更に低解像度に画像を縮小した結果を保持するようにして、３種類以上の解像度で文書画像を保持するようにしてもよい。以上のように、本実施形態の画像処理装置の画像保存部１０３は、１つの画像について複数種類の解像度の画像を保持する。

次にステップＳ２０３において、像域分離部１０４は、ステップＳ２０１で取得された文書画像に対して像域分離処理を行い、絵柄領域とテキスト領域を抽出する。ステップＳ２０３の像域分離処理の詳細については後述する。ステップＳ２０３の像域分離処理によって抽出されたそれぞれの領域に対し、以下の処理が行われる。

まず、ステップＳ２０４において、最初の領域に着目する。ステップＳ２０５において、画像処理装置は、着目領域が絵柄領域であるかテキスト領域であるかを判定する。そして、着目領域が絵柄領域のときはステップＳ２０６、Ｓ２０７により、当該着目領域について画像特徴量の抽出がおこなわれる。一方、ステップＳ２０５において着目領域がテキスト領域であると判定された場合は、当該領域について画像特徴量の抽出は行われず、処理はステップＳ２０５からステップＳ２０８へ進む。即ち、テキスト領域と判定された領域は処理対象領域から除外される。

ステップＳ２０６において、画像解像度選択部１０５は、画像特徴量抽出処理に好適な画像解像度を選択する。本実施形態では、ステップＳ２０１で得られた文書画像と、ステップＳ２０２で得られた縮小画像のうちから、画像特徴量抽出処理を行うべき画像が選択される。ステップＳ２０６の画像解像度選択処理の詳細については後述する。次に、ステップＳ２０７において、画像特徴量抽出部１０６は、画像解像度選択部１０５で選択された解像度の文書画像から画像特徴量を抽出する。ステップＳ２０７の画像特徴量の抽出処理の詳細については後述する。

次に、ステップＳ２０８において、画像処理装置は、ステップＳ２０３で行った像域分離処理によって得られたすべての領域について上記ステップＳ２０５〜Ｓ２０７の処理が終了したか否かを判断する。全ての領域について終了していれば、ステップＳ２１０へ進み、まだ終了していなければ、ステップＳ２０９へ進む。ステップＳ２０９において、画像処理装置は、次の領域を着目領域として設定し、処理をステップＳ２０５に戻す。

全ての領域について上記処理を終えたならば、ステップＳ２１０において、画像特徴量登録部１０７は、画像特徴量の登録を行う。ステップＳ２１０の画像特徴量の登録処理の詳細については後述する。

なお、本実施形態では、ステップＳ２０３の像域分離を行って抽出された領域を、絵柄領域とテキスト領域の２種類に分類しているが、これら２種類に限定するものではない。例えば、絵柄領域を更に、写真領域、図面領域、線画領域、表領域等に分類してもよいし、テキスト領域を更に、キャプション領域、本文領域等に分類してもよい。本実施形態では、画像特徴量としてカラー特徴量、輝度特徴量、エッジ特徴量を抽出しているが、領域の種類を多くした場合は、必要に応じて、相応した特徴量を抽出するようにしてもよい。例えば、線画領域の場合は、線の太さや長さ等を特徴量としても良いし、表領域の場合は、行数、列数、行の幅、列の高さ、仕切り線の種類等を特徴量としても良い。

〔像域分離処理の詳細〕
ステップＳ２０３の像域分離処理の詳細について図３を用いて説明する。図３は、本実施形態における画像ブロック抽出例を示す図である。

像域分離処理とは、例えば、図３における画像３０１を３０２に示すように、意味のあるブロック毎の塊として認識する。そして、該ブロック各々の属性（文字（ＴＥＸＴ）／図画（ＰＩＣＴＵＲＥ）／写真（ＰＨＯＴＯ）／線（ＬＩＮＥ）／表（ＴＡＢＬＥ）等）を判定し、異なる属性を持つブロックに分割する処理である。

ここで、像域分離処理の一実施例について詳細に説明する。まず、入力画像を白黒画像に２値化し、輪郭線追跡を行って黒画素輪郭で囲まれる画素の塊を抽出する。そして、面積の大きい黒画素の塊については、内部にある白画素に対しても輪郭線追跡を行って白画素の塊を抽出し、さらに一定面積以上の白画素の塊の内部からは再帰的に黒画素の塊を抽出する。

このようにして得られた黒画素の塊を、大きさ及び形状で分類し、異なる属性を持つブロックへ分類する。例えば、縦横比が１に近く、大きさが一定の範囲のブロックは文字相当の画素塊とし、近接する文字が整列良くグループ化可能な部分を文字ブロックとする。文字ブロック意外の画素塊を絵柄ブロックとする。また、絵柄ブロックについて、扁平な画素塊を線ブロック、一定大きさ以上でかつ矩形の白画素塊を整列よく内包する黒画素塊の占める範囲を表ブロック、不定形の画素塊が散在している領域を写真ブロック、それ以外の任意形状の画素塊を図画ブロックとする。

なお、本実施形態では、上述した文字、表ブロックをテキスト領域とし、図画、写真、線を絵柄領域とする。

〔画像解像度選択処理の詳細〕
ステップＳ２０６の画像解像度選択処理の詳細について図４を用いて説明する。図４は、本実施形態における画像解像度選択処理の詳細を説明するためのフローチャートである。

まずステップＳ４０１において、画像特徴量を抽出するために必要な画素数を求める。図５は本実施形態における画像特徴量を抽出するために必要な画素数の対応テーブルの一例である。このテーブルは、ＨＤＤ８又はＲＯＭ６に格納されている。図５は、画像の縦、横、それぞれに必要な画素数を示しており、これを必要画素数と称する。例えば、図５の表によれば、カラー画像のスキャンデータから輝度特徴量を得る場合には、２００×２００ピクセル以上の画素数の画像が必要であることがわかる。必要画素数は、様々な画像を用いた実験により、適切な値を得ることができる。

本実施形態では、一例として、カラー画像、グレー画像、白黒２値画像を対象としている。また、それらの画像が、ワープロソフトや画像処理ソフト等のアプリケーションソフトから作成されたものであるか、スキャナによって読み込まれたものであるかによって、画像上に存在するノイズ量が異なる。したがって、本実施形態では、一例として、「光学的に読み取られた画像」であるか「アプリケーションによって描画された画像」であるかの種別によって必要画素数を変えている。また、本実施形態では、抽出する画像特徴量として、一例として、色に関する画像特徴量（カラー特徴量）、輝度に関する画像特徴量（輝度特徴量）、エッジに関する画像特徴量（エッジ特徴量）の３種類としている。

図５の対応テーブルを用いて、画像の色数、抽出する画像特徴量の種類、画像取得方法から、抽出する画像特徴量ごとの必要画素数を求める。従って、複数の画像特徴量を抽出する場合は、複数の必要画素数が求まる。複数の画像特徴量を抽出する際は、それらに対応する複数の必要画素数のうち最大のものを、それら複数の画像特徴量を抽出するために必要な画素数とする。例えば、カラーのスキャンデータを用いて、カラー特徴量、輝度特徴量とエッジ特徴量を抽出したい場合を想定する。この場合、図５の対応テーブルを用いることにより、カラー特徴量、輝度特徴量の抽出には２００ピクセル以上、エッジ特徴量の抽出には３００ピクセル以上が必要であるとわかる。したがって、３００ピクセル以上あればすべての画像特徴量が抽出できるということになり、必要画素数には３００ピクセルが採用され、決定される。

次にステップＳ４０２において、画像特徴量を抽出するために必要な画像解像度を求める解像度算出処理が実行される。すなわち、画像特徴量を抽出したい領域の大きさと、ステップＳ４０１で求められた必要画素数から、次式により画像特徴量の抽出に必要な画像解像度（以下、必要解像度という）を求める。
〔式１〕
required_Resolution ＝ (minimum_pixel)／min(width_inch,hight_inch)
ここで、width_inch、height_inchはそれぞれ領域の幅、高さをインチ単位で表したものであり、minimum_pixelはステップＳ４０１で求めた必要画素数である。即ち、必要画素数を、幅と高さのうち短い方で割ったものが、必要解像度（required_Resolution）である。

例えば、着目領域の大きさが、幅２インチ、高さ３インチであり、必要画素数が３００ピクセルの場合、必要解像度は１５０ＤＰＩとなる。

次に、ステップＳ４０３において、存在している画像の解像度のうち、ステップＳ４０２で求めた必要解像度よりも高解像度であり、かつ、その中で最低解像度の画像解像度を、画像特徴量を抽出するときに使用する画像の解像度として決定する。そして、ステップＳ４０４において、決定された解像度の画像から、処理対象の絵柄領域（着目されている領域）に対応する部分画像を抽出する。ステップＳ２０７における画像特徴量抽出処理では、この抽出された部分画像について特徴量算出処理が行われる。

以上のように、ステップＳ２０３〜Ｓ２０５によれば、文書画像中の像域分離処理によって得られた部分画像のうち、絵柄領域である部分画像が、画像特徴量の抽出対象（即ち、算出対象）となる処理対象領域に設定される。そして、ステップＳ４０１で、抽出すべき画像特徴量の種類に応じて当該画像特徴量の取得に必要な画素数が、対応テーブルを参照して決定される。ステップＳ４０２では、ステップＳ４０１で決定された画素数が、上記処理対象領域に存在するのに必要な解像度が、ステップＳ４０１で決定された画素数と当該処理対象領域の大きさから算出される。そして、ステップＳ４０３では、算出された解像度に基づいて、画像保存部１０３により保持されている複数種類の解像度の画像のうちの一つが選択される。そして、ステップＳ４０４において、選択された画像から、当該処理対象領域に該当する部分画像を抽出する。後段のステップＳ２０７では、こうして抽出された部分画像について、画像特徴量が抽出される。

〔画像特徴量の抽出処理の詳細〕
次に、ステップＳ２０７における画像特徴量の抽出処理の詳細について図６を用いて説明する。図６は、本実施形態による画像特徴量の抽出処理の詳細を説明するためのフローチャートである。

本実施形態では、一例として、色に関する画像特徴量（カラー特徴量）、輝度に関する画像特徴量（輝度特徴量）、エッジに関する画像特徴量（エッジ特徴量）を抽出するものとして、以下の説明を行う。

まず、ステップＳ６０１において、着目領域の画像が、カラー画像か、グレースケール画像か、白黒２値画像かを判定する。そして、着目領域の画像がカラー画像のときはステップＳ６０３へ、グレー画像のときはステップＳ６０８へ、白黒２値画像のときはステップＳ６０２へ処理が進む。

着目領域の画像が白黒２値画像の場合は、ステップＳ６０２において、白黒画像を縮小する。縮小する際に、複数画素の平均値を算出することにより、擬似的に輝度情報を持つグレー画像に変換する。例えば、４分の１に縮小（面積比１６分の１）する際には、１６画素の平均値を算出することにより、１６階調のグレー画像に変換できる。次に、ステップＳ６０８へ進む。以降は、着目領域の画像がグレー画像のときと同様の処理を行う。着目領域の画像がグレー画像の場合は、そのままステップＳ６０８へ進む。

着目領域の画像がカラー画像の場合は、ステップＳ６０３において、抽出する特徴量が輝度特徴量もしくはエッジ特徴量であるかどうかを判定する。輝度特徴量もしくはエッジ特徴量を抽出する場合はステップＳ６０４へ進み、どちらの特徴量も抽出しない場合はＳ６０５へ進む。

輝度特徴量およびエッジ特徴量の抽出は、輝度画像を用いて行うため、ステップＳ６０４において、カラー画像を輝度画像に変換する。カラー画像から輝度画像に変換するにあたっては次式を用いる。
〔式２〕
Y＝0.299×R＋0.587×G＋0.114×B
ここで、Yは輝度値、R、G、Bはそれぞれカラー画像の赤、緑、青の値である。

次に、ステップＳ６０５において、カラー特徴量を抽出するか否かを判定する。カラー特徴量を抽出する場合はステップＳ６０６へ進み、抽出しない場合はステップＳ６０８へ進む。ステップＳ６０６において、カラー特徴量の抽出を行う。ステップＳ６０６のカラー特徴量抽出処理の詳細については後述する。ステップＳ６０７において、画像特徴量抽出部１０６は、ステップＳ６０６で抽出されたカラー特徴量を登録する。ステップＳ６０７のカラー特徴量の登録処理の詳細については後述する。

次に、ステップＳ６０８において、画像特徴量抽出部１０６は、輝度特徴量を抽出するか否かを判定する。輝度特徴量を抽出する場合はステップＳ６０９へ、抽出しない場合はＳ６１１へ処理が進む。ステップＳ６０９において、画像特徴量抽出部１０６は、着目領域の画像について輝度特徴量の抽出を行う。ステップＳ６０９の輝度特徴量抽出処理の詳細については後述する。次に、ステップＳ６１０において、画像特徴量抽出部１０６は、ステップＳ６０９で抽出された輝度特徴量を登録する。ステップＳ６１０の輝度特徴量の登録処理の詳細については後述する。

次に、ステップＳ６１１において、画像特徴量抽出部１０６は、エッジ特徴量を抽出するか否かを判定する。エッジ特徴量を抽出する場合は処理はＳ６１２へ進み、抽出しない場合は処理を終了する。ステップＳ６１２において、画像特徴量抽出部１０６は、着目領域の画像についてエッジ特徴量の抽出を行う。ステップＳ６１２のエッジ徴量抽出処理の詳細については後述する。ステップＳ６１３において、画像特徴量抽出部１０６は、ステップＳ６１２で抽出されたエッジ特徴量を登録する。ステップＳ６１３のエッジ特徴量の登録処理の詳細については後述する。

〔カラー特徴量抽出処理の詳細〕
ステップＳ６０４のカラー特徴量抽出処理の詳細について図７を用いて説明する。図７は、本実施形態におけるカラー特徴量抽出処理の詳細を説明するためのフローチャートである。

まず、ステップＳ７０１において、画像特徴量抽出部１０６は、着目領域の画像を複数のメッシュブロックに分割する。図８は、本実施形態において画像を複数のメッシュブロックへ分割する例を示す図である。図８に示すように、本実施形態では、画像を縦横をそれぞれ９メッシュブロックに分割する。なお、本実施形態では、表記の都合上９×９＝８１メッシュブロックに分割している例を示しているが、実際には、１５×１５＝２２５メッシュブロック程度であることが好ましい。

次に、ステップＳ７０２において、画像特徴量抽出部１０６は、処理対象となる着目メッシュブロックを左上端のブロックに設定する。尚、この着目メッシュブロックの設定は、例えば、図９に示すように、予め処理順序が決定された順序決定テーブルを参照して行われる。図９は、本実施形態において用いられる順序決定テーブルの一例を示す図である。図９に示す例では、左上端から右へ走査し、その行を終えると次の行の左端から右へスキャンする走査例を示している。

次いで、ステップＳ７０３におて、画像特徴量抽出部１０６は、未処理の着目メッシュブロックの有無を判定する。その結果、未処理の着目メッシュブロックがない場合（Ｎｏの場合）は、処理を終了する。一方、未処理の着目メッシュブロックがある場合（Ｙｅｓの場合）は、処理はステップＳ７０４に進む。

ステップＳ７０４において、画像特徴量抽出部１０６は、着目メッシュブロックの全画素の色チャンネルごとの平均値を取得する。次に、ステップＳ７０５において、画像特徴量抽出部１０６は、ステップＳ７０４で得られた平均値を、図１０に示す色空間を分割して作った部分空間である色ビンへ射影し、色ビンＩＤを取得する。図１０は、本実施形態における色空間上の色ビンの構成の一例を示す図である。尚、本実施形態では、図１０に示すように、ＲＧＢ色空間を３×３×３＝２７に分割した色ビンを示している。しかし、実際には、ＲＧＢ色空間を６×６×６＝２１６程度に分割した色ビンを使用するのが好ましい。その後、取得した色ビンＩＤを、その着目メッシュブロックの代表色と決定し、その着目メッシュブロックとその位置に対応づけて記憶する。

次に、ステップＳ７０６において、画像特徴量抽出部１０６は、図９に示す順序決定テーブルを参照して、次の処理対象となる着目メッシュブロックを設定する。その後、ステップＳ７０３に戻って、未処理の着目メッシュブロックがなくなるまで、上述したステップＳ７０３〜ステップＳ７０６の処理を繰り返す。

以上の処理によって、処理対象画像（画像ブロック）のメッシュブロック毎の代表色と各メッシュブロックの位置情報が対応付けられた情報を画像特徴量として抽出することができる。

〔輝度−特徴量抽出処理の詳細〕
次に、ステップＳ６０７の輝度特徴量抽出処理の詳細について図１１を用いて説明する。図１１は、本実施形態における輝度特徴量抽出処理の詳細を説明するためのフローチャートである。

まず、ステップＳ１１０１において、画像特徴量抽出部１０６は、画像を複数のメッシュブロックに分割する。輝度特徴量抽出処理においても上述のカラー特徴量抽出処理と同様に、画像を縦横をそれぞれ９メッシュブロックに分割する（図８）。なお、カラー特徴量抽出処理と同様に、本実施形態では、表記の都合上９×９＝８１メッシュブロックに分割している例を示しているが、実際には、１５×１５＝２２５メッシュブロック程度であることが好ましい。

次に、ステップＳ１１０２において、画像特徴量抽出部１０６は、処理対象となる着目メッシュブロックを左上端のブロックに設定する。尚、この着目メッシュブロックの設定は、例えば、カラー特徴量抽出処理と同様に、処理順序が決定された順序決定テーブル（図９）を参照して行う。

次いで、ステップＳ１１０３において、画像特徴量抽出部１０６は、未処理の着目メッシュブロックの有無を判定する。その結果、未処理の着目メッシュブロックがない場合（Ｎｏ）は処理を終了する。一方、未処理の着目メッシュブロックがある場合（Ｙｅｓ）は、ステップＳ１１０４に進む。

ステップＳ１１０４において、画像特徴量抽出部１０６は、着目メッシュブロックの全画素の輝度の平均値を取得する。次に、ステップＳ１１０５において、画像特徴量抽出部１０６は、ステップＳ１１０４で得られた平均輝度値から、図１２に示す輝度ラベル値変換テーブルを用いて輝度ラベル値を取得する。図１２は、本実施形態において輝度値を輝度ラベル値に変換するテーブルの一例を示す図である。このテーブルは、例えばＨＤＤ８やＲＯＭ６に格納されている。尚、本実施形態では、輝度値が０〜２５５で表されているとき、図１２に示すように、輝度空間を８個に分割している。しかしながら、これに特定されるものではなく、輝度空間は１６個や３２個に分割されてもよい。その後、画像特徴量抽出部１０６は、取得した輝度ラベル値を、その着目メッシュブロックの代表輝度値に決定し、その着目メッシュブロックとその位置に対応づけて記憶する。

次に、ステップＳ１１０６において、画像特徴量抽出部１０６は、図９に示す順序決定テーブルを参照して、次の処理対象となる着目メッシュブロックを設定する。その後、ステップＳ１１０３に戻って、未処理の着目メッシュブロックがなくなるまで、上述したステップＳ１１０３〜ステップＳ１１０６の処理を繰り返す。

以上の処理によって、処理対象画像（画像ブロック）のメッシュブロック毎の代表輝度値と各メッシュブロックの位置情報が対応付けられた情報を画像特徴量として抽出することができる。

〔エッジ特徴量抽出処理の詳細〕
次に、ステップＳ６１０のエッジ特徴量抽出処理の詳細について図１３を用いて説明する。図１３は、本実施形態におけるエッジ特徴量抽出処理の詳細を説明するためのフローチャートである。

まず、ステップＳ１３０１において、画像特徴量抽出部１０６は、画像を複数のメッシュブロックに分割する。カラー特徴量抽出処理と同様に、着目領域の画像は複数のメッシュブロックへ分割され（図８）、メッシュブロック毎にエッジが検出される。なお、カラー特徴量抽出処理と同様に、本実施形態では、画像を縦横をそれぞれ９メッシュブロックに分割した例を示すが、実際には、１５×１５＝２２５メッシュブロック程度であることが好ましい。

次に、ステップＳ１３０２において、画像特徴量抽出部１０６は、処理対象となる着目メッシュブロックを左上端のブロックに設定する。尚、この着目メッシュブロックの設定は、例えば、予め処理順序が決定された順序決定テーブル（図９）を参照して行われる。次いで、ステップＳ１３０３において、画像特徴量抽出部１０６は、未処理の着目メッシュブロックの有無を判定する。その結果、未処理の着目メッシュブロックがない場合（Ｎｏ）は、処理を終了する。一方、未処理の着目メッシュブロックがある場合（Ｙｅｓ）は、ステップＳ１３０４に進む。

ステップＳ１３０４において、画像特徴量抽出部１０６は、着目メッシュブロック内のエッジを取得する。エッジの抽出方法としては、各画素に、周囲の画素を含めた範囲に対して、微分フィルタを用いて演算を行う方法が挙げられる。フィルタとしては、Prewittフィルタ、Sobelフィルタ、Robinsonフィルタ、Kirishフィルタなどが挙げられる。本例では、Prewittフィルタ（図１４）を用いて演算する例を示す。

まず、注目する画素とその周りの８画素それぞれに対して、Prewittフィルタの値を係数として乗じ、総和を求めることによって、方向成分ごとのエッジ強度を求める。この中で最もエッジ強度が大きい方向成分を、注目画素のエッジ方向及びエッジ強度とする。ただし、最大のエッジ強度が所定の閾値よりも小さい場合は、エッジなしと判定される。

次に、ステップＳ１３０５において、画像特徴量抽出部１０６は、ブロック内の全画素に対するエッジが存在する画素の割合を求める。全画素にエッジが存在するときを１として、規格化を行う。その後、取得したエッジの割合を、その着目メッシュブロックのエッジの割合に決定し、その着目メッシュブロックとその位置に対応づけて記憶する。

そして、ステップＳ１３０６において、画像特徴量抽出部１０６は、順序決定テーブル（図９）を参照して、次の処理対象となる着目メッシュブロックを設定する。その後、ステップＳ１３０３に戻って、未処理の着目メッシュブロックがなくなるまで、上述したステップＳ１３０３〜ステップＳ１３０６の処理を繰り返す。

以上の処理によって、処理対象画像（画像ブロック）のメッシュブロック毎のエッジの割合と各メッシュブロックの位置情報が対応付けられた情報を画像特徴量として抽出することができる。

〔特徴量の登録処理の詳細〕
次に、ステップＳ６０７、Ｓ６１０、Ｓ６１３による特徴量の登録処理の詳細について説明する。

まず、ステップＳ２０１で得られた文書画像に固有の画像ＩＤを割り振り、元画像、縮小画像数、縮小画像と関連付けて記憶させる。なお、元画像データはステップＳ２０１で原稿を読み取って得られた文書画像であり、縮小画像はステップＳ２０２で得られる画像である。図１５は、本実施形態において登録される画像ＩＤ、元画像、縮小画像数、縮小画像からなる画像情報の一例を示す図である。この画像情報は例えばＨＤＤ８に格納される。

次に、ステップＳ２０３で分離された領域ごとに、領域ＩＤを割り振り、画像ＩＤ、領域属性と関連付けて記憶させる。図１６は、本実施形態において登録される画像ＩＤ、領域ＩＤ、領域属性からなる画像情報の一例を示す図である。この画像情報は例えばＨＤＤ８に格納される。

次に、それぞれの領域に対応する画像特徴量を画像ＩＤ及び領域ＩＤの組と関連付けて記憶させる。図１７は、本実施形態において登録される画像ＩＤ、領域ＩＤ、画像特徴量からなる画像情報の一例を示す図である。この画像情報は例えばＨＤＤ８に格納される。

〔その他の実施形態〕
以上説明した実施形態では、文書画像を読み取り、読み取った文書画像を縮小することにより、複数の解像度での文書画像を保持している。しかしながら、階層構造を有した画像、例えばFlashPixのような、あらかじめ複数の解像度の情報を持つ画像を電子的に読み取ることによって、複数の解像度での文書画像を保持するようにしてもよい。

以上説明した実施形態では、カラー特徴量を抽出する際の色空間として、ＲＧＢ色空間を使用したときの例を示しているが、この色空間に限定されるものではない。例えば、Ｌ＊ａ＊ｂ＊色空間、Ｌ＊ｕ＊ｖ＊色空間、ＪＣｈ色空間等の色空間で、カラー特徴量を抽出してもよい。また、代表色として、平均色を抽出したときの例を示しているが、ブロック内で色の頻度を数え最も出現頻度の高い色（最頻色）を代表色として用いたり、最大値の色、最小値の色を代表色として用いたりしてもよい。

以上説明したように上記実施形態によれば、画像特徴量を抽出する際に、複数の解像度の画像の中から使用する画像を好適に選択し、その解像度の画像から画像特徴量を抽出することにより、有効な画像特徴量を高速に抽出することが可能となる。

以上、実施形態を詳述したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

尚、本発明は、ソフトウェアのプログラムをシステム或いは装置に直接或いは遠隔から供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによって前述した実施形態の機能が達成される場合を含む。この場合、供給されるプログラムは実施形態で図に示したフローチャートに対応したプログラムである。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であっても良い。

プログラムを供給するためのコンピュータ読み取り可能な記憶媒体としては以下が挙げられる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などである。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムをハードディスク等の記録媒体にダウンロードすることが挙げられる。この場合、ダウンロードされるプログラムは、圧縮され自動インストール機能を含むファイルであってもよい。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布するという形態をとることもできる。この場合、所定の条件をクリアしたユーザに、インターネットを介してホームページから暗号を解く鍵情報をダウンロードさせ、その鍵情報を使用して暗号化されたプログラムを実行し、プログラムをコンピュータにインストールさせるようにもできる。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどとの協働で実施形態の機能が実現されてもよい。この場合、ＯＳなどが、実際の処理の一部または全部を行ない、その処理によって前述した実施形態の機能が実現される。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれて前述の実施形態の機能の一部或いは全てが実現されてもよい。この場合、機能拡張ボードや機能拡張ユニットにプログラムが書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行なう。

実施形態における画像処理装置の構成を示すブロック図である。 実施形態に係る画像特徴量抽出処理の流れを説明するためのフローチャートである。 実施形態における画像ブロック抽出例を示す図である。 実施形態における画像解像度選択処理の詳細を説明するためのフローチャートである。 実施形態における画像特徴量を抽出するために必要な画素数の対応テーブルの一例である。 実施形態における画像特徴量の抽出処理の詳細を説明するためのフローチャートである。 実施形態におけるカラー特徴量抽出処理の詳細を説明するためのフローチャートである。 実施形態において画像を複数のメッシュブロックへ分割する例を示す図である。 実施形態において用いられる順序決定テーブルの一例を示す図である。 実施形態における色空間上の色ビンの構成の一例を示す図である。 実施形態における輝度特徴量抽出処理の詳細を説明するためのフローチャートである。 実施形態において輝度値を輝度ラベル値に変換するテーブルの一例を示す図である。 実施形態におけるエッジ特徴量抽出処理の詳細を説明するためのフローチャートである。 実施形態における微分フィルタの一例（Pewittフィルタ）である。 実施形態において登録される画像ＩＤ、元画像、縮小画像数、縮小画像からなる画像情報の一例を示す図である。 実施形態において登録される画像ＩＤ、領域ＩＤ、領域属性からなる画像情報の一例を示す図である。 実施形態において登録される画像ＩＤ、領域ＩＤ、画像特徴量からなる画像情報の一例を示す図である。 実施形態による画像処理装置のハードウェア構成を示すブロック図である。

Claims (10)

1. 画像から画像特徴量を算出する画像処理装置であって、
   １つの画像について、複数種類の解像度の画像データを保持する保持手段と、
   前記画像における、画像特徴量の算出対象となる処理対象領域の位置及び大きさを取得する取得手段と、
   画像特徴量の種類と画像特徴量の算出に必要な画素数とを対応付けて登録したテーブルを有し、該テーブルを参照して算出すべき画像特徴量の種類に応じて必要な画素数を決定する決定手段と、
   前記決定手段で決定された画素数を、前記取得手段で取得された前記処理対象領域の大きさに存在させるのに必要な解像度を算出する解像度算出手段と、
   前記解像度算出手段で算出された解像度に基づいて、前記複数種類の解像度の画像データのうちの一つを選択し、選択された画像データの前記処理対象領域に対応する部分画像を前記取得手段で取得した位置及び大きさに従って取得し、取得された部分画像から前記算出すべき画像特徴量の種類の画像特徴量を算出する特徴量算出手段と、を備えることを特徴とする画像処理装置。
2. 前記決定手段は、算出すべき複数種類の画像特徴量が存在する場合は、それら複数種類の画像特徴量の各々について必要な画素数を取得し、取得された画素数のうちの最大の画素数を前記決定された画素数として採用することを特徴とする請求項１に記載の画像処理装置。
3. 前記テーブルには、画像特徴量の種類、処理対象の画像の色数、処理対象の画像が光学的に読み取られた画像であるかアプリケーションによって描画された画像であるかの種別に応じて、画像特徴量の算出に必要な画素数が登録されており、 前記決定手段は、前記算出すべき画像特徴量の種類と処理対象である前記画像の色数および種別に応じて、前記テーブルを参照して必要な画素数を決定することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記取得手段は、前記複数種類の解像度の画像データのうちの最大解像度の画像データに対して像域分離処理を施して得られた領域を前記処理対象領域として取得することを特徴とする請求項１に記載の画像処理装置。
5. 前記取得手段は、前記像域分離処理で得られた領域のうち、テキスト領域と判定された領域は前記処理対象領域から除外することを特徴とする請求項４に記載の画像処理装置。
6. 文書画像を光学的に読み取ることにより画像データを得る読取手段と、
   前記読取手段で得られた画像データの解像度を変換する変換手段とを更に有し、
   前記保持手段は、前記読取手段で得られた画像データと、前記変換手段で解像度が変更された画像データとを保持することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記特徴量算出手段で算出された画像特徴量を前記画像と前記処理対象領域を示す領域情報とに関連付けて保存する保存手段を更に備えることを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 画像から画像特徴量を算出する画像処理装置の制御方法であって、
   保持手段が、１つの画像について、複数種類の解像度の画像データをメモリに保持する保持工程と、
   取得手段が、前記画像における、画像特徴量の算出対象となる処理対象領域の位置及び大きさを取得する取得工程と、
   決定手段が、画像特徴量の種類と画像特徴量の算出に必要な画素数とを対応付けて登録したテーブルを参照することにより、算出すべき画像特徴量の種類に応じて必要な画素数を決定する決定工程と、
   解像度算出手段が、前記決定工程で決定された画素数を、前記取得工程で取得された前記処理対象領域の大きさに存在させるのに必要な解像度を算出する解像度算出工程と、
   特徴量算出手段が、前記解像度算出工程で算出された解像度に基づいて、前記複数種類の解像度の画像データのうちの一つを選択し、選択された画像データの前記処理対象領域に対応する部分画像を前記取得工程で取得した位置及び大きさに従って取得し、取得された部分画像から前記算出すべき画像特徴量を算出する特徴量算出工程と、を有することを特徴とする画像処理装置の制御方法。
9. 請求項８に記載の制御方法の各工程をコンピュータに実行させることを特徴とするプログラム。
10. 請求項８に記載の制御方法の各工程をコンピュータに実行させるプログラムを格納したことを特徴とするコンピュータ読み取り可能な記憶媒体。

Images