JP4548062B2 - 画像処理装置 - Google Patents

Description

本発明は、複数の画像データの探索を支援する画像処理装置に関する。

近年では、ディスクデバイスなど、データを記憶する装置の記憶容量が飛躍的に増大し、蓄積されるデータの量も膨大になりつつある。このため、情報処理装置の利用者からは、かかる膨大な量のデータから目的のデータを容易に見つけ出すことのできる方法が求められている。

そこで例えば、利用者から予め、画像を検索する際のインデックスデータの入力を受けておくとともに、他の画像を関連づけて記憶し、検索が行われたときに、当該関連付けられた他の画像を併せて提供する技術が特許文献１に開示されている。
特開２００１−１６００６０号公報

しかしながら、上記従来の方法では、インデックスデータが利用者によって任意に入力されるため、必ずしも適切なものとならないことがあった。また、入力の際に、キーボード入力の手間が必要となることもあり、利便性が低いという問題点があった。

一方で、画像データの探索を容易にするために、画像データの縮小画像（いわゆるサムネイル）を生成し、当該縮小画像の一覧を表示することも広く行われている。しかしながら、縮小画像では、例えば定型文書が多く保持されている場合などでは、いずれも似通った画像となるので、相互に区別が困難となることがあり、利便性が低い。

本発明は上記実情に鑑みて為されたもので、利便性を向上できる画像処理装置を提供することを、その目的の一つとする。

上記従来例の問題点を解決するための本発明は、画像処理装置であって、処理対象となっている画像データのうち、文字画像部分を抽出する手段と、前記文字画像部分の少なくとも一部より生成した索引画像と、前記処理対象となった画像データを特定する情報とを関連付けて保持する手段と、を含み、前記保持されている索引画像が対象画像データの取得に係る所定処理に供されることを特徴としている。

ここで、前記保持されている索引画像の少なくとも一部の一覧を提示する手段を含み、前記一覧から索引画像の少なくとも一つが選択されたときに、当該選択された少なくとも一つの索引画像の各々に関連づけられている画像データの取得処理が実行されることしてもよい。

また、上記従来例の問題点を解決するための本発明は、画像処理装置であって、処理対象となっている画像データから、文字画像部分と絵柄画像部分とを分離する手段と、前記文字画像部分又は絵柄画像部分の少なくとも一部より生成した索引画像と、前記処理対象となった画像データを特定する情報とを関連付けて保持する手段と、を含み、前記保持されている索引画像が対象画像データの取得に係る所定処理に供されることを特徴としている。

また、本発明の一態様に係る画像処理方法は、抽出手段が、処理対象となっている画像データのうち、文字画像部分を抽出する工程と、保持手段が、前記文字画像部分の少なくとも一部より生成した索引画像と、前記処理対象となった画像データを特定する情報とを関連付けて保持する工程と、を含み、前記保持されている索引画像が対象画像データの取得に係る所定処理に供されることを特徴としている。

さらに本発明の別の態様は、プログラムであって、コンピュータを、処理対象となっている画像データのうち、文字画像部分を抽出する手段と、前記文字画像部分の少なくとも一部より生成した索引画像と、前記処理対象となった画像データを特定する情報とを関連付けて保持する手段と、前記保持されている索引画像を用いて、対象画像データの取得に係る所定処理を実行する手段と、して機能させることとしたものである。

本発明の実施の形態について図面を参照しながら説明する。本発明の実施の形態に係る画像処理装置は、図１に示すように、制御部１１と、記憶部１２と、ストレージ部１３と、操作部１４と、表示部１５とを含んで構成されている。

制御部１１は、ＣＰＵ等で実現できる。この制御部１１は、記憶部１２に格納されているプログラムに従って動作している。本実施の形態の制御部１１は、ストレージ部１３に格納されている画像データに関係する索引画像を生成する処理（索引画像生成処理）と、画像データを取得させるための処理（画像データ取得処理）とを実行する。これら制御部１１の具体的な処理の内容については後に詳しく述べる。なお、以下の説明で、線分との語には基本的に文字や線画など線分を含んで構成される画像要素が含まれるものとする。

記憶部１２は、ＲＡＭ（Random Access Memory）等のメモリ素子を含んで構成され、制御部１１によって実行されるプログラムを保持する。またこの記憶部１２は、制御部１１による処理の過程で必要となる種々のデータを保持するワークメモリとしても動作する。

ストレージ部１３は、ハードディスク等を含んで構成される。このストレージ部１３は、制御部１１によって実行されるプログラムを格納している。このプログラムは、制御部１１の実行時には、記憶部１２に複写されて利用される。また、このストレージ部１３は、提示の対象となる複数の画像データを保持しているものとする。

操作部１４は、利用者の操作を受け入れるマウスやキーボードなどであり、利用者の操作の内容を制御部１１に伝達する。表示部１５は、液晶ディスプレイなどであり、制御部１１から入力される指示に従って情報を提示する。

次に制御部１１の処理の内容について説明する。まず、索引画像生成処理について説明する。この処理に係るプログラムは、図２に機能的に示すように、ストレージ部１３に格納されている画像データの一つを処理対象として、この処理対象となった画像データに対して、所定前処理を行う前処理部２１と、レイアウト解析部２２と、文字画像処理部２３と、索引画像生成部２４とを含んで構成されている。以下、これら各部について具体的に説明する。

本実施の形態では、画像データは、例えばスキャナにて読み取られ、ストレージ部１３に格納されたビットマップ画像データ（圧縮処理されていてもよい）である。

前処理部２１は、処理の対象となった画像データ（対象画像データ）の各画素の値を二値化処理して二値化画像データを生成する。ここで二値化処理の内容は、対象画像データに含まれる画素のうち、その輝度が所定のしきい値を超えるものを「白」、それ以外を「黒」の画素とすることとしてもよい。また、対象画像データに含まれる画素の各々を注目画素として選択し、当該選択した注目画素の輝度と、その周辺の画素の平均輝度との差に基づいて、注目画素の値を「白」または「黒」のいずれかと定めるようにしてもよい。

レイアウト解析部２２は、例えば、特開２００２−１７５５３２号公報などに開示されている公知のレイアウト解析処理を行い、文字を含む領域を画定する情報を生成する。具体的には、このレイアウト解析部２２は前処理部２１が出力する二値化画像データから互いに連結している有意画素群を少なくとも一つ抽出する。そして各有意画素群に外接する矩形のサイズや、隣接する矩形との距離や位置関係に基づいて、各々の矩形のサイズが例えば６ポイント平方以上で２４ポイント平方以下であり、かつ主走査方向又は副走査方向に並べて配置されている場合に、当該配置されている各矩形内の有意画素群が文字であると判断する。なお、ここで有意画素とは、例えばその四隅近傍の画素値に基づいて定められた背景画素値とは異なる（色空間上で所定閾値以上の距離にある）画素値の画素をいう。

文字画像処理部２３は、文字を含むと判断された矩形（以下、文字矩形と呼ぶ）の各々について、各文字矩形に含まれる有意画素群の形状をマスク画像データとして記憶部１２に格納する。この処理により、対象画像データ上の各文字に対応する矩形状が生成されるとともに、各文字の形状を表すマスク画像データが生成される。本実施の形態では、レイアウト解析によって文字画像部分を抽出することで、文字画像が絵柄部分に含まれていても、絵柄部分を二値化したときに生じるノイズ状部分（孤立画素部分）を除去でき、文字画像部分の検出精度を向上させているが、文字画像部分を抽出する方法は、これに限られるものではない。

索引画像生成部２４は、対象画像データを表示部１５に表示するとともに、各マスク画像データをその対応する位置（対応する文字矩形の領域）に、重ね合わせて表示する。また、この索引画像生成部２４は、利用者が操作部１４を操作して、このマスク画像データの少なくとも一つを選択する操作を行ったときに、選択されたマスク画像部分を強調表示する。具体的に、利用者がマウスなどのポインティングデバイスを用いて、例えば画像データ上で領域を画定する操作（ドラッグ操作など）を行うと、当該画定された領域に含まれる文字矩形内のマスク画像を選択されたものとして、当該文字矩形の外周を例えば赤色等の予め定めた色で着色して表示するなどして、強調表示する。

このように選択された状態で利用者が確定の操作を行うと、索引画像生成部２４は、当該選択されているマスク画像を含む索引画像を生成する。具体的に選択されたマスク画像を、一行あたり所定個数ずつ配列して、少なくとも一行分のマスク画像からなる索引画像を生成する。

そして索引画像生成部２４は、この生成した索引画像と、対象画像データを特定する情報（例えば対象画像データのファイル名など、以下、画像特定情報と呼ぶ）とを関連付けて、索引データベースとして、ストレージ部１３に格納する（図３）。

制御部１１は、さらに、こうして生成した索引画像を用いて画像データの取得処理を実行する。次に、この画像データ取得処理の内容について説明する。制御部１１は、ストレージ部１３に格納された索引データベースを参照しながら、索引画像の一覧を生成し、各索引画像に対して索引データベースにおいて関連づけられている、画像特定情報をリンクとして関連付けたハイパーテキスト文書を生成する。このハイパーテキスト文書は、例えばＨＴＭＬ（Hyper Text Markup Language）を用いて記述することができる。

そして制御部１１は、このハイパーテキスト文書を表示部１５に表示出力する（図４）。利用者は、このハイパーテキスト文書に含まれる索引画像を参照しながら、所望の索引画像が見いだされたときに、当該索引画像をクリック操作する。制御部１１は、当該クリック操作の対象となった索引画像に関連づけられている画像特定情報によって特定される画像データを、ストレージ部１３から読み出して、表示部１５に表示する。なお、索引画像の一覧を生成する際に、各索引画像のサイズが一定となるよう、画像データごとに生成された索引画像のサイズを予め定めたサイズに規格化（拡大縮小処理）してもよい。

本実施の形態によると、画像データに含まれる文字の少なくとも一部が、画像データにおけるのと同じ字形の画像として索引画像に含まれることとなる。これにより元々、画像データに含まれる文字を索引として用いることができ、また、キーボードを用いた入力を要しない。さらに、定型文書が多く保持されている場合であっても、そのうち各画像データを特異的に表す文字部分を選択することで、利便性を向上できる。

さらに、ここまでの説明では、抽出した文字画像部分（マスク画像）の一部を選択させるようにしていたが、生成したマスク画像の全体を索引画像に含めてもよい。

さらに、ここでは画像データごとに索引画像を生成する例について述べたが、これに代えて、例えば複数のページからなるドキュメントについて、各ページの画像データについて索引画像を生成し、その一覧を当該ドキュメントのインデックスとして生成してもよい。この場合は、各索引画像に対して、対応するドキュメント上のページや、対応する文字画像部分の位置を特定する情報を関連付けて索引データベースとすることとしてもよい。

さらに、抽出した文字画像部分（マスク画像）を新たなレイヤとして作成し、元の画像データと合成して表示するようにしてもよい。このようにすると、索引画像として登録してある画像部分が判別できるため、次に索引する場合にその操作が容易となる。また、例えば、索引画像を別のより適切なものに変更するような編集操作を容易に行うことが出来る。

なお、ここまでの説明においては、文字画像部分を例として説明したが、例えば、対象画像データから文字部分と絵柄部分とを分離する公知の技術を適用し、当該絵柄部分を索引画像の候補として提示し、その少なくとも一部選択された部分等を索引画像として生成することとしてもよい。このように文字画像部分又は絵柄画像部分の少なくとも一部を、索引画像とすることで、比較的視認性の高い索引画像とすることができる。

本発明の実施の形態に係る画像処理装置の構成ブロック図である。 本発明の実施の形態に係る画像処理装置の索引画像生成処理の内容を表す機能ブロック図である。 索引データベースの内容例を表す説明図である。 索引画像の一覧提示例を表す説明図である。

符号の説明

１１ 制御部、１２ 記憶部、１３ ストレージ部、１４ 操作部、１５ 表示部、２１ 前処理部、２２ レイアウト解析部、２３ 文字画像処理部、２４ 索引画像生成部。

Claims (5)

1. 複数のページを含んでなるドキュメントの各ページの画像データから、文字画像部分を抽出する手段と、
   前記文字画像部分に含まれる各文字の形状を表すマスク画像データを生成し、当該生成したマスク画像データの少なくとも一つの利用者による選択を受け入れて、当該選択されたマスク画像データによって表される各文字と同じ字形の画像を配列した索引画像を、前記ドキュメントのインデックスとして生成する索引画像生成手段と、
   前記索引画像生成手段により生成されたインデックスとしての索引画像と、対応するドキュメントのページの画像データを特定する情報とを関連づけて保持する手段と、を含むことを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記保持されている索引画像の少なくとも一部の一覧を提示する手段を含み、
   前記一覧から索引画像の少なくとも一つが選択されたときに、当該選択された少なくとも一つの索引画像の各々に関連づけられている、対応するドキュメントのページの画像データの取得処理が実行されることを特徴とする画像処理装置。
3. 複数のページを含んでなるドキュメントの各ページの画像データから、文字画像部分と絵柄画像部分とを分離する手段と、
   前記文字画像部分又は絵柄画像部分の少なくとも一部より前記画像データに含まれる各文字の形状を表すマスク画像データを生成し、当該生成したマスク画像データの少なくとも一つの利用者による選択を受け入れて、当該選択されたマスク画像データによって表される各文字と同じ字形の画像を配列した索引画像を、前記ドキュメントのインデックスとして生成する索引画像生成手段と、
   前記索引画像生成手段により生成されたインデックスとしての索引画像と、対応するドキュメントのページの画像データを特定する情報とを関連づけて保持する手段と、を含むことを特徴とする画像処理装置。
4. コンピュータを用い、
   文字画像部分を抽出する手段が、複数のページを含んでなるドキュメントの各ページの画像データから、文字画像部分を抽出する工程と、
   索引画像を生成する手段が、前記文字画像部分に含まれる各文字の形状を表すマスク画像データを生成し、当該生成したマスク画像データの少なくとも一つの利用者による選択を受け入れて、当該選択されたマスク画像データによって表される各文字と同じ字形の画像を配列した索引画像を、前記ドキュメントのインデックスとして生成する索引画像生成工程と、
   情報を保持する手段が、前記索引画像生成工程により生成されたインデックスとしての索引画像と、対応するドキュメントのページの画像データを特定する情報とを関連づけて保持する工程と、を実行させることを特徴とする画像処理方法。
5. コンピュータを、
   複数のページを含んでなるドキュメントの各ページの画像データから、文字画像部分を抽出する手段と、
   前記文字画像部分に含まれる各文字の形状を表すマスク画像データを生成し、当該生成したマスク画像データの少なくとも一つの利用者による選択を受け入れて、当該選択されたマスク画像データによって表される各文字と同じ字形の画像を配列した索引画像を、前記ドキュメントのインデックスとして生成する索引画像生成手段と、
   前記索引画像生成手段により生成されたインデックスとしての索引画像と、対応するドキュメントのページの画像データを特定する情報とを関連づけて保持する手段と、
   として機能させることを特徴とするプログラム。

Images