JP4569162B2 - 画像処理方法、画像処理プログラムおよび画像処理装置 - Google Patents

Description

本発明は、画像処理装置で実行される画像処理方法、画像処理プログラムおよび当該画像処理装置に関し、特に処理画像に属性を付加する技術に関する。

近年、書類をペーパで管理するのではなく、スキャナーで当該書類の画像を読み込んで画像データファイルを生成して管理するシステム（以下、「ファイリングシステム」という。）が普及しつつある。これによれば、ペーパー上で書類を管理する必要がないので、収納スペースの低減や省資源化に資する。
このようなファイリングシステムとして、例えばイメージデータをＰＤＦ（Portable Document Format）ファイルへ変換する手法がしばしば利用されている。

ＰＤＦファイルは、イメージデータをその領域の種類（文字、写真等）に応じた圧縮処理を施すことができるので、極めて効率的にデータ量を低減でき、保存する記憶装置の記憶容量を節約できる。その上、ファイルごとに当該ファイルの名称や内容などのデータをプロパティとして入力することにより、ファイル検索が容易に行えるという利点もある。
特開２００３−３３８９３４号公報

しかしながら、ファイル検索のために、現状ではファイルごとにその書類のプロパティを手入力しなければならないので、大変手間である。
本発明は、上記の問題点に鑑みてなされたものであって、ファイル検索を容易に行うことが可能な画像処理方法、画像処理プログラムおよび画像処理装置を提供することを目的としている。

上記目的を達成するため、本発明に係る画像処理方法は、入力画像に対して、当該画像における各画素データが、少なくとも文字領域と写真領域のいずれの領域に属するかの領域判別を行う第１ステップと、前記第１ステップにおける領域判別の結果に基づき、各画素データに対し、その属する領域の種類に応じた画像処理を行う第２ステップと、前記第１ステップにおいて判別された領域の内、少なくとも前記文字領域と前記写真領域について、各領域の位置関係もしくは各領域ごとの特性を含む領域特徴情報に基づき、当該入力画像の属性情報を生成する第３ステップとを含む処理を実行し、前記第３ステップにおいて、前記領域特徴情報に含まれる各領域の位置関係もしくは各領域ごとの特性を項目別に画像の特徴量として算出し、異なる複数の画像種類ごとに、当該画像種類に対して予め決められた前記各領域の位置関係もしくは各領域ごとの特性を項目別に画像の特徴量として示す基本特徴量と、前記算出された画像特徴量とを、対応する項目ごとに比較し、画像種類ごとに、前記比較結果に応じて当該入力画像が前記異なる複数の画像種類の内のどの種類に属している蓋然性が高いのかを示す適合度を重み付けして、重み付けした適合度を、それぞれの画像種類に対応する属性情報とすることを特徴とする。

また、前記第２ステップで画像処理された入力画像をファイル出力すると共に、前記第３ステップで得られた入力画像の属性情報を当該ファイルに付加する第４のステップとを含む処理を実行することを特徴とする。
さらに、前記各領域ごとの特性には、当該領域において使用されている色の数、網点画像の割合、文字のサイズ、文字領域に使用される罫線の量の少なくとも一つが含まれることを特徴とする。

また、前記複数の画像種類には、新聞画像、カタログ画像、表画像、文書画像、プレゼンテーション用画像のうち少なくとも２つが含まれることを特徴とする。

さらに、前記第３ステップにおいて、前記複数の画像種類のそれぞれに対して、それぞれの画像種類に対応付けて管理されている当該画像種類の画像作成に用いられたと推定されるアプリケーションの種類を対応付けた情報を、さらに、前記属性情報に含めることを特徴とする。
さらに、前記入力画像の属性情報には、入力画像において各種類の領域の占める割合に関する情報、各種類の領域の相対的位置に関する情報のうち少なくともどちらかの情報が含まれることを特徴とする。

本発明に係る画像処理プログラムは、入力画像に対して、当該画像における各画素データが、少なくとも文字領域と写真領域のいずれの領域に属するかの領域判別を行う第１の処理と、前記第１ステップにおける領域判別の結果に基づき、各画素データに対し、その属する領域の種類に応じた画像処理を行う第２の処理と、前記第１ステップにおいて判別された領域の内、少なくとも前記文字領域と前記写真領域について、各領域の位置関係もしくは各領域ごとの特性を含む領域特徴情報に基づき、当該入力画像の属性情報を生成する第３の処理とを画像処理装置に実行させ、前記第３の処理において、前記領域特徴情報に含まれる各領域の位置関係もしくは各領域ごとの特性を項目別に画像の特徴量として算出し、異なる複数の画像種類ごとに、当該画像種類に対して予め決められた前記各領域の位置関係もしくは各領域ごとの特性を項目別に画像の特徴量として示す基本特徴量と、前記算出された画像特徴量とを、対応する項目ごとに比較し、画像種類ごとに、前記比較結果に応じて当該入力画像が前記異なる複数の画像種類の内のどの種類に属している蓋然性が高いのかを示す適合度を重み付けして、重み付けした適合度を、それぞれの画像種類に対応する属性情報とすることを特徴とする。

さらに、前記第２の処理で画像処理された入力画像をファイル出力すると共に、前記第３の処理で得られた入力画像の属性情報を当該ファイルに付加する第４の処理を画像処理装置に実行させることを特徴とする。
本発明に係る画像処理装置は、入力画像に対して、当該画像における各画素データが、少なくとも文字領域と写真領域のいずれの領域に属するかの領域判別を行う領域判別手段と、前記領域判別手段における領域判別の結果に基づき、各画素データに対し、その属する領域の種類に応じた画像処理を行う画像処理手段と、前記領域判別手段において判別された領域の内、少なくとも前記文字領域と前記写真領域について、各領域の位置関係もしくは各領域ごとの特性を含む領域特徴情報に基づき、当該入力画像の属性情報を生成する特徴情報生成手段とを備え、前記特徴情報生成手段は、前記領域特徴情報に含まれる各領域の位置関係もしくは各領域ごとの特性を項目別に画像の特徴量として算出し、異なる複数の画像種類ごとに、当該画像種類に対して予め決められた前記各領域の位置関係もしくは各領域ごとの特性を項目別に画像の特徴量として示す基本特徴量と、前記算出された画像特徴量とを、対応する項目ごとに比較し、画像種類ごとに、前記比較結果に応じて当該入力画像が前記異なる複数の画像種類の内のどの種類に属している蓋然性が高いのかを示す適合度を重み付けして、重み付けした適合度を、それぞれの画像種類に対応する属性情報とすることを特徴とする。

このように、判別された領域について、各領域の位置関係もしくは各領域ごとの特性を含む領域特徴情報に基づき当該入力画像の属性情報が生成されるので、生成された属性情報を検索条件として用いることにより、ユーザは、従来のようにいちいち検索条件を手入力するといった手間が一切なくなり大変便利になる。

以下、本発明の実施の形態について図面を参照しながら説明する。
（１）画像処理システムの構成
図１は、本発明に係る画像処理装置を含む画像処理システム（以下、「システム」と略する。）の全体構成を示す図である。
同図に示すように、本システムは、画像処理装置１と、画像処理装置１とデータのやりとりが可能に接続された画像読取装置２、外部記憶装置３および画像出力装置４から構成されている。

画像読取装置２は、原稿画像を１頁単位で読み取って画像データを得る公知の装置であり、読み取って得られた画像データを画像処理装置１に送る。
画像処理装置１は、パーソナルコンピュータからなり、画像読取装置２から画像データを受信すると、原稿１頁ごとに、当該原稿画像に含まれる文字画像と文字以外の写真等の画像の領域判別を行い、その判別結果に基づいて当該原稿を検索するために用いられる属性情報（後述）を作成すると共に、判別された文字画像と文字以外の画像（背景画像）を抽出し、抽出した文字画像の各画素のデータをＭＭＲ（Ｍｏｄｉｆｉｅｄ Ｍｏｄｉｆｉｅｄ ＲＥＡＤ）を用いて圧縮し、背景画像の各画素のデータをＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）を用いて圧縮して、圧縮データをＰＤＦファイルに変換し、上記属性情報を付加した上で個別のファイル名を付けて、外部記憶装置３に送る処理を実行する。

外部記憶装置３は、ハードディスクドライブを有し、画像処理装置１から送信されて来るデータを受信すると、それらをハードディスクドライブに格納する。
画像出力装置４は、画像処理装置１からの印刷指示を受けると、指示されたファイル名のデータを外部記憶装置３から読み出して、読み出したデータに基づいて用紙に印刷する公知の画像形成装置である。

図２は、本システムにおいてＰＤＦファイルが格納されるまでの処理フローの概要を示す図である。
同図に示すように、ステップＳ１では、画像読取装置２において読み取られた画像データが画像処理装置１に送られる。この画像データとしては、例えばＴＩＦＦ、ＪＰＥＧまたはＢＭＰとすることができ、その他のフォーマットの画像データであっても良い。

ステップＳ２では、画像処理装置１において、領域判別の前処理が実行される。この前処理は、入力画像の領域判別をより精度良く行うための処理であり、具体的には解像度変換（高から低へ）、下地除去等の公知の処理である。
ステップＳ３では、文字と写真等の画像の領域判別が行われる。そして、判別された領域の特徴量が抽出され、抽出された特徴量に基づいて属性情報が作成される。

ステップＳ４では、判別結果に基づいて入力画像から文字画像が抽出され、抽出された文字画像がＭＭＲにより圧縮される。
ステップＳ５では、判別結果に基づいて入力画像から背景画像が抽出され、抽出された背景画像がＪＰＥＧにより圧縮される。
ステップＳ６では、圧縮された文字画像と背景画像とがＰＤＦ化されて合成される。その際、ステップＳ３で作成された属性情報が付加され、ＰＤＦファイルとして出力される。

ステップＳ７では、出力されるＰＤＦファイルが、外部記憶装置３に格納される。
このように、領域判別により判別された領域ごとの圧縮を行う場合に、その領域判別結果を利用して属性情報を作成するので、検索のための属性情報の作成を合理的に行うことができる。
（２）画像処理装置１の構成
図３は、画像処理装置１の機能構成を示すブロック図である。

同図に示すように、画像処理装置１は、制御部１００、入力装置２００および表示装置３００を備えている。
入力装置２００は、キーボード、マウス等を含むものであり、ユーザからのキー入力等を受付け、それを制御部１００に伝える。
表示装置３００は、ディスプレイからなり、制御部１００からの表示指示に基づく画面を表示させる。

制御部１００は、主な構成要素としてインターフェース（Ｉ／Ｆ）部１０１、画像前処理部１０２、領域判別部１０３、属性判別部１０４、圧縮部１０５、ＰＤＦファイル作成部１０６、Ｉ／Ｆ部１０７、１０８、ＣＰＵ１０９、ＲＡＭ１１０およびＲＯＭ１１１を備えており、それぞれがバス１２０を介して接続されデータのやりとりが可能になっている。

Ｉ／Ｆ部１０１は、画像読取装置２に接続するためのインターフェースであり、画像読取装置２からの画像データを画像前処理部１０２に送る。
画像前処理部１０２は、Ｉ／Ｆ部１０１からの画像データに上記の前処理を施し、前処理されたデータを領域判別部１０３に送る。
領域判別部１０３は、画像前処理１０２からのデータに基づいて文字領域と写真領域を判別する領域判別処理を実行する。

属性判別部１０４は、判別された領域について、当該領域の特性（使用されている色の数、文字サイズ、罫線や網点の割合等）を抽出する特徴量抽出処理と、抽出された特性に基づいて当該入力画像の属性情報（当該入力画像が文書、表、カタログ等の画像種類の内のどの種類に属する蓋然性が高いのかを示す適合度）を作成する属性情報作成処理を実行する。

圧縮部１０５は、領域判別により判別された文字領域内の文字画像の各画素のデータをＭＭＲを用いて圧縮し、文字以外の背景画像の各画素のデータをＪＰＥＧを用いて圧縮する。
ＰＤＦファイル作成部１０６は、圧縮されたデータを公知のＰＤＦフォーマットに変換し、変換したファイルに上記属性情報を付加してＩ／Ｆ部１０７に送る。

Ｉ／Ｆ部１０７は、外部記憶装置３に接続するためのインターフェースであり、ＰＤＦファイル作成部１０６からのデータを外部記憶装置３に送信する。
Ｉ／Ｆ部１０８は、画像出力装置４に接続するためのインターフェースである。
ＣＰＵ１０９は、ＲＯＭ１１１に格納されているプログラムを読み出して、画像処理装置１の全体の動作を統一的に制御する。また、入力装置２００からの入力情報に基づく処理を実行すると共に表示装置３００の表示制御を行って必要な画面を表示させる。

さらに、画像前処理部１０２、領域判別部１０３等に指示して、画像読取装置２からの入力画像をＰＤＦ変換して外部記憶装置３に出力するまでの一連の処理（ＰＤＦ変換処理）を実行する。
ＲＯＭ１１１には、ＰＤＦ変換処理等を実行するためのプログラムが格納されている。また、図８に示す文書、表、カタログ等の各種画像についての特徴量の大小関係を示した基本特徴量テーブル１１２（内容は、後述）が格納されている。

ＲＡＭ１１０は、ＣＰＵ１０９が各種プログラムを実行する際のワークエリアとなる。
（３）ＰＤＦ変換処理
図４は、ＰＤＦ変換処理の内容を示すフローチャートである。
同図に示すように、ＣＰＵ１０９は、ユーザからのＰＤＦ変換指示を受付けると、スキャン画像取得処理（ステップＳ１０）を実行する。

このスキャン画像取得処理は、画像読取装置２からの画像データをＩ／Ｆ部１０１を介して取得する処理である。なお、取得された画像データは、そのまま入力画像としてＲＡＭ１１０内の所定の格納領域に格納される。以下、各処理において、画像のｒ（赤）、ｇ（緑）、ｂ（青）色の画素データを用いる場合は、このＲＡＭ１１０内に格納されたデータが読み出されるものとする。

次に、領域判別処理（ステップＳ２０）を実行する。ここでは、まず画像前処理部１０２に指示して、取得された画像データに上記所定の前処理を施させた後、領域判別部１０３に指示して、前処理された入力画像に基づく領域判別処理を実行させる。
図５は、領域判別処理のサブルーチンの内容を示すフローチャートであり、写真領域判別としてのステップＳ２０１〜Ｓ２０４と、文字領域判別としてのステップＳ２０５〜Ｓ２１３の処理が実行される。

同図に示すように、写真領域判別では、まず明度算出処理を行う（ステップＳ２０１）。具体的には、例えば入力画像をカラーの画像データとすると、原稿１頁分の画像の各画素について、そのｒ、ｇ、ｂ色の画素データ（２５６階調）を公知の変換式を用いて明度データに変換する。
次に、生成された明度データに公知のスムージングフィルタをかけて、入力画像に含まれているノイズを除去するスムージング処理を実行する（ステップＳ２０２）。

そして、スムージング処理が施されたデータに基づいて写真ブロックの検出を行う（ステップＳ２０３）。ここでは、ノイズ除去されたデータについて所定の閾値を用いて２値化を行う。そして、２値化画像に対し画素を連結させてラベリングを行い、ラベリングされた画像それぞれについて、写真領域であるか否かを判別する。
例えば、ブロックの大きさが所定の大きさ（文字相当程度の大きさ）よりも大きく、そのブロック内の各画素の明度、彩度、色相等の特徴、例えば中間調の画素が所定の割合以上含まれている場合等の所定の条件を満たす場合に写真領域と判別される。当該所定の条件を満たしていないブロックについては、写真領域とみなされない。なお、ここで写真領域として判定される領域には、写真の他、絵画、図表など階調性を有する画像の領域が含まれるものである。また、各画素の彩度、色相等については、ＲＡＭ１１０に格納されている入力画像のデータが参照される。

そして、写真領域であると判別された各ブロックについて、そのブロック（写真領域）を取り囲む矩形領域の座標のデータをＲＡＭ１１０に格納させる（ステップＳ２０４）。
一方、文字領域判別では、まず入力画像を明度データに変換する明度算出処理を行う（ステップＳ２０５）。この処理は、基本的に上記ステップＳ２０１の処理と同じであるが、明度データの変換式では文字判別のためのパラメータが用いられる点が異なっている。

次に、明度データにスムージングフィルタをかけてノイズを除去するスムージング処理を行う（ステップＳ２０６）。このスムージングも基本的に上記ステップＳ２０２の処理と同じであるが、文字判別に適したフィルタが用いられる点が異なっている。
そして、スムージング処理が施されたデータに公知のエッジフィルタをかけ２値のエッジ画像を生成する２値化処理を行う（ステップＳ２０７）。

生成された２値のエッジ画像に含まれる罫線を検出する処理を行う（ステップＳ２０８）。具体的には罫線検出のための公知のフィルタをかけて当該エッジ画像内に含まれる罫線を検出する。そして、検出された罫線の量（ここでは、前処理された入力画像の全画素数をＡ、罫線画像の画素数Ｂとして、Ｂ／Ａ）を算出し（ステップＳ２０９）、算出されたデータをＲＡＭ１１０に格納して、検出された罫線を削除する（ステップＳ２１０）。この罫線削除は、文字判定精度を高めるためである。

罫線削除された２値のエッジ画像について、主走査方向、副走査方向に所定の範囲内にあるものを連結し、連結されたブロックを取り囲んだ矩形領域を設定する文字ブロック検出処理を行う（ステップＳ２１１）。
そして、設定された文字ブロックの画像が文字であるか否かを判定する文字判定処理を行う（ステップＳ２１２）。例えば、文字ブロック内の画像について、その局所的な形状を特徴量として抽出し、抽出した特徴量からその画像が文字によるものであるか否かを判定する。より具体的には、画像の局所的な形状として、カーブ量や傾斜方向、閉ループ数、十字交差数、Ｔ字交差数等を抽出し、抽出された特徴点が、予め保持している文字判定のためのパターンの特徴点と一致している数が所定値（閾値）以上であれば、文字として判定し、所定値よりも少なければ文字ではないと判定するものである。なお、文字判定には、他にも文字判定用の辞書に基づいてパターン認識を行う方法等を用いることが出来る。

ステップＳ２１３では、文字と判定されたブロック（文字領域）の座標データをＲＡＭ１１０に格納させる。
次に、文字領域内に含まれる網点領域を検出する処理を実行する（ステップＳ２１４）。この網点検出は、例えば文字領域内の画素に公知の網点検出用フィルタをかけ、所定範囲内の孤立点数が所定数を上回った場合に、その範囲を網点領域とすることにより行われる。

検出された網点領域から、当該網点の量（ここでは、文字領域内の全画素数をＣ、網点領域の画素数をＤとして、Ｄ／Ｃ）を算出し（ステップＳ２１５）、算出されたデータをＲＡＭ１１０に格納した後、網点領域内に散在している点画像を除去する（ステップＳ２１６）。
続いて、網点除去された文字領域内の各画素を所定の閾値を用いて２値化して文字領域内の文字画像と文字以外の部分（下地）を分離する処理を行う（ステップＳ２１７）。

そして、２値化により分離された文字画像を構成する各画素の座標（以下、「文字マップ」という。）のデータと、下地部分の座標のデータをＲＡＭ１１０に格納させる（ステップ２１８）。
ステップＳ２１９では、文字色数の算出処理を行い、その後メインルーチンにリターンする。この文字色数の算出としては、例えば文字マップから文字を構成する画素を特定し、特定された各画素について、ｒ、ｇ、ｂ色の画素データを色相を現すデータに変換し、所定の閾値との比較により、予め決められた複数色（黒、青、赤、黄、白色等）の内のどの色に属するのかを求め、その数（黒色の画素数、青色の画素数等）を計数することで行われる。なお、算出されたデータは、ＲＡＭ１１０に格納される。

なお、上記文字等の領域判別方法については、上記のものに限られることはなく、他の公知の方法を用いることができる。
図４に戻って、ステップＳ３０では、属性判別部１０４に指示して、特徴量抽出処理を実行させる。
図６は、特徴量抽出処理のサブルーチンの内容を示すフローチャートである。

同図に示すように、文字サイズの算出処理を行う（ステップＳ３１）。文字サイズの算出としては、例えば文字マップを参照し、文字画像それぞれについて、当該文字の高さ方向に相当する方向に並ぶ画素数を計数し、その画素数から当該文字の大きさ（ポイント）を検出することで行われる。ここでは、文字の中で最も大きなポイント数を示すデータがＲＡＭ１１０に格納される。

次に、下地領域の量の算出処理を行う（ステップＳ３２）。ここで、下地領域とは、文字領域内における下地であって、下地が白色以外のもの（例えば、新聞の文字領域内の背景に相当）をいう。
下地領域の量の算出方法としては、例えば上記ステップＳ２１８において格納された下地の座標のデータを参照し、入力画像のｒ、ｇ、ｂ色の画素データから、当該下地であって、白色以外の画素を抽出し、抽出された画素数をＥとし、さらにＥ／Ｃの値を算出し、この値を下地領域の量とすることにより行われる。算出されたデータは、ＲＡＭ１１０に格納される。

そして、画像の色数の算出処理を行う（ステップＳ３３）。この処理は、上記ステップＳ２１９の文字色数の算出処理と同様の処理であり、ここでは写真領域と判定された画像の画素を特定し、特定された各画素のｒ、ｇ、ｂ色の画素データから、画素ごとに、上記複数色の内のどの色に属するのかを求め、その数を計数する処理である。なお、算出されたデータは、ＲＡＭ１１０に格納される。

ステップＳ３４では、位置関係検出処理を行って、メインルーチンにリターンする。この位置関係検出処理は、入力画像における文字領域の配置位置と写真領域の配置位置の関係から入力画像の特性を検出するものである。
図７は、文字領域と写真領域の位置関係の具体例を示す図である。
図７（ａ）、図７（ｂ）は、文字領域と写真領域が重なることなく並置されている例であって、表中心、文書中心の画像に多いパターンである。

図７（ｃ）は、文字領域（破線で示す矩形領域）と写真領域が重なっている場合の例である。なお、上記のように文字領域は、２値のエッジ画像について隣接するもの同士が主走査方向、副走査方向において所定の範囲内にある場合には、それらが連結されて矩形領域が設定されるため、文字の配置によっては、同図の例のように破線で示す範囲が文字領域として設定されることがある。

同図では、文字領域と写真領域が重なっているが、文字領域と写真領域の右上の角部の位置が一致しており、文字画像と写真画像が並置された構成になっている。
図７（ｄ）は、文字領域内に２つの写真領域が重なっている場合の例であるが、文字領域と写真領域の角部の位置が一致しており、文字と写真が並置された構成になっている。
一方、図７（ｅ）は、文字領域内に一つの写真領域が重なっている場合の例であり、雑誌やカタログの画像に多いパターンである。文字領域と写真領域の角部の位置が一致しておらず、写真画像が文字領域に四方から取り囲まれた配置になっており、図７（ｃ）、図７（ｄ）に比べて複雑な構成になっている。

位置関係検出処理では、文字領域と写真領域の座標値を参照し、文字領域内に含まれる写真領域の数が０または１であり、文字領域と写真領域が重なっていても角部の位置が一致している場合には、当該入力画像について位置関係に基づく複雑度を「小」（図７（ａ）〜（ｃ）に相当）、文字領域内に含まれる写真領域の数が２または３であり、文字領域と写真領域の角部の位置が一致している場合には「中」（図７（ｄ）に相当）、それ以外には、「大」（図７（ｅ）に相当）として、そのデータをＲＡＭ１１０に格納する。

図４に戻って、特徴量抽出処理（ステップＳ３０）が終了すると、属性情報作成処理（ステップＳ４０）を実行させる。
属性情報作成処理は、領域判別処理および特徴量抽出処理において抽出された特徴量、すなわち罫線の量、網点の量、文字サイズ、文字色数、下地の量、画像色数、複雑度を示すデータをＲＡＭ１１０から読み出す。そして、読み出した特徴量と、ＲＯＭ１１１に格納されている基本特徴量テーブル１１２の内容を比較して、入力画像がどの画像種類に適合しているのかを示す適合度を算出する。

図８は、基本特徴量テーブル１１２の内容例を示す図である。
同図に示すように、基本特徴量テーブル１１２には、画像の種類を示す項目として、表中心の原稿画像、文書中心の原稿画像、プレゼンテーション画像（グラフ、図形、色文字等を含むプレゼンテーション資料として用いられる画像）、雑誌／カタログ画像、新聞画像の欄が設けられ、画像の特徴を示す項目として、罫線量、文字サイズ、文字色数、画像色数、網点量、下地量、位置（複雑度）の欄が設けられており、各画像について、項目ごとに特徴量の大小関係が予め決められている。

例えば、罫線量の場合、表中心の原稿画像が「多」、文書中心の原稿画像が「中」、プレゼンテーション画像、雑誌／カタログ画像、新聞画像が「少」となっている。これは、表中心の原稿画像には通常罫線が大変多く、文書中心の原稿画像には一部に表が組み込まれていることがあり、プレゼンテーション画像、雑誌／カタログ画像、新聞画像には使用されることが少ないと考えられるからであり、この関係を相対評価したものである。

文字サイズについては、プレゼンテーション画像で大きな文字が使用される蓋然性が高いことから、プレゼンテーション画像が「大」、新聞画像は小さな文字が使用されるので「小」、その他は「中」とされている。
文字色数については、プレゼンテーション画像では多彩な色が使用されることが多く、逆に他の画像ではそれほど多くの色が使用されないことを考慮して、プレゼンテーション画像が「多」、その他は「少」とされている。

画像色数については、雑誌やカタログで多彩な色が使用されることが多いことから、雑誌／カタログ画像が「多」になっている。
網点量については、新聞が最も多いことから、新聞画像が「多」になっている。
下地量については、新聞が最も多いことから、新聞画像が「多」になっている。
位置（複雑度）については、雑誌やカタログで文字と写真が複雑な位置関係で配置されることが最も多いと考えられ、雑誌／カタログ画像が複雑度「大」になっている。

上記読み出された入力画像の特徴量は、位置（複雑度）以外のものが数値データで示されているため、入力画像の特徴量も、基本特徴量テーブル１１２の大、中、小に合わせて所定の閾値を用いて大（多）、中、小（少）の３段階に分類され、その分類結果がＲＡＭ１１０内に設けられた入力画像特徴量テーブル１１３に書き込まれる。
図９は、３段階に分類された入力画像の特徴量を示す入力画像特徴量テーブル１１３の内容例を示す図である。

同図に示すように、入力画像特徴量テーブル１１３は、画像の特徴量について基本特徴量テーブル１１２と同じ項目が設けられている。
図９に示す特徴量と、図８に示す表中心の原稿の画像特徴量とを項目ごとに比較し、内容が同じ（例えば、両方とも「多」）であれば、当該項目についての適合度として０．９５の重み付けをし、１段階ずれると（例えば、一方が「多」、他方が「中」）であれば、０．８の重み付けをし、２段階ずれると（例えば、一方が「多」、他方が「少」）であれば、０．６の重み付けをして、全項目の重みを乗算したものを適合度とする。

表中心の原稿画像の場合、罫線量、文字サイズ、画像色数、網点量、下地量、位置（複雑度）については、重み０．９５、文字色数については、重み０．８になり、乗算すると、入力画像が表中心の原稿画像である適合度は、０．９５×０．９５×０．８×０．９５×０．９５×０．９５×０．９５＝０．６（６０％）になる。
同様に、文書中心の原稿画像の場合では、文字サイズ、画像色数、網点量、下地量、位置（複雑度）については、重み０．９５、罫線量、文字色数については、重み０．８になり、入力画像が文書中心の原稿画像である適合度は、０．８×０．９５×０．８×０．９５×０．９５×０．９５×０．９５＝０．５（５０％）になる。

同様に他の画像種類も計算すると、入力画像がプレゼンテーション画像である適合度は、０．１８（１８％）、雑誌／カタログ画像である適合度は、０．１０（１０％）、新聞画像である適合度は、０．１２（１２％）になる。これより、入力画像は、表中心の原稿画像である蓋然性が最も高いことがわかる。なお、重みの値については、上記のものに限られることはなく、適合度算出に最適と想定される値が実験等から求められる。算出された適合度を示すデータは、ＰＤＦファイル作成部１０６に送られる。

図４に戻って、属性情報作成処理（ステップＳ４０）が終了すると、圧縮部１０５に指示して画像圧縮処理（ステップＳ５０）を実行させる。
この画像圧縮処理では、ＲＡＭ１１０から文字マップを読み出して、入力画像中の文字画像の座標値を取得し、入力画像から文字画像だけを抽出して、抽出された文字画像の各画素のデータをＭＭＲを用いて圧縮する。また、入力画像から文字以外の背景画像（写真、下地等）を抽出し、抽出された画像の各画素のデータをＪＰＥＧを用いて圧縮する処理が実行される。圧縮された文字画像ファイル、背景画像ファイルは、ＰＤＦファイル作成部１０６に送られる。

画像圧縮処理（ステップＳ５０）が終了すると、ＰＤＦファイル作成部１０６に指示してＰＤＦファイル作成処理（ステップＳ６０）を実行させる。
ＰＤＦファイル作成処理では、画像圧縮処理において圧縮された文字画像ファイル、背景画像ファイルをＰＤＦフォーマットに変換し、変換後のファイルに、属性情報作成処理において算出された適合度を示すデータを関連付けたＰＤＦファイルを作成する。

図１０は、作成されたＰＤＦファイルの構造例を示す図である。
同図に示すように、ＰＤＦファイルは、文字画像と背景画像のレイヤーと、属性情報を示すレイヤーからなる。属性情報を示すレイヤーは、画像種類ごとに分けられており、レイヤーごとに、算出された適合度を示すデータ、そのデータの貼り付け位置、サイズ、色（ここでは透明）を示す情報が含まれている。

作成されたＰＤＦファイルは、Ｉ／Ｆ部１０７を介して外部記憶装置３に送信され、これによりＰＤＦ変換処理が終了する。
以上説明したように、本実施の形態では、入力画像から文字と背景画像を抽出し、それぞれ別々の圧縮処理を行ってＰＤＦファイルを作成する構成において、文字領域と写真領域を判別し、判別された各領域について画像の特徴量を抽出し、抽出された特徴量に基づいて入力画像がどの種類の画像に適合しているのかを示す適合度を算出し、これを属性情報としてＰＤＦファイルに含めるようにしている。

したがって、属性情報に含まれる「適合率」を検索条件として用いれば、例えば「表」中心の原稿画像からなるファイルを検索したい場合、その適合率６０％以上のものを検索条件とすることにより、「表」を含む蓋然性が高いファイルを検索することが可能になり、大量のファイルを管理する場合であっても、ユーザは、従来のようにいちいち検索条件をファイル毎に手入力するといった手間が一切なくなり大変便利になる。

なお、本発明は、画像処理装置に限られず、上記属性情報を作成する画像処理方法であるとしても良い。また、その方法をコンピュータが実行するプログラムであるとしてもよい。また、本発明に係るプログラムは、例えば磁気テープ、フレキシブルディスク等の磁気ディスク、ＤＶＤ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＭＯ、ＰＤなどの光記録媒体、Smart Media（登録商標）などのフラッシュメモリ系記録媒体等、コンピュータ読み取り可能な各種記録媒体に記録することが可能であり、当該記録媒体の形態で生産、譲渡等がなされる場合もあるし、プログラムの形態でインターネットを含む有線、無線の各種ネットワーク、放送、電気通信回線、衛星通信等を介して伝送、供給される場合もある。

また、本発明に係るプログラムは、上記に説明した処理をコンピュータに実行させるための全てのモジュールを含んでいる必要はなく、例えば通信プログラムやオペレーティングシステム（ＯＳ）に含まれるプログラムなど、別途情報処理装置にインストールすることができる各種汎用的なプログラムを利用して、本発明の各処理をコンピュータに実行させるようにしても良い。従って、上記した本発明の記録媒体に必ずしも上記全てのモジュールを記録している必要はないし、また必ずしも全てのモジュールを伝送する必要もない。さらに所定の処理を専用ハードウェアを利用して実行させるようにすることができる場合もある。

（変形例）
以上、本発明を実施の形態に基づいて説明してきたが、本発明は、上述の実施の形態に限定されないのは勿論であり、以下のような変形例が考えられる。
（１）上記実施の形態では、属性情報作成処理において適合度を算出し、これを入力画像の属性情報としたが、本発明の属性情報は、入力画像の検索条件として用いることが可能なものであれば良く、その意味で上記適合度に限定されることはない。

例えば、図８の基本特徴量テーブル１１２と図９の入力画像特徴量テーブル１１３において、特徴量が一致する項目の数が最も多い原稿種類を当該入力画像の属性とすることができる。図８、９の例では、一致数が６個になる「表中心の原稿画像」が入力画像の属性ということになり、入力画像が表中心の原稿画像であることを示すデータが属性情報としてＰＤＦファイルに付加されることになる。この場合、重み付けや乗算処理自体が不要になり、ＣＰＵの負担を減らすことができる。なお、一致数が次に多い画像種類を属性情報に付加するとしても良い。

また、画像種類と、画像作成に用いられたと推定されるアプリケーションソフトウェアとを対応付けて管理し、入力画像の属性情報に当該アプリケーションの種類をも含める構成とすることもできる。例えば、表中心の原稿画像に対し「表計算ソフト」、文書中心の原稿画像に対し「ワードプロセッサ」、プレゼンテーション画像に対し「プレゼンテーションソフト」等とするものである。これにより、ユーザは、アプリケーションの種類をも検索条件に加えることが可能になる。

（２）上記実施の形態では、基本特徴量テーブル１１２に７項目の画像特徴量を設けるとしたが、もちろん上記７項目に限られることはなく、それよりも多い、または少ない項目に基づいて属性情報を作成するとしても良い。追加する項目として、例えば入力画像１ページに対する写真領域の量を考えることができる。雑誌、カタログ等には、写真が多く含まれ、表、文書中心の原稿には極めて少ないと推定されることから、基本特徴テーブル１１２に、雑誌／カタログ画像に対し「多」、プレゼンテーション画像、新聞画像に対し「中」、表、文書中心の原稿画像に対し「少」とすることができる。

また、１項目、例えば罫線量だけを用いるとすることも可能である。その場合でも、入力画像が「表中心」である蓋然性が高い、低いという情報を得ることはでき、表中心原稿画像を検索する条件として用いることができる。また、同様に画像種類についても上記のもの（表中心、文書中心等）に限られることもない。
（３）また、基本特徴量テーブル１１２を用いない構成、例えば入力画像特徴量テーブル１１３の情報を属性情報として用いることも可能である。さらに、抽出された画像特徴量（罫線量、網点量等の算出値）そのものを属性情報として用いるとしても良い。

（４）上記実施の形態では、領域判別処理において、文字、写真領域を矩形領域としたが、領域判別としては文字画像（文字を構成する画素）だけを文字領域、写真画像だけを写真領域として判別するとしても良い。文字画像だけを文字領域として判別しても、文字サイズ、文字色等の特徴量を得ることが可能である。
また、上記実施の形態では、文字領域と写真領域を判別するとしたが、領域判別としては、これらに加えて別の領域、例えば文字、写真のいずれにも属さない下地領域も判別し、当該下地領域の量、色数等を特徴量として抽出するとしても良い。ビジネス関係の表、文書中心の画像では下地がもっぱら白色であることが多いが、新聞画像、プレゼンテーション画像等では白以外の色が用いられている場合が多く、画像の一の特徴を表すものといえるからである。このような判別を用いる場合、例えば各領域を別の圧縮方法を用いて圧縮することもできる。写真と下地とで圧縮率を変えた方がさらなる高圧縮の効果を得ることができる場合があるからである。

（５）上記実施の形態では、ＰＤＦファイルを作成する場合の例を説明したが、本発明はＰＤＦに限定されることはなく、例えば領域毎に色変換を行ったり、下地色を付けるなどのカラー画像処理や、領域毎に画像を切り出して領域別ＤＢ（データベース）に保存させるなど領域判別された各領域について、その領域に応じた画像処理を実行する場合に、各領域の画像特徴量を抽出し、抽出された特徴量に基づいて入力画像の属性情報を作成するとしても良い。

本発明に係る画像処理方法、画像処理プログラムおよび画像処理装置は、処理後の画像に検索条件となる属性情報を付加することで検索を容易にする技術として有用である。

画像処理システムの全体構成を示す図である。 画像処理システムにおいてＰＤＦファイルが格納されるまでの処理フローの概要を示す図である。 画像処理装置１の機能構成を示すブロック図である。 ＰＤＦ変換処理の内容を示すフローチャートである。 ＰＤＦ変換処理の領域判別処理のサブルーチンの内容を示すフローチャートである。 ＰＤＦ変換処理の特徴量抽出処理のサブルーチンの内容を示すフローチャートである。 文字領域と写真領域の位置関係の具体例を示す図である。 基本特徴量テーブル１１２の内容例を示す図である。 入力画像特徴量テーブル１１３の内容例を示す図である。 作成されたＰＤＦファイルの構造例を示す図である。

符号の説明

１ 画像処理装置
１００ 制御部
１０３ 領域判別部
１０４ 属性判別部
１０５ 圧縮部
１０６ ＰＤＦファイル作成部
１１２ 基本特徴量テーブル
１１３ 入力画像特徴量テーブル

Claims (9)

1. 入力画像に対して、当該画像における各画素データが、少なくとも文字領域と写真領域のいずれの領域に属するかの領域判別を行う第１ステップと、
   前記第１ステップにおける領域判別の結果に基づき、各画素データに対し、その属する領域の種類に応じた画像処理を行う第２ステップと、
   前記第１ステップにおいて判別された領域の内、少なくとも前記文字領域と前記写真領域について、各領域の位置関係もしくは各領域ごとの特性を含む領域特徴情報に基づき、当該入力画像の属性情報を生成する第３ステップと
   を含む処理を実行し、
   前記第３ステップにおいて、前記領域特徴情報に含まれる各領域の位置関係もしくは各領域ごとの特性を項目別に画像の特徴量として算出し、
   異なる複数の画像種類ごとに、当該画像種類に対して予め決められた前記各領域の位置関係もしくは各領域ごとの特性を項目別に画像の特徴量として示す基本特徴量と、前記算出された画像特徴量とを、対応する項目ごとに比較し、
   画像種類ごとに、前記比較結果に応じて当該入力画像が前記異なる複数の画像種類の内のどの種類に属している蓋然性が高いのかを示す適合度を重み付けして、重み付けした適合度を、それぞれの画像種類に対応する属性情報とすることを特徴とする画像処理方法。
2. 前記第２ステップで画像処理された入力画像をファイル出力すると共に、前記第３ステップで得られた入力画像の属性情報を当該ファイルに付加する第４のステップとを含む処理を実行することを特徴とする請求項１記載の画像処理方法。
3. 前記各領域ごとの特性には、当該領域において使用されている色の数、網点画像の割合、文字のサイズ、文字領域に使用される罫線の量の少なくとも一つが含まれることを特徴とする請求項１または２に記載の画像処理方法。
4. 前記複数の画像種類には、新聞画像、カタログ画像、表画像、文書画像、プレゼンテーション用画像のうち少なくとも２つが含まれることを特徴とする請求項１から３のいずれか１項に記載の画像処理方法。
5. 前記第３ステップにおいて、
   前記複数の画像種類のそれぞれに対して、それぞれの画像種類に対応付けて管理されている当該画像種類の画像作成に用いられたと推定されるアプリケーションの種類を対応付けた情報を、さらに、前記属性情報に含めることを特徴とする請求項１から３のいずれか１項に記載の画像処理方法。
6. 前記入力画像の属性情報には、入力画像において各種類の領域の占める割合に関する情報、各種類の領域の相対的位置に関する情報のうち少なくともどちらかの情報が含まれることを特徴とする請求項２に記載の画像処理方法。
7. 入力画像に対して、当該画像における各画素データが、少なくとも文字領域と写真領域のいずれの領域に属するかの領域判別を行う第１の処理と、
   前記第１ステップにおける領域判別の結果に基づき、各画素データに対し、その属する領域の種類に応じた画像処理を行う第２の処理と、
   前記第１ステップにおいて判別された領域の内、少なくとも前記文字領域と前記写真領域について、各領域の位置関係もしくは各領域ごとの特性を含む領域特徴情報に基づき、当該入力画像の属性情報を生成する第３の処理と
   を画像処理装置に実行させ、
   前記第３の処理において、前記領域特徴情報に含まれる各領域の位置関係もしくは各領域ごとの特性を項目別に画像の特徴量として算出し、
   異なる複数の画像種類ごとに、当該画像種類に対して予め決められた前記各領域の位置関係もしくは各領域ごとの特性を項目別に画像の特徴量として示す基本特徴量と、前記算出された画像特徴量とを、対応する項目ごとに比較し、
   画像種類ごとに、前記比較結果に応じて当該入力画像が前記異なる複数の画像種類の内のどの種類に属している蓋然性が高いのかを示す適合度を重み付けして、重み付けした適合度を、それぞれの画像種類に対応する属性情報とすることを特徴とする画像処理プログラム。
8. さらに、前記第２の処理で画像処理された入力画像をファイル出力すると共に、前記第３の処理で得られた入力画像の属性情報を当該ファイルに付加する第４の処理を画像処理装置に実行させることを特徴とする請求項７に記載の画像処理プログラム。
9. 入力画像に対して、当該画像における各画素データが、少なくとも文字領域と写真領域のいずれの領域に属するかの領域判別を行う領域判別手段と、
   前記領域判別手段における領域判別の結果に基づき、各画素データに対し、その属する領域の種類に応じた画像処理を行う画像処理手段と、
   前記領域判別手段において判別された領域の内、少なくとも前記文字領域と前記写真領域について、各領域の位置関係もしくは各領域ごとの特性を含む領域特徴情報に基づき、当該入力画像の属性情報を生成する特徴情報生成手段と
   を備え、
   前記特徴情報生成手段は、前記領域特徴情報に含まれる各領域の位置関係もしくは各領域ごとの特性を項目別に画像の特徴量として算出し、
   異なる複数の画像種類ごとに、当該画像種類に対して予め決められた前記各領域の位置関係もしくは各領域ごとの特性を項目別に画像の特徴量として示す基本特徴量と、前記算出された画像特徴量とを、対応する項目ごとに比較し、
   画像種類ごとに、前記比較結果に応じて当該入力画像が前記異なる複数の画像種類の内のどの種類に属している蓋然性が高いのかを示す適合度を重み付けして、重み付けした適合度を、それぞれの画像種類に対応する属性情報とすることを特徴とする画像処理装置。

Images