JP6191256B2 - 画像処理装置及びプログラム - Google Patents

Description

本発明は、画像処理装置及びプログラムに関する。

画像を解析して、画像の構成要素や構造を認識する技術が知られている。例えば、特許文献１には、複数ページの文書構造を認識する技術が記載されている。特許文献２には、画像の特徴量に基づいて、画像に含まれる物体を認識する技術が記載されている。特許文献３には、パターン認識により、撮影された画像に含まれる対象物を認識する技術が記載されている。

特開平１１−２５００４１号公報 特開２０１２−２０３６３４号公報 特開２００６−２５２１６２号公報

本発明は、入力された画像データをその内容に応じたファイル形式のデータに変換することを目的とする。

請求項１に係る発明は、入力された画像データが表す、複数のページにより構成される原稿の画像から当該画像を構成する各要素の領域を抽出する抽出部と、前記抽出部により抽出された前記領域に文字領域が含まれる場合には、当該文字領域に対して文字認識処理を施す文字認識部と、前記複数のページの各々について、前記抽出部により当該ページから抽出された各々の前記領域の当該ページ全体に占める割合及び当該ページに含まれる前記文字領域に対して前記文字認識部により施された前記文字認識処理の結果に応じて、ファイル形式を決定する第１決定部と、前記第１決定部により各ファイル形式が決定されたページの総数を計数し、前記計数された総数が最も多いファイル形式を決定する第２決定部と、前記入力された画像データを前記第２決定部により決定された前記ファイル形式のデータに変換する変換部と、前記変換部により変換された前記データを出力する出力部とを備える画像処理装置を提供する。

請求項２に係る発明は、請求項１に記載の画像処理装置において、前記文字認識部は、前記文字認識処理により認識された文字の数を計算し、前記第１決定部は、前記ページ全体に占める前記文字領域の割合が閾値より大きく、且つ、前記文字認識部により計算された前記文字の数が閾値より多い場合には、前記ファイル形式として文書用のファイル形式を決定する。

請求項３に係る発明は、請求項１又は２に記載の画像処理装置において、前記文字認識部は、前記文字認識処理により認識された文字の大きさ及び位置を計算し、前記第１決定部は、前記文字認識部により計算された前記文字の位置が予め設定された位置であり、前記文字認識部により計算された当該文字の大きさが閾値より大きい場合には、前記ファイル形式としてプレゼンテーション用のファイル形式を決定する。

請求項４に係る発明は、請求項１から３のいずれか１項に記載の画像処理装置において、前記第１決定部は、前記割合、前記文字認識処理の結果及び前記画像の色数に応じて、前記ファイル形式を決定する。

請求項５に係る発明は、請求項１から４のいずれか１項に記載の画像処理装置において、前記抽出部により抽出された前記領域には、図領域が含まれ、前記第１決定部は、前記ページ全体に占める前記図領域の割合が閾値より大きい場合には、前記ファイル形式としてプレゼンテーション用のファイル形式を決定する。

請求項６に係る発明は、請求項１から５のいずれか１項に記載の画像処理装置において、前記抽出部により抽出された前記領域には、表領域が含まれ、前記第１決定部は、前記ページ全体に占める前記表領域の割合が閾値より大きい場合には、前記ファイル形式として表計算用のファイル形式を決定する。

請求項７に係る発明は、請求項１から６のいずれか１項に記載の画像処理装置において、前記第１決定部は、前記文字認識処理により認識された文字に特定の文字が含まれる場合には、前記ファイル形式として編集が制限されるファイル形式を決定する。

請求項８に係る発明は、請求項１から７のいずれか１項に記載の画像処理装置において、前記割合及び前記文字認識処理の結果に応じて、前記画像の種別を判別する判別部と、前記入力された画像データに対して、前記判別部により判別された前記画像の種別に対応する画質調整処理を施す画質調整部とをさらに備え、前記出力部は、前記変換部によるファイル形式の変換を要しない出力指示が入力された場合には、前記画質調整部により前記画質調整処理が施された前記画像データを出力する。

請求項９に係る発明は、請求項８に記載の画像処理装置において、前記出力部により出力された前記画像データに応じた画像を形成する画像形成部をさらに備える。

請求項１０に係る発明は、コンピュータに、入力された画像データが表す、複数のページにより構成される原稿の画像を構成する各要素の領域を抽出するステップと、前記抽出された領域に文字領域が含まれる場合には、当該文字領域に対して文字認識処理を施すステップと、前記複数のページの各々について、当該ページから抽出された各々の前記領域の当該ページ全体に占める割合及び当該ページに含まれる前記文字領域に対して施された前記文字認識処理の結果に応じて、ファイル形式を決定する第１決定ステップと、前記第１決定ステップにおいて各ファイル形式が決定されたページの総数を計数し、前記計数された総数が最も多いファイル形式を決定する第２決定ステップと、前記入力された画像データを前記第２決定ステップにおいて決定されたファイル形式のデータに変換するステップと、前記変換されたデータを出力するステップとを実行させるためのプログラムを提供する。

請求項１に係る発明によれば、入力された画像データをその内容に応じたファイル形式のデータに変換することができる。
請求項２に係る発明によれば、文書の特徴を有する画像データを文書用のファイル形式のデータに変換することができる。
請求項３に係る発明によれば、プレゼンテーション用の資料の特徴を有する画像データをプレゼンテーション用のファイル形式のデータに変換することができる。
請求項４に係る発明によれば、画像の色数を考慮しない場合に比べて、画像データの内容に適したファイル形式を精度よく決定することができる。
請求項５に係る発明によれば、プレゼンテーション用の資料の特徴を有する画像データをプレゼンテーション用のファイル形式のデータに変換することができる。
請求項６に係る発明によれば、表の特徴を有する画像データを表計算用のファイル形式のデータに変換することができる。
請求項７に係る発明によれば、画像に特定の文字が含まれる場合には、その画像を表すデータの編集を制限することができる。
請求項８に係る発明によれば、入力された画像データに対して、その画像の種別に対応する画質調整処理を施すことができる。
請求項９に係る発明によれば、画像の種別に対応する画質調整処理が施された画像データに応じて画像を形成することができる。
請求項１０に係る発明によれば、入力された画像データをその内容に応じたファイル形式の画像データに変換することができる。

第１実施形態に係る画像処理装置のハードウェア構成を示す図である。 第１実施形態に係る画像処理部の機能構成を示す図である。 文字領域の周辺分布の一例を示す図である。 表領域の連結成分の一例を示す図である。 図領域の連結成分の一例を示す図である。 変換出力処理を示すフローチャートである。 原稿の画像の一例を示す図である。 原稿の画像の別の例を示す図である。 原稿の画像の別の例を示す図である。 ファイル形式を決定する条件の一例を示す図である。 第２実施形態に係る画像処理部の機能構成を示す図である。 画像の種別を判別する条件の一例を示す図である。 階調再現特性の一例を示す図である。

［第１実施形態］
１．構成
図１は、第１実施形態に係る画像処理装置１のハードウェア構成を示す図である。画像処理装置１は、スキャン機能、コピー機能、ファクシミリ機能等の複数の機能を有する装置である。画像処理装置１は、制御部１１と、通信部１２と、操作部１３と、表示部１４と、画像読取部１５と、画像処理部１６と、画像形成部１７と、記憶部１８とを備える。

制御部１１は、例えばＣＰＵ（Central Processing Unit）とメモリとを備え、画像処理装置１の各部を制御する。ＣＰＵは、メモリ又は記憶部１８に記憶されたプログラムを実行する。メモリは、例えばＲＯＭ（Read Only Memory）とＲＡＭ（Random Access Memory）とを備える。ＲＯＭは、予めプログラムやデータを記憶する。ＲＡＭは、プログラムやデータを一時的に記憶し、ＣＰＵがプログラムを実行する際の作業領域として用いられる。

通信部１２は、通信回線に接続される通信用のインタフェースである。通信部１２は、ユーザが使用する端末装置や他の画像処理装置（いずれも図示せず）と通信回線を介して通信を行う。操作部１３は、例えばタッチパネルと各種のキーとを備え、ユーザの操作に応じた情報を制御部１１に入力する。表示部１４は、例えば液晶ディスプレイであり、各種の情報を表示する。

画像読取部１５は、例えばイメージスキャナであり、原稿の画像を読み取って画像データを生成する。画像処理部１６は、画像データに各種の画像処理を施す。画像処理部１６は、例えばＣＰＵとメモリにより構成される。画像形成部１７は、画像データに応じた画像を用紙等のシートに形成する。画像形成部１７は、電子写真方式により画像を形成してもよいし、その他の方式により画像を形成してもよい。記憶部１８は、例えばハードディスクであり、制御部１１により用いられる各種のプログラムやデータを記憶する。

図２は、画像処理部１６の機能構成を示す図である。画像処理部１６は、前処理部１６１と、抽出部１６２と、文字認識部１６３と、決定部１６４と、変換部１６５と、出力部１６６とを備える。これらの機能は、例えば画像処理部１６のＣＰＵが１又は複数のプログラムを実行することにより実現される。

前処理部１６１は、画像読取部１５により生成された画像データに対して前処理を施す。この前処理には、例えば画像データの色空間を変換する処理や、背景のかぶり（本来白抜けとなるべき背景部分が黒くなる現象）を除去する処理が含まれる。

抽出部１６２は、前処理部１６１により前処理が施された画像データが表す画像から、この画像を構成する文字、表、図等の各要素の領域を抽出する。なお、ここでは、写真、絵及び図形は、いずれも図に含まれるものとする。

ここで、各要素の領域を抽出する方法の一例について説明する。画像に文字が含まれる場合には、例えば周辺分布の特徴に基づいて、文字領域が抽出される。この周辺分布は、例えば画像データを二値化し、解像度を低下させた後、黒画素の数をｘ軸方向及びｙ軸方向に投射することにより得られる。

図３は、文字領域の周辺分布の一例を示す図である。図３に示すように、文字領域には、文字列と行間とが交互に配置されるため、文字列方向（ｘ軸方向）の周辺分布には、周期的に山と谷とが現れる。したがって、このような特徴を有する領域の外接矩形の位置座標を計算することにより、文字領域が抽出される。

画像に表又は図が含まれる場合には、例えば黒画素の連結成分の特徴に基づいて、表領域又は図領域が抽出される。この黒画素の連結成分は、例えば画像データを二値化し、解像度を低下させた後、黒画素の連結している部分を抽出することにより得られる。

図４は、表領域の連結成分の一例を示す図である。表領域は、文字領域より黒画素の連結成分が大きいという特徴がある。また、表領域の黒画素の連結成分は、図４に示すように、罫線で矩形枠が構成され、その矩形枠の中に孔が存在するような形状になる。したがって、このような特徴を有する領域の外接矩形の位置座標を計算することにより、表領域が抽出される。

図５は、図領域の連結成分の一例を示す図である。図領域は、文字領域より黒画素の連結成分が大きいという特徴がある。また、図領域の黒画素の連結成分は、図５に示すように、上述した表領域の黒画素の連結成分とは異なる形状を有する。したがって、このような特徴を有する領域の外接矩形の位置座標を計算することにより、図領域が抽出される。

文字認識部１６３は、抽出部１６２により抽出された領域に文字領域が含まれる場合には、この文字領域に対してＯＣＲ（Optical Character Recognition）等の文字認識処理を施す。また、文字認識部１６３は、文字認識処理により認識された文字の数、文字の大きさ、及び文字の位置を計算する。文字の大きさは、例えば各文字の外接矩形枠の大きさに基づいて計算される。文字の位置は、例えば各文字の座標位置を計算することにより得られる。

決定部１６４は、抽出部１６２によって抽出された各要素の領域の画像全体に占める割合、文字認識部１６３により施された文字認識処理の結果、及び入力された画像データが表す画像の色数に基づいて、画像データのファイル形式を決定する。各要素の領域の割合は、例えば各要素の領域の座標位置に基づいて各要素の領域の面積を計算し、画像全体の面積に対する各要素の領域の面積の割合を計算することにより得られる。文字認識処理の結果には、文字認識部１６３により計算された文字の数、文字の大きさ、文字の位置、文字認識部１６３により認識された文字が含まれる。画像の色数は、入力された画像データの各画素の色数を計算することにより得られる。

決定部１６４により決定されるファイル形式には、大きく分けて編集可能なファイル形式と編集が制限されるファイル形式とがある。編集可能なファイル形式としては、例えば文書用のファイル形式、表計算用のファイル形式、プレゼンテーション用のファイル形式がある。文書用のファイル形式とは、文書の編集や保存に適したファイル形式をいい、例えばＷｏｒｄファイルのファイル形式（.doc）である。表計算用のファイル形式とは、表計算に適したファイル形式をいい、例えばＥｘｃｅｌファイルのファイル形式（.xls）である。プレゼンテーション用のファイル形式とは、プレゼンテーション用の資料の編集や保存に適したファイル形式をいい、例えばＰｏｗｅｒＰｏｉｎｔファイルのファイル形式（.ppt）である。編集が制限されるファイル形式とは、編集を禁止することが可能なファイル形式をいい、例えばＰＤＦ（Portable Document Format）やＳｅａｃｈａｂｌｅ ＰＤＦ（以下、「Ｓ−ＰＤＦ」という）である。このＳ−ＰＤＦとは、ＰＤＦの一種であり、検索が可能なファイル形式である。

例えば、決定部１６４は、ユーザによりファイル形式の変換を要する出力指示が入力された場合には、基本的には、画像データの内容に適した編集可能なファイル形式を決定する。ただし、決定部１６４は、ユーザにより出力データの用途として編集以外の用途が選択された場合、又は文字認識部１６３により認識された文字に、編集が禁止されていることを表す特定の文字が含まれている場合には、編集が制限されるファイル形式を決定する。これは、前者の場合には、編集可能なファイル形式に変換する必要がないからであり、後者の場合には、ユーザが、編集が禁止されている原稿を不正に編集しようとしていると考えられるため、このような不正な編集を防止するためである。

変換部１６５は、前処理部１６１により前処理が施された画像データを、決定部１６４により決定されたファイル形式のデータに変換する。このファイル形式の変換は、変換前の画像データの形式と変換後のデータのファイル形式とに応じて予め決められたアルゴリズムに従って行われる。ファイル形式を変換する方法としては、例えば特開２０１１−１８８２９３号公報に開示された方法を用いてもよい。出力部１６６は、変換部１６５により変換されたデータを出力する。

２．動作
画像処理装置１は、原稿の画像を画像読取部１５で読み取って、コンピュータで処理可能なファイル形式のデータに変換して出力する変換出力処理を行う。図６は、変換出力処理を示すフローチャートである。まず、ユーザは、画像読取部１５に原稿をセットし、操作部１３を介して、ファイル形式の変換を要するスキャンの実行指示を入力する。このスキャンの実行指示が入力されると、ステップＳ１０１の処理が開始される。

ステップＳ１０１において、画像読取部１５は、原稿の画像を読み取って画像データを生成する。画像読取部１５により生成された画像データは、画像処理部１６に入力される。なお、原稿が複数のページで構成される場合には、画像データは１ページずつ入力される。ステップＳ１０２において、前処理部１６１は、入力された画像データに対して前処理を施す。この前処理には、例えば画像データの色空間を変換する処理や、背景のかぶりを除去する処理が含まれる。

ステップＳ１０３において、決定部１６４は、ユーザにより出力データの用途として「編集」が選択されたか否かを判断する。例えば、操作部１３を用いて「編集」以外の用途（例えば「閲覧」）を選択する操作が行われた場合には、ステップＳ１０４に進む。

ステップＳ１０４において、決定部１６４は、入力された画像データのファイル形式として、編集が制限される第１のファイル形式を決定する。この第１のファイル形式は、例えばＰＤＦである。一方、操作部１３を用いて「編集」という用途を選択する操作が行われた場合には、ステップＳ１０５に進む。

ステップＳ１０５において、抽出部１６２は、ステップＳ１０２で前処理が施された画像データが表す画像から、この画像を構成する各要素の領域を抽出する。例えば、図７（ａ）に示す画像２０には、文字２１が含まれている。この場合には、図３に示すような周辺分布の特徴に基づいて、文字２１のかたまりである段落の外接矩形の座標位置を計算することにより、図７（ｂ）に示すような文字領域２２が抽出される。

図８（ａ）に示す画像３０には、表３１が含まれている。この場合には、図４に示すような連結成分の特徴に基づいて、表３１の外接矩形の座標位置を計算することにより、図８（ｂ）に示すような表領域３２が抽出される。

図９（ａ）に示す画像４０には、文字４１及び４２と図形４３とが含まれている。この場合、まず図３に示すような周辺分布の特徴に基づいて、文字４１のかたまりであるタイトル及び文字４２のかたまりである段落の外接矩形の座標位置を計算することにより、図９（ｂ）に示すような文字領域４４及び４５が抽出される。また、図５に示すような連結成分の特徴に基づいて、図形４３の外接矩形の座標位置を計算することにより、図９（ｂ）に示すような図領域４６が抽出される。

ステップＳ１０６において、文字認識部１６３は、ステップＳ１０５で抽出された文字領域に文字認識処理を施すことにより、文字領域に含まれる文字を認識する。また、文字認識部１６３は、文字認識処理により認識された文字の数、文字の大きさ、及び文字の位置を計算する。

ステップＳ１０７において、決定部１６４は、ステップＳ１０６で認識された文字に、編集が禁止されていることを表す特定の文字が含まれるか否かを判断する。この特定の文字とは、例えば「改変禁止」のように、編集が禁止された原稿に付加される文字である。ステップＳ１０６で認識された文字に特定の文字が含まれる場合には、ステップＳ１０８に進む。

ステップＳ１０８において、決定部１６４は、入力された画像データのファイル形式として、編集が制限される第２のファイル形式を決定する。この第２のファイル形式は、例えばＳ−ＰＤＦである。一方、文字認識処理により認識された文字に特定の文字が含まれていない場合には、ステップＳ１０９に進む。

ステップＳ１０９において、決定部１６４は、入力された画像データの内容に適した編集可能なファイル形式を決定する。具体的には、決定部１６４は、まず画像全体に占める各要素の領域の割合と、入力された画像データが表す画像の色数とを計算する。続いて、決定部１６４は、計算により得られた各要素の領域の割合及び画像の色数と、ステップＳ１０６で計算された文字の数、文字の大きさ、文字の位置とに基づいて、画像データのファイル形式を決定する。

図１０は、ファイル形式を決定する条件の一例を示す図である。図１０に示す例では、文書用のファイル形式について、文字領域の割合が閾値Ｔ１より大きく、文字の数が閾値Ｔ２より多く、画像の色数が閾値Ｔ４以下であるという条件が定められている。これは、このような条件を満たす場合には、原稿が文書であると考えられるからである。また、表計算用のファイル形式について、表領域の割合が閾値Ｔ１より大きいという条件が定められている。これは、このような条件を満たす場合には、原稿が表であると考えられるからである。

また、プレゼンテーション用のファイル形式について、図領域の割合が閾値Ｔ１より大きいという条件と、文字の位置が画像の上方であり、この文字の大きさが閾値Ｔ３より大きく、画像の色数が閾値Ｔ４より多いという条件とが定められている。この上方の位置は、例えばプレゼンテーション用の資料のフォーマットにおいてタイトルが記載される位置座標に基づいて予め設定される。これは、このような条件のいずれかを満たす場合には、原稿がプレゼンテーション用の資料であると考えられるからである。

ここでは、領域の割合についての閾値Ｔ１が３０％であり、文字の数についての閾値Ｔ２が５００であり、文字の大きさについての閾値Ｔ３が２０ポイントであり、色数についての閾値Ｔ４が２である場合を例に挙げて説明する。

図７に示す例では、画像２０から文字領域２２が抽出される。例えば、画像２０全体に占める文字領域２２の割合が７０％であり、文字領域２２に含まれる文字２１の数が７００であり、画像２０の色数が２である場合には、文字領域２２の割合が閾値Ｔ１「３０％」より大きく、文字２１の数が閾値Ｔ２「５００」より多く、画像２０の色数が閾値Ｔ４「２」以下であるため、文書用のファイル形式についての条件を満たす。したがって、画像データのファイル形式として、文書用のファイル形式が決定される。

図８に示す例では、画像３０から表領域３２が抽出される。例えば、画像３０全体に占める表領域３２の割合が７０％である場合には、表領域３２の割合が閾値Ｔ１「３０％」より大きいため、表計算用のファイル形式についての条件を満たす。したがって、画像データのファイル形式として、表計算用のファイル形式が決定される。

図９に示す例では、画像４０から文字領域４４及び４５と図領域４６とが抽出される。例えば、文字領域４４に含まれる文字４１の位置が画像４０の上方であり、この文字４１の大きさが２４ポイントであり、画像４０の色数が５である場合には、文字４１の位置が画像４０の上方であり、この文字４１の大きさが閾値Ｔ３「２０ポイント」より大きく、画像４０の色数が閾値Ｔ４「２」より多いため、プレゼンテーション用のファイル形式についての条件を満たす。したがって、画像データのファイル形式として、プレゼンテーション用のファイル形式が決定される。

なお、画像データが図１０に示すいずれの条件も満たさない場合には、決定部１６４は、画像データのファイル形式として、予め設定されたファイル形式を決定する。

ステップＳ１１０において、変換部１６５は、ステップＳ１０２で前処理が施された画像データを、ステップＳ１０４、１０８又はＳ１０９で決定されたファイル形式のデータに変換する。図７に示す例では、ステップＳ１０９で文書用のファイル形式が決定されるため、画像データが文書用のファイル形式のデータに変換される。図８に示す例では、ステップＳ１０９で表計算用のファイル形式が決定されるため、画像データが表計算用のファイル形式のデータに変換される。図９に示す例では、ステップＳ１０９でプレゼンテーション用のファイル形式が決定されるため、画像データがプレゼンテーション用のファイル形式のデータに変換される。

なお、ステップＳ１０４で編集が制限される第１のファイル形式に決定された場合には、画像データがこの第１のファイル形式のデータに変換される。あるいは、ステップＳ１０８で編集が制限される第２のファイル形式が決定された場合には、画像データがこの第２のファイル形式のデータに変換される。

ステップＳ１１１において、出力部１６６は、変換部１６５により変換されたデータを出力する。例えば、ユーザにより出力先として端末装置が指定された場合には、出力部１６６は、指定された端末装置に通信部１２を介してデータを送信する。出力されたデータのファイル形式が文書用のファイル形式、表計算用のファイル形式、プレゼンテーション用のファイル形式のように、編集可能なファイル形式である場合には、ユーザは、このデータを編集して利用してもよい。

従来、原稿の画像を画像読取部１５で読み取って、コンピュータで処理可能なファイル形式のデータに変換して出力する場合には、ユーザが自ら適切なファイル形式を判断し、そのファイル形式を指定する操作を行う必要があった。しかし、上述した第１実施形態によれば、ユーザがこのような操作を行わなくても、文書の特徴を有する画像データは文書用のファイル形式のデータに変換され、表の特徴を有する画像データは表計算用のファイル形式のデータに変換され、プレゼンテーション用の資料の特徴を有する画像データはプレゼンテーション用のファイル形式のデータに変換される。つまり、第１実施形態によれば、入力された画像データが、その内容に応じたファイル形式の画像データに変換される。

また、第１実施形態によれば、画像に特定の文字が含まれる場合には、その画像を表す画像データが、編集が制限されるファイル形式のデータに変換される。これにより、特定の文字を含む画像を表すデータの編集が制限される。

［第２実施形態］
次に、本発明の第２実施形態について説明する。上述した第１実施形態では、ユーザによりファイル形式の変換を要するスキャンの実行指示が入力されたときに、画像読取部１５を介して入力された画像データを、その内容に応じたファイル形式のデータに変換して出力する例について説明した。これに対し、第２実施形態では、変換部１６５によるファイル形式の変換を要しない出力指示が入力されたときに、画像読取部１５を介して入力された画像データに対して、その画像の種別に対応する画質調整処理を施して出力する。第２実施形態に係る画像処理装置１の構成は、基本的には、第１実施形態で説明した構成と同じである。ただし、第２実施形態に係る画像処理部１６は、第１実施形態に係る画像処理部１６とは異なる機能構成を有する。以下、第１実施形態との相違点を中心に説明する。

図１１は、第２実施形態に係る画像処理部１６の機能構成を示す図である。画像処理部１６は、第１実施形態で説明した機能構成に加えて、判別部１６７と、画質調整部１６８とを有する。判別部１６７及び画質調整部１６８は、変換部１６５によるファイル形式の変換を要しない出力指示が入力されたときに動作する。なお、決定部１６４及び変換部１６５は、このような出力指示が入力されたときは動作しない。

判別部１６７は、入力された画像データが表す画像の種別を判別する。具体的には、判別部１６７は、第１実施形態で説明した決定部１６４と同様に、まず画像全体に占める各要素の領域の割合と、入力された画像データが表す画像の色数とを計算する。続いて、判別部１６７は、計算により得られた各要素の領域の割合及び画像の色数と、文字認識部１６３で計算された文字の大きさとに基づいて、画像の種別を判別する。

図１２は、画像の種別を判別する条件の一例を示す図である。図１２に示す例では、「文字」という画像の種別について、文字領域の割合が閾値Ｔ１１より大きいという条件と、文字領域の割合が閾値Ｔ１１以下であり、文字の大きさが閾値Ｔ１３より小さいという条件とが定められている。これは、このような条件のいずれかを満たす場合には、原稿の画像が文字画像であると考えられるからである。

また、「地図」という画像の種別について、図領域の割合が閾値Ｔ１１より大きく、画像の色数が閾値範囲Ｔ１４内であるという条件が定められている。これは、このような条件を満たす場合には、原稿の画像が地図画像であると考えられるからである。また、「写真」という画像の種別について、図領域の割合が閾値Ｔ１１より大きく、画像の色数が閾値Ｔ１５より多いことが定められている。これは、このような条件のいずれかを満たす場合には、原稿の画像が写真画像であると考えられるからである。

また、「文字と写真の混在」という画像の種別について、図領域の割合が閾値Ｔ１２より大きく閾値Ｔ１１以下であり、文字領域の割合が閾値Ｔ１２より大きく閾値Ｔ１１以下であるという条件が定められている。これは、このような条件を満たす場合には、原稿の画像が文字と写真の混在画像であると考えられるからである。

ここでは、領域の割合についての閾値Ｔ１１が５０％、閾値Ｔ１２が３０％であり、文字の大きさについての閾値Ｔ１３が１０ポイントであり、色数についての閾値範囲Ｔ１４が１２から２４、閾値Ｔ１５が２４である場合を例に挙げて説明する。

図７に示す例では、画像２０から文字領域２２が抽出される。例えば、画像２０全体に占める文字領域２２の割合が７０％である場合には、文字領域２２の割合が閾値Ｔ１１「５０％」より大きいため、「文字」という画像の種別について定められた条件を満たす。したがって、「文字」という画像の種別が判別される。

図９に示す例では、画像４０から文字領域４４及び４５と図領域４６とが抽出される。例えば、画像４０全体に占める文字領域４５の割合が４０％であり、図領域４６の割合が４０％である場合には、文字領域４５の割合が閾値Ｔ１２「３０％」より大きく閾値Ｔ１１「５０％」以下であり、図領域４６の割合が閾値Ｔ１２「３０％」より大きく閾値Ｔ１１「５０％」以下であるため、「文字と写真の混在」という画像の種別について定められた条件を満たす。したがって、「文字と写真の混在」という画像の種別が判別される。

画質調整部１６８は、前処理部１６１により前処理が施された画像データに対して、判別部１６７により判別された画像の種別に対応する画質調整処理を施す。この画像調整処理には、例えば空間フィルタ処理や階調補正が含まれる。

例えば、「文字」という画像の種別が判別された場合には、先鋭化フィルタを用いてエッジを強調する処理が施される。また、コントラストが高くなるように、図１３（ａ）に示すような階調再現特性Ｃ１に基づいて階調補正が行われる。これにより、文字の輪郭がくっきりとし、文字が読み易くなる。

「地図」という画像の種別が判別された場合には、平滑化フィルタを用いてスムージング処理が施される。また、コントラストがあまり高くならないように、図１３（ｂ）に示すような階調再現特性Ｃ２に基づいて階調補正が行われる。これにより、モアレが抑制される。

「写真」という画像の種別が判別された場合には、平滑化フィルタを用いてスムージング処理が施される。また、コントラストがあまり高くならないように、図１３（ｂ）に示すような階調再現特性Ｃ２に基づいて階調補正が行われる。これにより、モアレが抑制される。

「文字と写真の混在」という画像の種別が判別された場合には、文字領域に対しては、先鋭化フィルタを用いてエッジを強調する処理が施されるとともに、コントラストが高くなるように、図１３（ａ）に示すような階調再現特性Ｃ１に基づいて階調補正が行われる。これにより、文字領域においては、文字の輪郭がくっきりとし、文字が読み易くなる。一方、図領域に対しては、平滑化フィルタを用いてスムージング処理が施されるとともに、コントラストがあまり高くならないように、図１３（ｂ）に示すような階調再現特性Ｃ２に基づいて階調補正が行われる。これにより、図領域においてはモアレが抑制される。

なお、判別部１６７により「文字」、「地図」、「写真」、「文字と写真の混在」のいずれの画像の種別も判別されなかった場合、画質調整部１６８は、画像データに対して予め設定された画質調整処理を施す。

出力部１６６は、ユーザにより変換部１６５によるファイル形式の変換を要しない出力指示が入力された場合には、画質調整部１６８により画質調整処理が施された画像データを出力する。この出力指示は、例えばコピーの実行指示、ファクシミリの送信指示、変換部１６５によるファイル形式の変換を要しないスキャンの実行指示である。

例えば、操作部１３を介してコピーの実行指示が入力された場合には、出力部１６６は、画質調整部１６８により画質調整処理が施された画像データを画像形成部１７に出力する。このとき、制御部１１は、画像処理部１６により計算された画像の色数に基づいてカラーモードを選択し、選択したカラーモードに応じた画像を画像形成部１７に形成させる。例えば、画像の色数が２である場合には、モノクロモードが選択される。この場合、画像形成部１７では、白黒の画像が形成される。画像の色数が３である場合には、３色モードが選択される。この場合、画像形成部１７では、３色の画像が形成される。画像の色数が３より大きい場合には、フルカラーモードが選択される。この場合、画像形成部１７では、カラーの画像が形成される。

操作部１３を介してファクシミリの送信指示が入力された場合には、出力部１６６は、画質調整部１６８により画質調整処理が施された画像データを、通信部１２を介してファクシミリで送信する。

操作部１３を介して変換部１６５によるファイル形式の変換を要しないスキャンの実行指示が入力された場合には、出力部１６６は、画質調整部１６８により画質調整処理が施された画像データを記憶部１８に出力する。これにより、記憶部１８において画像データが記憶される。

従来、出力画像の種別に適した画質の画像を形成するためには、ユーザが自ら原稿の画像の種別を判断し、画像の種別を指定する操作を行う必要があった。しかし、上述した第２実施形態によれば、ユーザがこのような操作を行わなくても、入力された画像データに対して、その画像の種別に対応する画質調整処理が施されるため、出力画像の画質が向上する。

［変形例］
上述した第１実施形態及び第２実施形態は、本発明の一例である。これらの実施形態は、以下のように変形してもよい。また、以下の変形例は、互いに組み合わせてもよい。

（１）上述した第１実施形態及び第２実施形態において、抽出部１６２は、図領域からさらに設計図面等の図面を含む図面領域を抽出してもよい。具体的には、抽出部１６２は、例えば画像の濃淡の変化を解析することにより、図面領域を抽出する。この場合、決定部１６４は、画像全体に占める図面領域の割合が閾値より大きい場合には、図面ファイルのファイル形式を決定してもよい。この図面ファイルのファイル形式とは、図面ファイルの編集や保存に適したファイル形式をいい、例えばＣＡＤ（computer aided design）図面のファイル形式である。

（２）上述した第１実施形態では、画像データの内容によっては、複数のファイル形式が決定される場合がある。この場合には、予め決められた方法により単一のファイル形式が決定されてもよい。

例えば、予め各々のファイル形式に設定された優先順位に基づいて、単一のファイル形式が決定されてもよい。ここでは、プレゼンテーション用のファイル形式の優先順位が１であり、文書用のファイル形式の優先順位が２であり、表計算用のファイル形式の優先順位が３である例を挙げて説明する。例えば、図１０に示すプレゼンテーション用のファイル形式を決定する条件と、表計算用のファイル形式を決定する条件とが両方とも満たされる場合には、プレゼンテーション用のファイル形式の優先順位「１」が表計算用のファイル形式の優先順位「３」より高いため、プレゼンテーション用のファイル形式が決定される。

または、ユーザの選択に従って、単一のファイル形式が選択されてもよい。例えば、プレゼンテーション用のファイル形式を決定する条件と、表計算用のファイル形式を決定する条件とが両方とも満たされる場合には、これらのファイル形式の情報が表示部１４に表示される。このとき、例えば操作部１３を用いて表計算用のファイル形式が選択する操作が行われた場合には、表計算用のファイル形式が決定される。

第２実施形態で説明した画像の種別の判別についても、同様に、複数の画像の種別が判別される場合には、予め決められた方法で単一の画像の種別が決定されてもよい。

（３）上述した第１実施形態において、原稿が複数のページで構成される場合には、ページによって異なるファイル形式が決定される場合がある。この場合には、各々のファイル形式が決定されたページ数に基づいて、単一のファイル形式が決定されてもよい。例えば、プレゼンテーション用のファイル形式が決定されたページ数が９であり、表計算用のファイル形式が決定されたページ数が１である場合には、ページ数の多いプレゼンテーション用のファイル形式が決定される。または、変形例（２）で説明したように、予め各々のファイル形式に設定された優先順位に基づいて、単一のファイル形式が決定されてもよい。

（４）上述した第１実施形態において、第２実施形態のように画像の種別に対応する画像調整処理を施した後、画像データのファイル形式を変換してもよい。この場合、画像処理部１６は、第２実施形態で説明した判別部１６７及び画質調整部１６８を有する。変換部１６５は、画質調整部１６８により画像調整処理が施された画像データを決定部１６４により決定されたファイル形式のデータに変換する。

（５）上述した第１実施形態において、ファイル形式を決定する条件は、図１０に示す条件に限定されない。例えば、図１０に示す例では、画像の色数についての条件が含まれているが、必ずしも画像の色数についての条件が含まれなくてもよい。また、図１０に示す例では、プレゼンテーション用のファイル形式について、文字の位置が画像の上方であるという条件が定められているが、この条件に含まれる文字の位置は、画像の上方に限定されない。例えば、プレゼンテーション用の資料のフォーマットにおいて、画像の真ん中にタイトルが記載される場合には、文字の位置が画像の真ん中であるという条件であってもよい。

つまり、文書用のファイル形式を決定する条件は、少なくとも画像全体に占める文字領域の割合又は文字認識処理の結果が、文書らしい特徴を有するような条件であればよい。同様に、表計算用のファイル形式を決定する条件は、少なくとも画像全体に占める表領域の割合が、表らしい特徴を有するような条件であればよい。プレゼンテーション用のファイル形式を決定する条件は、少なくとも画像全体に占める図領域の割合又は文字認識処理の結果が、プレゼンテーションの資料らしい特徴を有するような条件であればよい。

（６）上述した第２実施形態において、画像の種別を判別する条件は、図１２に示す条件に限定されない。例えば、図１２に示す例では、画像の色数についての条件が含まれているが、必ずしも画像の色数についての条件が含まれなくてもよい。また、図１２に示す例では、文字認識部１６３で計算された文字の数及び文字の位置についての条件が含まれていなかったが、これらの条件が含まれてもよい。さらに、図１２に示す条件に加えて、画像解析により得られる画像の濃淡の変化についての条件が含まれてもよい。これは、例えば「地図」という画像の種別を判別する条件として有効である。

つまり、「文字」という画像の種別を判別する条件は、少なくとも画像全体に占める文字領域の割合、文字認識処理の結果又は画像の色数が、文字画像らしい特徴を有するような条件であればよい。同様に、「地図」という画像の種別を判別する条件は、少なくとも画像全体に占める図領域の割合が、地図画像らしい特徴を有するような条件であればよい。「写真」という画像の種別を判別する条件は、少なくとも画像全体に占める図領域の割合が、写真画像らしい特徴を有するような条件であればよい。「文字と写真の混合」という画像の種別を判別する条件は、少なくとも画像全体に占める文字領域の割合又は文字認識処理の結果が、文字と写真の混合画像らしい特徴を有するような条件であればよい。

（７）上述した第１実施形態及び第２実施形態では、周辺分布の特徴又は黒画素の連結成分の特徴に基づいて、各要素の領域を抽出する例について説明した。しかし、各要素の領域を抽出する方法は、これに限定されない。各要素の領域は、周知の他の方法により抽出されてもよい。

（８）上述した第２実施形態では、画質調整処理には、空間フィルタ処理や階調補正が含まれる例について説明した。しかし、画質調整処理は、空間フィルタ処理及び階調補正に限定されない。例えば、画質調整処理において、画像の種別に対応する中間調処理が施されてもよい。

（９）上述した第１実施形態及び第２実施形態で説明した文書用のファイル形式は、Ｗｏｒｄファイルのファイル形式に限定されない。文書用のファイル形式は、文書の編集や保存に適したファイル形式であれば、Ｗｏｒｄファイルのファイル形式以外のファイル形式であってもよい。同様に、表計算用のファイル形式は、Ｅｘｃｅｌファイルのファイル形式に限定されない。表計算用のファイル形式は、表計算に適したファイル形式であれば、Ｅｘｃｅｌファイルのファイル形式以外のファイル形式であってもよい。プレゼンテーション用のファイル形式も、ＰｏｗｅｒＰｏｉｎｔファイルのファイル形式に限定されない。プレゼンテーション用のファイル形式は、プレゼンテーション用の資料の編集や保存に適したファイル形式であれば、ＰｏｗｅｒＰｏｉｎｔファイルのファイル形式以外のファイル形式であってもよい。

また、編集が制限されるファイル形式は、ＰＤＦやＳ−ＰＤＦに限定されない。編集が制限されるファイル形式は、編集を禁止する機能を有していれば、ＰＤＦやＳ−ＰＤＦ以外のファイル形式であってもよい。

（１０）上述した第１実施形態及び第２実施形態では、画像処理部１６がＣＰＵとメモリにより構成される例について説明した。しかし、画像処理部１６は、ＡＳＩＣ（application specific integrated circuit）を用いて構成されてもよい。この場合、画像処理部１６の一部又は全ての機能構成がＡＳＩＣにより実現されてもよい。

（１１）上述した第１実施形態及び第２実施形態において、画像処理部１６において実行されるプログラムは、インターネットなどの通信回線を介してダウンロードされてもよい。また、このプログラムは、磁気記録媒体（磁気テープ、磁気ディスクなど）、光記録媒体（光ディスクなど）、光磁気記録媒体、半導体メモリなどの、コンピュータが読取可能な記録媒体に記録した状態で提供されてもよい。

１…画像処理装置、１１…制御部、１２…通信部、１３…操作部、１４…表示部、１５…画像読取部、１６…画像処理部、１７…画像形成部、１８…記憶部、１６１…前処理部、１６２…抽出部、１６３…文字認識部、１６４…決定部、１６５…変換部、１６６…出力部、１６７…判別部、１６８…画質調整部。

Claims (10)

1. 入力された画像データが表す、複数のページにより構成される原稿の画像から当該画像を構成する各要素の領域を抽出する抽出部と、
   前記抽出部により抽出された前記領域に文字領域が含まれる場合には、当該文字領域に対して文字認識処理を施す文字認識部と、
   前記複数のページの各々について、前記抽出部により当該ページから抽出された各々の前記領域の当該ページ全体に占める割合及び当該ページに含まれる前記文字領域に対して前記文字認識部により施された前記文字認識処理の結果に応じて、ファイル形式を決定する第１決定部と、
   前記第１決定部により各ファイル形式が決定されたページの総数を計数し、前記計数された総数が最も多いファイル形式を決定する第２決定部と、
   前記入力された画像データを前記第２決定部により決定された前記ファイル形式のデータに変換する変換部と、
   前記変換部により変換された前記データを出力する出力部と
   を備える画像処理装置。
2. 前記文字認識部は、前記文字認識処理により認識された文字の数を計算し、
   前記第１決定部は、前記ページ全体に占める前記文字領域の割合が閾値より大きく、且つ、前記文字認識部により計算された前記文字の数が閾値より多い場合には、前記ファイル形式として文書用のファイル形式を決定する
   請求項１に記載の画像処理装置。
3. 前記文字認識部は、前記文字認識処理により認識された文字の大きさ及び位置を計算し、
   前記第１決定部は、前記文字認識部により計算された前記文字の位置が予め設定された位置であり、前記文字認識部により計算された当該文字の大きさが閾値より大きい場合には、前記ファイル形式としてプレゼンテーション用のファイル形式を決定する
   請求項１又は２に記載の画像処理装置。
4. 前記第１決定部は、前記割合、前記文字認識処理の結果及び前記画像の色数に応じて、前記ファイル形式を決定する
   請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記抽出部により抽出された前記領域には、図領域が含まれ、
   前記第１決定部は、前記ページ全体に占める前記図領域の割合が閾値より大きい場合には、前記ファイル形式としてプレゼンテーション用のファイル形式を決定する
   請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記抽出部により抽出された前記領域には、表領域が含まれ、
   前記第１決定部は、前記ページ全体に占める前記表領域の割合が閾値より大きい場合には、前記ファイル形式として表計算用のファイル形式を決定する
   請求項１から５のいずれか１項に記載の画像処理装置。
7. 前記第１決定部は、前記文字認識処理により認識された文字に特定の文字が含まれる場合には、前記ファイル形式として編集が制限されるファイル形式を決定する
   請求項１から６のいずれか１項に記載の画像処理装置。
8. 前記割合及び前記文字認識処理の結果に応じて、前記画像の種別を判別する判別部と、
   前記入力された画像データに対して、前記判別部により判別された前記画像の種別に対応する画質調整処理を施す画質調整部とをさらに備え、
   前記出力部は、前記変換部によるファイル形式の変換を要しない出力指示が入力された場合には、前記画質調整部により前記画質調整処理が施された前記画像データを出力する
   請求項１から７のいずれか１項に記載の画像処理装置。
9. 前記出力部により出力された前記画像データに応じた画像を形成する画像形成部をさらに備える
   請求項８に記載の画像処理装置。
10. コンピュータに、
    入力された画像データが表す、複数のページにより構成される原稿の画像を構成する各要素の領域を抽出するステップと、
    前記抽出された領域に文字領域が含まれる場合には、当該文字領域に対して文字認識処理を施すステップと、
    前記複数のページの各々について、当該ページから抽出された各々の前記領域の当該ページ全体に占める割合及び当該ページに含まれる前記文字領域に対して施された前記文字認識処理の結果に応じて、ファイル形式を決定する第１決定ステップと、
    前記第１決定ステップにおいて各ファイル形式が決定されたページの総数を計数し、前記計数された総数が最も多いファイル形式を決定する第２決定ステップと、
    前記入力された画像データを前記第２決定ステップにおいて決定された前記ファイル形式のデータに変換するステップと、
    前記変換されたデータを出力するステップと
    を実行させるためのプログラム。

Images