JP7382834B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Description

本発明は、スキャナなどにより読み取った画像に対し、情報損失を抑えながらファイルサイズを可能な限り低減する処理を行う画像処理装置、画像処理方法、及びプログラムに関する。

近年、デジタル複合機（ＭＦＰ：Multifunction Printer）やインターネットの普及により、ＦＡＸ等による印字された画像の伝送だけでなく、紙面の画像をスキャナで読み取りを行うことにより電子データ形式の画像データに変換し、電子メール等により電子データ形式の画像データを添付して伝送することも、ごく日常的に行われている。

また、昨今では原稿を読み取るためのスキャナ部分に対して紙を搬送するための自動シートフィーダ（Auto Document Feeder：以下、「ＡＤＦ」と略す）が搭載されたＭＦＰが普及しており、紙面１枚ごとに原稿セットしての読み取り（以下、スキャンともいう）
という作業ではなく、上記ＡＤＦへ読み取らせたい原稿を複数枚まとめてセットしてスキャンを開始すれば、原稿の１枚ごとのスキャンをＡＤＦが自動で連続的に行うことができる。このように、ユーザへのスキャン作業への負担が軽減される環境が整備されている。

ところが、ＡＤＦの利用により都度原稿をセットする手間が省けたため、ユーザは原稿の中身を意識せずに、原稿セット中に性質の異なる画像が混在した状態で紙をＡＤＦにセットしてしまう傾向がある。例えば、原稿セットの中にカラー画像の原稿とモノクロ画像の原稿とが混在するケースが生じうる。また、別の例としては、原稿セットの中に、テキストデータの原稿と写真データの原稿とが混在するケースが生じうる。

また、スキャン処理の方式としては、カラー画像、グレースケール画像、または単純２値化画像など、読み取った画像を様々な形式の画像データに変換する方法が知られている。上述のように原稿の中に様々な原稿が混在する場合であって、原稿各々に応じて適切なスキャン処理の方式が選択されないときには、画像が塗り潰されて判読不能になるなど、情報が大きく損なわれてしまう場合があるという問題がある。

上記のような状況を鑑みて、例えば、原稿の種類の区分けとして、カラー画像とモノクロ画像とのいずれであるか、テキストデータと写真データとのいずれであるかなどの画像の性質を検出して画像処理の方式を切り替える技術が知られている。

例えば、特許文献１によれば、まず初めに、読み取った画像がカラーかモノクロかを判別する。そして、読み取った画像がモノクロの場合は、画像の利用目的やレイアウトに基づいて、画像データを多値グレースケールのデータまたは２値データのいずれとするかを決定して処理する。

レイアウトに基づき決定を行う場合、無彩色（モノクロ）データの読み取り原稿画像に対して、原稿レイアウトの解析を行い、原稿中に占めるテキストデータと写真データとのそれぞれの割合を調べ、その割合に対応してテキスト原稿として取り扱うか、写真原稿として取り扱うかを決定している。例えば、写真データが所定の割合以上に存在する場合は写真原稿として判断し、逆に写真データが所定の割合よりも少ない場合はテキスト原稿として判断する。この判断を受けて、原稿がテキストデータであった場合には、無彩色データをグレースケールから白黒２値へ変換処理を実行することで、原稿の種類に応じて、グレースケール処理とするか、白黒の単純２値化処理とするかを切り替える技術として開示されている。

特開２００７－２６６９２１号公報

しかしながら、特許文献１の方式では、読み取り画像を、グレースケール処理とすべきか、白黒の単純２値化処理とすべきか、の判定を行っているだけである。単純２値化処理を行った場合において、情報が大きく損失してしまい、写真が判読できない状態になることもあり得る。一方で、写真を判読可能にしたい場合や単純２値化でも文字潰れなどを起こした場合、グレースケール処理を選択するしかなく、ファイルサイズが非常に大きくなってしまう。

本発明は、斯かる実情に鑑み、読み込んだ画像データに対して情報損失を抑えながらファイルサイズをできる限り低減する処理を行う画像処理装置、画像処理方法、及びプログラムを提供しようとするものである。

本発明は、入力画像データを処理して出力画像データを生成する画像処理装置であって、
前記入力画像データに基づいて、グレースケール処理を行った第１評価画像と、他の画像処理を行った第２評価画像とを生成する画像処理部と、前記第１評価画像に対する前記第２評価画像の階調差分値に基づいて情報損失を表す情報量を算出する情報量算出部と、前記情報量に基づいて情報損失の有無を判定する情報損失判定部と、前記情報損失判定部による判定結果に基づいて前記出力画像データの画像処理方式を決定する画像処理決定部と、を備え、
前記第２評価画像は、グレースケール処理画像と単純２値化処理画像の間のファイルサイズを有する画像処理画像を含むことを特徴とするものである。

また、本発明は、入力画像データを処理して出力画像データを生成する画像処理方法であって、
前記入力画像データに基づいて、グレースケール処理を行った第１評価画像と、他の画像処理を行った第２評価画像とを生成する画像処理ステップと、前記第１評価画像に対する前記第２評価画像の階調差分値に基づいて情報損失を表す情報量を算出する情報量算出ステップと、前記情報量に基づいて情報損失の有無を判定する情報損失判定ステップと、前記情報損失判定ステップによる判定結果に基づいて前記出力画像データの画像処理方式を決定する画像処理決定ステップと、を備え、
前記第２評価画像は、グレースケール処理画像と単純２値化処理画像の間のファイルサイズを有する画像処理画像を含むことを特徴とするものである。

また、本発明は、コンピュータに、前記画像処理装置を動作させるためのプログラムである。

本発明によれば、読み込んだ画像データに対して情報損失を抑えながらファイルサイズをできる限り低減する処理を行うという優れた効果を奏し得る。

第１実施形態に係る画像形成装置の機能構成を示すブロック図である。 画像処理装置の機能構成を示すブロック図である。 情報損失判定部の機能構成を示すブロック図である。 第１実施形態に係る画像形成装置のメイン処理を示すフローチャートである。 設定操作画面を示す説明図である。 第１実施形態に係る画像処理装置の情報損失判定による画像処理決定処理を示すフローチャートである。 第２実施形態に係る画像処理装置の情報損失判定による画像処理決定処理を示すフローチャートである。 第３実施形態に係る画像処理装置の情報損失判定による画像処理決定処理を示すフローチャートである。 第４実施形態に係る画像処理装置の情報損失判定による画像処理決定処理を示すフローチャートである。

以下、本発明の実施の形態について、図を参照しながら詳細に説明する。以下の説明では、本発明に係る画像処理装置が画像形成装置の一部を形成する構成を例示する。
＜第１実施形態＞

［画像形成装置の構成］
図１は、第１実施形態に係る画像形成装置の機能構成を示すブロック図である。画像形成装置１は、コピー機能、印刷機能、及びスキャナ機能等を有する多機能デジタル複合機（ＭＦＰ）である。画像形成装置１は、図１に示すように、操作パネル１０、画像読取装置２０、画像処理装置３０、記憶装置４０、画像出力装置５０、画像データ送信装置６０、制御装置７０を備えている。

操作パネル１０は、液晶ディスプレイ等で構成される表示部１１と、ユーザが画像形成装置１の動作モードを設定するための設定ボタン及びテンキー等の操作部１２とを備える。操作部１２は、スイッチ、キーボードといったハードウェアの入力装置で実現してもよいし、表示部１１と一体に形成されるタッチパネル等により実現してもよい。

画像読取装置２０は、原稿から画像を光学的に読み取る。画像読取装置２０は、たとえばＣＣＤ（Charge Coupled Device）を有するカラースキャナよりなり、原稿からの反射光像を、ＣＣＤを用いてＲＧＢ（Ｒ：赤，Ｇ：緑，Ｂ：青）またはモノクロのアナログ信号として読み取り、画像処理装置３０へ出力する。画像読取装置２０は、スキャナでなくてもよく、たとえばデジタルカメラ等であってもよい。

画像処理装置３０は、画像読取装置２０から送られてきたアナログ画像信号をデジタル画像データに変換し、入力画像データを生成する。そして、入力画像データに基づいて様々の画像処理を施す。最終的に出力画像データを生成して画像出力装置５０に送信する。

なお、入力画像データは、画像読取装置２０から送られた信号から生成するものでなくてもよく、例えば外部から受け取ったデジタル画像データでもよい。

画像処理装置３０は、出力画像データを生成するときに、情報損失を抑えながら、できるだけファイルサイズが小さい画像処理を選択する。情報損失判定は、文字潰れと、写真領域サイズに対し行い、この結果により画像処理方式を決定する。

記憶装置４０は、画像処理装置３０にて扱われる画像データを一旦保存するためのハードディスクあるいはソリッドステートドライブ（ＳＳＤ）、フラッシュメモリ、揮発性メモリ、不揮発性メモリ、またはこれらの組み合わせなどの記憶媒体を備えたデータ記憶装置である。記憶装置４０は、複数の出力階調数候補に関する情報や、その他様々な設定情報を事前に記録するとともに、画像処理中において、画像処理演算により作成した画像データを一時的に保存する記録装置である。

画像出力装置（例えば、プリンタ）５０は、画像処理装置３０から送られてきた画像データの画像を記録媒体（例えば紙、記録用紙等）上に印刷（画像を形成）するものであり、例えば、電子写真方式を用いたカラープリンタを挙げることができる。

画像データ送信装置６０は、ネットワークを介して出力画像データを外部に送信する。例えば、画像データ送信装置６０は、一般的な電子メールを用いることができる。

制御装置７０は、ＣＰＵ（Central Processing Unit）あるいはＤＳＰ（Digital Signal Processor）等のプロセッサを含むコンピュータであり、画像形成装置１に備えられる各種ハードウェアを統括的に制御するものである。また、制御装置７０は、画像形成装置１に備えられる各ハードウェア間のデータ転送を制御する機能を有する。さらに、制御装置７０は、不図示のネットワークカード及びＬＡＮケーブルを介して、ネットワークに接続されたコンピュータ及び他のデジタル複合機等とのデータ通信を制御する機能を有する。

［画像処理装置の構成］
図２は、画像処理装置の機能構成を示すブロック図である。画像処理装置３０は、図２に示すように、画像入力部３１、画像処理部３２、画像領域分別部３３、情報量算出部３４、情報損失判定部３５，画像処理決定部３６、画像出力部３７、を備える。

画像入力部３１は、画像読取装置２０が画像処理装置３０へ出力したアナログ信号に基づきデジタル信号に変換し、入力画像データを生成する。なお、画像入力部３１は、上記の例に限定されず、外部から画像データを受け取り、受け取った画像データを入力画像データとするものであってもよい。

画像処理部３２は、入力画像データに対して画像処理を行い、画像データを生成する。特に画像の情報損失を判定するのに必要な基準画像である第１評価画像と、第１評価画像に対する情報損失を判定するための第２評価画像を生成する。また、出力画像として画像処理が決定した場合の出力画像を生成する。画像処理の具体例としては、解像度変更処理、平滑化処理、鮮鋭化処理、ガンマ補正などの階調変換処理、カラー・モノクロ変換処理、単純２値化画像または多階調画像（グレースケール画像、ポスタリゼーション画像等）である階調数の異なる画像データへの変換処理などが挙げられる。

画像領域分別部３３は、画像データの特徴に基づき、画像中の領域を複数の属性の領域に分別するものである。なお、本実施形態の例において、複数の属性の領域とは、文字領域、写真領域、文字と写真が混在した文字写真領域などであるが、これに限定されるものではない。

情報量算出部３４は、第１評価画像の階調と第２評価画像の階調の差分値を各画素毎に特徴量として算出し、特徴量から画像のブロック単位で統計量を算出する。そして、この統計量を情報損失判定のための情報量とする。

情報損失判定部３５は、情報量算出部で算出された情報量に基づいて、各画像処理によって生成された画像の情報損失が許容範囲を示す閾値以上か否かを判定する。

画像処理決定部３６は、情報損失判定結果とファイルサイズによって最適な画像処理方式を決定する。

画像出力部３７は、画像処理装置３０が生成した出力画像データを電子データの形式で画像処理装置３０の外部に出力する。

［情報損失判定部の構成］
図３は、情報損失判定部の機能構成を示すブロック図である。情報損失判定部３５は、文字潰れ判定部３５１と写真領域サイズ判定部３５２を備える。

文字潰れ判定部３５１は、情報量の結果から文字潰れ有りか否かを判定する。特に単純２値化することで画像品質が劣る場合、文字のエッジ部の品質が劣化し、文字の読み取りが困難になる現象を文字潰れという。

写真領域サイズ判定部３５２は、写真領域の抽出結果から原稿全体に対する写真領域サイズの比率を求め、原稿を写真領域とするか否かを判定する。

［画像形成装置のメイン処理］
本実施形態の画像形成装置１におけるメイン処理の流れを、図４を参照して説明する。

本実施形態において、画像読取装置２０によって読み取ったデータが、画像形成装置１のＡＣＳ（Auto Color Select）機能によってモノクロ画像と判定されたとして、その後の処理を行うものとする。なお、画像形成装置がモノクロ仕様であっても構わないし、カラー画像として読み取ったデータをモノクロに変換したものでも構わない。

まず初めに、画像読取装置２０により、元となる原稿用紙に描かれた画像を光学的に読み取ってアナログ信号として画像処理装置３０へ出力する。そして、画像処理装置３０に備えられた画像入力部３１により、デジタル信号の画像データに変換することで原稿用紙に基づく画像データの入力処理を行う（ステップＳ１０１）。

この方法は一般的なスキャナと同等である。読み取りの方法は、原稿を１枚ずつ画像読取装置２０に手動でセットする方法でもよいし、機械的な紙送り機能（ＡＤＦ）を用いて複数枚の原稿を連続的に読み込む方法でもよい。本実施形態では、機械的な紙送り機能を用いてセットされた複数枚の原稿を連続的に読み込む方法であり、かつ、複数枚の原稿中にテキストデータ画像や写真データ画像など、異なる性質を持つ画像が混在している場合を想定している。

画像読取装置２０は、紙送り機構（ＡＤＦ）が付属しており、紙送り機構によりセットされた複数枚の原稿は１枚ずつ連続的に画像読取装置２０に送られる。そして、画像読取装置２０は、送られた原稿に対して１枚ずつ読み取りを行い、原稿１枚ごとの画像データを生成し、画像データを画像処理装置３０に送信する。

画像処理装置３０は、画像入力部３１を介して入力された画像データを入力画像データとして一時的に記憶装置４０に保存する（ステップＳ１０２）。

［１）文字潰れ判定のための処理］
次に、画像処理部３２が文字潰れという情報損失を評価するための画像を生成し、情報損失を判別するための情報量を算出する処理を行う（ステップＳ１０３～Ｓ１１０）。

第１評価画像は、情報損失を評価する基準となる画像であり、ここでは入力画像データに対してグレースケール処理を行った画像である。第２評価画像は、第１評価画像に対する情報損失を評価する画像であり、入力画像データに対してポスタリゼーション処理、誤差拡散処理、単純２値化処理などを行った画像である。

入力画像データは、このままでは解像度が大きすぎる、また、コントラストが適切でないなど、適正な階調数を設定する際に好適でない場合がある。そこで、まず初めに、画像処理部３２は、入力画像データが適正な階調数の設定に適した画像データとなるように、入力画像データに対して次のような画像処理（前処理）による画像補正を行う（第１前処理）（ステップＳ１０３）。

前処理として行う画像処理の例を、以下に列挙する。

（１）解像度変換処理
入力画像データはこのままでは階調数の判定を行うには解像度が過大である場合がある。そこで、画像の解像度すなわち大きさの変換を行う。解像度の変換に用いる手法の例としては、画像補間方法として知られている、最近傍画素の値をそのまま用いるニアレストネイバー法や、周辺４画素との距離に応じた重みを用いて各画素値の値から計算するバイリニア法などの手法を用いることができる。解像度の変更に伴い、第１評価画像の画素数は、もとの入力画像データの画素数よりも小さくなり、後段の演算処理の処理負荷を軽減することができる。例えば、スキャン時の画像の解像度が３００ｄｐｉであった場合、１５０ｄｐｉの画像データとなるよう解像度を変換することで、画像データの画素数を元の入力画像の画素数の１／４に削減できる。

（２）コントラスト調整処理
解像度変換処理後の画像に対して、出力用画像の入力側での明るさやコントラストを調整するために、入力値に対応する出力値が１：１で格納されたルックアップテーブルなどを使い、画像データを所望する特性の出力値となるような調整を行う。この画像処理は、一般的にγ補正と呼ばれる手法を用いることができる。

（３）平滑化／鮮鋭化処理
コントラスト調整処理後の画像に対して、ぼやけている印象の画像に対してシャープな画像へと変換させるための鮮鋭化フィルタ処理を行ったり、逆にエッジ部などが際立ちすぎて堅い印象の画像に対してはなめらかな画像へと変換するための平滑化フィルタと呼ばれるフィルタ処理を行ったりすることで、出力画像として好適なフィルタ処理を実施する。この画像処理は、空間フィルタ処理部にて、フィルタカーネルと呼ばれる係数を、画像の注目画素とその周辺画素との、畳み込み演算することで実現されている。

例えば、畳み込み演算を行う空間フィルタ処理として、移動平均フィルタや加重平均フィルタなどが一般的には知られている。同フィルタを適用することによって入力された画像の注目画素は、注目画素周辺の周辺画素との平均値化された画素値をとることとなることから画素値の変動が緩やかになり平滑化処理がなされることになる。
なお、平滑化／鮮鋭化処理のいずれを実施するか、いずれも実施しないか、あるいは両方の処理を組み合わせるかは、設計者が適宜選択すべき事項である。

入力画像データに対して、第１前処理として（１）から（３）までのような画像処理（前処理）を行って新たに生成した画像データを第１評価画像データとし（ステップＳ１０４）、記憶装置４０に記録する（ステップＳ１０５）。なお、（１）から（３）までの画像処理は、この中の一部を省略することが可能であるし、これ以外にその他の公知の画像処理を追加することも可能である。また、（１）から（３）の全てを省略して、入力画像データがグレースケール画像であれば、それを第１評価画像データとしてもよい。

次に、画像処理部３２は、入力画像データに対して第２前処理を行い（ステップＳ１０６）、第１評価画像データよりも階調数の小さくなる画像処理（例えば、ポスタリゼーション処理、誤差拡散処理、単純２値化処理）などを行って画像を生成し、第２評価画像とし（ステップＳ１０７）、記憶装置４０に記録する（ステップＳ１０８）。

次に、情報量算出部３４は、第１評価画像と第２評価画像を基に差分画像データを生成する（ステップＳ１０９）。差分画像データは、第１評価画像と第２評価画像との間に発生する情報損失の程度に対応する画素毎に数値化した特徴量画像データである。

差分画像データを生成するための前準備として、第１評価画像と第２評価画像との階調値の範囲を合わせるための正規化処理（準備処理）を行う。たとえば、第１評価画像が、階調値の最小値が０であり、階調値の最大値が２５５である、８ビットのグレースケール画像であって、第２評価画像が、階調値の最小値が０であり、階調値の最大値が１である単純２値化画像である場合、このままでは階調値の範囲が合わないため、第２評価画像の最大値が第１評価画像と同じく２５５となるように、第２評価画像に対して所定の倍率（２５５）を乗算する。これにより、第１評価画像と第２評価画像の各画素の階調値同士を同じ階調値の範囲で計算することができる。

準備処理の後、情報量算出部３４は、第１評価画像の各画素に対して、各画素に対応する第２評価画像の各画素との間で、各画素の階調値の差分値を算出する。そして算出した差分値を各画素の階調値とした新たな画像データを生成する。そして、この新たに生成された画像データを差分画像データとして記憶装置４０に記録する。なお、差分画像データにおける画素数は、第１評価画像および第２評価画像の画素数と同一である。

ここで差分値は、複数の画素値を有する画像から２値の画像を生成した場合の階調値の変化の度合い、すなわち、第２評価画像を生成した場合の、情報損失の大きさを表す特徴量とすることができる。例えば、元の画像と２値化後の画像の同じ画素位置の画素値の差の絶対値を画像全体に対して計算する。ここで、それぞれの画素位置における差の絶対値が、それぞれ計算されることになる。

なお、差分値そのものは、正負の値を取りうるが、情報損失の程度の大きさのみを考慮すれば良い場合、絶対値演算や、２乗などにより、０以上の数値に変換した値としても良い。

第１評価画像と第２評価画像との比較において、画像中の画像のエッジ（輪郭）の変化に着目をしたい場合には、それぞれの画像に対してエッジを抽出するためのエッジ検出オペレーターを適用することでエッジ画像として生成できる。

エッジ検出オペレーターとしては、例えば、下記の式（１）に示したＰｒｅｗｉｔｔ、あるいはＳｏｂｅｌと呼ばれる水平方向（ｘ）と垂直方向（ｙ）のオペレーターなどが良く知られている。

輪郭抽出処理を行うことのメリットは、後述する変化量の判定の際に、画像のエッジ部分の変化を敏感に検知できることである。例えば、処理する画像データが濃度の高い文字画像を含む画像のデータであった場合、画像全体に対する変化の割合が微小であっても、２値化により、文字の像の輪郭形状が変化した場合、文字潰れが生じて文字が判読できなくなってしまう。輪郭抽出処理はこのような現象を敏感に検知するために特に有効であるため、前述した第１評価画像ならびに正規化後の第２の評価画像のそれぞれに対して、前処理と輪郭抽出処理とを行った画像を第１’評価画像、第２’評価画像を生成する。そして、第１’評価画像と第２’評価画像とから差分画像を生成することで、特に文字などのエッジ部の変化に敏感な差分画像データを生成することができる。

次に情報量算出部３４は情報損失判定のための情報量（統計量）を算出する（ステップＳ１１０）。

一般に、情報損失が大きい場合、全体として差分画像データの階調値である差分値または差分値の絶対値が大きくなる傾向があるため、統計量として階調値の総合的な大きさを反映した統計値を用いることができる。具体的には、差分画像データ全体の各画素の階調値の総和（合計値）、平均値、中央値などを用いることができる。

また、情報損失が大きい場合、全体として階調値である差分値または差分値のばらつきとして表された評価値が大きくなる傾向がある。この理由は、情報損失が小さい場合は、各画素の階調値である差分値または差分値の絶対値がほぼ全ての画素で０に近い値となり、ばらつきが小さくなるのに対して、情報損失が大きい場合は、０以外の値をもつ画素が多く含まれようになるため、ばらつきが大きくなるためである。このため、統計量として階調値のばらつきの大きさを反映した統計値を用いることができる。具体的には、差分画像データ全体の各画素の階調値の分散値、標準偏差値、エントロピー値などを用いることができる。

このようにして、情報量算出部３４は、差分画像データ全体の各画素の階調値の積算値（合計値）、平均値、中央値や、各画素の階調値の分散値、標準偏差値、エントロピー値などに基づいて、差分画像データ全体の画素の階調値に対する統計量を算出する。どのようにして統計値を算出するかは、設計者が適宜選択してもよいし、ユーザによって選択されてもよい。

ここでは、例えば、単純二値化画像の文字潰れ判定には情報量としてエントロピー値を用いる。情報量算出部３４は、差分画像データをブロック化し、ブロック単位ごとにヒストグラム分布からエントロピーを求める。エントロピーは度数分布の傾向を評価するための指標であり、次の式で求めることができる。

Ｌはヒスとグラムｂｉｎの数、ｈ（ｉ）は各ｂｉｎの度数、Ｎは度数ｈ（ｉ）の総数、Ｐ（ｉ）はｈ（ｉ）をＮで正規化した値である。

また、ポスタリゼーション処理を行った画像に対しては、差分画像データをブロック化し、ブロック毎に差分値を算出する。

［２）写真領域サイズ判定を行うための処理］
文字潰れの情報損失を判別するための画像生成と情報量算出処理と同時に、写真領域サイズを算出するための処理を行う（ステップＳ１１１～Ｓ１１４）。すなわち、原稿における写真領域の比率を算出する。

まず、画像領域分別部３３は、入力画像データに基づき画像中の領域を複数の領域に分別する画像領域分別処理を行う（ステップＳ１１１）。なお、画像領域分別処理の事前準備として、第１実施形態で説明したような前処理を行っても良い。画像領域分別処理の方法は、例えば、特許第４５２７１２７号（以下、「引用文献」と記載する）に開示されている技術を用いることができる。引用文献に開示されている技術によると、原稿画像における各領域を検知して情報量（エントロピー）を求めることで写真領域を抽出する方法が開示されている。すなわち、文字領域は、画素のエッジ強度が大きいため、それを利用して文字領域を抽出し、文字領域の画素をマスク画素としてマスクを生成する。マスクされた画像を生成し、それに基づいてヒストグラムを生成し、マスクされたヒストグラムのエントロピーをブロック単位で計算し、エントロピー値が所定の値以上あるものは写真画素（エリア）と判定する。詳細については引用文献に記載されているため説明を省略する。なお、前述の前処理を施してからエントロピー計算を行っても構わない。

画像領域分別部３３は、画像中の領域を写真領域とそれ以外の領域（特に文字領域）のいずれかに分別したマスク画像データを生成する（ステップＳ１１２）。マスク画像データの具体例としては、第１評価画像および第２評価画像と同じ画素数の画像データであり、生成したマスク画像データは、記憶装置４０に記録する（ステップＳ１１３）。

本実施形態では、出力階調数候補が８ビット（階調数２５６）のグレースケール画像と１ビット（階調数２）の単純２値化画像の２種類である場合を説明する。なお、以下の説明では、出力階調数候補のうち、大きい階調数をＡ（本実施形態では２５６）、小さい階調数をＢ（本実施形態では２）とする。

本実施形態では、出力階調数候補のうち、小さい階調数であるＢの値、すなわち２に基づき、第２評価画像を階調数が２である単純２値化画像として生成する。具体的には、第１評価画像データの各画素に対して、第１評価画像データの階調値が、設定された閾値以上であるか、設定された閾値未満であるかの判定を行う。そして、第１評価画像データの階調値が設定された閾値以上の場合、その画素の階調値を、白を示す階調値である「１」とし、設定された閾値未満の場合、その画素の階調値を、黒を示す階調値である「０」とする。これにより、画素数が第１評価画像と同一であって、すべての画素の階調値が「０」または「１」のいずれかである、すなわち階調数が２である画像データが生成される。

上述のように、第２評価画像の画素数は第１評価画像と同一であって、第２評価画像の画素は、第１評価画像の画素と同様に、評価を行うための対象の画素である。

なお、出力階調数候補の組み合わせは、本実施形態のようにグレースケール処理と単純２値化処理の２種類だけでなく、例えば、出力画像データの画像処理候補が３種類以上でもよく、ポスタリゼーション処理や誤差拡散処理などにも適用できる。

つづいて、情報損失判定部３５は、ステップＳ１１０やステップＳ１１４で算出した情報量に基づき、情報損失があるかを判定し、画像処理決定部３６が、この情報損失判定に基づいて出力画像データの画像処理方式を決定する（ステップＳ１１５）する。
ステップＳ１１５の処理については後述する。

画像処理部３２は、記憶装置４０に記録された入力画像データに対して、画像処理決定部３６で決定された画像処理を行い、設定された出力階調数で表わされる画像データを出力画像データとして生成する（ステップＳ１１６）。そして、画像処理装置３０は、入力された全ての画像データに対して、画像処理部３２が出力画像データを生成していないと判定した場合には（ステップＳ１１７；Ｎｏ）、未処理の入力画像データについて、ステップＳ１０２からの処理を行う。画像処理部３２が出力画像データを生成したと判定した場合には（ステップＳ１１７；Ｙｅｓ）、画像出力部３７が、出力画像データを画像出力装置５０あるいは画像データ送信装置６０に出力し、画像出力装置５０は用紙に印刷し、あるいは画像データ送信装置６０は外部に送信する（ステップＳ１１８）。

［情報損失判定による画像処理決定の処理］
第１実施形態では、ユーザが画像形成装置１に対して、予め「文字重視」の設定を行っているものとする。

ユーザが、操作パネル１０の操作部１２により操作を行って、画像形成装置１の操作パネル１０の表示部１１に、図５に示す設定操作画面を表示する。処理モードスイッチ５１には「写真重視」の文字が表示されている。「文字重視」が表示されていたならば、そのままでよい。

ユーザは、文字重視を選択したい場合、処理モードスイッチ５１にタッチをすると（図５（ａ））、処理モード選択エリア５２が表示される（図５（ｂ））。処理モード選択エリア５２には、「写真重視モード」スイッチ５３、「文字重視モード」スイッチ５４、「キャンセル」スイッチ５５が表示される。ユーザが、処理モード選択エリア５２の「文字重視モード」選択スイッチ５４にタッチすると、処理モードスイッチ５１には「文字重視」の表示がされ、「文字重視」の設定がなされる。
こうして、ユーザにより「文字重視」が選択されて、画像処理装置３０は、文字重視の処理を行う。

ステップＳ１１５の情報損失判定による画像処理決定の処理について図６を参照して説明する。

「文字重視」の設定がされているので、画像処理装置３０は、最もファイルサイズの小さい単純二値化画像を第２評価画像として生成し、情報量を算出する（ステップＳ１０３～Ｓ１１０）。

画像処理装置３０における情報損失判定部３５の文字潰れ判定部３５１が、単純２値化画像の文字潰れを判定する（ステップＳ２０１）。設定が「文字重視」であるので、最もファイルサイズの小さい単純２値化画像について文字潰れの判定を行う。情報量であるエントロピー値が３～５以上なら文字潰れを起こす可能性がある。そこで、文字潰れを起こす可能性のあるエントロピー値を設定して、文字潰れ判定部３５１が設定値以上のエントロピー値を有するブロック数をカウントして、閾値以上であれば文字潰れありと判定する。

このとき閾値は、表内文字か、表外文字かによって異なる。表内文字の場合は、罫線の影響を考慮するためである。

単純２値化画像に文字潰れがなければ（ステップＳ２０１；Ｎｏ）、画像処理決定部３６は、出力画像データの画像処理方式を単純２値化処理に決定する（ステップＳ２０６）。単純２値化画像に文字潰れがあれば（ステップＳ２０１；Ｙｅｓ）、写真領域サイズ判定（ステップＳ２０２）に進む。

写真領域サイズ判定部３５２は、原稿全体に対する写真領域サイズの比率が所定値以上であれば（ステップＳ２０２；Ｙｅｓ）、写真領域が多いと判断する。ここで、所定値は、例えば５０％とする。

画像処理決定部３６は、写真領域が多いという判定結果を受けて、写真品質が高いグレースケール処理を出力画像の処理として決定する（ステップＳ２０４）。

写真領域サイズの比率が所定値以下であれば（ステップＳ２０２；Ｎｏ）、写真領域サイズ判定部３５２は、写真領域が少ないと判断する。

画像処理装置３０は、ファイルサイズがグレースケール処理より小さく、単純二値化画像より大きいポスタリゼーション処理画像を第２評価画像として生成し、情報量を算出する（ステップＳ１０３～Ｓ１１０）。なお、ポスタリゼーション処理ではなく、誤差拡散処理でも構わない。

ここでは画像処理装置３０は、必要に応じて単純二値化処理、ポスタリゼーション処理の画像を生成し、情報量を算出しているが、予め一度に各処理の画像を生成して情報量を算出しておいても構わない。

ポスタリゼーション処理画像の情報量に基づいて、文字潰れ判定部３５１がポスタリゼーション処理画像の文字潰れを判定する（ステップＳ２０３）。

ポスタリゼーション処理画像に文字潰れがある場合（ステップＳ２０３；Ｙｅｓ）、画像処理決定部３６は、出力画像データの処理を画像品質の最も高いグレースケール処理に決定する（ステップＳ２０４）。

ポスタリゼーション処理画像に文字潰れがない場合（ステップＳ２０３；Ｎｏ）、画像処理決定部３６は、出力画像データの処理をグレースケール処理よりファイルサイズの小さいポスタリゼーション処理に決定する（ステップＳ２０５）。

なお、グレースケール処理と単純２値化処理の間のファイルサイズを有するポスタリゼーション処理を画像処理としているが、グレースケール処理と単純２値化処理の間のファイルサイズであり、グレースケール処理と単純２値化処理の間の画像品質となる処理方式ではあればよく、例えば誤差拡散処理でも構わない。

こうして、文字重視の設定とした場合、情報損失を示す情報量に基づいて、グレースケール処理と単純２値化処理の間のファイルサイズと、画像品質のポスタリゼーション処理の画像処理に決定するので、情報損失を抑えながら、ファイルサイズを小さくできる。

＜第２実施形態＞
第２実施形態は、ユーザが、設定画面において、示す処理モード５１を「写真重視」（図５（ａ）参照）にした場合の画像処理を示すものである。

図７は、第２実施形態に係る画像処理装置の情報損失判定による画像処理決定処理を示すフローチャートである。設定が写真重視なので、画質が一番劣る単純二値化処理画像ではなく、単純二値化処理画像よりは高い画像品質を有し、グレースケール処理画像よりはファイルサイズが小さいポスタリゼーション処理画像に対して処理を行う。

情報損失判定部３５の写真領域サイズ判定部３５２が、写真領域の比率が所定値以上と判定した場合（ステップＳ２１１；Ｙｅｓ）、画像処理決定部３６は、出力画像データの画像処理をグレースケール処理に決定する（ステップＳ２１２）。

情報損失判定部３５の写真領域サイズ判定部３５２は、原稿画像全体に対する写真領域サイズの比率が所定値より小さいと判定した場合（ステップＳ２１１；Ｎｏ）、画像処理決定部３６は、出力画像データの画像処理をポスタリゼーション処理に決定する（ステップＳ２１３）。

なお、グレースケール処理と単純２値化処理の間のファイルサイズを有するポスタリゼーション処理を画像処理としているが、グレースケール処理と単純２値化処理の間のファイルサイズであり、グレースケール処理と単純２値化処理の間の画像品質となる処理方式ではあればよく、例えば誤差拡散処理でも構わない。

こうして、写真重視の場合は、写真領域比率の低い画像に対してポスタリゼーション処理（あるいは誤差拡散処理）を適用することによって、画像品質を落としすぎないようにして、ファイルサイズを低減できる。

＜第３実施形態＞
第３実施形態は、ユーザが、設定画面において、図５（ｂ）に示すように、処理モード５１を「文字重視」と選択した場合の画像処理を示すものである。

図８は、第３実施形態に係る画像処理装置の情報損失判定による画像処理決定処理を示すフローチャートである。これは、図６のフローチャートにおいて、ポスタリゼーション処理画像の文字潰れを判定する処理（ステップＳ２０３）を省いたものである。ポスタリゼーション処理画像（あるいは誤差拡散処理画像）は単純２値化画像よりは画質が向上するので、グレースケール画像に判定する処理を簡略化する事で、図６のフローチャートよりもファイルサイズが増加しにくい画像処理決定を行うことができる。

処理の効果については、第１実施形態と同じである。

＜第４実施形態＞
図９は、第４実施形態に係る画像処理装置の情報損失判定による画像処理決定処理を示すフローチャートである。第４実施形態は、ユーザが、設定画面において、図５（ｂ）に示すように、処理モード５１を「文字重視」と選択した場合の画像処理を示すものであるが、ある程度の写真画質も必要という場合の処理であり、単純２値化処理は除外するものである。例えば、図示はしないが、設定画面で単純２値化処理は除外する設定にすることなどが考えられる。

画像処理装置３０における情報損失判定部３５の文字潰れ判定部３５１は、ポスタリゼーション処理画像に対する情報量に基づいて文字潰れがあるかを判定する。ポスタリゼーション処理画像に文字潰れがない場合（ステップＳ２３１；Ｎｏ）、画像処理決定部３６は、出力画像データの画像処理をポスタリゼーション処理に決定する（ステップＳ２３３）。ポスタリゼーション処理画像に文字潰れがある場合（ステップＳ２３１；Ｙｅｓ）、出力画像データの処理をグレースケール処理に決定する（ステップＳ２３２）。

なお、グレースケール処理と単純２値化処理の間のファイルサイズを有するポスタリゼーション処理を画像処理としているが、グレースケール処理と単純２値化処理の間のファイルサイズであり、グレースケール処理と単純２値化処理の間の画像品質となる処理方式ではあればよく、例えば誤差拡散処理でも構わない。

こうして、文字重視ではありながら、画質が最も劣る単純２値化処理を避けているので、写真領域を含む画質の劣化を抑えながらファイルサイズを低減する処理ができる。

＜変形例＞
上記では、カラー複合機について説明したが、モノクロの複合機であっても構わない。
本発明はコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体に、上記した画像処理装置において、背景を含んで撮影された対象を含む画像を入力して対象領域だけの画像データを抽出する処理方法を記録するものとすることもできる。

この結果、上記処理を行うプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）を記録した記録媒体を持ち運び自在に提供することができる。
なお、本実施の形態では、この記録媒体としては、マイクロコンピュータで処理が行われるために図示していないメモリ、例えばROMのようなものそのものがプログラムメディアであっても良いし、また、図示していないが外部記憶装置としてプログラム読み取り装置が設けられ、そこに記録媒体を挿入することで読み取り可能なプログラムメディアであっても良い。

いずれの場合においても、格納されているプログラムはマイクロプロセッサがアクセスして実行させる構成であっても良いし、あるいは、いずれの場合もプログラムコードを読み出し、読み出されたプログラムコードは、マイクロコンピュータの図示されていないプログラム記憶エリアにダウンロードされて、そのプログラムが実行される方式であってもよい。このダウンロード用のプログラムは予め本体装置に格納されているものとする。
ここで、上記プログラムメディアは、本体と分離可能に構成される記録媒体であり、磁気テープやカセットテープ等のテープ系、フレキシブルディスクやハードディスク等の磁気ディスクやCD－ROM／MO／MD／DVD等の光ディスクのディスク系、ICカード（メモリカードを含む）／光カード等のカード系、あるいはマスクROM、EPROM（Erasable Programmable Read Only Memory）、EEPROM（Electrically Erasable Programmable Read Only Memory）、フラッシュROM等による半導体メモリを含めた固定的にプログラムコードを担持する媒体であっても良い。

また、本実施の形態においては、インターネットを含む通信ネットワークを接続可能なシステム構成であることから、通信ネットワークからプログラムコードをダウンロードするように流動的にプログラムコードを担持する媒体であっても良い。なお、このように通信ネットワークからプログラムをダウンロードする場合には、そのダウンロード用のプログラムは予め本体装置に格納しておくか、あるいは別な記録媒体からインストールされるものであっても良い。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

上記記録媒体は、画像処理装置に備えられるプログラム読み取り装置により読み取られることで上述した画像処理方法が実行される。

１ 画像形成装置
１０ 操作パネル
１１ 表示部
１２ 操作部
２０ 画像読取装置
３０ 画像処理装置
３１ 画像入力部
３２ 画像処理部
３３ 画像領域分別部
３４ 情報量算出部
３５ 情報損失判定部
３６ 画像処理決定部
３７ 画像出力部
４０ 記憶装置
５０ 画像出力装置
７０ 制御装置
３５１ 文字潰れ判定部
３５２ 写真領域サイズ判定部

Claims (5)

1. 入力画像データを処理して出力画像データを生成する画像処理装置であって、
   前記入力画像データに基づいて、グレースケール処理を行った第１評価画像と、他の画像処理を行った第２評価画像とを生成する画像処理部と、
   前記第１評価画像に対する前記第２評価画像の階調差分値に基づいて情報損失を表す情報量を算出する情報量算出部と、
   前記第２評価画像に文字潰れがあるかを判定する文字潰れ判定部と、前記入力画像データ全体に対する写真領域の比率が閾値以上であるかを判定する写真領域サイズ判定部とを備え、前記情報量に基づいて情報損失の有無を判定する情報量損失判定部と、
   前記情報量損失判定部による判定結果に基づいて前記出力画像データの画像処理方式を決定する画像処理決定部と、
   備え、
   前記第２評価画像は、
   ポスタリゼーション処理画像あるいは誤差拡散処理画像、単純２値化処理画像であり、
   前記画像処理決定部は、
   前記文字潰れ判定部が前記単純２値化処理画像に文字潰れなしと判定した場合は、単純２値化処理に決定し、
   前記文字潰れ判定部が前記単純２値化処理画像に文字潰れありと判定した場合は、写真領域サイズ判定を行い、
   前記写真領域サイズ判定部が写真領域の比率を閾値以上と判定した場合はグレースケール処理に決定し、前記写真領域サイズ判定部が写真領域の比率を閾値よりも小さいと判定した場合はポスタリゼーション処理あるいは誤差拡散処理に決定することを特徴とする画像処理装置。
2. 入力画像データを処理して出力画像データを生成する画像処理装置であって、
   前記入力画像データに基づいて、グレースケール処理を行った第１評価画像と、他の画像処理を行った第２評価画像とを生成する画像処理部と、
   前記第１評価画像に対する前記第２評価画像の階調差分値に基づいて情報損失を表す情報量を算出する情報量算出部と、
   前記第２評価画像に文字潰れがあるかを判定する文字潰れ判定部と、前記入力画像データ全体に対する写真領域の比率が閾値以上であるかを判定する写真領域サイズ判定部とを備え、前記情報量に基づいて情報損失の有無を判定する情報量損失判定部と、
   前記情報量損失判定部による判定結果に基づいて前記出力画像データの画像処理方式を決定する画像処理決定部と、
   備え、
   前記第２評価画像は、
   ポスタリゼーション処理画像あるいは誤差拡散処理画像、単純２値化処理画像であり、
   前記画像処理決定部は、
   前記文字潰れ判定部が前記単純２値化処理画像に文字潰れなしと判定した場合は、単純２値化処理に決定し、
   前記文字潰れ判定部が前記単純２値化処理画像に文字潰れありと判定した場合は、写真領域サイズ判定を行い、
   前記写真領域サイズ判定部が写真領域の比率を閾値以上と判定した場合はグレースケール処理に決定し、前記写真領域サイズ判定部が写真領域の比率を閾値よりも小さいと判定した場合は前記文字潰れ判定部がポスタリゼーション処理あるいは誤差拡散処理の文字潰れを判定し、
   前記画像処理決定部は、
   ポスタリゼーション処理画像あるいは誤差拡散処理画像に文字潰れがあった場合、グレースケール処理に決定し、ポスタリゼーション処理画像あるいは誤差拡散処理画像に文字潰れがなかった場合、ポスタリゼーション処理あるいは誤差拡散処理に決定することを特徴とする画像処理装置。
3. 入力画像データを処理して出力画像データを生成する画像処理方法であって、
   前記入力画像データに基づいて、グレースケール処理を行った第１評価画像と、他の画像処理を行った第２評価画像とを生成する画像処理ステップと、
   前記第１評価画像に対する前記第２評価画像の階調差分値に基づいて情報損失を表す情報量を算出する情報量算出ステップと、
   前記第２評価画像に文字潰れがあるかを判定する文字潰れ判定ステップと、前記入力画像データ全体に対する写真領域の比率が閾値以上であるかを判定する写真領域サイズ判定ステップとを備え、前記情報量に基づいて情報損失の有無を判定する情報損失判定ステップと、
   前記情報損失判定ステップによる判定結果に基づいて前記出力画像データの画像処理方式を決定する画像処理決定ステップと、
   を備え、
   前記第２評価画像は、
   ポスタリゼーション処理画像あるいは誤差拡散処理画像、単純２値化処理画像であり、
   前記画像処理決定ステップでは、
   前記文字潰れ判定ステップにおいて前記単純２値化処理画像に文字潰れなしと判定した場合は、単純２値化処理に決定し、
   前記文字潰れ判定ステップにおいて前記単純２値化処理画像に文字潰れありと判定した場合は、写真領域サイズ判定を行い、
   前記写真領域サイズ判定ステップにおいて写真領域の比率を閾値以上と判定した場合はグレースケール処理に決定し、前記写真領域サイズ判定ステップにおいて写真領域の比率を閾値よりも小さいと判定した場合はポスタリゼーション処理あるいは誤差拡散処理に決定することを特徴とする画像処理方法。
4. 入力画像データを処理して出力画像データを生成する画像処理方法であって、
   前記入力画像データに基づいて、グレースケール処理を行った第１評価画像と、他の画像処理を行った第２評価画像とを生成する画像処理ステップと、
   前記第１評価画像に対する前記第２評価画像の階調差分値に基づいて情報損失を表す情報量を算出する情報量算出ステップと、
   前記第２評価画像に文字潰れがあるかを判定する文字潰れ判定ステップと、前記入力画像データ全体に対する写真領域の比率が閾値以上であるかを判定する写真領域サイズ判定ステップとを備え、前記情報量に基づいて情報損失の有無を判定する情報損失判定ステップと、
   前記情報損失判定ステップによる判定結果に基づいて前記出力画像データの画像処理方式を決定する画像処理決定ステップと、
   を備え、
   前記第２評価画像は、
   ポスタリゼーション処理画像あるいは誤差拡散処理画像、単純２値化処理画像であり、
   前記画像処理決定ステップでは、
   前記文字潰れ判定ステップにおいて前記単純２値化処理画像に文字潰れなしと判定した場合は、単純２値化処理に決定し、
   前記文字潰れ判定ステップにおいて前記単純２値化処理画像に文字潰れありと判定した場合は、写真領域サイズ判定を行い、
   前記写真領域サイズ判定ステップにおいて写真領域の比率を閾値以上と判定した場合はグレースケール処理に決定し、前記写真領域サイズ判定ステップにおいて写真領域の比率を閾値よりも小さいと判定した場合は前記文字潰れ判定ステップにおいてポスタリゼーション処理あるいは誤差拡散処理の文字潰れを判定し、
   文字潰れ判定ステップにおいてポスタリゼーション処理画像あるいは誤差拡散処理画像に文字潰れがあった場合、グレースケール処理に決定し、文字潰れ判定ステップにおいてポスタリゼーション処理画像あるいは誤差拡散処理画像に文字潰れがなかった場合、ポスタリゼーション処理あるいは誤差拡散処理に決定することを特徴とする画像処理方法。
5. コンピュータに、請求項１又は２に記載の画像処理装置を動作させるためのプログラム。

Images