JP7050599B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は、画像処理装置等に関する。

近年、デジタル複合機（ＭＦＰ）やインターネットの普及により、ＦＡＸ等による印字された画像の伝送だけでなく、紙面の画像をスキャナで読み取りを行うことにより電子データ形式の画像データに変換し、電子メール等により電子データ形式の画像データを添付して伝送することも、ごく日常的に行われている。

また、昨今では原稿を読み取るためのスキャナ部分に対して紙を搬送するための自動シートフィーダ（Auto Document Feeder：以下、「ＡＤＦ」と略す）が搭載されたＭＦＰが普及しており、紙面１枚ごとに原稿セットしてのスキャンという作業ではなく、上記ＡＤＦへ読み取りたい分の原稿を複数枚まとめてセットしてスキャンを開始すれば、原稿の１枚ごとのスキャンをＡＤＦが自動で連続的に行うことができる。このように、ユーザへのスキャン作業への負担が軽減される環境が整備されている。

ところが、ＡＤＦの利用により都度原稿をセットする手間が省けたため、ユーザは原稿の中身を意識せずに、原稿セット中に性質の異なる画像が混在した状態で紙をＡＤＦにセットしてしまう傾向がある。例えば、原稿セットの中にカラー画像の原稿とモノクロ画像の原稿とが混在するケースが生じうる。また、別の例としては、原稿セットの中に、テキストデータの原稿と写真データの原稿とが混在するケースが生じうる。

また、スキャン処理の方式としては、カラー画像、グレースケール画像、または白黒２値画像など、読み取った画像を様々な形式の画像データに変換する方法が知られている。上述のように原稿セットの中に様々な原稿が混在する場合であって、原稿各々に応じて適切なスキャン処理の方式が選択されないときには、画像が塗り潰されて判読不能になるなど、情報が大きく損なわれてしまう場合があるという問題がある。

上記のような状況を鑑みて、例えば、原稿の種類の区分けとして、カラー画像とモノクロ画像とのいずれであるか、テキストデータと写真データとのいずれであるかなどの画像の性質を検出してスキャン処理の方式を切り替える技術が知られている。

例えば、特許文献１によれば、まず初めに、読み取った画像がカラーかモノクロかを判別する。そして、読み取った画像がモノクロの場合は、画像の利用目的やレイアウトに基づいて、画像データを多値グレースケールのデータまたは２値データのいずれとするかを決定して処理する。

レイアウトに基づき決定を行う場合、無彩色（モノクロ）データの読み取り原稿画像に対して、原稿レイアウトの解析を行い、原稿中に占めるテキストデータと写真データとのそれぞれの割合を調べ、その割合に対応してテキスト原稿として取り扱うか、写真原稿として取り扱うかを決定している。例えば、写真データが所定の割合以上に存在する場合は写真原稿として判断し、逆に写真データが所定の割合よりも少ない場合はテキスト原稿として判断する。この判断を受けて、原稿がテキストデータであった場合には、無彩色データをグレースケールから白黒へ変換処理を実行することで、原稿の種類に応じて、グレースケールのデータとするか、白黒２値のデータとするかを切り替える技術として開示されている。

特開２００７－２６６９２１号公報

しかしながら、特許文献１の方式では、読み取り画像を、グレースケールのデータとすべきか、白黒２値のデータとすべきか、の判定が適正ではない場合がある。そして、特に２値データとして処理した場合において、情報が大きく損失してしまう場合がある。

一例として、特許文献１の方式は、読み取り画像が白の下地に黒で文字が表記されたテキストデータである場合は好適である。しかし、現実には、このような場合以外に、図１７（ａ）に示すように読み取り画像が中間階調色の下地に黒で文字が表記されたテキストデータである場合が存在する。このようなテキストデータの原稿を特許文献１のような方式で処理した場合、下地と文字が両方とも黒で塗りつぶされた白黒２値画像として処理されてしまい、図１７（ｂ）に示すように文字が判読できなくなってしまう場合がある。

この原因は、特許文献１の方法は、テキスト原稿は２値データに適しており、写真データはグレースケールのデータに適している、という定性的な根拠にのみ基づき読み取り画像を２値データとして処理するかグレースケールのデータとするかの判定をしているに過ぎず、読み取り画像を２値データ、もしくはグレースケールのデータとして出力することの妥当性を定量的に評価しているわけではないことに因る。すなわち、図１７（ａ）に示すような読み取り画像に対しては、特許文献１の方法は判定精度が低い方法であるといえる。

本発明は前記のような点を鑑みてなされたものであり、高い精度で適正な出力階調数を設定して出力画像を生成する画像処理装置、画像処理方法、コンピュータプログラムおよび記録媒体を提供することを目的としている。

上述した課題を解決するために、本発明の画像処理装置は、
入力画像データを処理して出力画像データを生成する画像処理装置であって、
前記入力画像データから特徴量を算出する特徴量算出部と、
前記特徴量算出部が算出した特徴量に基づき、複数の出力階調数候補のうちいずれか１つの階調数を出力階調数として設定する出力階調数設定部と、
前記入力画像データを処理して前記出力階調数設定部が設定した出力階調数の出力画像データを生成する画像処理部と、
を備えたことを特徴とする。

本発明の画像処理方法は、
入力画像データから特徴量を算出する特徴量算出ステップと、
前記特徴量算出ステップで算出した特徴量に基づき、複数の出力階調数候補のうちいずれか１つの階調数を出力階調数として設定する出力階調数設定ステップと、
入力画像データを処理して、出力階調数設定ステップで設定した前記出力階調数の出力画像データを生成する画像生成ステップと、
を備えたことを特徴とする。

本発明のコンピュータプログラムは、コンピュータに、前記画像処理方法の各ステップを実行させるためのコンピュータプログラムである。

本発明の記録媒体は、前記コンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体である。

本発明によれば、入力画像データから算出した特徴量に基づき、複数の出力階調数候補のうち選択されたいずれか１つの階調数で表わされた出力画像データを生成することができる。例えば、入力画像データにテキストデータが多く含まれている場合であっても、そのまま白黒２値画像とするのではなく、特徴量に基づいて、出力階調数を設定して出力画像を生成することが可能である。したがって、文字が含まれる入力画像データに基づき出力画像データ生成することにより、文字が判読できなくなってしまうことを、回避することができる。

第１実施形態における画像処理装置の機能構成を説明するための図である。 第１実施形態におけるメイン処理を説明するためのフロー図である。 第１実施形態における階調性のある画像における特徴量の例を示した図である。 第１実施形態における階調性のない画像における特徴量の例を示した図である。 第１実施形態におけるメイン処理の別の処理例を説明するためのフロー図である。 第１実施形態におけるスキャンモード設定画面の画面例である。 第１実施形態におけるカラーモード設定画面の画面例である。 第１実施形態における判定基準設定画面の画面例である。 第１実施形態における第１評価画像及び第２評価画像を説明するための図である。 第１実施形態における差分画像データを説明するための図である。 第２実施形態における画像処理装置の機能構成を説明するための図である。 第２実施形態におけるメイン処理を説明するためのフロー図である。 第３実施形態におけるメイン処理を説明するためのフロー図である。 第４実施形態におけるメイン処理を説明するためのフロー図である。 第５実施形態におけるメイン処理を説明するためのフロー図である。 第５実施形態におけるクラスターの例を示した図である。 既存の２値化処理の結果の例を表す図である。

以下に、本発明の実施の形態について、図を参照しながら詳細に説明する。以下の説明では、本発明に係る画像処理装置が画像形成装置の一部を成す形態を例示する。

［１．第１実施形態］
［１．１ 機能構成］
図１は、第１実施形態に係る画像形成装置１の機能的構成を示すブロック図である。画像形成装置１は、コピー機能、印刷機能、及びスキャナ機能等を有するデジタル複合機である。画像形成装置１は、画像処理装置１０、画像読み取り装置２０、画像印刷装置３０及び画像データ送信装置４０を備えている。

画像読み取り装置２０、画像処理装置１０、画像印刷装置３０及び画像データ送信装置４０には、操作パネル５０が接続されている。操作パネル５０は、ユーザが画像形成装置１の動作モードを設定するための設定ボタン及びテンキー等の操作部（不図示）と、液晶ディスプレイ等で構成される表示部（不図示）とを備える。

画像形成装置１で実行される各種処理は、不図示の制御部（ＣＰＵ（Central Processing Unit）あるいはＤＳＰ（Digital Signal Processor）等のプロセッサを含むコンピュータ）が制御する。画像形成装置１の制御部は、不図示のネットワークカード及びＬＡＮケーブルを介して、ネットワークに接続されたコンピュータ及び他のデジタル複合機等とデータ通信を行う。以下、画像形成装置１の各部について詳述する。

画像読み取り装置２０は、原稿から画像を光学的に読み取る。画像読み取り装置２０は、たとえばＣＣＤ（Charge Coupled Device）を有するカラースキャナよりなり、原稿からの反射光像を、ＣＣＤを用いてＲＧＢ（Ｒ：赤，Ｇ：緑，Ｂ：青）またはモノクロのアナログ信号として読み取り、画像処理装置１０へ出力する。画像読み取り装置２０は、スキャナでなくてもよく、たとえばデジタルカメラ等であってもよい。

画像処理装置１０は、画像入力回路１１、画像出力回路１２、画像処理演算回路１３、特徴量算出演算回路１４、記録回路１５、および出力階調数設定回路１６を備えている。

画像入力回路１１は、画像読み取り装置２０が画像処理装置１０へ出力したアナログ信号に基づき入力画像データを生成する。なお、画像入力回路１１は、上記の例に限定されず、外部から画像データを受け取り、受け取った画像データを入力画像データとするものであってもよい。

画像処理演算回路１３は、入力画像データに対して画像処理を行い、新たな画像データを生成する。画像処理の具体例としては、解像度変更処理、平滑化処理、先鋭化処理、ガンマ補正などの階調変換処理、カラー・モノクロ変換処理、白黒２値画像または多階調画像（グレースケール画像等）である階調数の異なる画像データへの変換処理などが挙げられる。

特徴量算出演算回路１４は、画像データに基づき、適正な出力階調数の判定に必要な特徴量を算出する演算を行うものである。特徴量は、単純な数値データであってもよいし、画像データの各画素について特徴量を記した数値データの群を画像データとして取り扱う特徴量画像データであってもよい。また、特徴量は必ずしも１成分である必要は無く、複数の成分を持つベクトルであっても良い。すなわち、後述する第１評価画像および第２評価画像と同一の画素数で構成され、画素毎に複数の成分を持つ特徴量画像データとすることも可能である。

記録回路１５は、複数の出力階調数候補に関する情報や、その他様々な設定情報を事前に記録するとともに、画像処理中において、画像処理演算により作成した画像データを一時的に保存する記録装置である。記録回路１５は、揮発性メモリ、不揮発性メモリ、またはこれらの組み合わせを用いることができる。

出力階調数設定回路１６は、特徴量算出演算回路１４が算出した特徴量を基に、記録回路１５に記録されている複数の出力階調数候補のうち、入力画像データを表わすのに最も適正な階調数を判定して、出力階調数として設定する。出力階調数設定回路１６が設定した出力階調数に従って、画像処理演算回路１３は、入力画像データの階調数を変換して、出力画像データを生成する。

画像出力回路１２は、画像処理装置１０が生成した出力画像データを電子データの形式で画像処理装置１０の外部に出力する。

画像印刷装置３０は、出力画像データに基づき画像を用紙に印刷する。画像印刷装置３０は一般的な電子写真やプリンタを用いることができる。

画像データ送信装置４０は、ネットワークを介して出力画像データを外部に送信する。画像データ送信装置４０は、一般的な電子メールを用いることができる。

［１．２ 処理の流れ］
次に、図２を参照して、上記の構成からなる画像形成装置１で出力画像データを生成する方法について詳しく説明する。

［１．２．１ 画像データの入力］
まず初めに、画像読み取り装置２０により、元となる原稿用紙に描かれた画像を光学的に読み取ってアナログ信号として画像処理装置１０へ出力する。そして、画像処理装置１０に備えられた画像入力回路１１により、電子データである画像データに変換することで原稿用紙に基づく画像データの入力を行う（ステップＳ１０２）。この方法は一般的なスキャナと同等である。読み取りの方法は、原稿を１枚ずつ画像読み取り装置２０に手動でセットする方法でもよいし、機械的な紙送り機能（ＡＤＦ）を用いて複数枚の原稿を連続的に読み込む方法でもよい。本実施形態では、機械的な紙送り機能を用いてセットされた複数枚の原稿を連続的に読み込む方法であり、かつ、複数枚の原稿中にテキストデータ画像や写真データ画像など、異なる性質を持つ画像が混在している場合を想定している。

画像読み取り装置２０は、紙送り機構（ＡＤＦ）が付属しており、紙送り機構によりセットされた複数枚の原稿は１枚ずつ連続的に画像読み取り装置２０に送られる。そして、画像読み取り装置２０は、送られた原稿に対して１枚ずつ読み取りを行い、原稿１枚ごとの画像データを生成し、画像データを画像処理装置１０に送信する。

画像処理装置１０は、原稿１枚ごとに以下の処理を行う。まず、画像処理装置１０は、画像入力回路を介して入力された画像データを入力画像データとして一時的に記録回路１５に保存する（ステップＳ１０４）。

［１．２．２ 第１評価画像の生成］
入力画像データは、このままでは解像度が大きすぎる、また、コントラストが適切でないなど、適正な階調数を設定する際に好適でない場合がある。そこで、まず初めに、画像処理演算回路１３は、入力画像データが適正な階調数の設定に適した画像データとなるように、入力画像データに対して次のような画像処理（前処理）による画像補正を行う（第１前処理）（ステップＳ１０６）。

前処理として行う画像処理の例を、以下に列挙する。
（１）解像度変換処理
入力画像データはこのままでは階調数の判定を行うには解像度が過大である場合がある。そこで、画像の解像度すなわち大きさの変換を行う。解像度の変換に用いる手法の例としては、画像補間方法として知られている、最近傍画素の値をそのまま用いるニアレストネイバー法や、周辺４画素との距離に応じた重みを用いて各画素値の値から計算するバイリニア法などの手法を用いることができる。解像度の変更に伴い、第１評価画像の画素数は、もとの入力画像データの画素数よりも小さくなり、後段の演算処理の処理負荷を軽減することができる。例えば、スキャン時の画像の解像度が３００ｄｐｉであった場合、１５０ｄｐｉの画像データとなるよう解像度を変換することで、画像データの画素数を元の入力画像の画素数の１／４に削減できる。適正な階調数の設定に必要な特徴量の演算は、第１評価画像の画素単位で行うものである。つまり、第１評価画像の画素は特徴量の演算における評価画素である。以下、特にことわりがないかぎり、評価画素は通常の画素と区別せずに単に画素と称する。

（２）コントラスト調整処理
解像度変換処理後の画像に対して、出力用画像の入力側での明るさやコントラストを調整するために、入力値に対応する出力値が１：１で格納されたルックアップテーブルなどを使い、画像データを所望する特性の出力値となるような調整を行う。この画像処理は、一般的にγ補正と呼ばれる手法を用いることができる。

（３）平滑化／先鋭化処理
コントラスト調整処理後の画像に対して、ぼやけている印象の画像に対してシャープな画像へと変換させるための先鋭化フィルタ処理を行ったり、逆にエッジ部などが際立ちすぎて堅い印象の画像に対してはなめらかな画像へと変換するための平滑化フィルタと呼ばれるフィルタ処理を行ったりすることで、出力画像として好適なフィルタ処理を実施する。この画像処理は、空間フィルタ処理部にて、フィルタカーネルと呼ばれる係数を、画像の注目画素とその周辺画素との、畳み込み演算することで実現されている。

例えば、畳み込み演算を行う空間フィルタ処理として、移動平均フィルタや加重平均フィルタなどが一般的には知られている。同フィルタを適用することによって入力された画像の注目画素は、注目画素周辺の周辺画素との平均値化された画素値をとることとなることから画素値の変動が緩やかになり平滑化処理がなされることになる。

なお、平滑化／先鋭化処理のいずれを実施するか、いずれも実施しないか、あるいは両方の処理を組み合わせるかは、設計者が適宜選択すべき事項である。

入力画像データに対して、第１前処理として（１）から（３）までのような画像処理（前処理）を行って新たに生成した画像データを第１評価画像データとし（ステップＳ１０８）、記録回路１５に記録する（ステップＳ１１０）。なお、（１）から（３）までの画像処理は、この中の一部を省略することが可能であるし、これ以外にその他の公知の画像処理を追加することも可能である。また、（１）から（３）の全てを省略して、入力画像データそのものを第１評価画像データとしてもよい。各種画像処理の組み合わせや順序は「適正な階調数を設定するために適した画像データとなるように補正する」という目的の範囲内で適宜設定することができる。

なお、入力画像データがそのまま適正な階調数を判定するために用いることが出来る場合は、前処理を全て省略することも可能であり、その場合は入力画像データをそのまま第１評価画像データとして用いることができる。

［１．２．３ 第２評価画像の生成］
次に、画像処理演算回路１３は、入力画像データに対して画像処理（第２前処理）を行い（ステップＳ１１２）、第１評価画像データよりも階調数の小さい所定の階調数の画像（例えば、白黒２値画像）を生成し、第２評価画像とする（ステップＳ１１４）。なお、第２前処理は、第１前処理と同じ処理であってもよいし、別の処理であってもよい。また、画像処理を省略して、入力画像データそのものを第２評価画像データとしてもよい。

階調数を減じる方法、すなわち２値化あるいは多値化する手法としては、単純閾値処理などの閾値による処理や誤差拡散法などが公知の技術としてよく知られている。

本実施形態では、出力階調数候補が８ビット（階調数２５６）のグレースケール画像と１ビット（階調数２）の白黒２値画像の２種類である場合を説明する。なお、以下の説明では、出力階調数候補のうち、大きい階調数をＡ（本実施形態では２５６）、小さい階調数をＢ（本実施形態では２）とする。

本実施形態では、出力階調数候補のうち、小さい階調数であるＢの値、すなわち２に基づき、第２評価画像を階調数が２である白黒２値画像として生成する。具体的には、第１評価画像データの各画素に対して、第１評価画像データの階調値が、設定された閾値以上であるか、設定された閾値未満であるかの判定を行う。そして、第１評価画像データの階調値が設定された閾値以上の場合、その画素の階調値を、白を示す階調値である「１」とし、設定された閾値未満の場合、その画素の階調値を、黒を示す階調値である「０」とする。これにより、画素数が第１評価画像と同一であって、すべての画素の階調値が「０」または「１」のいずれかである、すなわち階調数が２である画像データが生成される。そして、新たに生成された白黒２値画像データを第２評価画像として記録回路１５に記録する（ステップＳ１１６）。

上述のように、第２評価画像の画素数は第１評価画像と同一であって、第２評価画像の画素は、第１評価画像の画素と同様に、評価を行うための対象の画素である。

なお、出力階調数候補の組み合わせは、本実施形態のように８ビットと１ビットの２種類に限定される必要はなく、例えば、出力階調数候補が３種類以上でもよいし、４ビットや１６ビットのように他の階調数を含んでいてもよい。また、第１評価画像や第２評価画像は白黒（無彩色）画像である必要はなく、カラー（有彩色）画像であってもよい。

［１．２．４ 差分画像データの生成］
次に、特徴量算出演算回路１４は、第１評価画像と第２評価画像を基に差分画像データを生成する（ステップＳ１１８）。差分画像データは、第１評価画像と第２評価画像との間に発生する情報損失の程度を対応する画素毎に数値化した特徴量画像データと言える。

前述のように、第２評価画像は第１評価画像を基に生成された画像データであって、第２評価画像と第１評価画像とは同じ画素数の画像データである。

まず、差分画像データを生成するための前準備として、第１評価画像と第２評価画像との階調値の範囲を合わせるための正規化処理（準備処理）を行う。たとえば、第１評価画像が、階調値の最小値が０であり、階調値の最大値が２５５である、８ビットのグレースケール画像であって、第２評価画像が、階調値の最小値が０であり、階調値の最大値が１である白黒２値画像である場合、このままでは階調値の範囲が合わないため、第２評価画像の最大値が第１評価画像と同じく２５５となるように、第２評価画像に対して所定の倍率（２５５）を乗算する。これにより、第１評価画像と第２評価画像の各画素の階調値同士を同じ階調値の範囲で計算することができる。

準備処理の後、画像処理演算回路１３は、第１評価画像の各画素に対して、各画素に対応する第２評価画像の各画素との間で、各画素の階調値の差分値を算出する。そして算出した差分値を各画素の階調値とした新たな画像データを生成する。そして、この新たに生成された画像データを差分画像データとして記録回路に記録する。なお、差分画像データにおける画素数は、第１評価画像および第２評価画像の画素数と同一であって、差分画像データの画素は、第１評価画像および第２評価画像の画素と同様に、評価画素である。

ここで差分値は、例えば複数の画素値を有する画像から２値の画像を生成した場合の階調値の変化の度合い、すなわち、白黒２値画像を生成した場合の、情報損失の大きさを表す特徴量とすることができる。例えば、元の画像と２値化後の画像の同じ画素位置の画素値の差の絶対値を画像全体に対して計算する。ここで、それぞれの画素位置における差の絶対値が、それぞれ計算されることになる。

図を参照して例を示す。図３（ａ）は、写真などの階調性のある画像の横４画素、縦８画素の部分拡大図（階調数は２５６階調）である。図３（ｂ）は、図３（ａ）の各画素における画素値である階調値について、階調値が「１１０」未満であれば「０」に変換し、「１１０」以上であれば「２５５」に変換することで、閾値を「１１０」とした白黒２値画像を生成した場合における部分拡大図である。図３（ａ）、図３（ｂ）において、矩形の中に記載した値は、その位置の画素における階調値を示す。また、図３（ｃ）は、図３（ａ）と図３（ｂ）の各画素における、階調値の差分を示したものである。図３（ａ）と図３（ｂ）と図３（ｃ）とについて、各画素の位置は対応する。ここで、左上の画素の階調値は、図３（ａ）においては「２０」であり、図３（ｂ）においては「０」である。このときの左上の画素の差分値（階調値の差の絶対値）は、「２０」である。同様に、右下の画素の階調値は、図３（ａ）においては「２２０」であり、図３（ｂ）おいては「２５５」である。このときの右下の差分値は「３５」である。また、図４（ａ）は文字のような階調性のない画像の横４画素、縦８画素の部分拡大図（階調数は２５６階調）である。図４（ａ）から図４（ｂ）に示すような白黒２値画像（閾値は１１０とする）を生成した場合における部分拡大図である。図４（ａ）、図４（ｂ）において、矩形の中に記載した値は、その位置の画素における階調値を示す。各画素における階調値の差分値は、図４（ｃ）に示す通りとなる。このように、元の画像と、２値化後の画像とに基づいて、対応する画素位置における差分が計算される。そして、対応する画素位置における差分を、情報損失の大きさを表す特徴量とすることができる。

以下では、情報損失の量を数値によって表した値を、情報損失評価値と呼ぶ。そして、画素値に基づく情報損失評価値の例として、ここで示す階調値の変化の度合いを比較する画像同士の同一位置画素の差の絶対値があげられる。

なお、差分値そのものは、正負の値を取りうるため、２値化により白画素になることによる情報損失と、２値化により黒画素となることによる情報損失とが、異なる性質の情報損失として考慮される。これらの区別をつけず、情報損失の程度の大きさのみを考慮すれば良い場合、絶対値演算や、２乗などにより、０以上の数値に変換した値を情報損失評価値としても良い。

また、第１評価画像と第２評価画像との比較において、例えば、画像中の画像のエッジ（輪郭）の変化に着目をしたい場合には、それぞれの画像に対してエッジを抽出するためのエッジ検出オペレーターを適用することでエッジ画像として生成できる。

エッジ検出オペレーターとしては、例えば、下記の式（１）に示したＰｒｅｗｉｔｔ、あるいはＳｏｂｅｌと呼ばれる水平方向（ｘ）と垂直方向（ｙ）のオペレーターなどが良く知られている。

輪郭抽出処理を行うことのメリットは、後述する変化量の判定の際に、画像のエッジ部分の変化を敏感に検知できることである。例えば、処理する画像データが濃度の高い文字画像を含む画像のデータであった場合、画像全体に対する変化の割合が微小であっても、２値化により、文字の像の輪郭形状が変化した場合、文字潰れが生じて文字が判読できなくなってしまう。輪郭抽出処理はこのような現象を敏感に検知するために特に有効であるため、前述した第１評価画像ならびに正規化後の第２の評価画像のそれぞれに対して、前処理と輪郭抽出処理とを行った画像を第１’評価画像、第２’評価画像を生成する。そして、第１’評価画像と第２’評価画像とから差分画像を生成することで、特に文字などのエッジ部の変化に敏感な差分画像データを生成することができる。

このような輪郭抽出処理は、例えば、第１前処理及び第２前処理の後に、前処理後の画像に対する画像処理として行う。具体的には、図５に示すように、入力画像データに対する第１前処理の後に、第１抽出処理として、上述した輪郭抽出処理を行い（ステップＳ１５２）、第１’評価画像の生成と記録を行う（ステップＳ１５４→ステップＳ１５６）。同様に、入力画像データに対する第２前処理の後に、第２抽出処理として、上述した輪郭抽出処理を行い（ステップＳ１５８）、第２’評価画像の生成と記録を行う（ステップＳ１６０→ステップＳ１６２）。ステップＳ１１８においては、特徴量算出演算回路１４は、第１’評価画像と第２’評価画像を基に差分画像データを生成する。なお、ステップＳ１１２において、入力画像データに基づく白黒２値画像を生成している場合は、予め白黒２値画像に対する正規化を行ったうえで、正規化後の画像に対して輪郭抽出処理を行う。

また、出力階調数の候補が３種類以上ある場合は、出力階調数の候補ごとに、ステップＳ１１２からステップＳ１１８までの処理を行う。このようにすることで、出力階調数の候補ごとに差分画像データを生成することが可能となる。

［１．２．５ 統計量の計算］
図２に戻り、つづいて出力階調数設定回路１６は、差分画像データ全体の画素の階調値に対する統計量を算出し、統計量に基づき、適正な出力階調数を判定し、設定する。上述のように、差分画像データは第１評価画像と第２評価画像との間で、対応する画素同士の差分値に基づいて生成される画像データである。このため、画像の特定の部位では差分値（情報損失評価値）の大きさが大きく（つまり情報損失が大きく）、別の部位では差分値（情報損失評価値）の大きさが小さい（つまり情報損失が小さい）場合がある。このような場合においても画像全体の情報損失の大きさを情報損失評価値および統計量の双方に基づいて、総合的に評価することにより、適正な出力階調数を設定することができる。

はじめに、出力階調数設定回路１６は統計量を算出する（ステップＳ１２０）。一般に、情報損失が大きい場合、全体として差分画像データの階調値である差分値または差分値の絶対値として表された情報損失評価値が大きくなる傾向があるため、統計量として階調値の総合的な大きさを反映した統計値を用いることができる。具体的には、差分画像データ全体の各画素の階調値の総和（合計値）、平均値、中央値などを用いることができる。

また、情報損失が大きい場合、全体として階調値である差分値または差分値のばらつきとして表された情報損失評価値が大きくなる傾向がある。この理由は、情報損失が小さい場合は、各画素の階調値である差分値または差分値の絶対値がほぼ全ての画素で０に近い値となり、ばらつきが小さくなるのに対して、情報損失が大きい場合は、０以外の値をもつ画素が多く含まれようになるため、ばらつきが大きくなるためである。このため、統計量として階調値のばらつきの大きさを反映した統計値を用いることができる。具体的には、差分画像データ全体の各画素の階調値の分散値、標準偏差値、エントロピー値などを用いることができる。

このようにして、出力階調数設定回路１６は、差分画像データ全体の各画素の階調値の積算値（合計値）、平均値、中央値や、各画素の階調値の分散値、標準偏差値、エントロピー値などに基づいて、差分画像データ全体の画素の階調値に対する統計量を算出する。どのようにして統計値を算出するかは、設計者が適宜選択してもよいし、ユーザによって選択されてもよい。

［１．２．６ 出力階調数の設定］
つづいて、出力階調数設定回路１６は、ステップＳ１２０で算出した統計量に基づき、出力階調数を設定する。例えば、統計量に対する基準値を予め設定しておき、統計量が基準値以上の場合と、基準値未満の場合とで、設定する出力階調値を変える。

このように、統計量に基づき、第２評価画像の階調数を出力階調数とすることが適正か否かを判定することができ、適正な階調数を設定することができる。

例えば、本実施形態では、出力階調数設定回路１６は、ステップＳ１２０で算出した統計量が所定の基準値以上であるか否かを判定する（ステップＳ１２２）。ステップＳ１２０で算出した統計量が所定の基準値以上である場合は、第２評価画像の階調数を出力階調数として設定すること（本実施形態ではＢの値である階調数２）を不適であると判定し、出力階調数候補の他方の階調数（本実施形態ではＡの値である階調数２５６）を出力階調数として設定する（ステップＳ１２２；Ｙｅｓ→ステップＳ１２４）。統計量が所定の基準値未満の場合は、第２評価画像の階調数を出力階調数として設定することを（本実施形態ではＢの値である階調数２）を適していると判定し、階調数２を出力階調数として設定する（ステップＳ１２２；Ｎｏ→ステップＳ１２６）。

なお、本実施形態では、予め設定しておいた基準値に対して、統計量が基準値以上か、基準値未満かを判定することで、出力階調値を変えることとして説明したが、基準値の代わりに、基準範囲を設定してもよい。つまり、統計量が基準範囲内にあるか、基準範囲外にあるかによって、出力階調値を変えてもよい。

また、上記の方法は一例であって、適正な出力階調数の設定方法はこれに限定されるものではない。本願発明において本質的な部分は、特徴量を用いて特定の出力階調数の出力画像を生成した場合の情報損失の大きさを情報損失評価値によって判定することにより、その出力階調数の出力画像を生成することの適正度を定量的に判定でき、これを用いて適正な出力階調数を設定できるという点である。この本質部分が損なわれない限り、他の方法を用いることが可能である。

［１．２．７ 出力画像データの生成］
画像処理演算回路１３は、記録回路１５に記録された入力画像データに対して画像処理を行い、設定された出力階調数で表わされる画像データを出力画像データとして生成する（ステップＳ１２８）。入力画像の階調数とは異なる出力階調数で表わされる場合の出力画像データの生成については、第２評価画像の生成と同様に、公知の一般技術を用いることができる。そして、画像処理装置１０は、入力された全ての画像データに対して、画像処理演算回路１３が出力画像データを生成していないと判定した場合には（ステップＳ１３０；Ｎｏ）、未処理の入力画像データについて、ステップＳ１０４からの処理を行う。

入力された全ての画像データに対して出力画像データを生成した場合は、画像出力回路１２は、生成した出力画像データを画像処理装置１０の外部に出力する（ステップＳ１３０；Ｙｅｓ→ステップＳ１３２）。そして、画像印刷装置３０及び画像データ送信装置４０は、設定あるいは操作パネル５０の操作に従って、出力画像データを用紙に印刷あるいはネットワークを介して外部に送信を行う。

［１．３ 動作例］
図を参照して、本実施形態の動作例について説明する。はじめに、操作部による情報損失判定機能の動作切り替えについて説明する。図６は、スキャンした画像をメール等で送信するスキャンモードでの動作時に画像形成装置１の表示部に表示される設定画面Ｗ１００の画面例を示している。画面上には、送信先を指定するための登録済みの宛先リストから選択したり、宛先を直接入力したりするための入力画面へ遷移する操作画面へのボタンおよび宛先を直接入力するためのテキストボックスを含む表示領域Ｅ１００、送信するスキャン画像の色を指定するためのカラーモードボタンＢ１００、スキャン画像の解像度を指定するためのボタンＢ１０１、送信先に送信するスキャン画像の画像データのファイル形式を指定するためのボタンＢ１０２、スキャン画像が文字だけの文書原稿、あるいは階調を含む写真や図を含む文書原稿といった原稿の種別を指定するためのボタンＢ１０３、出力画像データの濃度を設定するためのボタンＢ１０４、その他、例えば、原稿の読み取りを表裏ともに実施するよう指示するためのメニューを表示するなど他の機能を選択するために遷移するためのその他設定ボタンＢ１０５、各種設定を最初からやり直すためのリセットボタンＢ１０６、およびスキャンを開始するためのスタートボタンＢ１０７がそれぞれ設けられている。

情報損失の一例として、２値化による文字の潰れを防止するための機能を有効・無効にする方法について説明する。

２値化による文字潰れは、スキャン画像をグレースケールの原稿として取り扱うことで回避できる。

そのため、ＡＣＳ（Auto Color Selection）の機能により白黒（無彩色）の原稿と判定された場合には、グレースケール原稿なのか白黒２値の原稿なのかを更に判定させるのか、ユーザが任意にグレースケールあるいは白黒２値の原稿として、それぞれのモードを指定してスキャンをさせるのかを設定できるようにする。そこで、図６のカラーモードボタンＢ１００が選択されたときに表示部に表示する、カラーモードの設定画面Ｗ１１０の画面例を図７に示す。

図７に示すように、カラーモードの設定画面Ｗ１１０には、ＡＣＳの機能を使用するか、カラーモードを手動で設定するかを選択することができるボタンを表示した領域Ｅ１１０と、ＡＣＳの機能によって、原稿が白黒（無彩色）の原稿と判定された場合に、更にグレースケール原稿なのか白黒２値の原稿なのかを画像処理装置１０に判定させるか、手動で設定するかを選択することができるボタンを表示した領域Ｅ１１１と、設定を確定するためのＯＫボタンＢ１１１とが含まれている。同画面にて、領域Ｅ１１０から「自動」と表示されたボタンを選択することでＡＣＳの機能を有効にした上で、画像処理装置１０にグレースケール原稿なのか白黒２値の原稿なのかを判定させる領域Ｅ１１１内の白黒自動のモードボタンＢ１１０を選択した場合には、原稿を読み取って得られた画像をグレースケールか白黒２値のいずれのモードで出力するかの判定を画像処理装置１０内で実行し、判定結果に基づいて設定された階調数となるよう画像を変換して出力する機能を提供できる。

また、２値化による情報損失の許容できるレベルはユーザによって異なるため、画像処理装置１０が実行する前記判定の結果が、あるユーザにとっては所望通りの判定の結果になる一方で、異なるユーザの所望する判定の結果にならなかった場合、すなわち、意図していないグレースケール化もしくは白黒２値化という逆の判定がなされて処理されてしまう場合がある。ユーザの所望する判定結果により近づけることを目的として、判定の基準を変更する方法を提供する必要がある。

図８に、判定の基準を変更するための設定画面Ｗ１２０（判定基準設定画面）の画面例を示す。なおこの画面は、例えば、図６に示した操作画面Ｗ１００のその他設定ボタンＢ１０５を選択することで表示部に表示されるメニュー（不図示）から、ユーザによって「デバイス設定」という項目の中から、「判定基準設定」が選択されることにより表示される。

図８に示すように、設定画面Ｗ１２０には、判定の基準を選択するためのリスト領域Ｅ１２０と、設定を確定するためのＯＫボタンＢ１２０と、設定を破棄して設定画面Ｗ１００に戻るためのＣａｎｃｅｌボタンＢ１２２とが含まれている。ユーザは、リスト領域Ｅ１２０から１つの判定の基準を選択し、ＯＫボタンＢ１２０を押下することにより、画像処理装置１０は、統計量に対する判定の基準を、選択された判定の基準に更新する。以下では、判定基準が５段階の中から選択できることとして説明する。

初期の状態では、グレースケールと白黒２値との判定は、特に偏りなく判定されるように設定がなされているため、例えば、「ふつう」として５段階のうちの中央の位置にあたる３のレベルに設定されている。この「ふつう」の場合における統計量に対する基準値は、設計者により適切な値が設定される。

この設定のままで、例えば、グレースケール原稿として判定すべき原稿が、白黒２値原稿として判定がなされてしまった場合に、設定画面にある「５（グレースケール寄り）」がある側の「４」や「５」といったレベルを選択することで、グレースケール原稿として判定され易くすることができる。判定基準として「４」または「５」を選択した場合は、画像処理装置１０は、統計量に対する基準値を、判定基準が「３」の場合における基準値よりも小さくする。このようにすることで、判定基準が「３」のときに白黒２値原稿として判定される情報損失評価値であっても、グレースケール原稿として判定させることが可能となる。

また、逆に白黒２値原稿として判定すべき原稿が、グレースケール原稿として判定されてしまった場合には、設定画面にある「１（２値寄り）」がある側の「２」や「１」といったレベルを選択することで、白黒２値原稿として判定され易くすることができる。判定基準として「２」または「１」を選択した場合は、画像処理装置１０は、統計量に対する基準値を、判定基準が「３」の場合における基準値よりも大きくする。このようにすることで、判定基準が「３」のときにグレースケール原稿として判定される情報損失評価値であっても、白黒２値原稿として判定させることが可能となる。

つづいて、図９及び図１０を参照して、第１評価画像と第２評価画像と差分画像データについて説明する。図９（ａ）は、アルファベットの小文字の「ａ」を、縦１０画素、横８画素の範囲に表した図である。このように、入力画像データが白黒（無彩色）の原稿である場合に、前処理を施した画像が第１評価画像である。また、図９（ｂ）は、図９（ａ）の階調値を示したものである。なお、動作例の説明においては、第１評価画像の階調数は２５６とし、階調値は０から２５５の何れかの整数値となることとする。

図９（ｃ）は、図９（ｂ）に示した階調値のうち、階調値が１５３以下の画素の階調値を０とし、階調値が１５４以上の画素の階調値を１として２値化した画像である。このように、第１評価画像の階調数よりも小さい階調数とした画像が、第２評価画像である。そして、図９（ｄ）は、第２評価画像の各画素の階調値に２５５を掛けることで正規化した図である。画素ごとに、図９（ｄ）に示した値と、図９（ｂ）に示した階調値との差分値を算出することで、出力階調数設定回路１６は、差分画像データを生成する。

差分画像データの例を図１０に示す。図１０に示した図は、画素ごとに、図９（ｄ）に示した値から、対応する図９（ｂ）の階調値を引いた値の絶対値で示した値を差分値として、対応する画素の位置に示した図である。図９に示すように、中間階調色（灰色）の画素ほど、差分値が大きくなる。

なお、図１０に示した差分値の積算値は２５５３であり、平均値は３１．９１２５である。差分値の絶対値の平均値を統計量とした場合、例えば、基準値が５０であれば、統計量が基準値未満であるため、出力階調数設定回路１６は２値化することによる情報損失は小さいとして、出力階調数を２とする。一方で、基準値が３０であれば、統計量が基準値以上であるため、出力階調数設定回路１６は２値化することによる情報損失は大きいとして、出力階調数を２５６とする。

前述したように、基準値は、判定基準設定画面Ｗ１２０でユーザによって設定されてもよい。したがって、判定の基準のレベルが「３」のときの基準値を５０とし、判定の基準のレベルが「５」のときの基準値を３０とすれば、ユーザの設定によって出力される画像が、判定の基準の設定によって異なることとなる。

本実施形態によれば、無彩色の原稿を白黒２値原稿として出力するか、グレースケール原稿として出力するかを、情報損失を数値化した情報損失評価値に基づいて判定することが可能となる。このようにすることで、テキストデータが多い原稿であっても、２値化することでユーザに伝わる情報の損失が大きい場合は、グレースケール原稿として出力することができ、ユーザに対する情報の損失を抑えることが可能となる。その一方で、白黒２値原稿として出力しても支障がない場合は２値化して出力することができる。この結果として、入力データに応じて、出力画像データを出力する際における、画像形成装置が消費するトナー量や、転送するデータ量を制御することが可能となる。

［２．第２実施形態］
つづいて第２実施形態について説明する。第２実施形態は前述の第１実施形態に加えて、さらに入力画像データの画像領域を、第１画像領域と、第２画像領域とに分別し、前記第１画像領域における特徴量を強調することにより、さらに精度よく適正な出力階調数を判定し、設定する実施形態である。

以下に、本実施形態について、第１実施形態との相違点について説明する。第１実施形態との共通点については説明を省略する。

本実施形態における画像形成装置２の機能的構成を示すブロック図を図１１に示す。図１１に示すように、第１実施形態の画像形成装置１の構成に加えて、画像形成装置２は画像領域分別演算回路１７をさらに備えている点が異なる。

画像領域分別演算回路１７は、画像データの特徴に基づき、画像中の領域を第１画像領域と第２画像領域を含む複数の属性の領域に分別する演算を行うものである。なお、本実施形態の例において、第１画像領域は文字領域であり、第２画像領域は写真領域であるが、これに限定されるものではない。

本実施形態におけるメイン処理の流れを、図１２を参照して説明する。画像領域分別演算回路１７による処理は、第１実施形態で説明したステップＳ１０６からステップＳ１１８までの処理に並行して行われるものであり、入力画像に基づき画像中の領域を第１画像領域と第２画像領域とを含む複数の領域に分別する画像領域分別演算処理を行う（ステップＳ２０２）。なお、画像領域分別演算処理の事前準備として、第１実施形態で説明したような前処理を行っても良い。画像領域分別演算処理の方法は、例えば、特開２０１２－１１４７７４号公報（以下、「引用文献」と記載する）に開示されている技術を用いることができる。引用文献に開示されている技術によると、画像データを複数の画素ブロックに分割し、画素ブロックが画像の前景を構成する前景画素ブロックであるか否かを判定し、さらには前景画素ブロックが連続する前景領域を抽出することができる。また、複数の前景領域間の距離及び方向距離及び方向に応じて、複数の前景領域で構成される文字列の領域を抽出することができる。したがって、引用文献を用いて、まず画像中の領域から前景領域を抽出し、それ以外の領域を背景領域として画像領域を分別することができる。そして、さらに前景領域から文字列領域を抽出して文字領域とし、前景領域のそれ以外の領域を写真領域として分別することができる。すなわち、引用文献に開示される技術を用いて画像中の領域を背景領域、文字領域、および写真領域の３つの領域のいずれかに分別することができる。詳細については引用文献に記載されているため説明を省略する。

画像領域分別演算回路１７は、画像中の領域を背景領域、文字領域、および写真領域の３つの領域のいずれかに分別したマスク画像データを生成する（ステップＳ２０４）。マスク画像データの具体例としては、第１評価画像および第２評価画像と同じ画素数の画像データであり、背景領域の画素の値に符号として０の値を割り当て、文字領域の画素の値に符号として１の値を割り当て、写真領域の画素の値に符号として２の値を割り当てた３階調の画像データである。生成したマスク画像データは、記録回路１５に記録する（ステップＳ２０６）。

次に、第１実施形態で説明したステップＳ１１４で作成した差分画像データの各画素の階調値に対して、出力階調数設定回路１６は、マスク画像データを用いて重みづけを行う（ステップＳ２０８）。重みづけは、画像領域分別演算回路１７が分別した各画像領域のうち、重要な情報損失につながる画像領域の画素の特徴量が大きくなるように倍率係数を乗算することにより行われる。例えば、背景領域、文字領域、および写真領域の３つの領域の種別うち、背景領域における情報損失は重要度が低いため小さい倍率係数を設定する。一方で文字領域における情報損失は、少しの情報損失で文字が判読できなくなるような深刻な影響を与えるため、重要度が高いため大きい倍率係数を設定する。そして、写真領域についてはこれらの中間の倍率係数を設定する。

こうして、マスク画像データを用いて差分画像データに対して画像領域の種別に応じて異なる倍率係数が乗算されて重要度の高い情報損失の強調が行われる。

以降の処理については、第１実施形態と同様に判定処理が行われる。本実施形態によれば、特に重要となる文字領域での情報損失をより敏感に判定することができるので、文字潰れを好適に防止することができる。

［３．第３実施形態］
第１実施形態では、異なる階調数で表わされる複数の評価画像から画像間の差分に基づいた統計量を算出し、統計量を基準値と比較することにより適正な出力階調数を設定する方法について説明した。本実施形態では、別の方法として、差分画像データ全体の画素ごとに、階調値に基づいてその画素が所定の基準を満たすか否かを判定し、前記評価画像全体における、前記所定の基準を満たすと判定した前記画素の数に基づき前記出力階調数を設定する方法について説明する。なお、本実施形態は適正な出力階調数を判定する方法以外は第１実施形態と同様である。

本実施形態におけるメイン処理の流れを、図１３を参照して説明する。本実施形態において、まず初めに、出力階調数設定回路１６は、差分画像データ全体の画素ごとに特徴量を算出する（ステップＳ３０２）。たとえば、差分画像データの画素ごとの階調値に基づき、特徴量を算出する。そして、出力階調数設定回路１６は、特徴量が所定の基準値以上である場合はその画素を所定の基準を満たさないと判定し、特徴量が所定の基準値未満である場合はその画素を所定の基準を満たすと判定する。ここで、所定の基準を満たさないと判定した画素は情報損失が大きい画素であることを意味している。

そして次に、出力階調数設定回路１６は、ステップＳ３０２において所定の基準を満たすと判定した画素の総数を計数する（ステップＳ３０４）。そして、基準を満たす画素の総数が予め定められた所定の範囲にあるか否かを判定する（ステップＳ３０６）。基準を満たす画素の総数が所定の範囲にある場合は、第２評価画像の階調数を出力階調数として設定することが不適であると判定し、第１評価画像の階調数（たとえばＡの値である階調数２５６）を出力階調数として設定する（ステップＳ３０６；Ｙｅｓ→ステップＳ１２４）。基準を満たす画素の総数が所定の範囲にない場合は、第２評価画像の階調数を出力階調数とすることが適していると判定し、第２評価画像の階調数（たとえばＢの値である階調数２）を出力階調数として設定する（ステップＳ３０６；Ｎｏ→ステップＳ１２６）。

なお、画素の特徴量に対する基準値や、基準を満たす画素の総数に対する所定の範囲については、予め設定されていてもよいし、ユーザによって設定可能であってもよい。なお、画素の特徴量に対する基準値の代わりに基準範囲を定めておき、画素の特徴量が基準範囲にあるかないかによって、所定の基準を満たすか満たさないかを判定してもよい。また、基準を満たす画素の総数に対する基準値を定めておき、基準を満たす画素の総数がその基準値以上かその基準値未満かによって、出力階調数を設定してもよい。

また、本実施形態の説明では、所定の基準を満たすと判定した画素の総数を計数したが、所定の基準を満たさないと判定した画素の総数を計数し、計数した総数が所定の範囲にあるか否かによって出力階調数を設定してもよい。

［４．第４実施形態］
第１実施形態では、異なる階調数で表わされる評価画像から、画像間の差分により得られる差分画像に基づき、１枚の差分画像全体に対応する統計量を算出し、統計量を基準値と比較することにより、適正な出力階調数を判定し、設定する方法について説明した。本実施形態では、差分画像データ全体をそれぞれに複数の画素を含む複数の画像ブロックに分割し、画像ブロックごとに算出される画像ブロックの統計量に基づき、各画像ブロックが所定の条件を満たすか否かを判定し、所定の基準を満たすと判定した画像ブロックの総数に基づき出力階調数を設定する方法について説明する。なお、画素ブロックは、例えば、所定の大きさの矩形領域である。なお、画像ブロックは、円形領域やひし形の領域であってもよく、１つの画素が、複数の画素ブロックに属していてもよい。

本実施形態におけるメイン処理の流れを、図１４を参照して説明する。本実施形態において、まず初めに、出力階調数設定回路１６は、差分画像データ全体を記録回路に記録された所定の設定条件に基づいて複数の画像ブロックに分割し、画像ブロックごとに画像ブロックに含まれる複数の画素の特徴量に基づく統計量を算出する（ステップＳ４０２）。ここで、設定条件とは画像ブロックの分割数や区切り方法などについての情報である。画像ブロックはそれぞれに複数の画素を含むように分割される。そして次に、出力階調数設定回路１６は、画像ブロックごとに、画像ブロックの統計量に基づきその画像ブロックが所定の基準を満たすか否かの判定を行い、画像全体で所定の基準を満たす画像ブロックの総数を計数する（ステップＳ４０４）。この判定の方法は、第１実施形態で説明した画像全体に対する統計量に基づく判定方法と同様の方法を用いることができる。つまり、第１実施形態との相違点は、第１実施形態が画像全体の統計量に基づき画像全体に対して判定を行うのに対して、本実施形態では画像ブロック内の統計量に基づき画像ブロックに対して判定を行う点であり、それ以外は同一の手法を用いることができる。

そして次に、出力階調数設定回路１６は、ステップＳ４０４で計数した画像ブロックの数が、予め定められた所定の範囲にあるか否かを判定する（ステップＳ４０６）。所定の基準を満たす画像ブロックの数が予め定められた所定の範囲にある場合は、第２評価画像の階調数を出力階調数として設定することが不適であると判定し、第１評価画像の階調数（たとえばＡの値である階調数２５６）を出力階調数として設定する（ステップＳ４０６；Ｙｅｓ→ステップＳ１２４）。所定の基準を満たす画像ブロックの数が予め定められた所定の範囲にない場合は、第２評価画像の階調数を出力階調数とすることを適していると判定し、第２評価画像の階調数（たとえばＢの値である階調数２）を出力階調数として設定する（ステップＳ４０６；Ｎｏ→ステップＳ１２６）。

なお、画像ブロックの統計量に対する基準値や、基準を満たす画像ブロックの総数に対する所定の範囲については、予め設定されていてもよいし、ユーザによって設定可能であってもよい。なお、画像ブロックの統計量に対する基準値の代わりに基準範囲を定めておき、画像ブロックの統計量が基準範囲にあるかないかによって、所定の基準を満たすか満たさないかを判定してもよい。また、基準を満たす画像ブロックの総数に対する基準値を定めておき、基準を満たす画像ブロックの総数がその基準値以上かその基準値未満かによって、出力階調数を設定してもよい。

また、本実施形態の説明では、所定の基準を満たすと判定した画像ブロックの総数を計数したが、所定の基準を満たさないと判定した画像ブロックの総数を計数し、計数した総数が所定の範囲にあるか否かによって出力階調数を設定してもよい。

本実施形態は、第１実施形態と第３実施形態の中間的な手法であるといえる。これについて以下説明する。第１実施形態の手法は、画像全体から算出される統計量に基づき画像全体に対して判定を行うので、画像において発生する個々の情報損失の程度の大きさや、発生箇所の分布の疎密によらず、画像全体にわたる平均的な数値として情報損失の程度を定量化することになる。このため、画像全体において、局所的に情報損失が発生していても、それ以外の範囲での程度の大きな情報損失が認められない場合、こうした局所的な情報損失を判定しにくいという短所である。一方で、画像全体の情報損失の大きさの平均的な量を判定するのでノイズの影響を受け難いという長所がある。一方で、第３実施形態の手法はその逆であり、画素ごとに算出される統計量に基づいて判定を行い、所定の条件を満たす画素の数に応じて出力階調数を設定する手法であるため、局所的な範囲における情報損失に関する情報を強く反映できるという点は長所である。

一般的に、画像データは画素サイズのノイズを含んでいる場合が多くある。ノイズの原因は様々であるが、例えば画像読み取り装置２０が原稿から画像を光学的に読み取る際のＣＣＤの出力ノイズなどがある。このため、このような局所的な範囲における情報損失の情報の中には、本来判定すべき情報損失の情報以外に、このようなノイズに起因する情報を多く含んでいる。つまりノイズの影響を受け易いという短所がある。本実施形態は、前述のように第１実施形態と第３実施形態の中間的な手法であって、画面全体を画像ブロックに分割する際の分割のしかた（例えば分割の細かさの程度）を最適化することにより、ノイズの影響を抑制しつつ、かつ、局所的な範囲における情報損失に関する情報を正確に判定することができる。

［５．第５実施形態］
本実施形態では、第３実施形態（画素単位での判定方法）または第４実施形態（画像ブロック単位での判定）の手法において、ノイズの影響を抑制するための１つの手法としてグループ化の手法を用いる方法について説明する。

本実施形態では、出力階調数設定回路１６は、所定の基準を満たすと判定した複数の画素または複数の画像ブロックが隣接した連続する画素群または画像ブロック群を１つのクラスターとして判別する。つまり、判定した複数の画素または複数の画像ブロックが２個以上隣接して連続して存在する場合、それらをグループ化して１つのクラスターとみなすクラスタリング処理（グループ化処理）を行う。なお、隣接するものが無い場合はその画素または画像ブロックを単独で１つのクラスターとみなす。そして、グループ化処理に基づくクラスターの数によって出力階調数の設定を行う。

本実施形態におけるメイン処理の流れを、図１５を参照して説明する。なお、図１５は、画像ブロックに対してグループ化処理を行うフロー図である。はじめに、出力階調数設定回路１６は、ステップＳ４０４において所定の基準を満たすと判定した画像ブロックが隣接した画像ブロック群を１つのクラスターとみなすクラスタリング処理（グループ化処理）を行う（ステップＳ５０２）。

画像ブロックの代わりに画素をグループ化する場合は、図１５のステップＳ４０２とステップＳ４０４の代わりに、ステップＳ３０２の処理を実行して、所定の基準を満たす画素を判定する。そして、ステップＳ５０２において、基準を満たす画素が隣接した画素群を１つのクラスターとみなすクラスタリング処理（グループ化処理）を行う。

そして次に、出力階調数設定回路１６は、判定した各クラスターの大きさを判定する（ステップＳ５０４）。各クラスターの大きさは、クラスターを構成する画素または画像ブロックの数で評価することができる。この場合、クラスターの大きさ（ランレングスともいう）は１以上の数値で表される。

上述の処理を図１６（ａ）～（ｄ）を用いて説明する。図１６（ａ）～（ｄ）は、差分画像データにおいて、所定の基準を満たすと判定した画素を黒、所定の基準を満たさないと判定した画素を白で図示したものである。図１６（ａ）において、所定の基準を満たすと判定した画素が３個隣接して連続して存在している。このような場合、３個の画素を１つのクラスターとみなすグループ化を行う。そして、大きさが３のクラスターが１つ存在するとみなす。同様に、図１６（ｂ）、（ｃ）および（ｄ）は、それぞれ、クラスターの大きさが４、９、および１のクラスターが１つ存在するとみなす。

そして次に、出力階調数設定回路１６は、所定の基準サイズ以上の大きさのクラスターの総数を計数し、所定の基準サイズ以上のクラスターの総数が予め定められた所定の範囲にあるか否かを判定する（ステップＳ５０６）。所定の基準サイズ以上のクラスターの総数が所定の範囲にある場合は、第２評価画像の階調数を出力階調数として設定することを不適であると判定し、第１評価画像の階調数（たとえばＡの値である階調数２５６）を出力階調数として設定する（ステップＳ５０６；Ｙｅｓ→ステップＳ１２４）。クラスターの総数が所定の範囲にない場合は、第２評価画像の階調数を出力階調数とすることを適していると判定し、第２評価画像の階調数（たとえばＢの値である階調数２）を出力階調数として設定する（ステップＳ５０６；Ｎｏ→ステップＳ１２６）。例えば、クラスターの大きさの基準サイズが３の場合は、大きさが２以下のクラスターは無視して計数せずに、大きさが３以上のクラスターの総数を計数する。

なお、基準サイズや、所定の基準サイズ以上のクラスターの総数に対する所定の範囲については、予め設定されていてもよいし、ユーザによって設定可能であってもよい。また、本実施形態の説明では、所定の基準を満たすと判定した画素又は画像ブロックに基づいてグループ化処理を行うと説明したが、所定の基準を満たさないと判定した画素又は画像ブロックに基づいてグループ化処理を行ってもよい。

本実施形態によれば、所定の基準未満の大きさのクラスターを総数の計数から除外することとなる。このため、ノイズの影響により周辺の画素とは異なる変動をしたために判定され偶発的に生じてしまった小さなクラスターのようなごく局所的な範囲の情報損失を除外して出力階調数を正確に判定することができる。

［６．変形例］
本願発明はデジタル複写機に適用しても良い。また、コピー機能、プリンタ機能、ファクシミリ送信機能、scan to e-mail機能等を備えるデジタルカラー複合機に適用しても良い。デジタルカラー複合機は、さらに、例えば、モデムやネットワークカードよりなる通信装置を備えていてもよい。通信装置は、ファクシミリの送信を行うときは、モデムにて、相手先との送信手続きを行い送信可能な状態が確保されると、所定の形式で圧縮された画像データ（スキャナで読み込まれた画像データ）をメモリから読み出し、圧縮形式の変更など必要な処理を施して、相手先に通信回線を介して順次送信する。

ファクシミリを受信する場合、ＣＰＵは、通信手続きを行いながら相手先から送信されてくる画像データを受信して画像処理装置に入力し、画像処理装置では、受信した画像データを、不図示の圧縮／伸張処理部にて伸張処理を施す。伸張された画像データは、必要に応じて、回転処理や解像度変換処理が行なわれ、出力階調補正、階調再現処理が施され、画像印刷装置３０より出力される。

また、ネットワークカード、ＬＡＮケーブルを介して、ネットワークに接続されたコンピュータや他のデジタル複合機とデータ通信を行なう。

上記では、カラー複合機について説明したが、モノクロの複合機であっても構わない。
本発明はコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体に、上記した画像処理装置において、背景を含んで撮影された対象を含む画像を入力して対象領域だけの画像データを抽出する処理方法を記録するものとすることもできる。

この結果、上記処理を行うプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）を記録した記録媒体を持ち運び自在に提供することができる。
なお、本実施の形態では、この記録媒体としては、マイクロコンピュータで処理が行われるために図示していないメモリ、例えばROMのようなものそのものがプログラムメディアであっても良いし、また、図示していないが外部記憶装置としてプログラム読み取り装置が設けられ、そこに記録媒体を挿入することで読み取り可能なプログラムメディアであっても良い。

いずれの場合においても、格納されているプログラムはマイクロプロセッサがアクセスして実行させる構成であっても良いし、あるいは、いずれの場合もプログラムコードを読み出し、読み出されたプログラムコードは、マイクロコンピュータの図示されていないプログラム記憶エリアにダウンロードされて、そのプログラムが実行される方式であってもよい。このダウンロード用のプログラムは予め本体装置に格納されているものとする。
ここで、上記プログラムメディアは、本体と分離可能に構成される記録媒体であり、磁気テープやカセットテープ等のテープ系、フレキシブルディスクやハードディスク等の磁気ディスクやCD－ROM／MO／MD／DVD等の光ディスクのディスク系、ICカード（メモリカードを含む）／光カード等のカード系、あるいはマスクROM、EPROM（Erasable Programmable Read Only Memory）、EEPROM（Electrically Erasable Programmable Read Only Memory）、フラッシュROM等による半導体メモリを含めた固定的にプログラムコードを担持する媒体であっても良い。

また、本実施の形態においては、インターネットを含む通信ネットワークを接続可能なシステム構成であることから、通信ネットワークからプログラムコードをダウンロードするように流動的にプログラムコードを担持する媒体であっても良い。なお、このように通信ネットワークからプログラムをダウンロードする場合には、そのダウンロード用のプログラムは予め本体装置に格納しておくか、あるいは別な記録媒体からインストールされるものであっても良い。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

上記記録媒体は、画像処理装置に備えられるプログラム読み取り装置により読み取られることで上述した画像処理方法が実行される。

１、２ 画像形成装置
１０ 画像処理装置
１１ 画像入力回路
１２ 画像出力回路
１３ 画像処理演算回路
１４ 特徴量算出演算回路
１５ 記録回路
１６ 出力階調数設定回路
２０ 画像読み取り装置
３０ 画像印刷装置
４０ 画像データ送信装置
５０ 操作パネル

Claims (10)

1. 入力画像データを処理して出力画像データを生成する画像処理装置であって、
   前記入力画像データから差分画像データを生成する差分画像データ生成部と、
   前記差分画像データに基づき、複数の出力階調数候補のうちいずれか１つの階調数を出力階調数として設定する出力階調数設定部と、
   前記入力画像データを処理して前記出力階調数の出力画像データを生成する画像処理部と、
   を備え、
   前記差分画像データ生成部は、
   前記入力画像データそのもの、または前記入力画像データに所定の画像処理を施して新たに生成した画像データを、第１評価画像とし、
   前記入力画像データそのもの、または前記入力画像データに前記所定の画像処理と同じあるいは別の所定の画像処理を施して新たに生成した画像データをもとに、該第１評価画像よりも階調数が小さい第２評価画像を生成し、
   前記第１評価画像の画素値と前記第２評価画像の画素値との差分値を画素ごとに算出した差分画像データを生成し、
   前記出力階調数設定部は、
   前記差分画像データの画素ごとに、前記差分値が所定の基準を満たすか否かを判定し、
   前記差分画像データ全体における、前記所定の基準を満たすと判定した画素の数に基づき前記出力階調数を設定する
   画像処理装置。
2. 前記所定の画像処理は、
   前記入力画像データ中の画像のエッジ部分を抽出する輪郭抽出処理を含むことを特徴とする請求項１に記載の画像処理装置。
3. 前記出力階調数設定部は、
   前記差分画像データ全体の画素における前記差分値に対する統計量に基づき前記出力階調数を設定する請求項１又は２に記載の画像処理装置。
4. 前記統計量は、
   前記差分画像データ全体における前記差分値の、総合的な大きさ、またはばらつきの大きさを反映した量であることを特徴とする請求項３に記載の画像処理装置。
5. 前記出力階調数設定部は、
   前記所定の基準を満たすと判定した複数の前記画素が隣接した連続する画素群を１つの
   クラスターとして判別するグループ化処理を行い、
   前記クラスターのうち所定の基準以上の大きさのクラスターの数に基づき出力階調数を設定することを特徴とする請求項１から４の何れか一項に記載の画像処理装置。
6. 入力画像データを処理して出力画像データを生成する画像処理装置であって、
   前記入力画像データから差分画像データを生成する差分画像データ生成部と、
   前記差分画像データに基づき、複数の出力階調数候補のうちいずれか１つの階調数を出力階調数として設定する出力階調数設定部と、
   前記入力画像データを処理して前記出力階調数の出力画像データを生成する画像処理部と、
   を備え、
   前記差分画像データ生成部は、
   前記入力画像データそのもの、または前記入力画像データに所定の画像処理を施して新たに生成した画像データを、第１評価画像とし、
   前記入力画像データそのもの、または前記入力画像データに前記所定の画像処理と同じあるいは別の所定の画像処理を施して新たに生成した画像データをもとに、該第１評価画像よりも階調数が小さい第２評価画像を生成し、
   前記第１評価画像の画素値と前記第２評価画像の画素値との差分値を画素ごとに算出した差分画像データを生成し、
   前記出力階調数設定部は、
   前記差分画像データ全体をそれぞれに複数の画素を含む複数の画像ブロックに分割し、
   前記画像ブロックごとに、前記画像ブロックに含まれる複数の画素の前記差分値の統計量に基づき所定の基準を満たすか否かを判定し、
   前記差分画像データ全体における、前記所定の基準を満たすと判定した画像ブロックの数に基づき出力階調数を設定する
   ことを特徴とする画像処理装置。
7. 前記統計量は、
   前記画像ブロックに含まれる複数の画素における前記差分値の、総合的な大きさ、またはばらつきの大きさを反映した量であることを特徴とする請求項６に記載の画像処理装置。
8. 前記出力階調数設定部は、
   前記所定の基準を満たすと判定した複数の前記画像ブロックが隣接した連続する画像ブロック群を１つのクラスターとして判別するグループ化処理を行い、
   前記クラスターのうち所定の基準以上の大きさのクラスターの数に基づき出力階調数を設定することを特徴とする請求項６または７に記載の画像処理装置。
9. 入力画像データから差分画像データを生成する差分画像データ生成ステップと、
   前記差分画像データに基づき、複数の出力階調数候補のうちいずれか１つの階調数を出力階調数として設定する出力階調数設定ステップと、
   入力画像データを処理して、前記出力階調数の出力画像データを生成する画像生成ステップと、
   を有し、
   前記差分画像データ生成ステップは、
   前記入力画像データそのもの、または前記入力画像データに所定の画像処理を施して新たに生成した画像データを、第１評価画像とし、
   前記入力画像データそのもの、または前記入力画像データに前記所定の画像処理と同じあるいは別の所定の画像処理を施して新たに生成した画像データをもとに、該第１評価画像よりも階調数が小さい第２評価画像を生成し、
   前記第１評価画像の画素値と前記第２評価画像の画素値との差分値を画素ごとに算出した差分画像データを生成し、
   前記出力階調数設定ステップは、
   前記差分画像データの画素ごとに、前記差分値が所定の基準を満たすか否かを判定し、
   前記差分画像データ全体における、前記所定の基準を満たすと判定した画素の数に基づき前記出力階調数を設定する画像処理方法。
10. 入力画像データから差分画像データを生成する差分画像データ生成ステップと、
    前記差分画像データに基づき、複数の出力階調数候補のうちいずれか１つの階調数を出力階調数として設定する出力階調数設定ステップと、
    前記入力画像データを処理して前記出力階調数の出力画像データを生成する画像処理ステップと、
    を備え、
    前記差分画像データ生成ステップは、
    前記入力画像データそのもの、または前記入力画像データに所定の画像処理を施して新たに生成した画像データを、第１評価画像とし、
    前記入力画像データそのもの、または前記入力画像データに前記所定の画像処理と同じあるいは別の所定の画像処理を施して新たに生成した画像データをもとに、該第１評価画像よりも階調数が小さい第２評価画像を生成し、
    前記第１評価画像の画素値と前記第２評価画像の画素値との差分値を画素ごとに算出した差分画像データを生成し、
    前記出力階調数設定ステップは、
    前記差分画像データ全体をそれぞれに複数の画素を含む複数の画像ブロックに分割し、
    前記画像ブロックごとに、前記画像ブロックに含まれる複数の画素の前記差分値の統計量に基づき所定の基準を満たすか否かを判定し、
    前記差分画像データ全体における、前記所定の基準を満たすと判定した画像ブロックの数に基づき出力階調数を設定する画像処理方法。

Images