JP4024735B2 - 画像処理方法、画像処理装置、画像形成装置、撮像装置、及びコンピュータプログラム - Google Patents

Description

本発明は、画像データの輝度又は明度信号に基づいて階調補正を行う画像処理方法、画像処理装置、画像形成装置、撮像装置、及びコンピュータプログラムに関する。

デジタルカラー複写機などの画像形成装置は、出力画像の階調分布を改善して画像の品質を向上させるため、入力された画像から抽出された輝度信号に基づいて、輝度により分級した級（以下、輝度階級という）ごとの頻度を検出し、検出した輝度階級及び頻度により表されるヒストグラム（以下、輝度ヒストグラムという）に基づいて階調補正を行っている。

このような階調補正は、入力画像の輝度（以下、入力輝度という）と補正後の出力画像の輝度（以下、出力輝度という）との関係を示す階調補正特性を用いて行われる。図１６は、階調補正特性と入出力輝度との関係を示す説明図である。図に示すように、等間隔の入力輝度の区間ΔＬにおける、階調補正特性を表す曲線の接線の傾き（以下、階調補正特性曲線の傾きという）が小さい場合は、前記区間ΔＬに対応する出力輝度は区間ΔＬ₁に割り当てられ、階調補正特性の傾きが大きい場合は、出力輝度はΔＬ₁よりも広い区間ΔＬ₂（ΔＬ₂＞ΔＬ₁）に割り当てられる。このため、入力画像の輝度階調分布の特性に応じて、階調補正特性曲線の傾きを設定することにより輝度階調の補正が可能となる。

入力画像における輝度階調分布に応じて、階調補正特性曲線の傾きを設定するためには、入力画像の輝度ヒストグラムの頻度が用いられている。

すなわち、輝度ヒストグラムの頻度が大きい輝度階級に対しては、階調補正特性曲線の傾きを大きくして、多くの輝度階調数を割り当て、輝度ヒストグラムの頻度が小さい輝度階級に対しては、階調補正特性曲線の傾きを小さくして、少ない輝度階調数を割り当てることにより、入力画像の輝度階調分布に応じて、適切な出力画像の輝度階調数を割り当てることができる。

従来、このような階調補正特性を決定する方法としては、輝度ヒストグラムの頻度を低輝度階級側から高輝度階級側へ走査して、階級ごとに頻度を累積して求めたヒストグラム（以下、累積ヒストグラムという）を用いるものがある。すなわち、輝度階級に対応する区間の階調補正特性の輝度の傾きを、輝度ヒストグラムの全頻度に対する該輝度階級の頻度の比率と、最大輝度Ｌｍａｘとの積により求め、輝度階級ごとの傾きを表す線分を繋げることにより線形近似された階調補正特性が求められる。例えば、輝度階級の頻度が全頻度の５％である場合には、該輝度階級に対応する区間において、階調補正特性の輝度は０．０５Ｌｍａｘだけ増加する。また、通常は輝度階級数と輝度階調数が異なるため、線形近似された階調補正特性を輝度階調数に合わせて、滑らかな曲線にするための補間処理を行い、さらに、輝度ヒストグラムの累積値の最大値を輝度の最大値に合致させるための正規化をして算出することができる。

しかし、入力画像の輝度ヒストグラムの輝度分布に偏りがある場合には、階調補正特性曲線の傾きが急峻になり、却って出力画像の画質が劣化する場合があった。

例えば、薄暗い夕景の画像などの場合には、画像全体が暗いため輝度分布は低輝度側に頻度が集中するため、階調補正特性は、低輝度側の区分で急峻に最大輝度近くまで増加し、中輝度から高輝度にかけては、緩やかに増加する。このような階調補正特性を用いた場合は、薄暗い夕景の画像が、明るい昼間の画像のようになる。

そこで、累積ヒストグラムから階調補正特性を求める場合に、各輝度階級に対応する区間における階調補正特性曲線の傾きを、予め定められた所要の補正量制限値に基づいて規制することにより、階調補正特性を算出するための補正量を規制する方法が提案されている（特許文献１参照）。
特開平１０−２１０３２３号公報

しかしながら、特許文献１による方式では、階調補正特性曲線の傾きを規制する補正量制限値は、予め設定されているため、読み込まれた原稿ごとの画像の輝度ヒストグラムの輝度分布が異なった場合には、原稿ごとの補正量が適切でなく、出力された画像の品質が劣化する場合があり、入力画像の輝度分布に応じて適切な階調補正を行うためには、入力画像の輝度分布に応じた補正量制限値を設定する必要があった。このため、読み込まれた原稿に応じて、自動的に適切な補正量制限値を設定できる方法が望まれていた。

本発明は、斯かる事情に鑑みてなされたものであり、読み込まれた原稿の画像データの輝度分布に応じて、自動的に原稿ごとの補正量制限値を設定して、階調補正特性を算出することにより、読み込まれた原稿の画像データの輝度分布に対応して適切な階調補正を行うことができる画像処理方法、画像処理装置、該画像処理装置を備えた画像形成装置及び撮像装置並びにコンピュータプログラムを提供することを目的とする。

本発明に係る画像処理方法は、画像データから抽出した輝度信号又は明度信号に基づいて、輝度又は明度により分級した級ごとの頻度を検出し、検出した頻度から階調補正特性を算出し、算出した階調補正特性を用いて、前記画像データに階調補正処理を行う画像処理方法において、前記検出した頻度の分散を示す特徴量を抽出し、抽出した特徴量に基づいて、前記検出した頻度の上限を制限する上限値と所定値以下の前記頻度が連続する前記級の数を制限する下限値とであって前記諧調補正特性を算出するための補正量制限値を設定することを特徴とする。

本発明に係る画像処理装置は、画像データから抽出した輝度信号又は明度信号に基づいて、輝度又は明度により分級した級ごとの頻度を検出する検出手段と、検出した頻度から階調補正特性を算出する階調補正特性算出手段と、算出された階調補正特性を用いて、前記画像データに階調補正処理を行う階調補正処理手段とを備える画像処理装置において、前記検出した頻度の分散を示す特徴量を抽出する抽出手段と、抽出した特徴量に基づいて、前記検出した頻度の上限を制限する上限値と所定値以下の前記頻度が連続する前記級の数を制限する下限値とであって前記諧調補正特性を算出するための補正量制限値を設定する補正量制限値設定手段とを備えることを特徴とする。

本発明に係る画像形成装置は、本発明に係る画像処理装置を備え、該画像処理装置が画像処理した画像データに基づき、画像の形成を行う画像形成手段を備えたことを特徴とする。

本発明に係る撮像装置は、本発明に係る画像処理装置を備え、撮像した画像データに対して前記画像処理装置が画像処理を行うべく構成してあることを特徴とする。

本発明に係るコンピュータプログラムは、コンピュータに、画像データから抽出した輝度信号又は明度信号に基づいて、輝度又は明度により分級した級ごとの頻度を検出する手順と、検出した頻度から階調補正特性を算出する手順と、算出した階調補正特性を用いて、前記画像データに階調補正処理を行う手順とを実行させるためのコンピュータプログラムにおいて、前記検出した頻度の分散を示す特徴量を抽出する特徴量抽出手順と、抽出した特徴量に基づいて、前記検出した頻度の上限を制限する上限値と所定値以下の前記頻度が連続する前記級の数を制限する下限値とであって前記階調補正特性を算出するための補正量制限値を設定する補正量制限値設定手順とを実行させることを特徴とする。

本発明にあっては、読み込まれた原稿の画像データの輝度信号又は明度信号に基づいて、輝度又は明度により分級した級ごとの頻度を検出し、検出した頻度の分散を示す特徴量を抽出し、抽出した特徴量に基づいて、検出した頻度の上限を制限する上限値及び所定値以下の頻度が連続する前記級の数を制限する下限値であって前記階調補正特性を算出するための補正量制限値を設定することにより、検出した頻度が過大である場合には、該頻度を前記上限値に置き換えることにより、出力画像に割り当てられる輝度又は明度の級の数を少なくし、所定値以下の頻度が連続する級の数が前記下限値を超える場合には、所定の頻度を大きくすることにより、出力画像に割り当てられる輝度又は明度の級の数を多くして、読み込まれた原稿の画像データの輝度又は明度の分布に応じて、適切な出力画像の階調特性を得ることができる。

本発明にあっては、画像データの輝度又は明度の分布に応じて、前記補正量制限値を設定して階調補正をするため、予め設定された補正量制限値を用いる場合に比べて、画像データの輝度又は明度の分布に応じて適切な階調補正をすることができ、階調性が優れ、画像品質が向上するとともに、自動的に階調補正の設定が行われる。

図１は本発明に係る画像処理装置を備えた画像形成装置であるデジタルカラー複写機の要部構成を示すブロック図である。このデジタルカラー複写機は、カラー画像入力装置１４と、カラー画像処理装置１と、カラー画像出力装置１５とを備えている。

カラー画像入力装置１４は、光学信号を電気信号に変換するＣＣＤ（Charge Coupled Device）が配置されたスキャナ部を備え、原稿からの反射光像をＲＧＢ（Ｒ：赤、Ｇ：緑、Ｂ：青）のアナログ信号として読み取り、カラー画像処理装置１のＡ／Ｄ（アナログ／デジタル）変換部２へ出力する。

カラー画像処理装置１は、画像処理用ＩＣ１６と、画像メモリ１７と、ＣＰＵ１８と、ＲＯＭ１９とを備え、カラー画像入力装置１４から入力された画像データに対して、原稿毎に所要の画像処理を行い、処理された画像データをＣＭＹＫ（Ｃ：シアン、Ｍ：マゼンダ、Ｙ：イエロー、Ｋ：ブラック）のデジタル信号としてカラー画像出力装置１５へ出力する。

画像処理用ＩＣ１６のＡ／Ｄ（アナログ／デジタル）変換部２は、カラー画像入力装置１４において読み込まれた画像データであるＲＧＢのアナログ信号をＲＧＢのデジタル信号に変換して、変換したＲＧＢの信号をシェーディング補正部３へ出力する。

シェーディング補正部３は、Ａ／Ｄ変換部２から入力されたＲＧＢの信号に対して、カラー画像入力装置１４の光学系で生じた各種の歪みを取り除くための処理を行い、処理後の信号を画像メモリ１７へ一旦記憶し、又は画像メモリ１７に記憶せずに入力階調補正部４へ出力する。

画像メモリ１７は、シェーディング補正部３から出力されたＲＧＢの信号を一旦記憶し、記憶したＲＧＢ信号を入力階調補正部４へ出力する。また、画像処理用ＩＣ１６で処理された画像データを一旦記憶した後に、カラー画像出力装置１５へ出力する。

ＣＰＵ１８は、カラー画像入力装置１４、画像メモリ１７、画像処理用ＩＣ１６及びカラー画像出力装置１５の動作を制御する。例えば、画像メモリ１７から画像データを読み出し、読み出した信号に基づいて画像処理用ＩＣ１６における処理を順次制御する。ＲＯＭ１９は、ＣＰＵ１８により実行されるプログラムを記憶している。

カラー画像出力装置１５は、感光ドラム及び現像装置などを備えた電子写真方式を用い、カラー画像処理装置１から出力された画像データを紙などの記録媒体上に形成する。

入力階調補正部４は、画像メモリ１７を介してシェーディング補正部３から入力されたＲＧＢ信号に対して、カラーバランスを整えると同時に、原稿などの用紙の色味である下地の除去及びコントラストなどの画質調整処理を施し、領域分離処理部５へ出力する。

領域分離処理部５は、入力階調補正部４から入力されたＲＧＢ信号をそのまま後段の第１色変換部６へ出力するとともに、入力階調補正部４から入力されたＲＧＢ信号に基づいて、入力画像中の各画素が文字領域、網点領域又は写真（印画紙写真）領域のいずれの領域に属するかを判定し、判定結果である領域識別信号を後段の黒生成下色除去部１０、空間フィルタ処理部１１、出力階調補正部１２及び階調再現処理部１３へ夫々出力する。

第１色変換部６は、領域分離処理部５から入力されたＲＧＢ信号に基づいて、色度信号と輝度信号とに分離し、該色度信号を第２色変換部８へ出力するとともに、前記輝度信号を輝度階調補正部７へ出力する。前記輝度信号は、各画素ＲＧＢの色成分を夫々Ｒｊ、Ｇｊ、Ｂｊとし、各画素の輝度信号をＹｊとして、次式で表される。

Ｙｊ＝０．３０×Ｒｊ＋０．５９×Ｇｊ＋０．１１×Ｂｊ
輝度階調補正部７は、第１色変換部６から入力された輝度信号に基づいて、原稿ごとに輝度階級ごとの頻度を検出し、該輝度階級ごとの頻度の分散を示す特徴量を抽出し、該特徴量に基づいて前記頻度を規制する補正量制限値を設定し、該補正量制限値を用いて前記階調補正特性を算出して、階調補正後の輝度信号を第２色変換部８へ出力する。

第２色変換部８は、第１色変換部６から入力された色度信号と、輝度階調補正部７から入力された輝度信号とをＲＧＢ信号に変換し、さらに補色反転してＣＭＹ信号に変換して、変換後のＣＭＹ信号を色補正部９へ出力する。

色補正部９は、第２色変換部８から入力されたＣＭＹ信号に対して、色再現の忠実化を実現して、不要吸収成分を含むＣＭＹ色材の分光特性による色濁りを取り除く処理を行い、処理後のＣＭＹ信号を黒生成下色除去部１０へ出力する。

黒生成下色除去部１０は、良好な無彩色を再現するため、色補正部９から入力されたＣＭＹ信号から黒色信号を生成するとともに、黒色信号を差し引いて新たなＣＭＹ信号を生成することにより、ＣＭＹ信号をＣＭＹＫ信号に変換して空間フィルタ処理部１１へ出力する。

また、黒生成下色除去部１０における黒生成下色除去処理には、スケルトンブラックによる黒生成を行う方法がある。この方法では、スケルトンカーブの入出力特性をｙ＝ｆ（ｘ）、入力される信号をＣ、Ｍ及びＹ、入力される信号Ｃ、Ｍ及びＹの最小値をｍｉｎ（Ｃ，Ｍ，Ｙ）、ＵＣＲ（Under Color Removal）率をα（０＜α＜１）とすると、出力される信号Ｃ′、Ｍ′、Ｙ′及びＫ′は、以下の式で表される。

Ｋ′＝ｆ[ｍｉｎ（Ｃ，Ｍ，Ｙ）]
Ｃ′＝Ｃ−αＫ′
Ｍ′＝Ｃ−αＫ′
Ｙ′＝Ｃ−αＫ′
空間フィルタ処理部１１は、黒生成下色除去部１０から入力されたＣＭＹＫ信号に対して、デジタルフィルタによる空間フィルタ処理を行い、空間周波数特性を補正することによって出力する画像のぼやけ及び粒状性劣化を防ぐ処理を行い、空間フィルタ処理後のＣＭＹＫ信号を出力階調補正部１２へ出力する。

出力階調補正部１２は、空間フィルタ処理部１１から入力されたＣＭＹＫ信号に対して、カラー画像出力装置１５の特性値である網点面積率に変換する出力階調補正処理を行い、出力階調補正処理後のＣＭＹＫ信号を階調再現処理部１３へ出力する。

階調再現処理部１３は、出力階調補正部１２から入力されたＣＭＹＫ信号に対して、読み込まれた画像の階調を再現できるように階調再現処理（中間調生成）を行い、階調再現処後のＣＭＹＫ信号を画像メモリ１７へ記憶する。

カラー画像出力装置１５は、画像メモリ１７に一旦記憶されたＣＭＹＫ信号を読み出し、印刷を行う。

図２は本発明に係る輝度階調補正部７の構成を示すブロック図である。輝度階調補正部７は、ヒストグラム作成部７１、補正量制限値設定部７２、階調補正特性算出部７３及び補正処理部７４を備えている。

輝度により分級した級ごとの頻度を検出する検出手段であるヒストグラム作成部７１は、１枚の原稿全体について読み込まれた画素データを、第１色変換部６から入力された画素ごとの８ビットの輝度信号の上位４ビットに基づいて、輝度階級（階級１が最低輝度、階級１６が最高輝度）毎に割り当てられた１６個の計数値保持部を備えるカウンタ７０１、７０２…７１６において計数して、原稿１枚分の頻度Ｈｌ（ｎ）で表されるヒストグラム（以下、ヒストグラムＨｌ（ｎ）という）を作成し（ｎは１から１６までの整数である）、作成されたヒストグラムＨｌ（ｎ）を補正量制限値設定部７２及び階調補正特性算出部７３へ出力する。

補正量制限値設定手段である補正量制限値設定部７２は、ヒストグラム作成部７１から入力されたヒストグラムＨ１（ｎ）に基づいて、前記頻度の分散を示す特徴量を抽出する抽出手段である演算部７２０において最小輝度値Ｙｍｉｎ及び最大輝度値Ｙｍａｘを検出し、数１で表される補正量基準値Ｖ１を算出する。

さらに、補正量制限値設定部７２は、演算部７２０において算出された補正量基準値Ｖ１から、輝度の頻度を規制するための補正量制限値である上限値Ｌｕ及び下限値Ｌ１を次式により設定し、補正量制限値保持部７２１に保持する。

Ｌｕ＝Ｖ１／２
Ｌｌ＝Ｖ１／２
階調補正特性算出手段である階調補正特性算出部７３は、ヒストグラム作成部７１から入力されたヒストグラムＨ１（ｎ）と、補正量制限値保持部７２１から入力された上限値Ｌｕ及び下限値Ｌｌとを用いて、頻度ＡＨｌ（ｎ）で表される累積ヒストグラム（以下、累積ヒストグラムＡＨｌ（ｎ）という）を算出し、補間・正規化部７３１において累積ヒストグラムＡＨｌ（ｎ）の１６個の輝度階級数を２５６個の入力の輝度階調数に対応付ける補間処理を行い、累積ヒストグラムの最大値を出力輝度の最大値に合致させる正規化を行い、階調補正特性を作成してＬＵＴ（Look Up Table）７４０に格納する。

次に、累積ヒストグラムＡＨｌ（ｎ）の作成について説明する。階調補正特性算出部７３は、ヒストグラム作成部７１において作成されたヒストグラムＨｌ（ｎ）に対して、各輝度階級について上限値Ｌｕ及び下限値Ｌｌによる補正制限を行い、補正制限された頻度Ｈｌ（ｎ）′で表されるヒストグラム（以下、ヒストグラムＨｌ（ｎ）′という）を作成し、ヒストグラムＨｌ（ｎ）′から累積ヒストグラムＡＨｌ（ｎ）の作成を行う。

図３は上限値によるヒストグラムの補正制限の例を示す説明図であり、図４は下限値によるヒストグラムの補正制限の例を示す説明図である。

まず、上限値による補正制限の方法を説明する。これは、検出された頻度が上限値を超える場合には、該頻度が過大であるため、該頻度を上限値に置き換えることにより、出力画像に割り当てられる輝度の級の数を少なくして、適切な補正量制限を行う。

階調補正特性算出部７３は、カウンタ７０１、７０２…７１６から出力された輝度階級ｎの頻度Ｈｌ（ｎ）と、補正量制限値保持部７２１から出力された上限値Ｌｕとを判定部を備える比較部７３０において比較し、頻度Ｈｌ（ｎ）が上限値Ｌｕを超える場合には、頻度Ｈｌ（ｎ）′を上限値Ｌｕに置き換え、カウンタ７０１、７０２…７１６に入力する。頻度Ｈｌ（ｎ）が上限値Ｌｕ以下である場合には、頻度Ｈｌ（ｎ）′を頻度Ｈｌ（ｎ）と同じままにして、カウンタ７０１、７０２…７１６に入力する。

次に、下限値による補正制限の方法を説明する。これは、所定値以下の頻度が連続する場合には、検出された頻度が過小であるため、所定の頻度を大きい頻度に置き換えることにより、出力画像に割り当てられる輝度の級の数を多くして、適切な補正量制限を行う。

比較部７３０は、カウンタ７０１から入力された頻度が、「０」であるかどうかを判定し、「０」である場合には、連続階級数Ｘを「１」に設定し、前記頻度が「０」でない場合には、連続階級数Ｘを「０」に設定する。設定した連続階級数Ｘと、補正量制限値保持部７２１から入力された下限値Ｌｌとを比較し、連続階級数Ｘが下限値Ｌｌより大きい場合には、階級数が１つ大きいカウンタ７０２の頻度を単位量（最小の頻度値）に置き換え、連続階級数Ｘを「０」に設定する。連続階級数Ｘが下限値Ｌｌ以下である場合には、カウンタ７０１の頻度をそのままにする。同様の処理をカウンタ７０２について行う。

すなわち、カウンタ７０２から入力された頻度が、「０」であるかどうかを判定し、「０」である場合には、連続階級数Ｘに「１」を加算し、「０」でない場合には、連続階級数Ｘはそのままにしておく。設定した連続階級数Ｘと、補正量制限値保持部７２１から入力された下限値Ｌｌとを比較し、連続階級数Ｘが下限値Ｌｌより大きい場合には、階級数が１つ大きいカウンタ７０３の頻度を頻度の単位量（最小の頻度値）に置き換え、連続階級数Ｘを「０」に設定する。連続階級数Ｘが下限値Ｌｌ以下である場合には、カウンタ７０２の頻度をそのままにする。次に、階級数が１つ大きいカウンタ７０３に保持された頻度を取り出し、以下同様の処理を階級数１６まで行い、ヒストグラムＨｌ（ｎ）′をカウンタ７０１、７０２…７１６に入力する。

さらに、階調補正特性算出部７３は、カウンタ７０１の出力をカウンタ７０２へ入力して頻度を加算し、カウンタ７０２の出力をカウンタ７０３へ入力して頻度を加算し、同様の処理をカウンタ７１６まで行うことにより、数２で表される累積ヒストグラムＡＨｌ（ｎ）を作成する。なお、数２において、ｉは整数である。

階調補正特性算出部７３は、カウンタ７０１、７０２…７１６に格納された累積ヒストグラムＡＨｌ（ｎ）を読み出し、補間・正規化部７３１で補間・正規化した階調補正特性を算出して、ＬＵＴ７４０に格納する。なお、上述の処理は、読み込まれた原稿ごとに行われ、原稿ごとの階調補正特性がＬＵＴ７４０に格納される。

階調補正処理手段である補正処理部７４は、ＬＵＴ７４０に格納された階調補正特性を用いて、輝度階調補正部７に入力された輝度信号に対して階調補正を行い、階調補正後の輝度信号を第２色変換部８へ出力する。

図５は補正量制限値である上限値Ｌｕ及び下限値Ｌｌにより補正制限された累積値を示す説明図である。図において、白丸「○」で表される輝度頻度の累積値は、補正量制限値により補正制限した場合であり、黒丸「●」で表される輝度頻度の累積値は、補正量を制限しない場合である。図に示すように、上限値Ｌｕを超える頻度は、上限値Ｌｕに置き換えて累積し、下限値Ｌｌを超えた連続する頻度「０」の輝度階級の高輝度階級の頻度は、単位量に置き換えて累積することにより、補正制限した累積ヒストグラムが得られる。

図６は階調補正特性の例を示す説明図である。実線で表される曲線は、補正制限がされた階調補正特性を示し、一点鎖線で表される曲線は、補正制限がされていない階調補正特性を示し、破線で示す直線は、補正がされない場合の階調補正特性を示す。図に示すように、補正制限をすることにより、頻度を上限値Ｌｕで設定した輝度区分では、階調補正特性曲線の傾きを減少させ、頻度を単位量で設定した輝度区分では、階調補正特性曲線の傾きを増加させている。

次に、画像の輝度ヒストグラムの違いによる補正量制限値の違いについて説明する。図７は、画像全体が暗い場合の輝度ヒストグラムの例を示す説明図である。図に示すように、輝度分布は低輝度に偏って分布しており、輝度ヒストグラムの分散は小さい。この場合は、補正量制限値が大きくなり、薄暗い夕景の画像が明るい昼間のような画像に補正されることがなく、補正量制限値が小さい（補正過多）場合に比べて、階調性の良好な画像が得られる。

図８は、画像に暗い部分及び明るい部分が入り交じった場合の輝度ヒストグラムの例を示す説明図である。図に示すように、輝度分布は全ての輝度階級に亘ってある程度の頻度があり、かつ、特定の輝度階級において偏りがあり、輝度ヒストグラムの分散は大きい。この場合は、補正量制限値が小さくなり、階調補正量の不足がなく、補正量制限値が大きい（補正不足）場合に比べて、十分な階調補正を施すことができ、階調性の良好な画像が得られる。

本発明では、第１色変換部６を設けて、ＲＧＢ信号から輝度信号と色度信号とを分離したが、輝度階調補正部７において輝度信号を分離する構成であってもよい。

また、第２色変換部８と色補正部９とをひとつにまとめた構成であってもよい。

また、本発明の実施の形態において、輝度信号に基づいて階調補正特性を算出する方法について説明したが、輝度信号に替えて、ＣＩＥＬ^* ａ^* ｂ^* 信号（ＣＩＥ：国際照明委員会、Ｌ^* ：明度、ａ^* 、ｂ^* ：色度）により変換された明度信号を用いてもよい。

本発明では、特徴量である輝度ヒストグラムの分散式の値を補正量基準値Ｖｌとしたが、前記分散式の値を直接用いずに、前記分散式の値に基づいて補正量基準値Ｖｌを算出してもよい。

補正量制限値である上限値Ｌｕ及び下限値Ｌｌは、補正量基準値Ｖｌに対応付けて、ＬＵＴ（Look Up Table）に予め設定しておいてもよい。例えば、補正量基準値を４ビット、上限値及び下限値を８ビットで表すと、前記ＬＵＴは３２バイトの大きさで構成される。この場合には、補正量基準値Ｖｌの範囲を複数の区分に分けて、夫々の区分に対応して上限値Ｌｕ及び下限値Ｌｌを設定しておき、輝度ヒストグラムから抽出された補正量基準値Ｖｌに対応する上限値Ｌｕ及び下限値Ｌｌを前記ＬＵＴから読み出して用いることができる。これにより、補正量基準値と、補正量制限値である上限値及び下限値との関係が非線形であっても、補正量制限値の算出に複雑な演算回路を必要としない。

本発明では、上限値Ｌｕ及び下限値Ｌｌは同一値を用いているが、異なる値を用いてもよい。

本発明では、頻度が「０」の連続する輝度階級の数と下限値Ｌｌとを比較したが、「０」以外の所定値を用いて、該所定値以下の連続する輝度階級の数と下限値Ｌｌとを比較してもよい。また、頻度の単位量に替えて、他の頻度値を用いてもよい。

カラー画像出力装置１５は、インクジェットヘッドを備えたインクジェット方式の画像出力装置であってもよい。

本発明の階調補正処理を行う輝度階調補正部７をデジタルスチルカメラなどの撮像装置における補正処理機構のひとつとして組み込むことも可能である。

図９は本発明に係るデジタルスチルカメラの要部構成を示すブロック図である。このデジタルスチルカメラは、画像入力装置２３と、画像処理装置３０と、画像表示装置２４とを備えている。

画像入力装置２３は、光学レンズ、カラーフィルタ、受光素子であるＣＣＤなどを備え、被写体からの光を前記光学レンズにより前記カラーフィルタを通して前記ＣＣＤに投影し、前記ＣＣＤにおいて光信号を電気信号に変換して、ＲＧＢのアナログ信号として画像処理装置２５へ出力する。

画像処理装置３０は、Ａ／Ｄ変換部３１、画像メモリ３２、入力補正部３３、第１色変換部３４、輝度階調補正部３５、第２色変換部３６、圧縮処理部３７、記憶部３８、ＣＰＵ３０及びＲＯＭ２６を備える。

Ａ／Ｄ変換部３１、画像メモリ３２、入力補正部３３、第１色変換部３４、輝度階調補正部３５及び第２色変換部３６夫々の処理は、図１に示すＡ／Ｄ変換部２、画像メモリ１７、シェーディング補正部３、第１色変換部６、輝度階調補正部７及び第２色変換部８と同様であるので説明は省略する。

第２色変換部３６は、輝度信号及び色度信号から変換したＲＧＢ信号を圧縮処理部３７へ出力する。

圧縮処理部３７は、第２色変換部３６から入力されたＲＧＢ信号を、ＪＰＥＧ（Joint Picture Experts Group）方式により、ＹＣｒＣｂ（Ｙ：輝度、Ｃｒ、Ｃｂ：色差）信号に変換して圧縮し、圧縮した画像データを記憶部３８へ出力する。

記憶部３８は、メモリカードなどの記憶媒体を備え、圧縮処理部３７から入力された画像データを記憶する。

ＣＰＵ２５は、画像入力装置２３、画像メモリ３２、入力補正部３３、第１色変換部３４、輝度階調補正部３５、第２色変換部３６、圧縮処理部３７、記憶部３８及び画像表示装置２４の動作を制御する。例えば、画像メモリ３２から画像データを読み出し、読み出した信号に基づいて入力補正部３３及び後段の各部における処理を順次制御する。ＲＯＭ２６は、ＣＰＵ２５により実行されるプログラムを記憶している。

画像表示装置２４は、復号処理部及び液晶ディスプレイなどを備え、記憶部３８から読み出した画像データを前記復号処理部で復号した後に、液晶ディスプレイに表示する。

また、記憶部３８に記憶された画像データは、記録媒体又はインターフェースケーブルなどを介して図示しないコンピュータ又はプリンタに出力することが可能である。

本発明の階調補正処理を行う輝度階調補正部７をプリンタなどの画像形成装置におけるファームウェアとして組み込むことも可能である。

図１０は本発明に係るプリンタの要部構成を示すブロック図である。このプリンタは、カラー画像処理装置４０、カラー画像出力装置２７及び操作パネル２８を備えている。

カラー画像処理装置４０は、ＲＯＭ５０、ＣＰＵ４１、記憶装置４２を備え、デジタルカメラなどの画像入力装置から入力された画像データに対して、所要の画像処理を行い、カラー画像出力装置２７へ出力する。

ＲＯＭ５０には、予めファームウェアとして本発明に係る処理が組み込まれ、ＣＰＵ４１は、ＲＯＭ５０から前記ファームウェアを読み出すことにより、ＣＰＵ４１の実行が制御される。前記ファームウェアは、復号処理部５１、輝度階調補正部５２、色変換部５３、色補正部５４、黒生成下色除去部５５、空間フィルタ処理部５６、出力輝度階調補正部５７、階調再現処理部５８を備えている。

ＣＰＵ４１は、ＲＯＭ５０に格納されたファームウェアである復号処理部５１、輝度階調補正部５２、色変換部５３、色補正部５４、黒生成下色除去部５５、空間フィルタ処理部５６、出力階調補正部５７、階調再現処理部５８を読み出して、夫々の処理を実行するとともに、画像処理後の画像データを記憶装置４２に記憶する。

記憶装置４２は、画像処理された画像データを一旦記憶し、カラー画像出力装置２７は、記憶装置４２から画像データを読み出し、印刷を行う。

ＣＰＵ４１は、復号処理部５１において、画像入力装置から入力されたＹＣｂＣｒの圧縮画像データを復号し、さらに逆量子化、逆直交変換を行い、輝度信号と色度信号とに分離する。

輝度階調補正部５２では、復号処理部５１において分離された輝度信号に対して、階調補正を行う。

色変換部５３では、復号処理部５１において分離された色度信号と、輝度階調補正部５２において階調補正された輝度信号とに基づいて、ＲＧＢのデジタル信号を補色反転したＣＭＹのデジタル信号に変換する。

色補正部５４、黒生成下色除去部５５、空間フィルタ処理部５６、出力階調補正部５７、階調再現処理部５８における処理は夫々、図１における色補正部９、黒生成下色除去部１０、空間フィルタ処理部１１、出力階調補正部１２、階調再現処理部１３の場合と同様であるので説明は省略する。

操作パネル２８は、高精細モード、速度優先モード、光沢紙を用いて出力する写真モードなどを選択する出力モード選択ボタン、画像の濃淡、原稿のサイズ、縮小拡大、印刷枚数、カラー又は白黒などの設定をするための設定ボタン及び設定状況を表示する液晶表示部などを備えている。

なお、ＲＯＭに替えて、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）又はフラッシュＲＯＭなどを用いてもよい。

本発明の画像処理方法は、コンピュータプログラム（アプリケーションプログラム）をコンピュータに読み込んで、該コンピュータプログラムを実行させることにより実現することも可能である。すなわち、前記コンピュータプログラムを予めコンピュータに読み込んでおき、スキャナなどの画像入力装置からコンピュータに読み込まれた画像データに対して、前記コンピュータプログラムを実行させることにより画像処理を行い、処理後の画像データを画像表示装置に表示し、又は画像出力装置に出力することができる。

図１１は本発明に係るプログラムを実行させるコンピュータシステムの構成図である。コンピュータシステムは、コンピュータ６０、画像入力装置８０及び画像出力装置９０などから構成されている。

コンピュータ６０は、ＣＰＵ６１、ＲＡＭ６９、スキャナなどの画像入力装置８０とのインターフェースを行う入力部６２、プリンタなどの画像出力装置９０とのインターフェースを行う出力部６３、キーボード・マウス６４、液晶ディスプレイなどの画像表示装置６５、ハードディスクなどの内部記憶装置６６、ＣＤ−ＲＯＭ駆動装置などの外部記憶装置６７及びインターネットなどの通信ネットワーク７０を介して通信を行うモデム又はネットワークカードなどを有する通信部６８などを備えている。

ＣＤ−ＲＯＭなどに格納されたプログラムは、コンピュータにインストールされることにより、外部記憶装置６７を介して内部記憶装置６６に格納される。

ＣＰＵ６１が前記プログラムを内部記憶装置６６からＲＡＭ６９に読み込むことにより、前記プログラムが実行され、画像入力装置８０からコンピュータ６０のＲＡＭ６９に読み込まれた画像データに対して、画像処理が行われ、処理後の画像データが画像表示装置６５又は画像出力装置９０などに出力される。

図１２、図１３、図１４及び図１５は本発明に係るコンピュータプログラムの手順を示すフローチャートである。図１２は階調補正処理手順を含んだ画像処理手順を示し、図１３は特徴量抽出手順及び補正量制限値設定手順を示し、図１４及び図１５は階調補正特性算出手順を示す。

図１２に示すように、ＣＰＵ６１は、画像入力装置８０において読み込まれた原稿の画像データが記憶されたＲＡＭ６９から、画像データの読み出しを行う（ステップＳ１）。読み出した画像データに対して、ＲＧＢ信号から輝度信号と色度信号とに分離する信号変換処理を行う（ステップＳ２）。

ステップＳ２で分離された輝度信号に基づいて、後述する特徴量抽出手順、補正量制限値設定手順及び階調補正特性算出手順からなる階調補正処理を行う（ステップＳ３）。

ステップＳ３で階調補正処理がされた輝度信号と、信号変換処理により分離された色度信号とに基づいて、ＲＧＢ信号に変換し、さらに補色反転することによりＣＭＹ信号に変換し、色再現の忠実化を実現して、不要吸収成分を含むＣＭＹ色材の分光特性による色濁りを取り除く処理である色調補正処理を行う（ステップＳ４）。

ステップＳ４で色調補正されたＣＭＹ信号に対して、デジタルフィルタによる空間フィルタ処理を行い（ステップＳ５）、空間周波数特性を補正することによって出力する画像のぼやけ及び粒状性劣化を防ぐ処理を行う。

ＣＰＵ６１は、ステップＳ５でフィルタ処理された画像データをＲＡＭ６９に記憶するとともに（ステップＳ６）、画像表示装置６５に表示して（ステップＳ７）、処理を終了する。

次に、前記階調補正処理手順の説明をする。図１３、図１４及び図１５において、ＣＰＵ６１は、原稿１枚分の輝度信号の総数を設定し、輝度階級数（例えば、「１６」）を設定し、各輝度階級の頻度を「０」に設定するなどの初期設定を行う（ステップＳ１０）。信号変換処理において抽出された輝度信号の輝度を読み出し（ステップＳ１１）、読み出した輝度を該当する輝度階級に割り当て、該輝度階級の頻度に「１」を加算する（ステップＳ１２）。原稿１枚分の輝度信号の読み出しを終了したかどうかの判定を行い（ステップＳ１３）、原稿１枚分の輝度信号の読み出しを終了していない場合には（ステップＳ１３でＮＯ）、ステップＳ１１以降の処理を繰り返す。

原稿１枚分の輝度信号の読み出しを終了した場合には（ステップＳ１３でＹＥＳ）、輝度階級をｎ、原稿番号をＫとして、ヒストグラムＨｌ（ｎ，Ｋ）の作成を行い（ステップＳ１４）、ヒストグラムＨｌ（ｎ，Ｋ）及び前記輝度階級数に基づいて、補正量基準値Ｖｌの算出を行う（ステップＳ１５）。

ステップＳ１５で算出された補正量基準値Ｖｌに基づいて、補正量制限値である上限値Ｌｕ及び下限値Ｌｌを設定する（ステップＳ１６）。

ＣＰＵ６１は、ヒストグラムＨｌ（ｎ，Ｋ）及び補正量制限値（上限値Ｌｕ及び下限値Ｌｌ）をＲＡＭ６９に記憶する（ステップＳ１７）。

すべての原稿について処理が終了したか判定し（ステップＳ１８）、処理が終了していない場合には（ステップＳ１８でＮＯ）、原稿番号Ｋに「１」を加算して（ステップＳ１９）、ステップＳ１１以降の処理を続ける。

すべての原稿について処理が終了した場合には（ステップＳ１８でＹＥＳ）、ステップＳ１７で記憶したヒストグラムＨｌ（ｎ，Ｋ）及び補正量制限値を読み出し（ステップＳ２０）、輝度階級ｎを「１」に設定し（ステップＳ２１）、連続階級数Ｘを「０」に設定する（ステップＳ２２）。

階調補正特性曲線の傾きの下限の設定手順であるかどうかの判定をし（ステップＳ２３）、前記傾きの下限の設定手順である場合には（ステップＳ２３でＹＥＳ）、頻度Ｈｌ（ｎ，Ｋ）が「０」であるかどうかを判定し（ステップＳ２４）、頻度Ｈｌ（ｎ，Ｋ）が「０」である場合には（ステップＳ２４でＹＥＳ）、連続階級数Ｘに「１」を加算する（ステップＳ２５）。

連続階級数Ｘと下限値Ｌｌとを比較し（ステップＳ２６）、連続階級数Ｘが下限値Ｌｌよりも大きい場合には（ステップＳ２６でＹＥＳ）、頻度Ｈｌ（ｎ，Ｋ）′を頻度の単位量に設定し（ステップＳ２７）、連続階級数Ｘを「０」に設定する（ステップＳ２８）。

すべての輝度階級について処理が終了したかどうかを判定し（ステップＳ２９）、処理が終了していない場合には（ステップＳ２９でＮＯ）、輝度階級ｎに「１」を加算して（ステップＳ３０）、ステップＳ２３以降の処理を続ける。

ステップＳ２６において、連続階級数Ｘが下限値Ｌｌよりも大きくない場合には（ステップＳ２６でＮＯ）、ステップＳ２９以降の処理を続ける。

ステップＳ２３において、階調補正特性曲線の傾きの下限の設定手順でない場合には（ステップＳ２３でＮＯ）、ステップＳ２９以降の処理を続ける。

一方、ステップＳ２４において、頻度Ｈｌ（ｎ，Ｋ）が「０」でない場合には（ステップＳ２４でＮＯ）、連続階級数Ｘと下限値Ｌｌとを比較し（ステップＳ３１）、連続階級数Ｘが下限値Ｌｌより大きい場合には（ステップＳ３１でＹＥＳ）、頻度Ｈｌ（ｎ，Ｋ）′を頻度の単位量に設定し（ステップＳ３２）、連続階級数Ｘを「０」に設定する（ステップＳ３３）。連続階級数Ｘが下限値Ｌｌより大きくない場合には（ステップＳ３１でＮＯ）、ステップＳ３３へ進んで、連続階級数Ｘを「０」に設定する（ステップＳ３３）。

階調補正特性曲線の傾きの上限の設定手順であるかどうかの判定をし（ステップＳ３４）、階調補正特性曲線の傾きの上限の設定手順である場合には（ステップＳ３４でＹＥＳ）、ヒストグラムの頻度Ｈｌ（ｎ，Ｋ）と上限値Ｌｕとを比較し（ステップＳ３５）、頻度Ｈｌ（ｎ，Ｋ）が上限値Ｌｕを超える場合には（ステップＳ３５でＹＥＳ）、頻度Ｈｌ（ｎ，Ｋ）′を上限値Ｌｕに設定し（ステップＳ３６）、ステップＳ２９へ進む。一方、頻度Ｈｌ（ｎ，Ｋ）が上限値Ｌｕ以下である場合には（ステップＳ３５でＮＯ）、頻度Ｈｌ（ｎ，Ｋ）′を頻度Ｈｌ（ｎ，Ｋ）に設定し（ステップＳ３７）、ステップＳ２９へ進む。

ステップＳ２９において、すべての輝度階級について処理が終了した場合には（ステップＳ２９でＹＥＳ）、ヒストグラムＨｌ（ｎ，Ｋ）′を用いて、累積ヒストグラムＡＨｌ（ｎ，Ｋ）を作成し（ステップＳ３８）、累積ヒストグラムを補間及び正規化して階調補正特性を算出し（ステップＳ３９）、前記階調補正特性をＲＡＭ６９に記憶する（ステップＳ４０）。すべての原稿について処理が終了したかどうかを判定し（ステップＳ４１）、処理が終了していない場合には（ステップＳ４１でＮＯ）、原稿番号Ｋに「１」を加算して（ステップＳ４２）、ステップＳ２０以降の処理を続ける。一方、処理が終了した場合には（ステップＳ４１でＹＥＳ）、階調補正手順を終了する。

画像入力装置８０は、スキャナに限られず、デジタルカメラなどであってもよい。また、画像データを記憶したメモリカードなどの記録媒体を外部記憶装置６７から読み込んでもよい。

画像表示装置６５は、液晶ディスプレイに限られず、ＣＲＴディスプレイであってもよい。

本発明に係るコンピュータプログラムは、コンピュータシステムと分離したコンピュータに読み取り可能な記録媒体として提供することができる。前記記録媒体としては、磁気テープ及びカセットテープなどのテープ系記録媒体、フレキシブルディスク又はハードディスク等の磁気ディスク記録媒体、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＭＤ又はＤＶＤなどの光学記録媒体、ＩＣカードなどの記録媒体、ＲＯＭ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ又はフラッシュＲＯＭなどの半導体メモリを含む不揮発性の記録媒体であってもよい。

また、本発明に係るコンピュータプログラムは、インターネットなどの通信ネットワーク７０に接続された図示しないサーバーに格納され、通信部６８を介してコンピュータ６０の内部記憶装置６６にダウンロードするような形態であってもよい。なお、この場合には、前記コンピュータプログラムをダウンロードするためのプログラムは、予めコンピュータ６０内に格納しておいてもよいし、別の記録媒体からインストールされるものでもよい。

本発明に係る画像処理装置を備えた画像形成装置であるデジタルカラー複写機の要部構成を示すブロック図である。 本発明に係る輝度階調補正部の構成を示すブロック図である。 上限値によるヒストグラムの補正制限の例を示す説明図である。 下限値によるヒストグラムの補正制限の例を示す説明図である。 補正量制限値である上限値及び下限値により補正制限された累積値を示す説明図である。 階調補正特性の例を示す説明図である。 画像全体が暗い場合の輝度ヒストグラムの例を示す説明図である。 画像に暗い部分及び明るい部分が入り交じった場合の輝度ヒストグラムの例を示す説明図である。 本発明に係るデジタルスチルカメラの要部構成を示すブロック図である。 本発明に係るプリンタの要部構成を示すブロック図である。 本発明に係るプログラムを実行させるコンピュータシステムの構成図である。 階調補正処理手順を含んだ画像処理手順を示すフローチャートである。 特徴量抽出手順及び補正量制限値設定手順を示すフローチャートである。 階調補正特性算出手順を示すフローチャートである。 階調補正特性算出手順を示すフローチャートである。 階調補正特性と入出力輝度との関係を示す説明図である。

符号の説明

１ カラー画像処理装置
７ 輝度階調補正部
１４ カラー画像入力装置
１５ カラー画像出力装置
３０ 画像処理装置
３５ 輝度階調補正部
４０ カラー画像処理装置
５２ 輝度階調補正部
６０ コンピュータ
６１ ＣＰＵ
６６ 内部記憶装置
６７ 外部記憶装置
６８ 通信部
６９ ＲＡＭ
７１ ヒストグラム作成部（検出手段）
７２ 補正量制限値設定部（補正量制限値設定手段）
７３ 階調補正特性算出部（階調補正特性算出手段）
７４ 補正処理部（階調補正処理手段）
７２０ 演算部（抽出手段）

Claims (5)

1. 画像データから抽出した輝度信号又は明度信号に基づいて、輝度又は明度により分級した級ごとの頻度を検出し、検出した頻度から階調補正特性を算出し、算出した階調補正特性を用いて、前記画像データに階調補正処理を行う画像処理方法において、
   前記検出した頻度の分散を示す特徴量を抽出し、抽出した特徴量に基づいて、前記検出した頻度の上限を制限する上限値と所定値以下の前記頻度が連続する前記級の数を制限する下限値とであって前記諧調補正特性を算出するための補正量制限値を設定することを特徴とする画像処理方法。
2. 画像データから抽出した輝度信号又は明度信号に基づいて、輝度又は明度により分級した級ごとの頻度を検出する検出手段と、検出した頻度から階調補正特性を算出する階調補正特性算出手段と、算出された階調補正特性を用いて、前記画像データに階調補正処理を行う階調補正処理手段とを備える画像処理装置において、
   前記検出した頻度の分散を示す特徴量を抽出する抽出手段と、
   抽出した特徴量に基づいて、前記検出した頻度の上限を制限する上限値と所定値以下の前記頻度が連続する前記級の数を制限する下限値とであって前記諧調補正特性を算出するための補正量制限値を設定する補正量制限値設定手段と
   を備えることを特徴とする画像処理装置。
3. 請求項２に記載された画像処理装置を備え、該画像処理装置が画像処理した画像データに基づき、画像の形成を行う画像形成手段を備えたことを特徴とする画像形成装置。
4. 請求項２に記載された画像処理装置を備え、撮像した画像データに対して前記画像処理装置が画像処理を行うべく構成してあることを特徴とする撮像装置。
5. コンピュータに、画像データから抽出した輝度信号又は明度信号に基づいて、輝度又は明度により分級した級ごとの頻度を検出する手順と、検出した頻度から階調補正特性を算出する手順と、算出した階調補正特性を用いて、前記画像データに階調補正処理を行う手順とを実行させるためのコンピュータプログラムにおいて、
   前記検出した頻度の分散を示す特徴量を抽出する特徴量抽出手順と、
   抽出した特徴量に基づいて、前記検出した頻度の上限を制限する上限値と所定値以下の前記頻度が連続する前記級の数を制限する下限値とであって前記階調補正特性を算出するための補正量制限値を設定する補正量制限値設定手順と
   を実行させることを特徴とするコンピュータプログラム。

Images