JP4099481B2

JP4099481B2 - 画像処理方法、画像処理装置及びコンピュータプログラム

Info

Publication number: JP4099481B2
Application number: JP2005001929A
Authority: JP
Inventors: 敦祥出山; 潤郎米光; 幸一上野
Original assignee: Eizo Nanao Corp
Current assignee: Eizo Nanao Corp
Priority date: 2005-01-06
Filing date: 2005-01-06
Publication date: 2008-06-11
Anticipated expiration: 2025-01-06
Also published as: JP2006191401A

Description

本発明は、画像データの階調を調整する画像処理方法、該画像処理方法を用いた画像処理装置、及び該画像処理装置を実現するためのコンピュータプログラムに関し、特に画像の内容に関わらず鮮明な画像を出力する画像処理方法、画像処理装置及びコンピュータプログラムに関する。

液晶テレビ、デジタルスチルカメラ、デジタルビデオカメラ、プリンタ、ファクシミリ等の画像処理装置において、画像にメリハリを付けて鮮明な画像を出力するための技術として、コントラスト強調処理、ヒストグラム平坦化処理等の画像処理が行われている。例えば液晶テレビの場合には、放送波として受信した画像データ、記録媒体から読み取った画像データ、他の装置から入力を受け付けた画像データ等の入力された画像データに対して画像処理を行い、画像処理により変換された画像データをモニタ等の出力部へ出力することにより、鮮明な画像が出力部に表示される。

コントラスト強調処理とは、画像を構成する画素の中で低輝度領域の画素の輝度を低くし、高輝度領域の画素の輝度を高くすることにより、画像にメリハリを付けて鮮明な画像を出力する処理であり、画素の輝度を離散値として示す階調を変換することにより行われる。図１０は、入力階調及び出力階調の関係を示す階調変換曲線である。図１０では、横軸に入力階調をとり、縦軸に出力階調をとってその関係を示している。図１０（ａ）は、コントラスト強調処理を行わない場合での階調変換曲線であり、入力された画像データの画素の階調が、そのままの階調で出力される。図１０（ｂ）に示す実線は、コントラスト強調処理を行った場合での階調変換曲線であり、入力された画像データの画素の階調が、階調変換曲線に示す関係に従って変換されて出力される。なお図１０（ｂ）中の破線は、図１０（ａ）に示したコントラスト強調処理を行わない場合での階調変換曲線を比較用として示している。図１０（ｂ）に示す様にコントラスト強調処理を行うことにより、階調が低い画素の階調はより低く、階調が高い画素の階調はより高く、即ち低輝度領域の画素の輝度はより低くなり、高輝度領域の画素の輝度はより高くなる。

ヒストグラム平坦化処理とは、入力された画像データを構成する各画素の階調のヒストグラム（度数分布表）を用い、ヒストグラムを構成する度数の分布が平坦化されるように階調を変換する処理である。図１１は、画像に基づくヒストグラムの例を示す説明図である。図１１（ａ）は、画像データとして入力されるモノクローム画像であり、図１１（ｂ）は、図１１（ａ）に示す画像データに基づき生成されるヒストグラムであり、横軸が階調を示し縦軸が度数を示している。図１１（ａ）に示すモノクローム画像は、複数の画素により構成されており、夫々の画素の輝度は、「０〜２５５」の２５６段階に区分された階調により示される。そして「０〜２５５」までの階調を８等分して８の階調領域を設定し、図１１（ａ）に示すモノクローム画像を構成する複数の画素を、その階調に基づいて各階調領域に配分し、各階調領域に配分された画素の度数を計数し、柱状グラフにすることにより、図１１（ｂ）に示すヒストグラムが生成される。

図１２は、ヒストグラムの平坦化処理の一例を示す説明図である。図１２（ａ）は、入力された画像データを構成する画素のヒストグラムを示し、図１２（ｂ）は、ヒストグラムを平坦化する階調変換に関する階調変換曲線であり、図１２（ｃ）は、出力する画像データを構成する画素のヒストグラムを示している。図１２（ａ）は、図１１（ｂ）として示したヒストグラムであり、画素の度数の分布が均等でないためグラフに凹凸が見られる。そして図１２（ａ）に示す分布を示す画像データの各画素の階調を、図１２（ｂ）のグラフに示す関係に従って変換することにより、図１２（ｃ）のヒストグラムに示す様に画素の階調の度数の分布が均等な画像を出力することができる。

ヒストグラムでは、夫々の柱状部の高さは、その階調領域における画素の度数を示し、柱状部の面積を一定に保ったまま高さをそろえるという処理がヒストグラム平坦化に相当する。図１２（ａ）では、ヒストグラム中の左端の柱状部の高さは、階調が０〜ａの範囲に含まれる画素の度数を示すことになる。図１２（ｂ）のグラフに示す関係に基づいて変換することで、図１２（ｃ）に示す様に左端の柱状部は、階調が０〜ｂの範囲に変化する。即ち変換前の階調領域の範囲である０〜ａの柱状部の面積を維持したまま、階調領域の範囲を狭めることで平坦化に必要な高さを稼ぐことになる。他の階調領域の範囲に対しても同様の方法により平坦化のための再配分が行われる。再配分による階調領域の範囲は下記の式ａにより求められる。

一般的に偏った分布が無く、低階調領域から高階調領域に渡って度数が均等に分布している画像程、画像にメリハリの付いた鮮明な画像であると言われているため、ヒストグラム平坦化処理により、入力された元の画像をメリハリの付いた鮮明な画像に変換して出力することが可能となる。

ヒストグラムを平坦化することにより鮮明な画像を得る方法は、例えば特許文献１に記載されている。
特開昭６３−０４０４７１号公報

しかしながら図１０（ｂ）のグラフに示す関係に従って変換することにより行われるコントラスト強調処理では、低輝度領域及び高輝度領域に、グラフが横軸に平行となって飽和している領域が生じており、これにより入力した画像の風合いを変えてしまうという問題がある。

また従来のヒストグラム平坦化処理は、画像データに含まれる全体の画素数のみを考慮した方法であるため、画像の内容によってメリハリは強くなるが、風合いが変わってしまうという問題がある。

図１３は、ヒストグラムの平坦化処理の一例を示す説明図である。図１３（ａ）は、入力された画像データを構成する画素のヒストグラムを示し、図１３（ｂ）は、ヒストグラムを平坦化する階調変換に関する入力階調及び出力階調の関係を示す階調変換曲線であり、図１３（ｃ）は、出力する画像データを構成する画素のヒストグラムを示している。図１３（ａ）に示した様な高階調領域の画素数が少ない画像では、図１３（ｂ）に示すように高階調領域が飽和気味の曲線となり、図１３（ｃ）に示す様に高階調領域の範囲が極端に狭まった画像に変換される。このように従来のヒストグラム平坦化処理では、画像の内容によっては風合いが変わってしまう。

本発明は斯かる事情に鑑みてなされたものであり、画像データに含まれる画素を複数の階調領域に区分したヒストグラムにて、各階調領域の度数に対し、他の階調領域の度数との関係から夫々の階調領域を再配分する再配分量を算出し、再配分量に基づいて階調を変換することにより、画像の内容に関わらず、画像の風合いを変えることなく、メリハリの強い鮮明な画像に変換することが可能な画像処理方法、該画像処理方法を用いた画像処理装置、及び該画像処理装置を実現するためのコンピュータプログラムの提供を目的とする。

第１発明に係る画像処理方法は、画像データに含まれる画素の階調を調整する画像処理方法において、階調に基づいて画素を分級した複数の階調領域の夫々に含まれる画素の度数を計数し、各階調領域の度数、並びに一の階調領域の度数と自らの階調領域及び他の夫々の階調領域の度数との影響を示す数値から夫々の階調領域の度数を再配分する再配分量を算出し、算出した各階調領域の再配分量に基づいて、画像データに含まれる画素の階調を変換することを特徴とする。

第２発明に係る画像処理装置は、画像データに含まれる画素の階調を調整する画像処理装置において、階調に基づいて画素を分級した複数の階調領域の夫々に含まれる画素の度数を計数する手段と、各階調領域の度数、並びに一の階調領域の度数と自らの階調領域及び他の夫々の階調領域の度数との影響を示す数値から夫々の階調領域の度数を再配分する再配分量を算出する再配分量算出手段と、算出した各階調領域の再配分量に基づいて、画像データに含まれる画素の階調を変換する変換手段とを備えることを特徴とする。

第３発明に係る画像処理装置は、画像データに含まれる画素の階調を調整する画像処理装置において、階調に基づいて画素を分級した複数の階調領域の夫々に含まれる画素の度数を計数する手段と、各階調領域の度数に対して、他の階調領域の度数との関係から夫々の階調領域の度数を再配分する再配分量を算出する再配分量算出手段と、算出した各階調領域の再配分量に基づいて、画像データに含まれる画素の階調を変換する変換手段とを備え、前記再配分量算出手段は、一の階調領域に対する自らの階調領域の度数に基づく比の値及び該比の値に対応付けられた一の階調領域の度数に対する自らの階調領域の度数の影響を示す数値の積、並びに一の階調領域の度数に対する他の夫々の階調領域の度数に基づく比の値及び該比の値に対応付けられた一の階調領域の度数に対する他の夫々の階調領域の度数の影響を示す数値の積を夫々算出し、算出した各階調領域の度数に対する特定の階調領域の度数に基づく比に係る積の総和から、算出した特定の階調領域の度数に対する各階調領域の度数に基づく比に係る積の総和を減じることで特定の階調領域の再配分量を算出するように構成してあることを特徴とする。

第４発明に係る画像処理装置は、画像データに含まれる画素の階調を調整する画像処理装置において、階調に基づいて画素を分級した複数の階調領域の夫々に含まれる画素の度数を計数する手段と、各階調領域の度数に対して、他の階調領域の度数との関係から夫々の階調領域の度数を再配分する再配分量を算出する再配分量算出手段と、算出した各階調領域の再配分量に基づいて、画像データに含まれる画素の階調を変換する変換手段とを備え、更に各階調領域に夫々対応する再配分量の基礎となる夫々の基礎再配分量設定値を記録する記録手段を備え、前記再配分量算出手段は、前記記録手段に記録している基礎再配分量設定値を加味して再配分量を算出するように構成してあることを特徴とする。

第５発明に係る画像処理装置は、画像データに含まれる画素の階調を調整する画像処理装置において、階調に基づいて画素を分級した複数の階調領域の夫々に含まれる画素の度数を計数する手段と、各階調領域の度数に対して、他の階調領域の度数との関係から夫々の階調領域の度数を再配分する再配分量を算出する再配分量算出手段と、算出した各階調領域の再配分量に基づいて、画像データに含まれる画素の階調を変換する変換手段とを備え、更に階調領域の範囲の最小値を示す基礎範囲設定値を記録する記録手段を備え、前記変換手段は、前記記録手段に記録している基礎範囲設定値を加味し、かつ再配分した画素の度数に基づいて、各階調領域の範囲を再設定するように構成してあることを特徴とする。

第６発明に係る画像処理装置は、画像データに含まれる画素の階調を調整する画像処理装置において、階調に基づいて画素を分級した複数の階調領域の夫々に含まれる画素の度数を計数する手段と、一の階調領域の度数に対する自らの階調領域の度数の影響を示す数値を対角要素とし、かつ一の階調領域の度数に対する他の夫々の階調領域の度数の影響を示す数値を要素として配置した影響度行列を記録する記録手段と、一の階調領域の度数に対する自らの階調領域の度数の比の値を対角要素とし、かつ一の階調領域の度数に対する他の夫々の階調領域の度数の比の値を要素として配置した度数比行列を算出する手段と、前記記録手段に記録している影響度行列及び算出した度数比行列の積に基づく演算により、夫々の階調領域に含まれる画素の度数を再配分する乗数の負値を非対角要素とし、乗数の列方向の総和を対角表素とする乗数行列を算出する乗数行列算出手段と、乗数行列及び各階調領域の画素の度数を示す行列の積に基づく演算により、各階調領域に含まれる画素の度数を再配分する再配分量を示す再配分量行列を算出する再配分量行列算出手段と、再配分量行列に基づいて、画像データに含まれる画素の階調を変換する変換手段とを備えることを特徴とする。

第７発明に係る画像処理装置は、第６発明において、前記記録手段は、各階調領域に夫々対応する再配分量の基礎となる夫々の基礎再配分量設定値を記録する様に構成してあり、前記乗数行列算出手段は、前記記録手段に記録している基礎再配分量設定値を乗数行列の対角要素に加算した乗数行列を算出するように構成してあり、前記再配分量行列算出手段は、基礎再配分量設定値を加算した乗数行列に基づく演算により、再配分量行列を算出するように構成してあることを特徴とする。

第８発明に係る画像処理装置は、第６発明又は第７発明において、前記変換手段は、再配分量行列により示される各階調領域の画素の再配分量に基づく比例配分により、全階調領域に対する各階調領域の範囲を再設定するように構成してあることを特徴とする。

第９発明に係る画像処理装置は、第６発明又は第７発明において、前記記録手段は、階調領域の範囲の最小値を示す基礎範囲設定値を記録する様に構成してあり、前記変換手段は、全階調領域の範囲を示す数値から、前記記録手段に記録している基礎範囲設定値及び階調領域の数の積を減じた数値を、再配分量行列により示される各階調領域の画素の再配分量に基づき比例配分して、各階調領域の仮範囲を示す数値を夫々算出し、算出した各階調領域の仮範囲を示す夫々の数値に、基礎範囲設定値を加算して得られた夫々の数値に基づいて、各階調領域の範囲を再設定するように構成してあることを特徴とする。

第１０発明に係るコンピュータプログラムは、コンピュータに、画像データに含まれる画素の階調を調整させるコンピュータプログラムにおいて、コンピュータに、階調に基づいて画素を分級した複数の階調領域の夫々に含まれる画素の度数を計数させる手順と、コンピュータに、各階調領域の度数、並びに一の階調領域の度数と自らの階調領域及び他の夫々の階調領域の度数との影響を示す数値から夫々の階調領域の度数を再配分する再配分量を算出させる手順と、コンピュータに、算出した各階調領域の再配分量に基づいて、画像データに含まれる画素の階調を変換させる手順とを実行させることを特徴とする。

第１発明、第２発明乃至第４発明、第８発明及び第１２発明では、複数の階調領域に分級して度数分布を計数したヒストグラムにて、各階調領域の度数に対し、他の階調領域の度数からの影響を加味して、夫々の階調領域の度数を再配分する再配分量を計算することにより、従来のヒストグラム平坦化処理と異なり、全体の画素数だけでなく、他の階調領域の画素数との関係、例えば近傍の画素数の分布を加味して再配分量が決定されるので、特定の階調領域に度数分布が偏っている様な画像等の様々な画像に対して、画像の風合いを変えることなく、メリハリの強い鮮明な画像に変換することが可能である。

第５発明及び第９発明では、基礎再配分量設定値を加味して再配分量を算出することにより、元の画像のヒストグラムが平坦又は平坦に近い度数分布を示す場合でも、基礎再配分量に基づく階調の変換が実施されるので、ヒストグラムが平坦な画像に対しては画像変換が行われない従来のヒストグラム平坦化処理と異なり、度数分布が一様な画像をも含む様々な画像に対して、画像の風合いを変えることなく、メリハリの強い鮮明な画像に変換することが可能である。

第６発明及び第１０発明では、画素の度数に基づいて、各階調領域の範囲を再設定するヒストグラム平坦化処理の方法を用いることにより、メリハリの強い鮮明な画像に変換することが可能である。

第７発明及び第１１発明では、基礎範囲設定値を加味して各階調領域の範囲を再設定することにより、元の画像のヒストグラムに画素の度数が無い又は極端に少ない階調領域が存在したとしても、基礎範囲設定値にて或る程度の範囲が割り当てられるので、特定の階調領域の度数が無い又は極端に少ないような画像等の様々な画像に対しても、画像の風合いを変えることなく、メリハリの強い鮮明な画像に変換することが可能である。

本発明に係る画像処理方法、画像処理装置及びコンピュータプログラムは、画像データに含まれる画素の階調を調整する液晶テレビ、デジタルスチルカメラ、デジタルビデオカメラ、プリンタ、ファクシミリ、パーソナルコンピュータ等の画像処理装置において、階調に基づいて画素を分級した複数の階調領域の夫々に含まれる画素の度数を計数してヒストグラムを求め、各階調領域の度数に対し、他の階調領域の度数との関係から夫々の階調領域の度数を再配分する再配分量を算出し、算出した再配分量に基づいて、各階調領域の範囲を再設定する様に画像データに含まれる画素の階調を変換する。

再配分量に基づいて、各階調領域の範囲を再設定する様に画素の階調を変換することにより、ヒストグラムを構成する度数の分布が平坦化される様に階調が変換されるので、メリハリの強い鮮明な画像に変換することが可能である等、優れた効果を奏する。しかも従来のヒストグラム平坦化処理と異なり、全体の画素数だけでなく、他の階調領域の画素数との関係、例えば近傍の画素数の分布を加味して再配分量を決定するので、特定の階調領域に度数分布が偏っている様な画像に対してでも、変換前の画像の風合いを変えることがない等、優れた効果を奏する。

また本発明では、再配分量を決定する際に、各階調領域に夫々対応する再配分量の基礎となる夫々の基礎配分量設定値を加味して再配分量を算出することにより、元の画像のヒストグラムが平坦又は平坦に近い度数分布を示す場合でも、基礎再配分量に基づく階調の変換が実施されるので、ヒストグラムが平坦な画像に対しては画像変換が行われない従来のヒストグラム平坦化処理と異なり、度数分布が一様な画像をも含む様々な画像に対して、画像の風合いを変えることなく、メリハリの強い鮮明な画像に変換することが可能である等、優れた効果を奏する。

さらに本発明では、階調領域の範囲の最小値を示す基礎範囲設定値を加味して各階調領域の範囲を設定することにより、元の画像のヒストグラムに画素の度数が無い又は極端に少ない階調領域が存在したとしても、基礎範囲設定値にて或る程度の範囲が割り当てられるので、度数が無い又は極端に少ない階調を失うことなく、メリハリの強い鮮明な画像に変換することが可能である等、優れた効果を奏する。

以下、本発明をその実施の形態を示す図面に基づいて詳述する。

実施の形態１．
図１は、本発明の実施の形態１における画像処理装置の構成を示すブロック図である。図１中１は、液晶テレビ等の画像処理装置であり、画像処理装置１は、本発明の画像処理方法に基づいて、入力された画像データの変換処理等の処理を実行し、変換処理後の画像データを出力する画像コントローラ等の画像処理部１０を備えている。さらに画像処理装置１は、テレビジョン放送として放送される放送波に重畳される画像データを、放送波から取り出して画像処理部１０へ出力するチューナ等の画像取得部１１、画像処理部１０から出力された画像データに基づいて画像を表示する液晶モニタ等の画像出力部１２を備えている。

画像処理部１０は、画像処理部１０全体を制御するＭＰＵ(Micro Processor Unit)等の制御手段１００と、画像取得部１１から出力された画像データの入力を受け付ける画像データ入力手段１０１と、画像データ入力手段１０１にて入力を受け付けた画像データを一時的に記録し、記録した画像データに対する変換処理を行う画像データ変換手段１０２と、画像データ変換手段１０２にて変換された画像データを画像出力部１２へ出力する画像データ出力手段１０３とを備えている。なお画像取得部１１から受け付けた画像データがアナログデータである場合には、画像データ入力手段１０１にてアナログ／デジタル変換を行い、画像出力部１２にて処理可能な画像データがアナログデータである場合には、画像データ出力手段１０３にてデジタル／アナログ変換が行われる。

さらに画像処理部１０は、画像データの変換に要する各種行列演算等の演算処理を実行する演算手段１０４と、演算手段１０４の演算時に使用する各種データを記録する揮発性メモリ、不揮発性メモリ等の記録手段１０５とを備えており、画像データ変換手段１０２に記録された画像データは、演算手段１０４の演算結果に基づいて変換処理がなされる。なお記録手段１０５の記録領域には、後述する画像処理に要する基礎配分量設定値を記録するテーブル１０５ａ、階調領域の範囲の最小値を示す基礎範囲設定値Ｙｂａｓｅ、及び各階調領域の他の階調領域に対する影響を示す影響度行列Ｍ０が予め記録されている。なおここではテーブル１０５との表現を用いているが、本発明の無数にある記録形式の一例として表現しているだけであり、記録される各種情報は必ずしもテーブル形式で記録する必要なく、画像処理装置１に係るハードウェア、ソフトウエア、目的及びその他の要因に応じて適宜設計されるものである。

図２は、本発明の実施の形態１における画像処理装置１に記録されているテーブル１０５ａの記録内容の一例を概念的に示す図表である。本発明の画像処理方法では、画像データの輝度を離散値として示す階調に基づいて画素を分級する複数の階調領域の夫々に含まれる画素の度数を計数してヒストグラムを導出し、導出したヒストグラムを用いて夫々の階調領域の度数を再配分する画像処理が行われる。テーブル１０５ａには、ヒストグラムを構成する各階調領域に夫々対応する再配分量の基礎となる夫々の基礎再配分量設定値Ｄｂａｓｅが記録されている。図２に示す例では、画像データの画素は、「０〜２５５」の２５６段階に区分された階調により示され、階調領域全体を８段階に分級して８の階調領域が設定されている。そして「０〜３１」の階調領域に対しては「０．２５」、「３２〜６３」の階調領域に対しては「０．５」という様に、各階調領域に夫々基礎配分量設定値Ｄｂａｓｅが設定されている。

画像処理装置１に記録されている基礎範囲設定値Ｙｂａｓｅとは、再配分量に基づいて階調領域の範囲を再設定する場合に、階調領域の範囲の最小値を規定した値であり、「０〜３２」の範囲で、例えば「２０」に設定される。

画像処理装置１に記録されている影響度行列Ｍ０とは、階調領域の度数の再配分を行う場合に、一の階調領域の度数と自らの階調領域の度数又は他の夫々の階調領域の度数との影響を示す数値を要素として配置した行列である。階調領域全体をｎ個（ｎは自然数）に区分した各階調領域において、階調領域ｉ（ｉはｎ以下の自然数）の度数に対する階調領域ｊ（ｊはｎ以下の自然数）の度数の影響をＭ０ijとして示す場合、影響度行列Ｍ０は、下記の式１で示される。

式１に示す様に、影響度行列Ｍ０の対角要素Ｍ０11〜Ｍ０nnとしては、自らの階調領域の度数の影響を示す数値が配置されており、かつ一の階調領域の度数と他の夫々の階調領域の度数との影響を示す数値が要素として配置されている。

次に本発明の実施の形態１における画像処理装置１にて実行される画像処理について説明する。図３は、本発明の実施の形態１における画像処理装置１にて実行される画像処理を示すフローチャートである。画像処理装置１が備える画像処理部１０では、制御手段１００の制御により、画像データ入力手段１０１にて画像データの入力を受け付け（ステップＳ１）、受け付けた画像データを画像データ変換手段１０２に記録するとともに、受け付けた画像データに含まれる画素の輝度を離散値として示す階調に基づいて画素を分級した複数の階調領域の夫々に含まれる画素の度数を計数してヒストグラムを導出する（ステップＳ２）。

そして画像処理装置１が備える画像処理部１０では、制御手段１００の制御により、一の階調領域の度数に対する自らの階調領域の度数の比の値を対角要素とし、かつ一の階調領域の度数に対する他の夫々の階調領域の度数の比の値を要素として配置した度数比行列Ｍ１を算出する（ステップＳ３）。

度数比行列Ｍ１とは、各階調領域の度数Ｈ1 ，Ｈ2 ，…，Ｈn （ｎは自然数）について、影響を受ける階調領域の度数を分母とし、影響を与える階調領域の度数を分子とする各階調領域の度数間の比の値を要素とするＭ１ij＝Ｈj ／Ｈi として示される行列であり、下記の式２としても示すことができる。

式２に示す様に度数比行列Ｍ１においては、一の階調領域の度数に対する自らの階調領域の度数の比の値が対角要素として配置されているため、対角要素は分母と分子が同一の度数を示しており、かつ一の階調領域の度数に対する他の夫々の階調領域の度数の比の値が要素として配置されている。

そして画像処理装置１が備える画像処理部１０では、制御手段１００の制御により、記録手段１０５に記録している影響度行列Ｍ０に度数比行列Ｍ１を乗じた積に基づく演算により、夫々の階調領域に含まれる画素の度数を再配分する乗数を示す乗数行列Ｍを算出する（ステップＳ４）。

下記の式３に示す様に乗数行列Ｍは、影響度行列Ｍ０に度数比行列Ｍ１を乗じた積に基づく演算により求められる。ただし乗数行列Ｍの対角要素は、下記の式４により求めた値が用いられる。

前述した様に影響度行列Ｍ０は、一の階調領域の度数と他の階調領域の度数とが互いに与える影響の有無及び程度を示し、度数比行列Ｍ１は、画像データから求められる一の階調領域の度数に対する他の階調領域の度数の比を示している。従って式３に示す様に影響度行列Ｍ０に度数比行列Ｍ１を乗じることにより、一の階調領域の度数が他の階調領域の度数から受ける影響を示す要素が求まる。式４では、一の階調領域の度数が他の階調領域の度数に与える影響を示す要素が求まる。式３から求まる要素を非対角要素、式４から求まる要素を対角要素とすることで、画像データの内容、特に画像データを構成する画素の階調の度数分布に応じ、階調領域間の画素の度数の関係を加味した乗数行列Ｍが求まることとなる。

なおステップＳ４の乗数行列Ｍを算出する処理において、基礎再配分量設定値Ｄｂａｓｅを加味する場合、画像処理装置１が備える画像処理部１０では、ステップＳ４の演算時に、記録手段１０５に記録されているテーブル１０５から基礎再配分量設定値Ｄｂａｓｅを読み取り、読み取った基礎再配分量設定値Ｄｂａｓｅを加味した下記の式５により求められた対角要素が用いられる。

式５において、各階調領域の度数が均等である場合又は殆ど差がない場合、度数比行列を構成する各要素は「１」又は「１」に近似した値をとるため、基礎再配分量設定値Ｄｂａｓｅによる影響は相対的に大きくなり、各階調領域の度数の差が大きい場合、度数比行列Ｍ１を構成する要素は「１」から離れた数値をとるため基礎再配分量設定値Ｄｂａｓｅによる影響は相対的に小さくなる。

そして画像処理装置１が備える画像処理部１０では、制御手段１００の制御により、乗数行列Ｍに、各階調領域の度数を示す行列Ｈを乗じた積Ｄ１を正規化する演算により、各階調領域に含まれる画素の度数を再配分する再配分量を示す再配分量行列Ｄｉを算出する（ステップＳ５）。

下記の式６は、各階調の度数を示す行列Ｈであり、下記の式７は、乗数行列Ｍに各階調の度数を示す行列Ｈを乗じて積Ｄ１を算出する式を示している。そして算出された積Ｄ１を正規化することにより再配分量行列Ｄｉが算出される。

式７に示した積Ｄ１を、影響度行列Ｍ０、同数比行列Ｍ１及び各階調の度数を示す行列Ｈを用いて変形したものが下記の式８である。

式８の１項目は、或る階調領域の度数Ｈi が他の階調領域の度数に与える影響の度合を示しており、２項目は、或る階調領域の度数Ｈi が他の階調領域の度数から受ける影響の度合を示している。式８においてＭ０niは、階調領域の度数間の影響度合を決定する係数と見なすことができる。

そして画像処理装置１が備える画像処理部１０では、制御手段１００の制御により、全ての階調領域の範囲を示す数値から、記録手段１０５に記録している基礎範囲設定値Ｙｂａｓｅ及び階調領域の数の積を減じた数値を、再配分量行列により示される各階調領域の画素の配分量に基づき比例配分して、各階調領域の仮範囲を示す数値を算出し、算出した各階調領域の仮範囲を示す夫々の数値に、基礎範囲設定値Ｙｂａｓｅを加算することにより、各階調領域の範囲Ｇi を算出する（ステップＳ６）。

ステップＳ６にて示した各階調領域の範囲Ｇi を算出する処理について説明する。本発明の実施の形態１における画像処理方法では、全ての階調領域の範囲を、再配分量行列Ｄ１により示される各階調領域の画素の配分量に基づき比例配分して、各階調領域の範囲Ｇi を算出する。このようにして各階調領域の範囲Ｇi を算出する処理は、下記の式９で示すことができる。

しかしながら式９では、入力された元の画像データのヒストグラムに画素の度数が「０」又は極端に少ない階調領域が存在する場合、その階調領域が消失又は極端に狭い範囲のヒストグラムを示す画像データに変換されるため画像の風合いを変えてしまう。そこで階調領域の範囲の最小値を基礎範囲設定値Ｙｂａｓｅとして規定したものが、ステップＳ６に示す処理であり、下記の式１０で示すことができる。

括弧内の式は、全階調領域の範囲から、予め基礎範囲設定値Ｙｂａｓｅ及び階調領域の区分数の積を予め減じておくことを示しており、減じた範囲を画素の配分量に基づき比例配分することで、各階調領域の仮範囲を求めることができる。そして各階調領域の仮範囲に対して夫々基礎範囲設定値Ｙｂａｓｅを加算することにより、各階調領域の範囲Ｇi を算出することができる。仮範囲については「０」又は極端に狭い範囲を示すことも考えられるが、基礎範囲設定値Ｙｂａｓｅを加算することにより、最低限の範囲を確保することが可能となる。

そして画像処理装置１が備える画像処理部１０では、制御手段１００の制御により、算出した各階調領域の範囲Ｇi に基づいて、従来のヒストグラム平坦化法と同じ手法を用いて画像データ変換手段１０２に記録している画像データに含まれる画素の階調を変換し（ステップＳ７）、階調を変換した画像データを画像データ出力手段１０３から出力する（ステップＳ８）。画像処理部１０から出力された画像データの入力を受け付けた画像出力部１２は、入力された画像データに基づく画像を表示する出力処理を行う。

次に本発明の画像処理装置１が備える画像処理部１０にて実行される処理を具体的に説明する。式１として示した影響度行列Ｍ０において、ｎを８とし、夫々の影響を示す数値を配置した影響度行列Ｍ０の一例が下記の式１１である。

影響度行列Ｍ０においては、「０」以外の数値、例えば「１」を示している階調領域の度数間では影響を与えることになる。式１１に示す例では、「６４〜９５」の階調の画素の度数を計数した階調領域３の度数の再配分においては、「０〜３１」の階調の画素に基づく階調領域１、「３２〜６５」の階調の画素に基づく階調領域２、自らの階調領域３、「９６〜１２７」の階調の画素に基づく階調領域４、及び「１２８〜１５９」の階調の画素に基づく階調領域５の夫々の度数が影響を与えることを示している。

図４は、本発明の実施の形態１における画像処理方法にて生成されるヒストグラムの一例である。図４に示すヒストグラムでは、横軸が階調を示し、縦軸が度数を示している。なお以降に示す全てのヒストグラムは、横軸が階調を示し、縦軸が度数を示す。図４に示すヒストグラムは、式１１に示す影響度行列Ｍ０により示される各階調領域間の影響を、階調領域５について示したものである。図４に示す様に式１１の影響度行列Ｍ０を用いた場合、階調領域５は、階調領域３、階調領域４、階調領域６及び階調領域７から影響を受け、階調領域３、階調領域４、階調領域６及び階調領域７に対して影響を与える。このとき式８は、下記の式１２として示される。

次に基礎再配分量設定値Ｄｂａｓｅによる効果を具体的に説明する。図５は、本発明の実施の形態１における画像処理方法によるヒストグラムの平坦化処理の一例を示す説明図である。図５（ａ）は、入力された画像データを構成する画素のヒストグラムを示し、図５（ｂ）は、ヒストグラムを平坦化する階調変換に関する階調変換曲線であり、図５（ｃ）は、出力する画像データを構成する画素のヒストグラムを示している。図５（ｂ）に示す階調変換曲線は、横軸に入力階調をとり、縦軸に出力階調をとって、その関係を示している。なお以降に示す全ての階調変換曲線は、横軸に入力階調をとり、縦軸に出力階調をとって、その関係を示している。図５（ａ）に示す様に入力された画像データを構成する画素のヒストグラムが平坦である場合、図５（ｂ）に示す様に階調変換曲線により示される入力階調及び出力階調の関係は、１対１の関係となり、図５（ｃ）に示す様に入力された画像データの度数分布のまま出力されることになる。従って元の画像データよりメリハリのある鮮明な画像を得ることはできない。

図６は、本発明の実施の形態１における画像処理方法によるヒストグラムの平坦化処理の一例を示す説明図である。図６（ａ）は、入力された画像データを構成する画素のヒストグラムを示し、図６（ｂ）は、ヒストグラムを平坦化する階調変換に関する階調変換曲線であり、図６（ｃ）は、出力する画像データを構成する画素のヒストグラムを示している。図６（ｂ）は、基礎再配分量設定値Ｄｂａｓｅを加味した式５により求めた対角要素を有する乗数行列Ｍを用いた例を示している。なお基礎配分量設定値Ｄｂａｓｅとしては、図２に例示したテーブル１０５ａに記録されている基礎再配分量設定値Ｄｂａｓｅを用いている。図６（ａ）に示す様に入力された画像データを構成する画素のヒストグラムは、図５（ａ）と同様であるが、図６（ｂ）に示す階調変換曲線では、低階調領域の画素の階調を低くし、高階調領域の画素の階調を高くする変換を行う様になっており、画素の階調が図６（ｃ）に示す様な度数分布を示す画像データが得られる。なお階調変換曲線は、コントラスト強調処理と同様の形状となるため、低階調領域及び高階調領域の表現力は失われる場合もあるが、メリハリを持たせることができる。

そして基礎配分量設定値Ｄｂａｓｅを加味することにより、各階調領域の度数が均等である場合又は殆ど差がない場合、基礎再配分量設定値Ｄｂａｓｅによる影響は相対的に大きくなるのでコントラスト強調処理の様な変換を行い、各階調領域の度数の差が大きい場合、基礎再配分量設定値Ｄｂａｓｅによる影響は相対的に小さくなるのでヒストグラム平坦化処理の様な変換を行う。即ち通常のコントラスト強調処理とは異なり、画像の内容に応じた処理が可能となる。

次に基礎範囲設定値Ｙｂａｓｅによる効果を具体的に説明する。図７は、本発明の実施の形態１における画像処理方法によるヒストグラムの平坦化処理の一例を示す説明図である。図７（ａ）は、入力された画像データを構成する画素のヒストグラムを示し、図７（ｂ）は、ヒストグラムを平坦化する階調変換曲線であり、図７（ｃ）は、出力する画像データを構成する画素のヒストグラムを示している。

図８は、本発明の実施の形態１における画像処理方法によるヒストグラムの平坦化処理の一例を示す説明図である。図８（ａ）は、入力された画像データを構成する画素のヒストグラムを示し、図８（ｂ）は、ヒストグラムを平坦化する階調変換曲線であり、図８（ｃ）は、出力する画像データを構成する画素のヒストグラムを示している。

前記実施の形態１では、行列を用いて各種演算を行う形態を示したが、本発明はこれに限らず、各階調領域の度数に対して、他の階調領域の度数との関係から夫々の階調領域の度数を再配分する再配分量を算出することができるであれば、特に行列演算を行う必要はなく、画像処理装置が備える各種演算回路の特性に応じて適宜設計することが可能である。

また前記実施の形態１では、画像処理装置が液晶テレビである形態を示したが、本発明はこれに限らず、デジタルスチルカメラ、デジタルビデオカメラ、プリンタ、ファクシミリ等の様々な画像処理装置に適用することが可能である。例えばデジタルスチルカメラ又はデジタルビデオカメラに適用した場合、画像取得部は、ＣＣＤ等の撮像素子を用いて撮像を行うことにより画像を取得し、画像処理部にて変換処理を行った上で、液晶モニタ等の画像出力部へ出力する。プリンタに適用した場合、画像取得部は、パーソナルコンピュータ等の外部機器から画像データの入力を受け付け、画像処理部にて変換処理を行った上で、用紙上に画像を形成する印刷処理を行う画像出力部へ出力する。ファクシミリに適用した場合、画像取得部は電話回線を介して外部から画像データの入力を受け付け、画像処理部にて変換処理を行った上で、用紙上に画像を形成する印刷処理を行う画像出力部へ出力する。

実施の形態２．
実施の形態２は、パーソナルコンピュータ等のコンピュータにて実行される画像処理用アプリケーションプログラム（フォトレタッチングソフト）として、本発明の画像処理方法を実現するコンピュータプログラムを提供する形態である。図９は、本発明の実施の形態２における画像処理装置の構成を示すブロック図である。図９中２は、パーソナルコンピュータを用いた本発明の画像処理装置であり、画像処理装置２は、装置全体を制御するＣＰＵ(Central Processing Unit) ２０、本発明のコンピュータプログラム２００及びデータ等の各種情報を記録したＣＤ−ＲＯＭ等の記録媒体２０１から各種情報を読み取るＣＤ−ＲＯＭドライブ等の補助記憶手段２１、補助記憶手段２１により読み取った各種情報を記録するハードディスク等の記録手段２２、制御手段２０の制御に基づく処理により一時的に発生するデータを記憶するＲＡＭ(Random Access Memory)等の記憶手段２３、マウス及びキーボード等の入力手段２４、並びにモニタ及びプリンタ等の出力手段２５を備えている。そして記録手段２２に記録した本発明のコンピュータプログラム２００及びデータ等の情報を読み取り、記憶手段２３に記憶させて、制御手段２０の制御により、基本ソフトウエア(OS:Operating System) 上で実行することにより、パーソナルコンピュータは、本発明の画像処理装置２として動作する。

画像処理装置２では、記憶手段２３に記憶させたコンピュータプログラム２００を制御手段２０の制御に基づき実行することにより、記録手段２２に予め記録している画像データ、外部の機器から入力を受け付けた画像データ等の様々な画像データに対し、各階調領域に含まれる画素の度数の計数によるヒストグラムの生成、再配分量の算出、階調の変換等の本発明の画像処理方法を実現するための処理を行い、処理後の変換された画像データを出力手段２５から出力する。なおコンピュータプログラム２００を実行することにより行われる詳細な処理については、実施の形態１と同様であるので、実施の形態１を参照するものとし、その説明を省略する。

前記実施の形態１及び２では、１種類の階調により示されるモノクローム画像に適用する形態を示したが、本発明はこれに限らず、複数の色成分の刺激値（輝度）により表現されるカラー画像に適用することも可能であり、その場合、Ｒｅｄ成分の刺激値を示す階調、Ｇｒｅｅｎ成分の刺激値を示す階調及びＢｌｕｅ成分の刺激値を示す階調をＹＵＶ形式に変換し、Ｙ（輝度）成分、Ｕ（輝度信号と青色成分との差）及びＶ（輝度信号と赤色成分との差）に対し、本発明の画像処理方法による階調変換処理がなされる。なお必ずしもＹ成分、Ｕ成分及びＶ成分の全ての成分に対して本発明の画像処理方法を適用する必要はなく、目的とする画質、ハードウェアの特性等の用途に応じて３成分の中のいずれか１成分又は適宜選択した２成分に対してのみ本発明の画像処理方法を適用する様にしても良い。

本発明の実施の形態１における画像処理装置の構成を示すブロック図である。本発明の実施の形態１における画像処理装置に記録されているテーブルの記録内容の一例を概念的に示す図表である。本発明の実施の形態１における画像処理装置にて実行される画像処理を示すフローチャートである。本発明の実施の形態１における画像処理方法にて生成されるヒストグラムの一例である。本発明の実施の形態１における画像処理方法によるヒストグラムの平坦化処理の一例を示す説明図である。本発明の実施の形態１における画像処理方法によるヒストグラムの平坦化処理の一例を示す説明図である。本発明の実施の形態１における画像処理方法によるヒストグラムの平坦化処理の一例を示す説明図である。本発明の実施の形態１における画像処理方法によるヒストグラムの平坦化処理の一例を示す説明図である。本発明の実施の形態２における画像処理装置の構成を示すブロック図である。入力階調及び出力階調の関係を示す階調変換曲線である。画像に基づくヒストグラムの例を示す説明図である。ヒストグラムの平坦化処理の一例を示す説明図である。ヒストグラムの平坦化処理の一例を示す説明図である。

符号の説明

１画像処理装置
１０画像処理部
１１画像取得部
１２画像出力部
２画像処理装置
２００コンピュータプログラム

Claims

画像データに含まれる画素の階調を調整する画像処理方法において、
階調に基づいて画素を分級した複数の階調領域の夫々に含まれる画素の度数を計数し、
各階調領域の度数、並びに一の階調領域の度数と自らの階調領域及び他の夫々の階調領域の度数との影響を示す数値から夫々の階調領域の度数を再配分する再配分量を算出し、
算出した各階調領域の再配分量に基づいて、画像データに含まれる画素の階調を変換する
ことを特徴とする画像処理方法。
画像データに含まれる画素の階調を調整する画像処理装置において、
階調に基づいて画素を分級した複数の階調領域の夫々に含まれる画素の度数を計数する手段と、
各階調領域の度数、並びに一の階調領域の度数と自らの階調領域及び他の夫々の階調領域の度数との影響を示す数値から夫々の階調領域の度数を再配分する再配分量を算出する再配分量算出手段と、
算出した各階調領域の再配分量に基づいて、画像データに含まれる画素の階調を変換する変換手段と
を備えることを特徴とする画像処理装置。
画像データに含まれる画素の階調を調整する画像処理装置において、
階調に基づいて画素を分級した複数の階調領域の夫々に含まれる画素の度数を計数する手段と、
各階調領域の度数に対して、他の階調領域の度数との関係から夫々の階調領域の度数を再配分する再配分量を算出する再配分量算出手段と、
算出した各階調領域の再配分量に基づいて、画像データに含まれる画素の階調を変換する変換手段と
を備え、
前記再配分量算出手段は、一の階調領域に対する自らの階調領域の度数に基づく比の値及び該比の値に対応付けられた一の階調領域の度数に対する自らの階調領域の度数の影響を示す数値の積、並びに一の階調領域の度数に対する他の夫々の階調領域の度数に基づく比の値及び該比の値に対応付けられた一の階調領域の度数に対する他の夫々の階調領域の度数の影響を示す数値の積を夫々算出し、算出した各階調領域の度数に対する特定の階調領域の度数に基づく比に係る積の総和から、算出した特定の階調領域の度数に対する各階調領域の度数に基づく比に係る積の総和を減じることで特定の階調領域の再配分量を算出するように構成してある
ことを特徴とする画像処理装置。
画像データに含まれる画素の階調を調整する画像処理装置において、
階調に基づいて画素を分級した複数の階調領域の夫々に含まれる画素の度数を計数する手段と、
各階調領域の度数に対して、他の階調領域の度数との関係から夫々の階調領域の度数を再配分する再配分量を算出する再配分量算出手段と、
算出した各階調領域の再配分量に基づいて、画像データに含まれる画素の階調を変換する変換手段と
を備え、
更に各階調領域に夫々対応する再配分量の基礎となる夫々の基礎再配分量設定値を記録する記録手段を備え、
前記再配分量算出手段は、前記記録手段に記録している基礎再配分量設定値を加味して再配分量を算出するように構成してある
ことを特徴とする画像処理装置。
画像データに含まれる画素の階調を調整する画像処理装置において、
階調に基づいて画素を分級した複数の階調領域の夫々に含まれる画素の度数を計数する手段と、
各階調領域の度数に対して、他の階調領域の度数との関係から夫々の階調領域の度数を再配分する再配分量を算出する再配分量算出手段と、
算出した各階調領域の再配分量に基づいて、画像データに含まれる画素の階調を変換する変換手段と
を備え、
更に階調領域の範囲の最小値を示す基礎範囲設定値を記録する記録手段を備え、
前記変換手段は、前記記録手段に記録している基礎範囲設定値を加味し、かつ再配分した画素の度数に基づいて、各階調領域の範囲を再設定するように構成してあることを特徴とする画像処理装置。
画像データに含まれる画素の階調を調整する画像処理装置において、
階調に基づいて画素を分級した複数の階調領域の夫々に含まれる画素の度数を計数する手段と、
一の階調領域の度数に対する自らの階調領域の度数の影響を示す数値を対角要素とし、かつ一の階調領域の度数に対する他の夫々の階調領域の度数の影響を示す数値を要素として配置した影響度行列を記録する記録手段と、
一の階調領域の度数に対する自らの階調領域の度数の比の値を対角要素とし、かつ一の階調領域の度数に対する他の夫々の階調領域の度数の比の値を要素として配置した度数比行列を算出する手段と、
前記記録手段に記録している影響度行列及び算出した度数比行列の積に基づく演算により、夫々の階調領域に含まれる画素の度数を再配分する乗数の負値を非対角要素とし、乗数の列方向の総和を対角表素とする乗数行列を算出する乗数行列算出手段と、
乗数行列及び各階調領域の画素の度数を示す行列の積に基づく演算により、各階調領域に含まれる画素の度数を再配分する再配分量を示す再配分量行列を算出する再配分量行列算出手段と、
再配分量行列に基づいて、画像データに含まれる画素の階調を変換する変換手段と
を備えることを特徴とする画像処理装置。
前記記録手段は、各階調領域に夫々対応する再配分量の基礎となる夫々の基礎再配分量設定値を記録する様に構成してあり、
前記乗数行列算出手段は、前記記録手段に記録している基礎再配分量設定値を乗数行列の対角要素に加算した乗数行列を算出するように構成してあり、
前記再配分量行列算出手段は、基礎再配分量設定値を加算した乗数行列に基づく演算により、再配分量行列を算出するように構成してある
ことを特徴とする請求項６に記載の画像処理装置。
前記変換手段は、再配分量行列により示される各階調領域の画素の再配分量に基づく比例配分により、全階調領域に対する各階調領域の範囲を再設定するように構成してあることを特徴とする請求項６又は請求項７に記載の画像処理装置。
前記記録手段は、階調領域の範囲の最小値を示す基礎範囲設定値を記録する様に構成してあり、
前記変換手段は、全階調領域の範囲を示す数値から、前記記録手段に記録している基礎範囲設定値及び階調領域の数の積を減じた数値を、再配分量行列により示される各階調領域の画素の再配分量に基づき比例配分して、各階調領域の仮範囲を示す数値を夫々算出し、算出した各階調領域の仮範囲を示す夫々の数値に、基礎範囲設定値を加算して得られた夫々の数値に基づいて、各階調領域の範囲を再設定するように構成してある
ことを特徴とする請求項６又は請求項７に記載の画像処理装置。
コンピュータに、画像データに含まれる画素の階調を調整させるコンピュータプログラムにおいて、
コンピュータに、階調に基づいて画素を分級した複数の階調領域の夫々に含まれる画素の度数を計数させる手順と、
コンピュータに、各階調領域の度数、並びに一の階調領域の度数と自らの階調領域及び他の夫々の階調領域の度数との影響を示す数値から夫々の階調領域の度数を再配分する再配分量を算出させる手順と、
コンピュータに、算出した各階調領域の再配分量に基づいて、画像データに含まれる画素の階調を変換させる手順と
を実行させることを特徴とするコンピュータプログラム。