JP3668014B2 - 画像処理方法及び装置 - Google Patents
画像処理方法及び装置 Download PDFInfo
- Publication number
- JP3668014B2 JP3668014B2 JP28964798A JP28964798A JP3668014B2 JP 3668014 B2 JP3668014 B2 JP 3668014B2 JP 28964798 A JP28964798 A JP 28964798A JP 28964798 A JP28964798 A JP 28964798A JP 3668014 B2 JP3668014 B2 JP 3668014B2
- Authority
- JP
- Japan
- Prior art keywords
- density
- image data
- image
- data
- conversion condition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/6027—Correction or control of colour gradation or colour contrast
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Television Signal Processing For Recording (AREA)
- Image Processing (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、デジタル電子スチルカメラ（以下、デジタルカメラという）により得られるデジタル画像データに対して画像処理を施す画像処理方法及び装置に関する。
【０００２】
【従来の技術】
デジタルカメラにおいては、撮像により取得した画像を、デジタル画像データ（被写体輝度に対応した値であって、通常、白が２５５、黒が０）としてデジタルカメラ内部に設けられた内部メモリやＩＣカード等の記録媒体に記録し、記録されたデジタル画像データに基づいて、プリンタやモニタに撮影画像を出力することができる。デジタルカメラにより取得した画像をプリントする場合においては、ネガフィルムからプリントされた写真と同様の高品位な画質を有することが期待される。
【０００３】
このため、デジタルカメラは、オートホワイトバランス（ＡＷＢ）機能、オート露出制御（ＡＥ）機能、さらには、画像処理機能を有する。ＡＷＢ機能としては、撮像した色信号の平均値から求めた２つの色差信号が０となるように制御する手法が、例えば、特開昭６０−２０９９３号公報、特開平３−１９８４８４号公報等に、ビデオカメラ用のものとして開示されている。また、ＡＥ機能としては、撮像した全エリアの輝度信号の平均値と選択したエリアの輝度信号の平均値とを比較することにより露出を制御する手法が、例えば、特開平７−７５００６号公報に開示されている。
【０００４】
一方、従来から、カラー原画像を読み取ってデジタル画像データに変換し、このデジタル画像データから最大基準濃度、最小基準濃度、ヒストグラム等の画像特徴値を求め、この特徴値に基づいてデジタル画像データを適正な階調、濃度、色となるように修正する方法が知られている（例えば、特開昭５６−８７０４４号公報参照）。また、カラー原画像をプレスキャンすることによって得られたデジタル画像データの濃度信号から、原画像を忠実に再現するための変換テーブル（ＬＵＴ）を作成し、本スキャンによって得られたデジタル画像データを、このＬＵＴにより変換して、デジタル画像データの修正を行う方法も提案されている（例えば、特開平６−１５２９６２号公報参照）。
【０００５】
さらに、ネガフィルム画像をデジタル画像データに変換して、デジタルプリントを作成する方法も提案されている（例えば、特開昭６０−１４５７０号公報参照）。この方法は、ネガフィルムをプレスキャンして、光強度を表わすラフ画像データを作成し、このラフ画像データを対数変換して濃度データを得て、この濃度データを第１のＬＵＴにより適正な色、濃度が得られるような画像データに変換し、さらに、この変換された画像データを、第２のＬＵＴによりポジ画像データに変換すると共に、画像データを複写する複写装置と複写材料（感光材料）の特性を考慮して修正するものである。
ネガフィルム画像は、撮影により、極端な露出オーバー、露出アンダーな場合を除いて、被写体の全てが画像として記録されている。そのため、ネガフィルム画像からのデジタルプリントは、ネガフィルム画像をフルに、または任意に画像再現に利用することができる。
【０００６】
【発明が解決しようとする課題】
上述のように、デジタルカメラは、ＡＷＢ機能、ＡＥ機能、さらには画像処理機能を有し、これにより取得されたデジタル画像データには、上述のように既に画像処理が施されているため、そのままプリンタ等の複写装置に入力して画像を再生することができる。しかしながら、ＡＷＢ機能やＡＥ機能は、デジタルカメラの機種により性能が異なったり、その機能が付加されていない場合もあるため、各種のデジタルカメラの画像を出力する複写装置において、常に一定の品質のプリント画像を得ることはできなかった。
【０００７】
これに対しては、例えば、上述の特開平６−１５２９６２号公報等に開示されたように、デジタル画像データを修正することが考えられる。しかしながら、デジタルカメラにより取得されたデジタル画像データは、適正条件で撮像されたものであるという保証はなく、さらには、シャドー画像部においてノイズが多く、画像情報が粗いため、前述の従来の手法のように、印刷原稿として撮影された原画像あるいはネガフィルムを読み取ることにより得られたデジタル画像データを修正する方法をそのまま適用しても、高画質の画像を再生することができなかった。
【０００８】
このため、デジタルカメラにより取得されたデジタル画像データのヒストグラムを作成し、このヒストグラムの最小値、最大値（すなわち、画像中のシャドー点、ハイライト点）及びメディアン値を求め、最小値と最大値とからグレーバランスを求めると共に、最小値とメディアン値とからガンマ曲線を求めて、デジタル画像データを変換するようにした方法（例えば、特開平９−１２１３６１号公報参照）や、デジタルカメラにより取得されたデジタル画像データの画素毎の明るさと色味とから有効画素を求め、有効画素の平均濃度値の累積ヒストグラムから画像中のハイライト点及びシャドー点を設定して、ＣＲＴやＣＤ−ＲＯＭ等の記録媒体に出力するようにした方法（例えば、特開平９−２３８２５７号公報参照）が、提案されている。
【０００９】
しかしながら、これらの方法は、画像のハイライト点及びシャドー点によりデジタル画像データ全体の階調と色を修正するものであり、デジタル画像データは適正な露出によって主要画像部が適正な値を有していることが前提となっている。実際のデジタルカメラでは、露出オーバーや露出アンダー、ストロボ調光ミス等、適正でない露出により画像データが形成されたものも多く、出力画像の濃度修正は非常に重要である。
【００１０】
本発明は、上記事情に鑑みてなされたものであり、デジタルカメラにより取得されたデジタル画像データの濃度を自動的, 手動的に修正して、高品質の画像を得ることを可能とする画像処理方法及び装置を提供することを目的とするものである。
本発明の他の目的は、撮影時の露出の異なるデジタルカメラの画像データや、主要画像部が適正な値でないデジタル画像データからも、濃度を自動的, 手動的に修正して、高品質の画像を得ることを可能とする画像処理方法及び装置を提供することにある。
【００１１】
【課題を解決するための手段】
上記目的を達成するため、本発明に係る画像処理方法は、デジタルカメラにより取得されたデジタル画像データに対し画像処理を施して再生画像を作成する画像処理方法であって、前記デジタル画像データにより表わされる画像に対して、まず、前記画像の全体の濃度を修正するための濃度変換条件を決定し、次いで、前記濃度変換条件に基づいて前記デジタル画像データにより表わされる画像の所定濃度域の階調を制御する階調変換条件を決定し、前記階調変換条件は、前記濃度変換条件に基づいて前記デジタル画像データを変換した際に、変換した前記デジタル画像データにより表わされる画像の濃度が所定濃度よりも大きくなる場合には、予め定めた値を基準として、前記デジタル画像データの前記予め定めた値よりもハイライト側のデータを硬調化させ、前記変換したデジタル画像データにより表わされる画像の濃度が所定濃度よりも小さくなる場合には、前記デジタル画像データの前記予め定めた値よりもハイライト側のデータを軟調化させるように決定されるものであり、前記濃度変換条件及び前記階調変換条件に基づいて前記デジタル画像データを修正して、前記再生画像を作成することを特徴とする。
【００１２】
また、本発明に係る画像処理方法は、デジタルカメラにより取得されたデジタル画像データに対し画像処理を施して再生画像を作成する画像処理方法であって、前記デジタル画像データを濃度成分データと色成分データとに分け、前記再生画像の全体の濃度を修正するように前記濃度成分データを変換する濃度変換条件を決定すると共に、該濃度変換条件に基づいて前記デジタル画像データの所定濃度域の階調を制御する階調変換条件を決定し、前記階調変換条件は、前記濃度変換条件に基づいて前記濃度成分データを変換した際に、変換した前記濃度成分データにより表わされる画像の濃度が所定濃度よりも大きくなる場合には、予め定めた値を基準として、前記デジタル画像データの前記予め定めた値よりもハイライト側のデータを硬調化させ、前記変換した濃度成分データにより表わされる画像の濃度が所定濃度よりも小さくなる場合には、前記デジタル画像データの前記予め定めた値よりもハイライト側のデータを軟調化させるように決定されるものであり、前記濃度変換条件と前記階調変換条件とにより前記濃度成分データを修正し、修正された濃度成分データと前記色成分データとを合成することにより、前記再生画像を得るための画像データを作成することを特徴とする。
【００１３】
前記濃度変換条件は、前記デジタル画像データにより表わされる画像の特徴値に基づいて決定されるものであることが好ましい。
また、前記画像の特徴値は、前記デジタル画像データの濃度の平均値、もしくは、前記デジタル画像データの各画素における、色により決定される重み係数に基づく重み付け平均値であることが好ましい。
【００１４】
また、前記階調変換条件は、前記デジタル画像データにより表わされる画像の最も明るい部分が、前記再生画像において白、または白に近似した濃度になるように決定されることが好ましい。
前記濃度変換条件は、前記デジタル画像データにより表わされる画像を表示手段に表示した際、該表示画像に基づく外部からの指示により決定されるものであってもよい。
【００１５】
また、前記階調変換条件の決定において、前記デジタル画像データにより表わされる画像と前記濃度変換条件及び前記階調変換条件に基づいて前記デジタル画像データを修正して得られた修正画像データにより表わされる画像との相対階調に下限値を設けることが好ましい。
【００１６】
一方、本発明に係る画像処理装置は、デジタルカメラにより取得されたデジタル画像データに対し画像処理を施して再生画像を作成する画像処理装置であって、前記デジタル画像データにより表わされる画像に対して、前記画像の全体の濃度を修正するための濃度変換条件を決定する濃度変換条件決定手段と、前記濃度変換条件に基づいて前記デジタル画像データにより表わされる画像の所定濃度域の階調を制御する階調変換条件を決定する階調変換条件決定手段と、前記濃度変換条件及び前記階調変換条件に基づいて前記デジタル画像データを修正して、前記再生画像を作成する画像データ変換手段とを有し、前記階調変換条件決定手段は、前記濃度変換条件に基づいて前記デジタル画像データが変換された際に、変換された前記デジタル画像データにより表わされる画像の濃度が所定濃度よりも大きくなる場合には、予め定めた値を基準として、前記デジタル画像データの前記予め定めた値よりもハイライト側のデータを硬調化させ、前記変換されたデジタル画像データにより表わされる画像の濃度が所定濃度よりも小さくなる場合には、前記デジタル画像データの前記予め定めた値よりもハイライト側のデータを軟調化させるように前記階調変換条件を決定することを特徴とする。
【００１７】
また、本発明に係る画像処理装置は、デジタルカメラにより取得されたデジタル画像データに対し画像処理を施して再生画像を作成する画像処理装置であって、前記デジタル画像データを濃度成分データと色成分データとに分けるデータ分割手段と、前記再生画像の全体の濃度を修正するように前記濃度成分データを変換する濃度変換条件を決定する濃度変換条件決定手段と、前記濃度変換条件に基づいて前記デジタル画像データの所定濃度域の階調を制御する階調変換条件を決定する階調変換条件決定手段と、前記濃度変換条件と階調変換条件とにより前記濃度成分データを修正するデータ変換手段と、該修正された濃度成分データと前記色成分データとを合成するデータ合成手段とを有し、前記階調変換条件決定手段は、前記濃度変換条件に基づいて前記濃度成分データが変換された際に、変換された前記濃度成分データにより表わされる画像の濃度が所定濃度よりも大きくなる場合には、予め定めた値を基準として、前記デジタル画像データの前記予め定めた値よりもハイライト側のデータを硬調化させ、前記変換された濃度成分データにより表わされる画像の濃度が所定濃度よりも小さくなる場合には、前記デジタル画像データの前記予め定めた値よりもハイライト側のデータを軟調化させるように前記階調変換条件を決定することを特徴とする。
【００１８】
また、前記濃度変換条件決定手段は、前記濃度変換条件を、前記デジタル画像データにより表わされる画像の特徴値に基づいて決定するものであることが好ましい。
前記画像の特徴値は、前記デジタル画像データの濃度の平均値、もしくは、前記デジタル画像データの各画素における、色により決定される重み係数に基づく重み付け平均値であることが好ましい。
【００１９】
また、前記階調変換条件決定手段は、前記階調変換条件を、前記デジタル画像データにより表わされる画像の最も明るい部分が、前記再生画像において白、または白に近似した濃度になるように決定することが好ましい。
前記濃度変換条件決定手段は、前記濃度変換条件を、前記デジタル画像データにより表わされる画像を表示手段に表示した際、該表示画像に基づく外部からの指示により決定するものであってもよい。
【００２０】
さらに、前記階調変換条件決定手段は、前記デジタル画像データにより表わされる画像と前記濃度変換条件及び前記階調変換条件に基づいて前記デジタル画像データを修正して得られた修正画像データにより表わされる画像との相対階調が、予め設けられた下限値以上となるように前記階調変換条件を決定するものであることが好ましい。
【００２１】
本発明において、「特徴値」としては、デジタル画像データの濃度及び色を特徴付ける値であり、デジタル画像データの平均値、デジタル画像データの各画素における色により決定される重み係数に基づく重み付け平均値、デジタル画像データから画素を間引いたラフ画像データの平均値または重み付け平均値、デジタル画像データのＲＧＢ各色信号から作成した色座標において高彩度部ほど重み係数を小さくすることにより求めた平均値、色座標上の原点や色温度軌跡（図２参照）からの距離が大きいほど重み係数を小さくすることにより求めた平均値、明度を考慮した平均値、被写体やシーンに応じて重み係数を変更した平均値、主要被写体である人物の肌、特に顔に相当する画像部分の平均値等、種々の値を採用することができる。
【００２２】
また、「主要画像部を代表する代表値」とは、上記特徴値により主要画像部を直接的、間接的または統計的に推定した値（画像データ、濃度値等）をいう。また、「代表値を基準」とするのは、「修正画像データとデジタル画像データとの関係により変換される代表値の値に影響すること」がないようにすることを意図している。
また、本発明において、濃度変換条件やデジタル画像データの「濃度」とは、再生画像の濃さを制御することが可能な値やデータである。例えば、Ｒ，Ｇ，Ｂ画像データも、３色同じ制御をすることによって再生画像の濃さを制御することができるので、そのような場合にはＲ，Ｇ，Ｂ画像データも含まれる。また、Ｒ，Ｇ，Ｂ画像データの重み付き平均値によって求められる３色平均値や、輝度、明度またはそれらに相当する値も該当する。
【００２３】
本発明に係る画像処理方法及び装置のより具体的な構成は、例えば、下記の通りである。
（１）デジタルカメラにより取得されたデジタル画像データに対し画像処理を施して処理済み画像データを得る画像処理方法であって、前記デジタル画像データにより表わされる画像を特徴付ける特徴値を求め、該特徴値に基づいて前記デジタル画像データにより表わされる出力画像の濃度／色を修正するための修正値を求め、該修正値に基づいて前記デジタル画像データを修正することにより得られる修正画像データと前記デジタル画像データとの関係を求め、該関係に基づいて前記デジタル画像データを変換して前記修正画像データを得た際に、該修正画像データにより表わされる出力画像の濃度が大きくなる場合には前記修正画像データのハイライト側のデータを硬調化させ、前記出力画像の濃度が小さくなる場合には前記修正画像データのハイライト側のデータを軟調化させるよう、前記関係を修正して前記修正画像データと前記デジタル画像データとの修正された関係を表わす変換テーブルを得、該変換テーブルに基づいて前記デジタル画像データを変換して前記処理済み画像データを得ることを特徴とする画像処理方法。
【００２４】
（２）デジタルカメラにより取得されたデジタル画像データに対し画像処理を施して処理済み画像データを得る画像処理装置であって、前記デジタル画像データにより表わされる画像を特徴付ける特徴値を求める特徴値演算手段と、前記特徴値に基づいて前記デジタル画像データにより表わされる出力画像の濃度／色を修正するための修正値を求める修正値演算手段と、前記修正値に基づいて前記デジタル画像データを修正することにより得られる修正画像データと前記デジタル画像データとの関係を求め、該関係に基づいて前記デジタル画像データを変換して前記修正画像データを得た際に、該修正画像データにより表わされる出力画像の濃度が大きくなる場合には前記修正画像データのハイライト側のデータを硬調化させ、前記出力画像の濃度が小さくなる場合には前記修正画像データのハイライト側のデータを軟調化させるよう、前記関係を修正して前記修正画像データと前記デジタル画像データとの修正された関係を表わす変換テーブルを得る変換テーブル作成手段と、該変換テーブルに基づいて前記デジタル画像データを変換して前記処理済み画像データを得る修正手段とを備えたことを特徴とする画像処理装置。
【００２５】
上記画像処理方法及び装置においては、前記処理済み画像データを、該処理済み画像データを再生する再生装置の再生目標値に基づいてさらに修正することが好ましい。
ここで、「再生装置の再生目標値に基づいて処理済み画像データを修正する」とは、デジタル画像データにおける基準値が再生装置において適正に再生できるようにするための値のことであり、例えば、基準値のＲＧＢの各信号値が（２５５，２５５，２５５）（８ビットの場合）であれば、再生目標値は白となり、基準値が白となるように修正することをいう。
【００２６】
本発明に係る画像処理方法及び装置によれば、デジタルカメラにより取得されたデジタル画像データの特徴値から、デジタル画像データにより表わされる出力画像の濃度／色を修正する修正値が自動的に求められるか、前記修正値が外部から与えられる。これに基づいて、再生画像の濃度／色が最適になるようにデジタルカメラでの露光過不足を補正し、主要画像部が一定の画像濃度、好ましい階調修正により画像が再現できるように、デジタル画像データを変換することができる。
【００２７】
従来は、上述の関係により出力画像の濃度が薄くなるようにデジタル画像データが変換される場合、出力画像のハイライト側のデータが最大値に飽和し、画像が飛んで再現することができなかった。また、出力画像の濃度が濃くなるようにデジタル画像データが変換される場合、被写体の白が白に再現されないと同時に、ハイライト側が軟調特性のまま濃度が上がって、不自然な出力画像となってしまっていた。
このため、本発明に係る画像処理方法及び装置においては、上述の関係に基づいてデジタル画像データを変換することにより得られた修正画像データにより表わされる出力画像の濃度が大きくなる場合には、修正画像データのハイライト側のデータを硬調化させ、逆に出力画像の濃度が小さくなる場合には、修正画像データのハイライト側のデータを軟調化させるよう上記関係を修正して、変換テーブルを得るようにしたものである。
【００２８】
従って、この変換テーブルによりデジタル画像データを変換することで得られる処理済み画像データは、濃度が薄くなってもハイライト側の画像が飛ぶことなく、また、濃度が濃くなっても白を白に再現できるものとなる。その結果、この処理済み画像データを再生することにより高画質の再生画像を得ることができる。なお、ここで、濃度が薄くなる／濃くなるとは、画像全体の濃度が変更されることをいう。
【００２９】
また、露出オーバー画像、露出アンダー画像に対して、それぞれハイライト側の階調を適正となるように修正することによって、デジタルカメラの露出ラチチュードを広げることができ、これにより失敗画像を減少させることができる。また、デジタル画像データの画素を間引いたり、複数の画素を合成して作成したラフ画像データから特徴値である平均値または重み付け平均値を求めることにより、特徴値を求めるための演算時間を短縮することができ、これにより画像処理を高速に行うことができる。
【００３０】
さらに、デジタル画像データにより表わされる画像における主要画像部に相当する値を基準として硬調化または軟調化を行うことにより、主要画像部付近の画像の濃度は変更されることなく処理済み画像データのハイライト部が硬調化及び軟調化される。なお、この場合、主要画像部の濃度を一定にしようとする結果、硬調化／軟調化は、主として、主要画像部を除いた背景画像の階調が変更されることになる。
【００３１】
【発明の実施の形態】
以下、添付の図面に示される好適実施例を基に、本発明の実施の形態について詳細に説明する。
【００３２】
図１は、本発明の第１の実施例に係る画像処理装置の概略構成を示すブロック図である。本実施例は、前述のデジタル画像データと修正画像データとの関係を表わす変換テーブルに基づいて、前記デジタル画像データを変換して処理済み画像データを得る方法を実現するものである。
図１に示される画像処理装置２は、デジタルカメラ１により取得されたデジタル画像データＳに対して画像処理を施すためのものである。
デジタルカメラ１は、被写体を撮影することにより取得されるデジタル画像データＳを記録媒体１Ａに記録する。
【００３３】
画像処理装置２は、記録媒体１Ａからデジタル画像データＳを読み出すための入力手段４と、後述するように、デジタル画像データＳの平均値Ｍを求める平均値演算手段５と、処理済み画像データＳ’の出力目標値ＡＩＭを決定する出力目標値決定手段６と、上記平均値演算手段５により求められた平均値Ｍ及び出力目標値決定手段６において決定された出力目標値ＡＩＭに基づいて、デジタル画像データＳを修正するための修正値Ｃを求める修正値演算手段７と、該修正値演算手段７において求められた修正値Ｃに基づいてデジタル画像データＳを変換するための第１の変換テーブル（ＬＵＴ１）を作成する第１の変換テーブル作成手段８と、上述の該第１の変換テーブル（ＬＵＴ１）を修正して第２の変換テーブル（ＬＵＴ２）を得る第２の変換テーブル作成手段９と、上述の第２の変換テーブル（ＬＵＴ２）によりデジタル画像データＳを変換して処理済み画像データＳ’を得る修正手段１０と、上記処理済み画像データＳ’をプリンタ等に出力するための画像出力手段３とからなる。
【００３４】
上述の平均値演算手段５は、デジタル画像データＳの各画素に対応するＲＧＢ画像信号を予め定めた方法によって分析し、この分析結果に基づいて選択したＲＧＢ画像信号の平均値Ｍを求めるものである。この平均値Ｍは、以下に示すように主要画像部を代表する代表値も含む。具体的には、図２に示すように、ｒ−ｇ，ｇ−ｂを軸とする色座標を設定し、この色座標における原点に近い位置の画素ほど重み付けを大きくするものである。すなわち、図２に示す色座標においては、原点に近いほど低彩度であるため、原点近傍の領域Ａ，その外側の領域Ｂ，さらに外側の領域Ｃを設定し、各領域に位置する画素に乗ずる重み係数を領域Ａから順に、１．０，０．５，０と設定し、この重み係数が乗算されたＲＧＢ画像信号の重み付け平均値Ｍを求めるものである。これにより、低彩度の信号ほど大きな重み付けがなされるため、求められた重み付け平均値Ｍは、画像の特徴を顕著に表わすものとなる。
【００３５】
なお、本実施例における重み付け平均値Ｍの演算は、これに限定されるものではなく、ｂ−ｒ，ｒ−ｇの色座標あるいはｂ−ｒ，ｇ−ｂの色座標において重み係数を設定してもよく、ＲＧＢ画像信号を彩度信号と色相信号とに分け、彩度信号と色相信号とにより色座標を設定してもよい。また、上述の重み係数を色座標の原点あるいは色座標上に設定した所望の色温度軌跡（図２参照）からの距離に比例した重み係数としてもよい。さらに、ＲＧＢ画像信号の明度を考慮し、明度が大きいほど重み係数が小さくなるようにしてもよい。
【００３６】
また、被写体やシーンに応じて重み係数を変更してもよい。例えば、夕日のシーン等においては、画像中における夕日の部分については修正を行いたくない場合が多いため、夕日の部分については重み係数を小さくするように設定する。さらに、主要被写体である人物の肌、特に顔に相当する画像部分のみの平均値を求めるようにしてもよく、さらに色を制御する平均値と濃度を制御する平均値とを、それぞれ別個に求めるようにしてもよい。なお、顔領域の抽出方法としては、例えば、特開昭５２−１５６６２４号公報に開示された肌色の検出方法、特開平４−３４６３３２号公報に開示された類似色のクラスタ画像から顔領域を検出する方法、特開平８−１２２９４４号公報に開示された形状から顔領域を検出する方法等、既知の種々の手法を用いることができる。また、重み係数を乗ずることなく、平均値Ｍを求めるようにしてもよい。
【００３７】
また、背景画像部を除去して残る画像部を主要画像部とし、主要画像部の画像データの平均値を求めるようにしてもよい。この際、ハイライト画像部、シャドー画像部における一定面積以上の中性色画像領域を背景画像領域とすればよく、さらに、画素値間の差が小さい等の条件を付加することによって、判定精度を向上させることができる。
【００３８】
さらに、画像を特徴付ける複数の画像特徴値の重み付け平均値を用いてもよく、これは、本発明の平均値を求めるための演算に含まれるものである。例えば、図３に示すように、デジタル画像データにより表わされる画像を複数の領域に分割し、各分割領域の平均値（ｍｅａｎｊ、ｊは領域の位置）を求める。ここで、重み係数をｋｊとすると、平均値Ｍ＝Σ（ｋｊ・ｍｅａｎｊ）となる。重み係数ｋｊは、望ましい出力値を得るための画像データ修正量を、目的関数、画像特徴値を説明関数として、重回帰分析により統計的に決定することができる。得られた平均値は、主要画像部濃度を推定する値である。例えば、デジタル画像データの値２５５（８ビットの場合）を白と出力する場合、推定値と１２８（主要画像部濃度を０．７とするとき）との差を修正値Ｃとして出力すればよい。
【００３９】
なお、特徴値としては、上述の平均値Ｍに限定されるものではなく、ヒストグラム、累積ヒストグラム等から得られる値であってもよい。
【００４０】
また、デジタル画像データＳの画素を一定間隔で間引いてラフ画像データを求め、このラフ画像データについての平均値Ｍを求めるようにしてもよい。このようにラフ画像データから平均値Ｍを求めることにより、通常、数百万ある画素を数万から数十万に減少させて、演算時間を大幅に短縮することができる。なお、この場合のラフ画像データとしては、複数個（例えば、５×５）の画素値の平均値を求めてこれをラフ画像データとしてもよく、さらに、これと画素を間引くことにより得られたラフ画像データとを用いて、平均値の精度を向上させるようにしてもよい。
【００４１】
さらに、平均値Ｍを対数値として求めてもよい。この場合、デジタル画像データＳの平均値を求めてから対数変換してもよく、デジタル画像データＳを対数変換してから平均値Ｍを求めるようにしてもよい。また、ラフ画像データにより平均値Ｍを求める場合も、ラフ画像データを作成してから対数変換してもよく、デジタル画像データＳを対数変換してからラフ画像データを作成するようにしてもよい。この場合、デジタル画像データＳ及び出力目標値ＡＩＭも対数値として演算が行われることになる。このように、平均値Ｍを対数値として求めることにより、データが濃度依存性を持たないリニアな特性を有するものとなり、後述するように、修正時における演算が容易なものとなる。
【００４２】
出力目標値決定手段６において決定される出力目標値ＡＩＭとしては、予め定めた一定値であってもよい。この場合、平均値Ｍが対数値である場合には、例えば０．７０に、真数値の場合は１２８のように設定すればよい。また、上述の平均値演算手段５において、重み付け平均値Ｍを求めた場合、出力目標値ＡＩＭをＲＧＢ画像信号の平均値としてもよい。さらに、出力目標値ＡＩＭを被写体やシーンに応じて変更するようにしてもよい。例えば、平均値演算のために選択した画素が非常に少ない場合、選択されなかった画素のＲＧＢ画像信号を参照して、出力目標値ＡＩＭを設定すれば、夕日、花、緑色等、他のシーンと比較して色が大きく隔たったシーンに適用することができる。また、平均値演算手段５において求められた平均値Ｍが、人物の顔に相当する値であるか、グレーであるかによって、出力目標値ＡＩＭを変更してもよい。
【００４３】
修正値演算手段７は、平均値演算手段５において求められた平均値Ｍを出力目標値決定手段６において決定した出力目標値ＡＩＭに一致するような修正値Ｃを求める。すなわち、平均値Ｍ及び出力目標値ＡＩＭが共に対数値の場合、
修正値Ｃ＝平均値Ｍ−出力目標値ＡＩＭ
により修正値Ｃを求め、平均値Ｍ及び出力目標値ＡＩＭが共に真数値の場合、
修正値Ｃ＝平均値Ｍ／出力目標値ＡＩＭ
により修正値を求める。また、
修正値Ｃ＝平均値Ｍ−（出力目標値ＡＩＭ−Ｋ）
修正値Ｃ＝Ｋ×平均値Ｍ／出力目標値ＡＩＭ
ただし、Ｋは好ましさを考慮した定数または変数
により、修正値Ｃを求めるようにしてもよい。
【００４４】
第１の変換テーブル作成手段８は、まず、修正値Ｃによりデジタル画像データＳを修正して、修正画像データを得る。ここで、デジタル画像データＳは、ＲＧＢの画像信号からなり、また、修正値もＲＧＢそれぞれに決定されることから、修正画像データもＲＧＢの画像信号からなるものであるが、ここでは、簡便のため、デジタル画像データＳ、修正値Ｃ及び修正画像データで代表させて説明することにする。なお、再生画像の濃度の修正は修正値Ｒ＝Ｇ＝Ｂのとき可能であり、色の修正は少なくとも１色の修正値が実質０の場合である。
【００４５】
第１の変換テーブル作成手段８においては、修正画像データを得た後、デジタル画像データＳと修正画像データとの対応関係を表わす第１の変換テーブル（ＬＵＴ１）を作成する。この第１の変換テーブル（ＬＵＴ１）の一例を、図４に示す。なお、第１の変換テーブル（ＬＵＴ１）は、真数値のデジタル画像データＳを真数値の修正画像データに変換するものである。図４には、デジタル画像データＳをそのまま修正画像データとする基準条件Ｃと、デジタル画像データＳの濃度を濃くする２段階の条件Ｄ，Ｅ及びデジタル画像データＳの濃度を薄くする２段階の条件Ａ，Ｂが示されているが、実際には、修正値Ｃに基づいてデジタル画像データＳと修正画像データとの関係を示す１つの変換条件が決定される。
【００４６】
ここで、変換条件Ｄ，Ｅは、例えば、オーバー露光で撮影を行うことにより得られたデジタル画像データＳを修正するための条件であり、変換条件Ａ，Ｂは、例えば、逆光シーンを撮影を行うことにより得られたデジタル画像データＳを修正するための条件である。なお、本実施例においては、デジタル画像データＳは８ビットであり、画素値の最高値を２５５とするものである。
【００４７】
第２の変換テーブル作成手段９は、第１の変換テーブル作成手段８において作成された第１の変換テーブル（ＬＵＴ１）を修正してデジタル画像データＳを処理済み修正画像データＳ’に変換するための第２の変換テーブル（ＬＵＴ２）を作成する。例えば、図４の変換条件Ａ，Ｂのように、デジタル画像データＳの濃度を薄くする条件の場合、修正画像データは大きな値（濃度が薄い）に変換されるため、画素値が２５５以下のデジタル画像データＳであっても、修正画像データは画素値２５５で飽和してしまうことから、画像が白くなってしまって再現することができない。
【００４８】
従って、図５に示すように修正画像データのハイライト画像部の全てまたは一部を線形または非線形に軟調化させることによって、デジタル画像データ２５５を処理済み画像データ２５５に一致させることができる。すなわち、デジタル画像データＳを圧縮するように変換条件を修正する。このように、ハイライト画像部を軟調化させることにより、修正画像データにおいて飽和してしまう画像部を、処理済み修正画像データＳ’においては再現することができることとなる。なお、処理済み修正画像データＳ’として大きな値になるようにデジタル画像データＳを修正するほど、より軟調化させる必要があるが、その軟調化に制限値を設けるかまたは処理済み修正画像データＳ’として大きな値に変換するほど軟調化の程度を小さくするようにしてもよい。
【００４９】
一方、図４の変換条件Ｄ、Ｅのようにデジタル画像データＳの濃度を濃くする条件の場合、修正画像データは小さな値（濃度が濃い）に変換されるため、デジタル画像データＳにおける画素値２５５付近の画像はそれよりも小さな値となって、白を白として再現することができなくなってしまう。また、ハイライト画像部をやや軟調化させてデジタル画像データＳを処理する機能を有するデジタルカメラの場合、濃度を濃くするとハイライト画像部から高濃度側の画像において軟調化された状態のまま再現されることとなり、その結果修正画像データにより表わされる画像が不自然なものとなる。これを防止するため、図６の破線に示すように修正画像データのハイライト画像部の全てまたは一部を線形または非線形に硬調化させるよう、すなわち、デジタル画像データＳを伸張するように変換条件を修正する。
【００５０】
このように、ハイライト画像部を硬調化させることにより、処理済み画像データＳ’を再生することにより得られる画像において、白を白として再生することができる。また、ハイライト部を硬調化させることにより、従来濃度修正が困難であったオーバー画像であっても適切な画像として再現することができる。なお、処理済み画像データＳ’として小さな値となるようにデジタル画像データＳを修正するほど、より硬調化させる必要があるが、その硬調化に制限値を設けるか、または、処理済み画像データＳ’として小さな値に変換するほど硬調化の程度を小さくするようにしてもよい。
【００５１】
上記説明中では、第１の変換テーブル作成手段８と第２の変換テーブル作成手段９は別々の手段に分かれているが、何ら分ける必要はなく、同じ変換テーブル作成手段の中で作成してもよい。本画像処理で用いるのは第２の変換テーブルであって、第１の変換テーブルは第２の変換テーブルを求めるために用いているにすぎない。本発明では、濃度変換条件を決定してから階調変換条件を定めるため、説明の便宜上分けて説明しているものである。
上記第１の変換テーブル（ＬＵＴ１）の修正の程度は、予め定められた１つまたは複数の基本階調変換カーブに従って求めるようにしてもよい。また、階調変換カーブに近似した関数を用いて、演算により修正の程度を求めるようにしてもよい。また、演算を簡便なものとするために、図７に示すように線形的に修正するようにしてもよい。さらに、シーンや特徴量に応じて修正の程度を変更するようにしてもよい。また、第２の変換テーブル（ＬＵＴ２）として，デジタル画像データＳの濃度を変換するテーブルと階調を変換するテーブルとを別個に設けるようにしてもよい。また、デジタル画像データＳを濃度成分データと色成分データとに分離し、濃度成分データを第２の変換テーブル（ＬＵＴ２）により修正した後、修正濃度成分データと色成分データとを合成するようにしてもよい。
【００５２】
また、第１の変換テーブル（ＬＵＴ１）における変換条件の修正を開始する点（以下、ブレイクポイントという）は、予め定めた値であっても変換条件の勾配に応じて予め定めておいてもよく、カメラ種、被写体シーン、画像の状況などに応じて適宜変更してもよい。また、第２の変換テーブル（ＬＵＴ２）においてデジタル画像データＳの画素値２５５の点と処理済み画像データＳ’の画素値２５５の点とを必ずしも合致させる必要はなく、例えば、デジタル画像データＳのヒストグラムにおける最大値から０．３％、１．０％の点や、累積ヒストグラムにおける９９．０％、９９．７％の点であってもよい。
【００５３】
修正手段１０は、第２の変換テーブル作成手段９において作成された第２の変換テーブル（ＬＵＴ２）によりデジタル画像データＳを変換して処理済み画像データＳ’を得る。このように、第２の変換テーブル（ＬＵＴ２）によりデジタル画像データＳを変換することにより、処理済み画像データＳ’を再生することにより得られる画像の濃度を適正なものにすることができると共に、ハイライト部においても画像の消失や不自然さのない再生画像を得ることができる。
【００５４】
画像出力手段３は、ＣＲＴやプリンタ等の再生装置の再生目標値に基づいて、処理済み画像データＳ’を予め定めた出力濃度で再生できるように、処理済み画像データＳ’を修正するものである。すなわち、デジタルカメラ１において得られたデジタル画像データＳは、カメラ機種、ＡＷＢやＡＥ制御、被写体シーンにかかわらず、被写体中のグレーが所定のグレーのデータになるよう処理済み画像データＳ’として修正され、画像出力手段３において再生装置の特性を考慮して、グレーのデータがグレーの画像として再現されるように出力画像データＳ”に修正する。このため、処理済み画像データＳ’の基準値を所定の出力濃度（再生目標値）となるように、例えば、ＬＵＴを用いて最終的な出力画像データＳ”に変換する。
【００５５】
ここで、処理済み画像データＳ’の基準値を所定出力濃度となるように変換する方法としては，２つの方法を用いることができる。第１の方法は、処理済み画像データＳ’により表わされる画像が取り得る最大値（例えば、８ビットの場合ＲＧＢの各画像信号値が２５５）を基準値とし、この基準値が白となるように変換する方法である。このように、ＲＧＢの各画像信号値の最大値（２５５、２５５、２５５）が白となるように処理済み画像データＳ’を変換することにより、グレーの被写体をグレーに再現できる。
【００５６】
第２の方法は、基準値を処理済み画像データＳ’の平均値とし、この平均値を例えば、出力濃度０．７０（対数値の場合、真数値の場合は１２８）となるように変換する方法である。この方法によっても、出力画像データＳ”を再生することにより、グレーの被写体をグレーに再現することができる。
なお、一層高画質の再生画像を得るために、画像出力手段３において、処理済み画像データＳ’に対して色修正のためのマトリクス演算を施すようにしてもよい。
【００５７】
次いで、本実施例の動作について説明する。
まず、デジタルカメラ１により被写体を撮像してデジタル画像データＳを取得し、このデジタル画像データＳを記録媒体１Ａに記録する。画像処理装置２の入力手段４は、記録媒体１Ａからデジタル画像データＳを読み出し、このデジタル画像データＳを平均値演算手段５、第１の変換テーブル作成手段８及び修正手段１０に入力する。平均値演算手段５においては、上に述べたようにデジタル画像データＳの平均値または重み付け平均値Ｍ（以下、単に平均値Ｍという）が求められる。一方、出力目標値決定手段６においては、出力目標値ＡＩＭが決定される。平均値Ｍ及び出力目標値ＡＩＭは修正値演算手段７に入力され、ここで上述したように修正値Ｃが求められる。
【００５８】
修正値Ｃは第１の変換テーブル作成手段８に入力され、この修正値Ｃに基づいて前述のように第１の変換テーブル（ＬＵＴ１）が作成される。さらに第１の変換テーブル（ＬＵＴ１）は、第２の変換テーブル作成手段９において上述のように修正されて、第２の変換テーブル（ＬＵＴ２）が作成される。
第２の変換テーブル（ＬＵＴ２）は修正手段１０に入力され、デジタル画像データＳが第２の変換テーブル（ＬＵＴ２）により変換された処理済み画像データＳ’が得られる。処理済み画像データＳ’は画像出力手段３において、基準値が所定の濃度となるように修正されて最終的な出力画像データＳ”が得られる。出力画像データＳ”はプリンタやＣＲＴなどの再生装置に入力されて，可視像として再生される。
【００５９】
このように、本実施例においては、第１の変換テーブル（ＬＵＴ１）によりデジタル画像データＳを変換することにより得られた修正画像データにより表わされる出力画像の濃度が大きくなる場合には、修正画像データのハイライト側のデータを硬調化させ、逆に出力画像の濃度が小さくなる場合には、修正画像データのハイライト側のデータを軟調化させるよう、第１の変換テーブル（ＬＵＴ１）を修正して第２の変換テーブル（ＬＵＴ２）を得るようにしたため、この第２の変換テーブル（ＬＵＴ２）によりデジタル画像データＳを変換することにより得られる処理済み画像データＳ’は、色が薄くなってもハイライト側が飽和することなく、また、色が濃くなってもハイライト側において白を白に再現できるものとなる。そして、この処理済み画像データＳ’を再生することにより、高画質の再生画像を得ることができる。
【００６０】
なお、上記実施例においては、出力目標決定手段６により、出力目標値ＡＩＭを決定しているが、出力目標値ＡＩＭは通常一定値であるため、出力目標値を得るための演算条件、例えば、演算式や演算方法は、予め定めておくことができるものである。このように演算式や演算方法を予め定めておくことにより、出力目標値決定手段６は不要となることから、本発明は出力目標値決定手段６を備えたものに限定されるものではない。
【００６１】
また、本実施例においては、第２の変換テーブル（ＬＵＴ２）によりデジタル画像データＳを変換しているため、１画素ごとに修正を行うものと比較して演算時間を短縮することができる。すなわち、各画素の演算を行うと画素数（数十〜数百万）分の演算が必要であるが、テーブルを求めるための演算は、デジタル画像データＳが８ビットのデータである場合、２５６×３回の演算で済むため、演算量を大幅に低減して高速演算を行うことができる。
【００６２】
次いで、本発明の他の実施例について説明する。本実施例は、第２の変換テーブル（ＬＵＴ２）を前記実施例において求められた平均値Ｍ、すなわち特徴値や主要画像部の代表値により変換するものである。図８は、本実施例における第２の変換テーブル（ＬＵＴ２）を示す図である。図８に示す４つの変換条件は、デジタル画像データＳの特徴値を、処理済み画像データＳ’における値Ａとなるように変換すると共に、この値Ａを基準として第１の変換テーブル（ＬＵＴ１）を修正することにより得られるものである。デジタル画像データＳの特徴値がＰ２，Ｐ１となる場合は値Ａが特徴値よりも小さいため、処理済み画像データＳ’において濃度が濃くなるように、デジタル画像データＳは修正される。
【００６３】
濃度を修正することにより、図８の破線で示すように処理済み画像データＳ’は２５５よりも小さな値にしか変換されず、処理済み画像データＳ’を再生することにより得られる画像は、被写体の白が白に再現されないと同時に、ハイライト側が軟調特性のまま濃度が上がってしまうという不自然な出力画像となってしまう。従って、このような処理済み画像データＳ’の飽和を防止するために、図８の実線に示すように、処理済み画像データＳ’のハイライト画像部の全てまたは一部を線形または非線形に硬調化させるよう、すなわち、デジタル画像データＳを圧縮するように変換条件を修正する。このように、ハイライト画像部を硬調化させることにより、処理済み画像データＳ’において白を白と再現できないハイライト画像部を修正して白として再現することができる。また、特徴値については所望する値Ａとなるように変換されることとなる。所望する値Ａは、処理済み画像データの主要部の値に相当し、この値は予め定めておくことができる。すなわち、Ｐ１，Ｐ２は、予め定めた値Ａから決定してもよい。
【００６４】
一方、デジタル画像データＳの特徴値がＰＡ，ＰＢとなる場合は、特徴値が値Ａよりも小さいため、処理済みデジタル画像データＳ’において濃度が薄くなるようにデジタル画像データＳは修正される。しかしながら、濃度を修正することにより、図８の破線で示すように画像データが２５５以下で、出力画像のハイライト側のデータが２５５になって飽和してしまい、ハイライト部の画像が飛んで再現することができない。従って、図８の実線に示すように処理済み画像データＳ’のハイライト画像部の全てまたは一部を線形または非線型に軟調化させるよう、すなわち、デジタル画像データＳを伸張するように変換条件を修正する。このようにハイライト画像部を軟調化させることにより、処理済み画像データＳ’を再生することにより得られる画像において、ハイライト画像部が飛ぶことなく再生することができる。
【００６５】
このように、ハイライト画像部を硬調化させることにより、従来濃度修正が困難であったオーバー露出画像であっても、適切な画像として再生することができる。なお、処理済み画像データＳ’として、大きな値となるようにデジタル画像データＳを修正するほど、より硬調化させる必要があるが、その硬調化に制限値を設けるか、または処理済み画像データＳ’として小さな値に変換するほどに、硬調化の程度を小さくするようにしてもよい。
【００６６】
なお、特徴値Ｐ２のように値Ａとの差が大きい場合、変換条件を修正するには限界があり、この限界を超えると処理済み画像データＳ’により表わされる画像に偽輪郭等が発生するおそれがある。また、白と白に類似するハイライト画像を区別するための情報が不足している。このため、処理済み画像データＳ’の値を必ずしも２５５に変換するように変換条件を修正する必要はなく、図９に示すように２５５より小さい値を最大基準値に設定することが好ましい。
【００６７】
また、特徴値ＰＢについても値Ａとの差が大きいため、変換条件を修正するための限界があり、この限界を超えると顔のハイライト部などが軟調化し過ぎるおそれがある。このため、図９に示すように軟調化の程度を小さくすることが好ましい。
【００６８】
図１０に、本発明の第３の実施例に係る画像処理装置のブロック図を示す。図１０中、１はデジタルカメラ、２０は画像処理装置、４は記録媒体１Ａからデジタル画像データＳを読み出すための入力手段を示している。
また、２１はデジタル画像データＳの画素を間引いてラフ画像データＲＳを作成するラフ画像データ作成手段、２２はデジタル画像データＳにより表わされる画像からのプリント画像を濃くしたり薄くしたりする条件を決定する濃度変換条件決定手段、２３は上述の濃度変換条件決定手段２２により決定された濃度変換条件（例えば、第１の実施例における画像データＲ，Ｇ，Ｂに共通に用いる修正値Ｃ、図４に示される変換条件）に基づき、階調（特に、ハイライト部の階調）を制御する階調変換条件決定手段を示している。
【００６９】
階調変換条件決定手段２３は、階調変換条件の決定方法を記憶しておき、濃度変換条件に基づき階調変換条件を定める。階調変換条件は、画像データの大きさによって階調を変化させ、その階調の上限、下限を定め、それ以上、またはそれ以下では、一定階調にする等の階調の変化のさせ方を決定する。
２４は変換条件作成手段である。この変換条件作成手段２４は、入力される画像データと、出力される修正画像データとの関係を定めた画像データ変換カーブ及び／または変換テーブル（実施例１のＬＵＴ２）を作成する。なお、前述の濃度変換条件決定手段２２は、自動的に決定する手段であっても、手動的に濃度制御量を入力する手段、すなわち、キーやマウス等の入力手段であってもよい。
【００７０】
２５は画像データ変換手段であり、画像データ入力手段４からの画像データを入力値とし、変換条件作成手段２４で作成された変換テーブルにより、修正画像データを得る。画像出力手段３は、デジタル画像データＳの基準値を、所定の出力濃度になるよう画像出力信号に変換する、ＬＵＴ（ルックアップテーブル）を用いる変換手段である。
【００７１】
以下、前述の濃度変換条件決定手段２２において、濃度制御条件を自動的に決定する場合を例として、本実施例の動作を説明する。
画像特徴値の作成では、先の実施例に示したように、主要画像部を代表する代表値、例えば、主要被写体である人物の肌、特に顔に相当する画像部の平均値が求められる。また、背景画像部を除去することで、残る画像部を主要画像領域とし、この主要画像領域の画像データの平均値が用いられる。
【００７２】
例えば、図３に示すように、デジタル画像データにより表わされる画像を複数の領域に分割し、各分割領域、または選択した領域（例えば、中央部と周辺部）から定めた複数の領域の画像特徴値（Ｘｊ）、例えば、平均値、最大値、最小値等をを求める。ここで、ｊは画像特徴値の種類を示す記号である。これらの画像特徴値の線形結合、例えば、ｋｊを重み係数とするＹ（＝Σ（ｋｊ・Ｘｊ））なる合成特徴値を得る。
なお、特徴値としては、上述の平均値、最大値、最小値等に限定されるものではなく、ヒストグラム、累積ヒストグラム等から得られる値であってもよいことは、前述の通りである。
【００７３】
画像特徴値による濃度変換条件は、上述の画像特徴値の１つまたは複数に対し、統計的に適切な重み係数を与えて求める。望ましい出力画像を得るための画像データ修正量、すなわち、デジタルカメラの画像から無修正で得たプリント濃度を適正濃度にするための修正量を目的変数、上記画像特徴値を説明変数として重回帰分析により統計的に決定することができる。上述の重み係数は、濃度変換条件を求める重み係数と合わせて同時に決定する。上記濃度変換条件は、望ましい出力画像データ（これから、望ましいプリント濃度が得られる）になるように単独、または複数の画像特徴値から求めた値による画像データ修正値である。上記単独、または複数の画像特徴値から得られる値は、主要画像部のデータ値に相当し、この値による修正画像データからのプリント画像は、主要画像部濃度が一定となっている。
【００７４】
階調変換条件決定手段２３では、濃度変換条件決定手段２２で決定された濃度変換条件に基づいて定めた方法、または予め定めた方法により、階調を変換する条件を決定する。例えば、開始点とハイエスト点（最大値、ヒストグラム上の最大基準点）のデータ値、開始点からハイエスト点までの階調変化等を定める。
被写体シーンや露出レベルによってこれらを変更するようにしてもよい。
また、開始点からハイエスト点までをつなぐ相対階調プロファイルを、採り得る最大階調（例えば、４．０），最小階調（例えば、０．３）を定めて判定し、限界値以上、または以下は一定とする。
【００７５】
図１１に、具体的な相対階調プロファイルの一例を示す。横軸は相対階調を表わし、階調の修正がない状態を相対階調１．０とする。縦軸はＤＳＣの濃度修正後の画像データであり、この画像データの大きさによって相対階調を修正することを図１１は表わしている。
図１１に示す相対階調のプロファイル例では、中濃度域までは階調値は１．０であり、データがより大きくなるに従って階調値を小さくしていっている。ただし、階調値の下限は０．３でクリップされており、デジタルカメラからの画像データはこの範囲で階調変換される。なお、相対階調プロファイルは、直線的である必要はなく、非線型でもよいことはいうまでもない。
図１２に、図１１に示した相対階調プロファイルに対応するデータ変換曲線を示す。
【００７６】
階調プロファイルや階調変換条件は、上記ハイエスト点で白、または白に近い値になるように濃度変換条件との関係を定めておき、濃度変換条件によって補間等で階調プロファイルや階調変換条件を求めてもよい。例えば、階調プロファイルを図１１に示した曲線として記憶し、階調変換条件は数式，判定式等で表わした条件式とパラメータで表わす。
上述の下限値０．３は、画像が軟調になりすぎないようにするためのものである。また、濃度変換条件が大きい（例えば、修正値Ｃの値が大きい）場合には、白にする曲線は得られず、より白に近い値にとどめることになる。
【００７７】
図１２に示したようなデータ変換曲線や階調変換の条件は、予め定めた１つまたは複数の基本曲線に従い、内挿、外挿または重み付けにより求めてもよい。また、曲線に近似した関数を用い、演算して曲線を求めるようにしてもよい。さらにまた、シーンや画像特徴値によって、内挿、外挿または重み付け、関数近似のパラメータ、勾配を変更してもよい。
上記変換条件は、濃度変換条件を求める変換テーブルと、階調変換条件を求める変換テーブルとを１つにした変換テーブルによることもできる。また、濃度変換条件を求める変換テーブルを定め、階調を変換するための修正を行なっても、別々の変換テーブルを求め、それぞれを用いるようにしてもよい。
【００７８】
図１３に、本実施例に係る画像処理装置の動作フローチャートを示す。以下、本実施例に係る画像処理装置の動作を説明する。
まず、画像データ入力手段４により、デジタルカメラの記録媒体からのデジタル画像データＳが入力され（ステップ５１）、次いで、図示されていない画像伸張／フォーマット変換手段において、デジタル画像データＳの伸張及びフォーマット変換が行われ（ステップ５２）、処理されたデータは図示されていない画像メモリに記録される。
【００７９】
ラフ画像データ作成手段２１では、上述のデジタル画像データＳを読み出し、これから画素を間引いてラフ画像データＲＳを作成し（ステップ５３）、濃度変換条件決定手段２２に入力する。このラフ画像データＲＳは、オートセットアップ処理に用いられる（ステップ５４）。オートセットアップ処理が終了すると、表示手段への画像の表示が行われる（ステップ５５）。オペレータは、この表示画像を観察し、必要に応じて、マニュアル修正条件を入力する（ステップ５６）ことができる。なお、画素を間引く方法の代わりに、画素の平均化を行うことで画素数を減らす方法も利用可能である。さらに、これらの、画素の平均化と画素を間引く方法とを組み合わせる方法も有効である。
【００８０】
濃度変換条件決定手段２２では、オートセットアップ処理で決定された濃度の修正量、またはオペレータから指示された濃度の修正量を、予め定められた変換方法に基づいて濃度変換条件に変換し（ステップ５７）、階調変換条件決定手段２３に入力する。階調変換条件決定手段２３では、入力された濃度変換条件に基づいて予め定められた方法により階調変換条件を定める（ステップ５８）。
変換条件作成手段２４では、濃度変換条件決定手段２２と階調変換条件決定手段２３から入力される変換条件から、入力される画像データと出力される修正画像データとの関係を定めた画像データ変換カーブ及び／または変換テーブル（実施例１のＬＵＴ２）を作成する。
【００８１】
画像データ変換手段２５では、画像データ入力手段４からの画像データを入力値とし、変換条件作成手段２４で作成された画像データ変換カーブ及び／または変換テーブルにより、修正画像データＳ’を得る。画像出力手段３では、修正画像データＳ’に、出力手段に適合する処理が施され、出力画像データＳ”が得られる（ステップ５９）。
本実施例においては、濃度変換条件と、これに基づく階調変換条件とから、修正画像データを得るようにしたので、デジタルカメラでの露光の過不足を補正し、一定の画像濃度、好ましい階調表現により画像が再現できる。
【００８２】
図１４に、本発明のさらに他の実施例に係る画像処理装置２０Ａのブロック構成図を示す。図１０に示した実施例との差異は、入力画像データを濃度成分と色成分とに分離して処理を行うようにした点にある。すなわち、本実施例に係る画像処理装置２０Ａにおいては、濃度／色成分データ変換部３１で、入力画像データを濃度成分と色成分とに分離する。その後の処理は、おおむね、図１０に示した実施例と同様であり、修正された画像データＳ’と先に分離した色成分データとを、 濃度／色成分データ合成部３２で合成するものである。
【００８３】
すなわち、本実施例においては、画像データを、濃度成分データと色成分データとに変換し、濃度成分データに対して濃度補正とこれに基づく階調補正を行い、その後、両データを合成している。これにより、濃度修正や階調修正を行っても、修正前後でプリントの色の変化がない。
デジタルカメラの画像データを、濃度成分データと色成分データとに変換する方法は、公知の方法を用い得る。濃度成分データの代わりに、輝度成分データ（Ｙ＝０．３０Ｒ＋０．５９Ｇ＋０．１１Ｂ）や色彩学上の明度に変換したデータ（Ｌ ＊ やＹ）を用いてもよい。
なお、濃度（輝度）成分データと明度成分データとは、同等に扱うことができる。また、色成分データとして、色彩学上の彩度と色相、Ｒ−Ｇ，Ｂ−Ｇや、Ｒ−ｋ，Ｇ−ｋ，Ｂ−ｋ等をも用いることができる。
【００８４】
本実施例においては、濃度変換条件と、これに基づく階調変換条件とから、修正画像データを得る処理を、濃度（輝度）と色を分離して行う形で実施しながら、かつ、デジタルカメラでの露光の過不足を補正し、一定の画像濃度、好ましい階調表現による画像を再現可能としている。
【００８５】
なお、上記各実施例においては、デジタルカメラ１と別個に画像処理装置２または２０，２０Ａを設けているが、デジタルカメラ１に画像処理装置２または２０，２０Ａを設けるようにしてもよい。
【００８６】
【発明の効果】
本発明の画像処理方法及び装置によれば、デジタル画像データの濃度を自動的、手動的に修正して、再生画像の濃度／階調が最適になるようにしたことにより、高品質の画像を得ることが可能になり、デジタルカメラでの露光不足を補正し、一定の画像濃度として再現できるようにデジタル画像データを変換することができる。
【００８７】
より詳細には、デジタルカメラ画像から得られるプリントのプリント濃度を薄くしても、濃度修正量に基づくハイライト部の階調修正により、撮像されたハイライト画像の大部分をプリント画像として再現することができる。すなわち、従来は、プリント濃度を薄くするように画像データを補正すると、背景等のハイライトの再現が失われるが、このような問題は解消される。
また、デジタルカメラ画像から得られるプリントのプリント濃度を濃くしても、濃度修正量に基づくハイライト部の階調修正により、撮像されたハイライト画像を、好ましい色／濃度のプリント画像として再現することができる。なお、デジタルカメラ画像の濃度を自動補正後、手動修正しても、高品質のプリントを得ることができる。
【００８８】
また、露出オーバー画像、露出アンダー画像に対して、それぞれハイライト側の階調を適正となるように修正することによって、デジタルカメラの露出ラチチュードを広げることができ、これにより失敗画像を減少させることができる。
さらに、特徴値をデジタル画像データにより表わされる画像における主要画像部を代表する代表値として求め、変換テーブルを得る際に代表値を基準として硬調化または軟調化を行うことにより、代表値により表わされる画像の濃度は変更されることなく処理済み画像データのハイライト部が硬調化及び軟調化されるため、主要画像部の濃度を硬調化及び軟調化の程度にかかわらず所望とする値となるように修正することができる。
【図面の簡単な説明】
【図１】 本発明の一実施例に係る画像処理装置を内包する画像再生システムの構成を示すブロック図である。
【図２】 色座標を示す図である。
【図３】 デジタル画像データにより表わされる画像を複数の領域に分割した状態を示す図である。
【図４】 第１の変換テーブルの一例を示す図である。
【図５】 第２の変換テーブルの一例を示す図である。
【図６】 第２の変換テーブルの他の例を示す図である。
【図７】 第２の変換テーブルのさらに他の例を示す図である。
【図８】 他の実施例における第２の変換テーブルの一例を示す図（その１）である。
【図９】 他の実施例における第２の変換テーブルの一例を示す図（その２）である。
【図１０】 本発明の他の実施例に係る画像処理装置を内包する画像再生システムの構成を示すブロック図である。
【図１１】 図１０に示した実施例に係る画像処理装置において用いられる、相対階調プロファイルの一例を示す図である。
【図１２】 図１１に示した相対階調プロファイルに対応するデータ変換曲線を示す図である。
【図１３】 図１０に示した実施例に係る画像処理装置の動作フローチャートである。
【図１４】 本発明のさらに他の実施例にかかる画像処理装置を内包する画像再生システムの構成を示すブロック図である。
【符号の説明】
１ デジタルカメラ
２ 画像処理装置
３ 画像出力手段
４ 入力手段
５ 平均値演算手段
６ 出力目標値決定手段
７ 修正値演算手段
８ 第１の変換テーブル作成手段
９ 第２の変換テーブル作成手段
１０ 修正手段
２０，２０Ａ 画像処理装置
２１ ラフ画像データ作成手段
２２ 濃度変換条件決定手段
２３ 階調変換条件決定手段
２４ 変換条件作成手段
２５ 画像データ変換手段
３１ 濃度／色成分データ変換部
３２ 濃度／色成分データ合成部
Ｓ デジタル画像データ
Ｓ’ 処理済み画像データ
Ｓ” 出力画像データ
Ｃ 修正値
ＬＵＴ１ 第１の変換テーブル
ＬＵＴ２ 第２の変換テーブル
【発明の属する技術分野】
本発明は、デジタル電子スチルカメラ（以下、デジタルカメラという）により得られるデジタル画像データに対して画像処理を施す画像処理方法及び装置に関する。
【０００２】
【従来の技術】
デジタルカメラにおいては、撮像により取得した画像を、デジタル画像データ（被写体輝度に対応した値であって、通常、白が２５５、黒が０）としてデジタルカメラ内部に設けられた内部メモリやＩＣカード等の記録媒体に記録し、記録されたデジタル画像データに基づいて、プリンタやモニタに撮影画像を出力することができる。デジタルカメラにより取得した画像をプリントする場合においては、ネガフィルムからプリントされた写真と同様の高品位な画質を有することが期待される。
【０００３】
このため、デジタルカメラは、オートホワイトバランス（ＡＷＢ）機能、オート露出制御（ＡＥ）機能、さらには、画像処理機能を有する。ＡＷＢ機能としては、撮像した色信号の平均値から求めた２つの色差信号が０となるように制御する手法が、例えば、特開昭６０−２０９９３号公報、特開平３−１９８４８４号公報等に、ビデオカメラ用のものとして開示されている。また、ＡＥ機能としては、撮像した全エリアの輝度信号の平均値と選択したエリアの輝度信号の平均値とを比較することにより露出を制御する手法が、例えば、特開平７−７５００６号公報に開示されている。
【０００４】
一方、従来から、カラー原画像を読み取ってデジタル画像データに変換し、このデジタル画像データから最大基準濃度、最小基準濃度、ヒストグラム等の画像特徴値を求め、この特徴値に基づいてデジタル画像データを適正な階調、濃度、色となるように修正する方法が知られている（例えば、特開昭５６−８７０４４号公報参照）。また、カラー原画像をプレスキャンすることによって得られたデジタル画像データの濃度信号から、原画像を忠実に再現するための変換テーブル（ＬＵＴ）を作成し、本スキャンによって得られたデジタル画像データを、このＬＵＴにより変換して、デジタル画像データの修正を行う方法も提案されている（例えば、特開平６−１５２９６２号公報参照）。
【０００５】
さらに、ネガフィルム画像をデジタル画像データに変換して、デジタルプリントを作成する方法も提案されている（例えば、特開昭６０−１４５７０号公報参照）。この方法は、ネガフィルムをプレスキャンして、光強度を表わすラフ画像データを作成し、このラフ画像データを対数変換して濃度データを得て、この濃度データを第１のＬＵＴにより適正な色、濃度が得られるような画像データに変換し、さらに、この変換された画像データを、第２のＬＵＴによりポジ画像データに変換すると共に、画像データを複写する複写装置と複写材料（感光材料）の特性を考慮して修正するものである。
ネガフィルム画像は、撮影により、極端な露出オーバー、露出アンダーな場合を除いて、被写体の全てが画像として記録されている。そのため、ネガフィルム画像からのデジタルプリントは、ネガフィルム画像をフルに、または任意に画像再現に利用することができる。
【０００６】
【発明が解決しようとする課題】
上述のように、デジタルカメラは、ＡＷＢ機能、ＡＥ機能、さらには画像処理機能を有し、これにより取得されたデジタル画像データには、上述のように既に画像処理が施されているため、そのままプリンタ等の複写装置に入力して画像を再生することができる。しかしながら、ＡＷＢ機能やＡＥ機能は、デジタルカメラの機種により性能が異なったり、その機能が付加されていない場合もあるため、各種のデジタルカメラの画像を出力する複写装置において、常に一定の品質のプリント画像を得ることはできなかった。
【０００７】
これに対しては、例えば、上述の特開平６−１５２９６２号公報等に開示されたように、デジタル画像データを修正することが考えられる。しかしながら、デジタルカメラにより取得されたデジタル画像データは、適正条件で撮像されたものであるという保証はなく、さらには、シャドー画像部においてノイズが多く、画像情報が粗いため、前述の従来の手法のように、印刷原稿として撮影された原画像あるいはネガフィルムを読み取ることにより得られたデジタル画像データを修正する方法をそのまま適用しても、高画質の画像を再生することができなかった。
【０００８】
このため、デジタルカメラにより取得されたデジタル画像データのヒストグラムを作成し、このヒストグラムの最小値、最大値（すなわち、画像中のシャドー点、ハイライト点）及びメディアン値を求め、最小値と最大値とからグレーバランスを求めると共に、最小値とメディアン値とからガンマ曲線を求めて、デジタル画像データを変換するようにした方法（例えば、特開平９−１２１３６１号公報参照）や、デジタルカメラにより取得されたデジタル画像データの画素毎の明るさと色味とから有効画素を求め、有効画素の平均濃度値の累積ヒストグラムから画像中のハイライト点及びシャドー点を設定して、ＣＲＴやＣＤ−ＲＯＭ等の記録媒体に出力するようにした方法（例えば、特開平９−２３８２５７号公報参照）が、提案されている。
【０００９】
しかしながら、これらの方法は、画像のハイライト点及びシャドー点によりデジタル画像データ全体の階調と色を修正するものであり、デジタル画像データは適正な露出によって主要画像部が適正な値を有していることが前提となっている。実際のデジタルカメラでは、露出オーバーや露出アンダー、ストロボ調光ミス等、適正でない露出により画像データが形成されたものも多く、出力画像の濃度修正は非常に重要である。
【００１０】
本発明は、上記事情に鑑みてなされたものであり、デジタルカメラにより取得されたデジタル画像データの濃度を自動的, 手動的に修正して、高品質の画像を得ることを可能とする画像処理方法及び装置を提供することを目的とするものである。
本発明の他の目的は、撮影時の露出の異なるデジタルカメラの画像データや、主要画像部が適正な値でないデジタル画像データからも、濃度を自動的, 手動的に修正して、高品質の画像を得ることを可能とする画像処理方法及び装置を提供することにある。
【００１１】
【課題を解決するための手段】
上記目的を達成するため、本発明に係る画像処理方法は、デジタルカメラにより取得されたデジタル画像データに対し画像処理を施して再生画像を作成する画像処理方法であって、前記デジタル画像データにより表わされる画像に対して、まず、前記画像の全体の濃度を修正するための濃度変換条件を決定し、次いで、前記濃度変換条件に基づいて前記デジタル画像データにより表わされる画像の所定濃度域の階調を制御する階調変換条件を決定し、前記階調変換条件は、前記濃度変換条件に基づいて前記デジタル画像データを変換した際に、変換した前記デジタル画像データにより表わされる画像の濃度が所定濃度よりも大きくなる場合には、予め定めた値を基準として、前記デジタル画像データの前記予め定めた値よりもハイライト側のデータを硬調化させ、前記変換したデジタル画像データにより表わされる画像の濃度が所定濃度よりも小さくなる場合には、前記デジタル画像データの前記予め定めた値よりもハイライト側のデータを軟調化させるように決定されるものであり、前記濃度変換条件及び前記階調変換条件に基づいて前記デジタル画像データを修正して、前記再生画像を作成することを特徴とする。
【００１２】
また、本発明に係る画像処理方法は、デジタルカメラにより取得されたデジタル画像データに対し画像処理を施して再生画像を作成する画像処理方法であって、前記デジタル画像データを濃度成分データと色成分データとに分け、前記再生画像の全体の濃度を修正するように前記濃度成分データを変換する濃度変換条件を決定すると共に、該濃度変換条件に基づいて前記デジタル画像データの所定濃度域の階調を制御する階調変換条件を決定し、前記階調変換条件は、前記濃度変換条件に基づいて前記濃度成分データを変換した際に、変換した前記濃度成分データにより表わされる画像の濃度が所定濃度よりも大きくなる場合には、予め定めた値を基準として、前記デジタル画像データの前記予め定めた値よりもハイライト側のデータを硬調化させ、前記変換した濃度成分データにより表わされる画像の濃度が所定濃度よりも小さくなる場合には、前記デジタル画像データの前記予め定めた値よりもハイライト側のデータを軟調化させるように決定されるものであり、前記濃度変換条件と前記階調変換条件とにより前記濃度成分データを修正し、修正された濃度成分データと前記色成分データとを合成することにより、前記再生画像を得るための画像データを作成することを特徴とする。
【００１３】
前記濃度変換条件は、前記デジタル画像データにより表わされる画像の特徴値に基づいて決定されるものであることが好ましい。
また、前記画像の特徴値は、前記デジタル画像データの濃度の平均値、もしくは、前記デジタル画像データの各画素における、色により決定される重み係数に基づく重み付け平均値であることが好ましい。
【００１４】
また、前記階調変換条件は、前記デジタル画像データにより表わされる画像の最も明るい部分が、前記再生画像において白、または白に近似した濃度になるように決定されることが好ましい。
前記濃度変換条件は、前記デジタル画像データにより表わされる画像を表示手段に表示した際、該表示画像に基づく外部からの指示により決定されるものであってもよい。
【００１５】
また、前記階調変換条件の決定において、前記デジタル画像データにより表わされる画像と前記濃度変換条件及び前記階調変換条件に基づいて前記デジタル画像データを修正して得られた修正画像データにより表わされる画像との相対階調に下限値を設けることが好ましい。
【００１６】
一方、本発明に係る画像処理装置は、デジタルカメラにより取得されたデジタル画像データに対し画像処理を施して再生画像を作成する画像処理装置であって、前記デジタル画像データにより表わされる画像に対して、前記画像の全体の濃度を修正するための濃度変換条件を決定する濃度変換条件決定手段と、前記濃度変換条件に基づいて前記デジタル画像データにより表わされる画像の所定濃度域の階調を制御する階調変換条件を決定する階調変換条件決定手段と、前記濃度変換条件及び前記階調変換条件に基づいて前記デジタル画像データを修正して、前記再生画像を作成する画像データ変換手段とを有し、前記階調変換条件決定手段は、前記濃度変換条件に基づいて前記デジタル画像データが変換された際に、変換された前記デジタル画像データにより表わされる画像の濃度が所定濃度よりも大きくなる場合には、予め定めた値を基準として、前記デジタル画像データの前記予め定めた値よりもハイライト側のデータを硬調化させ、前記変換されたデジタル画像データにより表わされる画像の濃度が所定濃度よりも小さくなる場合には、前記デジタル画像データの前記予め定めた値よりもハイライト側のデータを軟調化させるように前記階調変換条件を決定することを特徴とする。
【００１７】
また、本発明に係る画像処理装置は、デジタルカメラにより取得されたデジタル画像データに対し画像処理を施して再生画像を作成する画像処理装置であって、前記デジタル画像データを濃度成分データと色成分データとに分けるデータ分割手段と、前記再生画像の全体の濃度を修正するように前記濃度成分データを変換する濃度変換条件を決定する濃度変換条件決定手段と、前記濃度変換条件に基づいて前記デジタル画像データの所定濃度域の階調を制御する階調変換条件を決定する階調変換条件決定手段と、前記濃度変換条件と階調変換条件とにより前記濃度成分データを修正するデータ変換手段と、該修正された濃度成分データと前記色成分データとを合成するデータ合成手段とを有し、前記階調変換条件決定手段は、前記濃度変換条件に基づいて前記濃度成分データが変換された際に、変換された前記濃度成分データにより表わされる画像の濃度が所定濃度よりも大きくなる場合には、予め定めた値を基準として、前記デジタル画像データの前記予め定めた値よりもハイライト側のデータを硬調化させ、前記変換された濃度成分データにより表わされる画像の濃度が所定濃度よりも小さくなる場合には、前記デジタル画像データの前記予め定めた値よりもハイライト側のデータを軟調化させるように前記階調変換条件を決定することを特徴とする。
【００１８】
また、前記濃度変換条件決定手段は、前記濃度変換条件を、前記デジタル画像データにより表わされる画像の特徴値に基づいて決定するものであることが好ましい。
前記画像の特徴値は、前記デジタル画像データの濃度の平均値、もしくは、前記デジタル画像データの各画素における、色により決定される重み係数に基づく重み付け平均値であることが好ましい。
【００１９】
また、前記階調変換条件決定手段は、前記階調変換条件を、前記デジタル画像データにより表わされる画像の最も明るい部分が、前記再生画像において白、または白に近似した濃度になるように決定することが好ましい。
前記濃度変換条件決定手段は、前記濃度変換条件を、前記デジタル画像データにより表わされる画像を表示手段に表示した際、該表示画像に基づく外部からの指示により決定するものであってもよい。
【００２０】
さらに、前記階調変換条件決定手段は、前記デジタル画像データにより表わされる画像と前記濃度変換条件及び前記階調変換条件に基づいて前記デジタル画像データを修正して得られた修正画像データにより表わされる画像との相対階調が、予め設けられた下限値以上となるように前記階調変換条件を決定するものであることが好ましい。
【００２１】
本発明において、「特徴値」としては、デジタル画像データの濃度及び色を特徴付ける値であり、デジタル画像データの平均値、デジタル画像データの各画素における色により決定される重み係数に基づく重み付け平均値、デジタル画像データから画素を間引いたラフ画像データの平均値または重み付け平均値、デジタル画像データのＲＧＢ各色信号から作成した色座標において高彩度部ほど重み係数を小さくすることにより求めた平均値、色座標上の原点や色温度軌跡（図２参照）からの距離が大きいほど重み係数を小さくすることにより求めた平均値、明度を考慮した平均値、被写体やシーンに応じて重み係数を変更した平均値、主要被写体である人物の肌、特に顔に相当する画像部分の平均値等、種々の値を採用することができる。
【００２２】
また、「主要画像部を代表する代表値」とは、上記特徴値により主要画像部を直接的、間接的または統計的に推定した値（画像データ、濃度値等）をいう。また、「代表値を基準」とするのは、「修正画像データとデジタル画像データとの関係により変換される代表値の値に影響すること」がないようにすることを意図している。
また、本発明において、濃度変換条件やデジタル画像データの「濃度」とは、再生画像の濃さを制御することが可能な値やデータである。例えば、Ｒ，Ｇ，Ｂ画像データも、３色同じ制御をすることによって再生画像の濃さを制御することができるので、そのような場合にはＲ，Ｇ，Ｂ画像データも含まれる。また、Ｒ，Ｇ，Ｂ画像データの重み付き平均値によって求められる３色平均値や、輝度、明度またはそれらに相当する値も該当する。
【００２３】
本発明に係る画像処理方法及び装置のより具体的な構成は、例えば、下記の通りである。
（１）デジタルカメラにより取得されたデジタル画像データに対し画像処理を施して処理済み画像データを得る画像処理方法であって、前記デジタル画像データにより表わされる画像を特徴付ける特徴値を求め、該特徴値に基づいて前記デジタル画像データにより表わされる出力画像の濃度／色を修正するための修正値を求め、該修正値に基づいて前記デジタル画像データを修正することにより得られる修正画像データと前記デジタル画像データとの関係を求め、該関係に基づいて前記デジタル画像データを変換して前記修正画像データを得た際に、該修正画像データにより表わされる出力画像の濃度が大きくなる場合には前記修正画像データのハイライト側のデータを硬調化させ、前記出力画像の濃度が小さくなる場合には前記修正画像データのハイライト側のデータを軟調化させるよう、前記関係を修正して前記修正画像データと前記デジタル画像データとの修正された関係を表わす変換テーブルを得、該変換テーブルに基づいて前記デジタル画像データを変換して前記処理済み画像データを得ることを特徴とする画像処理方法。
【００２４】
（２）デジタルカメラにより取得されたデジタル画像データに対し画像処理を施して処理済み画像データを得る画像処理装置であって、前記デジタル画像データにより表わされる画像を特徴付ける特徴値を求める特徴値演算手段と、前記特徴値に基づいて前記デジタル画像データにより表わされる出力画像の濃度／色を修正するための修正値を求める修正値演算手段と、前記修正値に基づいて前記デジタル画像データを修正することにより得られる修正画像データと前記デジタル画像データとの関係を求め、該関係に基づいて前記デジタル画像データを変換して前記修正画像データを得た際に、該修正画像データにより表わされる出力画像の濃度が大きくなる場合には前記修正画像データのハイライト側のデータを硬調化させ、前記出力画像の濃度が小さくなる場合には前記修正画像データのハイライト側のデータを軟調化させるよう、前記関係を修正して前記修正画像データと前記デジタル画像データとの修正された関係を表わす変換テーブルを得る変換テーブル作成手段と、該変換テーブルに基づいて前記デジタル画像データを変換して前記処理済み画像データを得る修正手段とを備えたことを特徴とする画像処理装置。
【００２５】
上記画像処理方法及び装置においては、前記処理済み画像データを、該処理済み画像データを再生する再生装置の再生目標値に基づいてさらに修正することが好ましい。
ここで、「再生装置の再生目標値に基づいて処理済み画像データを修正する」とは、デジタル画像データにおける基準値が再生装置において適正に再生できるようにするための値のことであり、例えば、基準値のＲＧＢの各信号値が（２５５，２５５，２５５）（８ビットの場合）であれば、再生目標値は白となり、基準値が白となるように修正することをいう。
【００２６】
本発明に係る画像処理方法及び装置によれば、デジタルカメラにより取得されたデジタル画像データの特徴値から、デジタル画像データにより表わされる出力画像の濃度／色を修正する修正値が自動的に求められるか、前記修正値が外部から与えられる。これに基づいて、再生画像の濃度／色が最適になるようにデジタルカメラでの露光過不足を補正し、主要画像部が一定の画像濃度、好ましい階調修正により画像が再現できるように、デジタル画像データを変換することができる。
【００２７】
従来は、上述の関係により出力画像の濃度が薄くなるようにデジタル画像データが変換される場合、出力画像のハイライト側のデータが最大値に飽和し、画像が飛んで再現することができなかった。また、出力画像の濃度が濃くなるようにデジタル画像データが変換される場合、被写体の白が白に再現されないと同時に、ハイライト側が軟調特性のまま濃度が上がって、不自然な出力画像となってしまっていた。
このため、本発明に係る画像処理方法及び装置においては、上述の関係に基づいてデジタル画像データを変換することにより得られた修正画像データにより表わされる出力画像の濃度が大きくなる場合には、修正画像データのハイライト側のデータを硬調化させ、逆に出力画像の濃度が小さくなる場合には、修正画像データのハイライト側のデータを軟調化させるよう上記関係を修正して、変換テーブルを得るようにしたものである。
【００２８】
従って、この変換テーブルによりデジタル画像データを変換することで得られる処理済み画像データは、濃度が薄くなってもハイライト側の画像が飛ぶことなく、また、濃度が濃くなっても白を白に再現できるものとなる。その結果、この処理済み画像データを再生することにより高画質の再生画像を得ることができる。なお、ここで、濃度が薄くなる／濃くなるとは、画像全体の濃度が変更されることをいう。
【００２９】
また、露出オーバー画像、露出アンダー画像に対して、それぞれハイライト側の階調を適正となるように修正することによって、デジタルカメラの露出ラチチュードを広げることができ、これにより失敗画像を減少させることができる。また、デジタル画像データの画素を間引いたり、複数の画素を合成して作成したラフ画像データから特徴値である平均値または重み付け平均値を求めることにより、特徴値を求めるための演算時間を短縮することができ、これにより画像処理を高速に行うことができる。
【００３０】
さらに、デジタル画像データにより表わされる画像における主要画像部に相当する値を基準として硬調化または軟調化を行うことにより、主要画像部付近の画像の濃度は変更されることなく処理済み画像データのハイライト部が硬調化及び軟調化される。なお、この場合、主要画像部の濃度を一定にしようとする結果、硬調化／軟調化は、主として、主要画像部を除いた背景画像の階調が変更されることになる。
【００３１】
【発明の実施の形態】
以下、添付の図面に示される好適実施例を基に、本発明の実施の形態について詳細に説明する。
【００３２】
図１は、本発明の第１の実施例に係る画像処理装置の概略構成を示すブロック図である。本実施例は、前述のデジタル画像データと修正画像データとの関係を表わす変換テーブルに基づいて、前記デジタル画像データを変換して処理済み画像データを得る方法を実現するものである。
図１に示される画像処理装置２は、デジタルカメラ１により取得されたデジタル画像データＳに対して画像処理を施すためのものである。
デジタルカメラ１は、被写体を撮影することにより取得されるデジタル画像データＳを記録媒体１Ａに記録する。
【００３３】
画像処理装置２は、記録媒体１Ａからデジタル画像データＳを読み出すための入力手段４と、後述するように、デジタル画像データＳの平均値Ｍを求める平均値演算手段５と、処理済み画像データＳ’の出力目標値ＡＩＭを決定する出力目標値決定手段６と、上記平均値演算手段５により求められた平均値Ｍ及び出力目標値決定手段６において決定された出力目標値ＡＩＭに基づいて、デジタル画像データＳを修正するための修正値Ｃを求める修正値演算手段７と、該修正値演算手段７において求められた修正値Ｃに基づいてデジタル画像データＳを変換するための第１の変換テーブル（ＬＵＴ１）を作成する第１の変換テーブル作成手段８と、上述の該第１の変換テーブル（ＬＵＴ１）を修正して第２の変換テーブル（ＬＵＴ２）を得る第２の変換テーブル作成手段９と、上述の第２の変換テーブル（ＬＵＴ２）によりデジタル画像データＳを変換して処理済み画像データＳ’を得る修正手段１０と、上記処理済み画像データＳ’をプリンタ等に出力するための画像出力手段３とからなる。
【００３４】
上述の平均値演算手段５は、デジタル画像データＳの各画素に対応するＲＧＢ画像信号を予め定めた方法によって分析し、この分析結果に基づいて選択したＲＧＢ画像信号の平均値Ｍを求めるものである。この平均値Ｍは、以下に示すように主要画像部を代表する代表値も含む。具体的には、図２に示すように、ｒ−ｇ，ｇ−ｂを軸とする色座標を設定し、この色座標における原点に近い位置の画素ほど重み付けを大きくするものである。すなわち、図２に示す色座標においては、原点に近いほど低彩度であるため、原点近傍の領域Ａ，その外側の領域Ｂ，さらに外側の領域Ｃを設定し、各領域に位置する画素に乗ずる重み係数を領域Ａから順に、１．０，０．５，０と設定し、この重み係数が乗算されたＲＧＢ画像信号の重み付け平均値Ｍを求めるものである。これにより、低彩度の信号ほど大きな重み付けがなされるため、求められた重み付け平均値Ｍは、画像の特徴を顕著に表わすものとなる。
【００３５】
なお、本実施例における重み付け平均値Ｍの演算は、これに限定されるものではなく、ｂ−ｒ，ｒ−ｇの色座標あるいはｂ−ｒ，ｇ−ｂの色座標において重み係数を設定してもよく、ＲＧＢ画像信号を彩度信号と色相信号とに分け、彩度信号と色相信号とにより色座標を設定してもよい。また、上述の重み係数を色座標の原点あるいは色座標上に設定した所望の色温度軌跡（図２参照）からの距離に比例した重み係数としてもよい。さらに、ＲＧＢ画像信号の明度を考慮し、明度が大きいほど重み係数が小さくなるようにしてもよい。
【００３６】
また、被写体やシーンに応じて重み係数を変更してもよい。例えば、夕日のシーン等においては、画像中における夕日の部分については修正を行いたくない場合が多いため、夕日の部分については重み係数を小さくするように設定する。さらに、主要被写体である人物の肌、特に顔に相当する画像部分のみの平均値を求めるようにしてもよく、さらに色を制御する平均値と濃度を制御する平均値とを、それぞれ別個に求めるようにしてもよい。なお、顔領域の抽出方法としては、例えば、特開昭５２−１５６６２４号公報に開示された肌色の検出方法、特開平４−３４６３３２号公報に開示された類似色のクラスタ画像から顔領域を検出する方法、特開平８−１２２９４４号公報に開示された形状から顔領域を検出する方法等、既知の種々の手法を用いることができる。また、重み係数を乗ずることなく、平均値Ｍを求めるようにしてもよい。
【００３７】
また、背景画像部を除去して残る画像部を主要画像部とし、主要画像部の画像データの平均値を求めるようにしてもよい。この際、ハイライト画像部、シャドー画像部における一定面積以上の中性色画像領域を背景画像領域とすればよく、さらに、画素値間の差が小さい等の条件を付加することによって、判定精度を向上させることができる。
【００３８】
さらに、画像を特徴付ける複数の画像特徴値の重み付け平均値を用いてもよく、これは、本発明の平均値を求めるための演算に含まれるものである。例えば、図３に示すように、デジタル画像データにより表わされる画像を複数の領域に分割し、各分割領域の平均値（ｍｅａｎｊ、ｊは領域の位置）を求める。ここで、重み係数をｋｊとすると、平均値Ｍ＝Σ（ｋｊ・ｍｅａｎｊ）となる。重み係数ｋｊは、望ましい出力値を得るための画像データ修正量を、目的関数、画像特徴値を説明関数として、重回帰分析により統計的に決定することができる。得られた平均値は、主要画像部濃度を推定する値である。例えば、デジタル画像データの値２５５（８ビットの場合）を白と出力する場合、推定値と１２８（主要画像部濃度を０．７とするとき）との差を修正値Ｃとして出力すればよい。
【００３９】
なお、特徴値としては、上述の平均値Ｍに限定されるものではなく、ヒストグラム、累積ヒストグラム等から得られる値であってもよい。
【００４０】
また、デジタル画像データＳの画素を一定間隔で間引いてラフ画像データを求め、このラフ画像データについての平均値Ｍを求めるようにしてもよい。このようにラフ画像データから平均値Ｍを求めることにより、通常、数百万ある画素を数万から数十万に減少させて、演算時間を大幅に短縮することができる。なお、この場合のラフ画像データとしては、複数個（例えば、５×５）の画素値の平均値を求めてこれをラフ画像データとしてもよく、さらに、これと画素を間引くことにより得られたラフ画像データとを用いて、平均値の精度を向上させるようにしてもよい。
【００４１】
さらに、平均値Ｍを対数値として求めてもよい。この場合、デジタル画像データＳの平均値を求めてから対数変換してもよく、デジタル画像データＳを対数変換してから平均値Ｍを求めるようにしてもよい。また、ラフ画像データにより平均値Ｍを求める場合も、ラフ画像データを作成してから対数変換してもよく、デジタル画像データＳを対数変換してからラフ画像データを作成するようにしてもよい。この場合、デジタル画像データＳ及び出力目標値ＡＩＭも対数値として演算が行われることになる。このように、平均値Ｍを対数値として求めることにより、データが濃度依存性を持たないリニアな特性を有するものとなり、後述するように、修正時における演算が容易なものとなる。
【００４２】
出力目標値決定手段６において決定される出力目標値ＡＩＭとしては、予め定めた一定値であってもよい。この場合、平均値Ｍが対数値である場合には、例えば０．７０に、真数値の場合は１２８のように設定すればよい。また、上述の平均値演算手段５において、重み付け平均値Ｍを求めた場合、出力目標値ＡＩＭをＲＧＢ画像信号の平均値としてもよい。さらに、出力目標値ＡＩＭを被写体やシーンに応じて変更するようにしてもよい。例えば、平均値演算のために選択した画素が非常に少ない場合、選択されなかった画素のＲＧＢ画像信号を参照して、出力目標値ＡＩＭを設定すれば、夕日、花、緑色等、他のシーンと比較して色が大きく隔たったシーンに適用することができる。また、平均値演算手段５において求められた平均値Ｍが、人物の顔に相当する値であるか、グレーであるかによって、出力目標値ＡＩＭを変更してもよい。
【００４３】
修正値演算手段７は、平均値演算手段５において求められた平均値Ｍを出力目標値決定手段６において決定した出力目標値ＡＩＭに一致するような修正値Ｃを求める。すなわち、平均値Ｍ及び出力目標値ＡＩＭが共に対数値の場合、
修正値Ｃ＝平均値Ｍ−出力目標値ＡＩＭ
により修正値Ｃを求め、平均値Ｍ及び出力目標値ＡＩＭが共に真数値の場合、
修正値Ｃ＝平均値Ｍ／出力目標値ＡＩＭ
により修正値を求める。また、
修正値Ｃ＝平均値Ｍ−（出力目標値ＡＩＭ−Ｋ）
修正値Ｃ＝Ｋ×平均値Ｍ／出力目標値ＡＩＭ
ただし、Ｋは好ましさを考慮した定数または変数
により、修正値Ｃを求めるようにしてもよい。
【００４４】
第１の変換テーブル作成手段８は、まず、修正値Ｃによりデジタル画像データＳを修正して、修正画像データを得る。ここで、デジタル画像データＳは、ＲＧＢの画像信号からなり、また、修正値もＲＧＢそれぞれに決定されることから、修正画像データもＲＧＢの画像信号からなるものであるが、ここでは、簡便のため、デジタル画像データＳ、修正値Ｃ及び修正画像データで代表させて説明することにする。なお、再生画像の濃度の修正は修正値Ｒ＝Ｇ＝Ｂのとき可能であり、色の修正は少なくとも１色の修正値が実質０の場合である。
【００４５】
第１の変換テーブル作成手段８においては、修正画像データを得た後、デジタル画像データＳと修正画像データとの対応関係を表わす第１の変換テーブル（ＬＵＴ１）を作成する。この第１の変換テーブル（ＬＵＴ１）の一例を、図４に示す。なお、第１の変換テーブル（ＬＵＴ１）は、真数値のデジタル画像データＳを真数値の修正画像データに変換するものである。図４には、デジタル画像データＳをそのまま修正画像データとする基準条件Ｃと、デジタル画像データＳの濃度を濃くする２段階の条件Ｄ，Ｅ及びデジタル画像データＳの濃度を薄くする２段階の条件Ａ，Ｂが示されているが、実際には、修正値Ｃに基づいてデジタル画像データＳと修正画像データとの関係を示す１つの変換条件が決定される。
【００４６】
ここで、変換条件Ｄ，Ｅは、例えば、オーバー露光で撮影を行うことにより得られたデジタル画像データＳを修正するための条件であり、変換条件Ａ，Ｂは、例えば、逆光シーンを撮影を行うことにより得られたデジタル画像データＳを修正するための条件である。なお、本実施例においては、デジタル画像データＳは８ビットであり、画素値の最高値を２５５とするものである。
【００４７】
第２の変換テーブル作成手段９は、第１の変換テーブル作成手段８において作成された第１の変換テーブル（ＬＵＴ１）を修正してデジタル画像データＳを処理済み修正画像データＳ’に変換するための第２の変換テーブル（ＬＵＴ２）を作成する。例えば、図４の変換条件Ａ，Ｂのように、デジタル画像データＳの濃度を薄くする条件の場合、修正画像データは大きな値（濃度が薄い）に変換されるため、画素値が２５５以下のデジタル画像データＳであっても、修正画像データは画素値２５５で飽和してしまうことから、画像が白くなってしまって再現することができない。
【００４８】
従って、図５に示すように修正画像データのハイライト画像部の全てまたは一部を線形または非線形に軟調化させることによって、デジタル画像データ２５５を処理済み画像データ２５５に一致させることができる。すなわち、デジタル画像データＳを圧縮するように変換条件を修正する。このように、ハイライト画像部を軟調化させることにより、修正画像データにおいて飽和してしまう画像部を、処理済み修正画像データＳ’においては再現することができることとなる。なお、処理済み修正画像データＳ’として大きな値になるようにデジタル画像データＳを修正するほど、より軟調化させる必要があるが、その軟調化に制限値を設けるかまたは処理済み修正画像データＳ’として大きな値に変換するほど軟調化の程度を小さくするようにしてもよい。
【００４９】
一方、図４の変換条件Ｄ、Ｅのようにデジタル画像データＳの濃度を濃くする条件の場合、修正画像データは小さな値（濃度が濃い）に変換されるため、デジタル画像データＳにおける画素値２５５付近の画像はそれよりも小さな値となって、白を白として再現することができなくなってしまう。また、ハイライト画像部をやや軟調化させてデジタル画像データＳを処理する機能を有するデジタルカメラの場合、濃度を濃くするとハイライト画像部から高濃度側の画像において軟調化された状態のまま再現されることとなり、その結果修正画像データにより表わされる画像が不自然なものとなる。これを防止するため、図６の破線に示すように修正画像データのハイライト画像部の全てまたは一部を線形または非線形に硬調化させるよう、すなわち、デジタル画像データＳを伸張するように変換条件を修正する。
【００５０】
このように、ハイライト画像部を硬調化させることにより、処理済み画像データＳ’を再生することにより得られる画像において、白を白として再生することができる。また、ハイライト部を硬調化させることにより、従来濃度修正が困難であったオーバー画像であっても適切な画像として再現することができる。なお、処理済み画像データＳ’として小さな値となるようにデジタル画像データＳを修正するほど、より硬調化させる必要があるが、その硬調化に制限値を設けるか、または、処理済み画像データＳ’として小さな値に変換するほど硬調化の程度を小さくするようにしてもよい。
【００５１】
上記説明中では、第１の変換テーブル作成手段８と第２の変換テーブル作成手段９は別々の手段に分かれているが、何ら分ける必要はなく、同じ変換テーブル作成手段の中で作成してもよい。本画像処理で用いるのは第２の変換テーブルであって、第１の変換テーブルは第２の変換テーブルを求めるために用いているにすぎない。本発明では、濃度変換条件を決定してから階調変換条件を定めるため、説明の便宜上分けて説明しているものである。
上記第１の変換テーブル（ＬＵＴ１）の修正の程度は、予め定められた１つまたは複数の基本階調変換カーブに従って求めるようにしてもよい。また、階調変換カーブに近似した関数を用いて、演算により修正の程度を求めるようにしてもよい。また、演算を簡便なものとするために、図７に示すように線形的に修正するようにしてもよい。さらに、シーンや特徴量に応じて修正の程度を変更するようにしてもよい。また、第２の変換テーブル（ＬＵＴ２）として，デジタル画像データＳの濃度を変換するテーブルと階調を変換するテーブルとを別個に設けるようにしてもよい。また、デジタル画像データＳを濃度成分データと色成分データとに分離し、濃度成分データを第２の変換テーブル（ＬＵＴ２）により修正した後、修正濃度成分データと色成分データとを合成するようにしてもよい。
【００５２】
また、第１の変換テーブル（ＬＵＴ１）における変換条件の修正を開始する点（以下、ブレイクポイントという）は、予め定めた値であっても変換条件の勾配に応じて予め定めておいてもよく、カメラ種、被写体シーン、画像の状況などに応じて適宜変更してもよい。また、第２の変換テーブル（ＬＵＴ２）においてデジタル画像データＳの画素値２５５の点と処理済み画像データＳ’の画素値２５５の点とを必ずしも合致させる必要はなく、例えば、デジタル画像データＳのヒストグラムにおける最大値から０．３％、１．０％の点や、累積ヒストグラムにおける９９．０％、９９．７％の点であってもよい。
【００５３】
修正手段１０は、第２の変換テーブル作成手段９において作成された第２の変換テーブル（ＬＵＴ２）によりデジタル画像データＳを変換して処理済み画像データＳ’を得る。このように、第２の変換テーブル（ＬＵＴ２）によりデジタル画像データＳを変換することにより、処理済み画像データＳ’を再生することにより得られる画像の濃度を適正なものにすることができると共に、ハイライト部においても画像の消失や不自然さのない再生画像を得ることができる。
【００５４】
画像出力手段３は、ＣＲＴやプリンタ等の再生装置の再生目標値に基づいて、処理済み画像データＳ’を予め定めた出力濃度で再生できるように、処理済み画像データＳ’を修正するものである。すなわち、デジタルカメラ１において得られたデジタル画像データＳは、カメラ機種、ＡＷＢやＡＥ制御、被写体シーンにかかわらず、被写体中のグレーが所定のグレーのデータになるよう処理済み画像データＳ’として修正され、画像出力手段３において再生装置の特性を考慮して、グレーのデータがグレーの画像として再現されるように出力画像データＳ”に修正する。このため、処理済み画像データＳ’の基準値を所定の出力濃度（再生目標値）となるように、例えば、ＬＵＴを用いて最終的な出力画像データＳ”に変換する。
【００５５】
ここで、処理済み画像データＳ’の基準値を所定出力濃度となるように変換する方法としては，２つの方法を用いることができる。第１の方法は、処理済み画像データＳ’により表わされる画像が取り得る最大値（例えば、８ビットの場合ＲＧＢの各画像信号値が２５５）を基準値とし、この基準値が白となるように変換する方法である。このように、ＲＧＢの各画像信号値の最大値（２５５、２５５、２５５）が白となるように処理済み画像データＳ’を変換することにより、グレーの被写体をグレーに再現できる。
【００５６】
第２の方法は、基準値を処理済み画像データＳ’の平均値とし、この平均値を例えば、出力濃度０．７０（対数値の場合、真数値の場合は１２８）となるように変換する方法である。この方法によっても、出力画像データＳ”を再生することにより、グレーの被写体をグレーに再現することができる。
なお、一層高画質の再生画像を得るために、画像出力手段３において、処理済み画像データＳ’に対して色修正のためのマトリクス演算を施すようにしてもよい。
【００５７】
次いで、本実施例の動作について説明する。
まず、デジタルカメラ１により被写体を撮像してデジタル画像データＳを取得し、このデジタル画像データＳを記録媒体１Ａに記録する。画像処理装置２の入力手段４は、記録媒体１Ａからデジタル画像データＳを読み出し、このデジタル画像データＳを平均値演算手段５、第１の変換テーブル作成手段８及び修正手段１０に入力する。平均値演算手段５においては、上に述べたようにデジタル画像データＳの平均値または重み付け平均値Ｍ（以下、単に平均値Ｍという）が求められる。一方、出力目標値決定手段６においては、出力目標値ＡＩＭが決定される。平均値Ｍ及び出力目標値ＡＩＭは修正値演算手段７に入力され、ここで上述したように修正値Ｃが求められる。
【００５８】
修正値Ｃは第１の変換テーブル作成手段８に入力され、この修正値Ｃに基づいて前述のように第１の変換テーブル（ＬＵＴ１）が作成される。さらに第１の変換テーブル（ＬＵＴ１）は、第２の変換テーブル作成手段９において上述のように修正されて、第２の変換テーブル（ＬＵＴ２）が作成される。
第２の変換テーブル（ＬＵＴ２）は修正手段１０に入力され、デジタル画像データＳが第２の変換テーブル（ＬＵＴ２）により変換された処理済み画像データＳ’が得られる。処理済み画像データＳ’は画像出力手段３において、基準値が所定の濃度となるように修正されて最終的な出力画像データＳ”が得られる。出力画像データＳ”はプリンタやＣＲＴなどの再生装置に入力されて，可視像として再生される。
【００５９】
このように、本実施例においては、第１の変換テーブル（ＬＵＴ１）によりデジタル画像データＳを変換することにより得られた修正画像データにより表わされる出力画像の濃度が大きくなる場合には、修正画像データのハイライト側のデータを硬調化させ、逆に出力画像の濃度が小さくなる場合には、修正画像データのハイライト側のデータを軟調化させるよう、第１の変換テーブル（ＬＵＴ１）を修正して第２の変換テーブル（ＬＵＴ２）を得るようにしたため、この第２の変換テーブル（ＬＵＴ２）によりデジタル画像データＳを変換することにより得られる処理済み画像データＳ’は、色が薄くなってもハイライト側が飽和することなく、また、色が濃くなってもハイライト側において白を白に再現できるものとなる。そして、この処理済み画像データＳ’を再生することにより、高画質の再生画像を得ることができる。
【００６０】
なお、上記実施例においては、出力目標決定手段６により、出力目標値ＡＩＭを決定しているが、出力目標値ＡＩＭは通常一定値であるため、出力目標値を得るための演算条件、例えば、演算式や演算方法は、予め定めておくことができるものである。このように演算式や演算方法を予め定めておくことにより、出力目標値決定手段６は不要となることから、本発明は出力目標値決定手段６を備えたものに限定されるものではない。
【００６１】
また、本実施例においては、第２の変換テーブル（ＬＵＴ２）によりデジタル画像データＳを変換しているため、１画素ごとに修正を行うものと比較して演算時間を短縮することができる。すなわち、各画素の演算を行うと画素数（数十〜数百万）分の演算が必要であるが、テーブルを求めるための演算は、デジタル画像データＳが８ビットのデータである場合、２５６×３回の演算で済むため、演算量を大幅に低減して高速演算を行うことができる。
【００６２】
次いで、本発明の他の実施例について説明する。本実施例は、第２の変換テーブル（ＬＵＴ２）を前記実施例において求められた平均値Ｍ、すなわち特徴値や主要画像部の代表値により変換するものである。図８は、本実施例における第２の変換テーブル（ＬＵＴ２）を示す図である。図８に示す４つの変換条件は、デジタル画像データＳの特徴値を、処理済み画像データＳ’における値Ａとなるように変換すると共に、この値Ａを基準として第１の変換テーブル（ＬＵＴ１）を修正することにより得られるものである。デジタル画像データＳの特徴値がＰ２，Ｐ１となる場合は値Ａが特徴値よりも小さいため、処理済み画像データＳ’において濃度が濃くなるように、デジタル画像データＳは修正される。
【００６３】
濃度を修正することにより、図８の破線で示すように処理済み画像データＳ’は２５５よりも小さな値にしか変換されず、処理済み画像データＳ’を再生することにより得られる画像は、被写体の白が白に再現されないと同時に、ハイライト側が軟調特性のまま濃度が上がってしまうという不自然な出力画像となってしまう。従って、このような処理済み画像データＳ’の飽和を防止するために、図８の実線に示すように、処理済み画像データＳ’のハイライト画像部の全てまたは一部を線形または非線形に硬調化させるよう、すなわち、デジタル画像データＳを圧縮するように変換条件を修正する。このように、ハイライト画像部を硬調化させることにより、処理済み画像データＳ’において白を白と再現できないハイライト画像部を修正して白として再現することができる。また、特徴値については所望する値Ａとなるように変換されることとなる。所望する値Ａは、処理済み画像データの主要部の値に相当し、この値は予め定めておくことができる。すなわち、Ｐ１，Ｐ２は、予め定めた値Ａから決定してもよい。
【００６４】
一方、デジタル画像データＳの特徴値がＰＡ，ＰＢとなる場合は、特徴値が値Ａよりも小さいため、処理済みデジタル画像データＳ’において濃度が薄くなるようにデジタル画像データＳは修正される。しかしながら、濃度を修正することにより、図８の破線で示すように画像データが２５５以下で、出力画像のハイライト側のデータが２５５になって飽和してしまい、ハイライト部の画像が飛んで再現することができない。従って、図８の実線に示すように処理済み画像データＳ’のハイライト画像部の全てまたは一部を線形または非線型に軟調化させるよう、すなわち、デジタル画像データＳを伸張するように変換条件を修正する。このようにハイライト画像部を軟調化させることにより、処理済み画像データＳ’を再生することにより得られる画像において、ハイライト画像部が飛ぶことなく再生することができる。
【００６５】
このように、ハイライト画像部を硬調化させることにより、従来濃度修正が困難であったオーバー露出画像であっても、適切な画像として再生することができる。なお、処理済み画像データＳ’として、大きな値となるようにデジタル画像データＳを修正するほど、より硬調化させる必要があるが、その硬調化に制限値を設けるか、または処理済み画像データＳ’として小さな値に変換するほどに、硬調化の程度を小さくするようにしてもよい。
【００６６】
なお、特徴値Ｐ２のように値Ａとの差が大きい場合、変換条件を修正するには限界があり、この限界を超えると処理済み画像データＳ’により表わされる画像に偽輪郭等が発生するおそれがある。また、白と白に類似するハイライト画像を区別するための情報が不足している。このため、処理済み画像データＳ’の値を必ずしも２５５に変換するように変換条件を修正する必要はなく、図９に示すように２５５より小さい値を最大基準値に設定することが好ましい。
【００６７】
また、特徴値ＰＢについても値Ａとの差が大きいため、変換条件を修正するための限界があり、この限界を超えると顔のハイライト部などが軟調化し過ぎるおそれがある。このため、図９に示すように軟調化の程度を小さくすることが好ましい。
【００６８】
図１０に、本発明の第３の実施例に係る画像処理装置のブロック図を示す。図１０中、１はデジタルカメラ、２０は画像処理装置、４は記録媒体１Ａからデジタル画像データＳを読み出すための入力手段を示している。
また、２１はデジタル画像データＳの画素を間引いてラフ画像データＲＳを作成するラフ画像データ作成手段、２２はデジタル画像データＳにより表わされる画像からのプリント画像を濃くしたり薄くしたりする条件を決定する濃度変換条件決定手段、２３は上述の濃度変換条件決定手段２２により決定された濃度変換条件（例えば、第１の実施例における画像データＲ，Ｇ，Ｂに共通に用いる修正値Ｃ、図４に示される変換条件）に基づき、階調（特に、ハイライト部の階調）を制御する階調変換条件決定手段を示している。
【００６９】
階調変換条件決定手段２３は、階調変換条件の決定方法を記憶しておき、濃度変換条件に基づき階調変換条件を定める。階調変換条件は、画像データの大きさによって階調を変化させ、その階調の上限、下限を定め、それ以上、またはそれ以下では、一定階調にする等の階調の変化のさせ方を決定する。
２４は変換条件作成手段である。この変換条件作成手段２４は、入力される画像データと、出力される修正画像データとの関係を定めた画像データ変換カーブ及び／または変換テーブル（実施例１のＬＵＴ２）を作成する。なお、前述の濃度変換条件決定手段２２は、自動的に決定する手段であっても、手動的に濃度制御量を入力する手段、すなわち、キーやマウス等の入力手段であってもよい。
【００７０】
２５は画像データ変換手段であり、画像データ入力手段４からの画像データを入力値とし、変換条件作成手段２４で作成された変換テーブルにより、修正画像データを得る。画像出力手段３は、デジタル画像データＳの基準値を、所定の出力濃度になるよう画像出力信号に変換する、ＬＵＴ（ルックアップテーブル）を用いる変換手段である。
【００７１】
以下、前述の濃度変換条件決定手段２２において、濃度制御条件を自動的に決定する場合を例として、本実施例の動作を説明する。
画像特徴値の作成では、先の実施例に示したように、主要画像部を代表する代表値、例えば、主要被写体である人物の肌、特に顔に相当する画像部の平均値が求められる。また、背景画像部を除去することで、残る画像部を主要画像領域とし、この主要画像領域の画像データの平均値が用いられる。
【００７２】
例えば、図３に示すように、デジタル画像データにより表わされる画像を複数の領域に分割し、各分割領域、または選択した領域（例えば、中央部と周辺部）から定めた複数の領域の画像特徴値（Ｘｊ）、例えば、平均値、最大値、最小値等をを求める。ここで、ｊは画像特徴値の種類を示す記号である。これらの画像特徴値の線形結合、例えば、ｋｊを重み係数とするＹ（＝Σ（ｋｊ・Ｘｊ））なる合成特徴値を得る。
なお、特徴値としては、上述の平均値、最大値、最小値等に限定されるものではなく、ヒストグラム、累積ヒストグラム等から得られる値であってもよいことは、前述の通りである。
【００７３】
画像特徴値による濃度変換条件は、上述の画像特徴値の１つまたは複数に対し、統計的に適切な重み係数を与えて求める。望ましい出力画像を得るための画像データ修正量、すなわち、デジタルカメラの画像から無修正で得たプリント濃度を適正濃度にするための修正量を目的変数、上記画像特徴値を説明変数として重回帰分析により統計的に決定することができる。上述の重み係数は、濃度変換条件を求める重み係数と合わせて同時に決定する。上記濃度変換条件は、望ましい出力画像データ（これから、望ましいプリント濃度が得られる）になるように単独、または複数の画像特徴値から求めた値による画像データ修正値である。上記単独、または複数の画像特徴値から得られる値は、主要画像部のデータ値に相当し、この値による修正画像データからのプリント画像は、主要画像部濃度が一定となっている。
【００７４】
階調変換条件決定手段２３では、濃度変換条件決定手段２２で決定された濃度変換条件に基づいて定めた方法、または予め定めた方法により、階調を変換する条件を決定する。例えば、開始点とハイエスト点（最大値、ヒストグラム上の最大基準点）のデータ値、開始点からハイエスト点までの階調変化等を定める。
被写体シーンや露出レベルによってこれらを変更するようにしてもよい。
また、開始点からハイエスト点までをつなぐ相対階調プロファイルを、採り得る最大階調（例えば、４．０），最小階調（例えば、０．３）を定めて判定し、限界値以上、または以下は一定とする。
【００７５】
図１１に、具体的な相対階調プロファイルの一例を示す。横軸は相対階調を表わし、階調の修正がない状態を相対階調１．０とする。縦軸はＤＳＣの濃度修正後の画像データであり、この画像データの大きさによって相対階調を修正することを図１１は表わしている。
図１１に示す相対階調のプロファイル例では、中濃度域までは階調値は１．０であり、データがより大きくなるに従って階調値を小さくしていっている。ただし、階調値の下限は０．３でクリップされており、デジタルカメラからの画像データはこの範囲で階調変換される。なお、相対階調プロファイルは、直線的である必要はなく、非線型でもよいことはいうまでもない。
図１２に、図１１に示した相対階調プロファイルに対応するデータ変換曲線を示す。
【００７６】
階調プロファイルや階調変換条件は、上記ハイエスト点で白、または白に近い値になるように濃度変換条件との関係を定めておき、濃度変換条件によって補間等で階調プロファイルや階調変換条件を求めてもよい。例えば、階調プロファイルを図１１に示した曲線として記憶し、階調変換条件は数式，判定式等で表わした条件式とパラメータで表わす。
上述の下限値０．３は、画像が軟調になりすぎないようにするためのものである。また、濃度変換条件が大きい（例えば、修正値Ｃの値が大きい）場合には、白にする曲線は得られず、より白に近い値にとどめることになる。
【００７７】
図１２に示したようなデータ変換曲線や階調変換の条件は、予め定めた１つまたは複数の基本曲線に従い、内挿、外挿または重み付けにより求めてもよい。また、曲線に近似した関数を用い、演算して曲線を求めるようにしてもよい。さらにまた、シーンや画像特徴値によって、内挿、外挿または重み付け、関数近似のパラメータ、勾配を変更してもよい。
上記変換条件は、濃度変換条件を求める変換テーブルと、階調変換条件を求める変換テーブルとを１つにした変換テーブルによることもできる。また、濃度変換条件を求める変換テーブルを定め、階調を変換するための修正を行なっても、別々の変換テーブルを求め、それぞれを用いるようにしてもよい。
【００７８】
図１３に、本実施例に係る画像処理装置の動作フローチャートを示す。以下、本実施例に係る画像処理装置の動作を説明する。
まず、画像データ入力手段４により、デジタルカメラの記録媒体からのデジタル画像データＳが入力され（ステップ５１）、次いで、図示されていない画像伸張／フォーマット変換手段において、デジタル画像データＳの伸張及びフォーマット変換が行われ（ステップ５２）、処理されたデータは図示されていない画像メモリに記録される。
【００７９】
ラフ画像データ作成手段２１では、上述のデジタル画像データＳを読み出し、これから画素を間引いてラフ画像データＲＳを作成し（ステップ５３）、濃度変換条件決定手段２２に入力する。このラフ画像データＲＳは、オートセットアップ処理に用いられる（ステップ５４）。オートセットアップ処理が終了すると、表示手段への画像の表示が行われる（ステップ５５）。オペレータは、この表示画像を観察し、必要に応じて、マニュアル修正条件を入力する（ステップ５６）ことができる。なお、画素を間引く方法の代わりに、画素の平均化を行うことで画素数を減らす方法も利用可能である。さらに、これらの、画素の平均化と画素を間引く方法とを組み合わせる方法も有効である。
【００８０】
濃度変換条件決定手段２２では、オートセットアップ処理で決定された濃度の修正量、またはオペレータから指示された濃度の修正量を、予め定められた変換方法に基づいて濃度変換条件に変換し（ステップ５７）、階調変換条件決定手段２３に入力する。階調変換条件決定手段２３では、入力された濃度変換条件に基づいて予め定められた方法により階調変換条件を定める（ステップ５８）。
変換条件作成手段２４では、濃度変換条件決定手段２２と階調変換条件決定手段２３から入力される変換条件から、入力される画像データと出力される修正画像データとの関係を定めた画像データ変換カーブ及び／または変換テーブル（実施例１のＬＵＴ２）を作成する。
【００８１】
画像データ変換手段２５では、画像データ入力手段４からの画像データを入力値とし、変換条件作成手段２４で作成された画像データ変換カーブ及び／または変換テーブルにより、修正画像データＳ’を得る。画像出力手段３では、修正画像データＳ’に、出力手段に適合する処理が施され、出力画像データＳ”が得られる（ステップ５９）。
本実施例においては、濃度変換条件と、これに基づく階調変換条件とから、修正画像データを得るようにしたので、デジタルカメラでの露光の過不足を補正し、一定の画像濃度、好ましい階調表現により画像が再現できる。
【００８２】
図１４に、本発明のさらに他の実施例に係る画像処理装置２０Ａのブロック構成図を示す。図１０に示した実施例との差異は、入力画像データを濃度成分と色成分とに分離して処理を行うようにした点にある。すなわち、本実施例に係る画像処理装置２０Ａにおいては、濃度／色成分データ変換部３１で、入力画像データを濃度成分と色成分とに分離する。その後の処理は、おおむね、図１０に示した実施例と同様であり、修正された画像データＳ’と先に分離した色成分データとを、 濃度／色成分データ合成部３２で合成するものである。
【００８３】
すなわち、本実施例においては、画像データを、濃度成分データと色成分データとに変換し、濃度成分データに対して濃度補正とこれに基づく階調補正を行い、その後、両データを合成している。これにより、濃度修正や階調修正を行っても、修正前後でプリントの色の変化がない。
デジタルカメラの画像データを、濃度成分データと色成分データとに変換する方法は、公知の方法を用い得る。濃度成分データの代わりに、輝度成分データ（Ｙ＝０．３０Ｒ＋０．５９Ｇ＋０．１１Ｂ）や色彩学上の明度に変換したデータ（Ｌ ＊ やＹ）を用いてもよい。
なお、濃度（輝度）成分データと明度成分データとは、同等に扱うことができる。また、色成分データとして、色彩学上の彩度と色相、Ｒ−Ｇ，Ｂ−Ｇや、Ｒ−ｋ，Ｇ−ｋ，Ｂ−ｋ等をも用いることができる。
【００８４】
本実施例においては、濃度変換条件と、これに基づく階調変換条件とから、修正画像データを得る処理を、濃度（輝度）と色を分離して行う形で実施しながら、かつ、デジタルカメラでの露光の過不足を補正し、一定の画像濃度、好ましい階調表現による画像を再現可能としている。
【００８５】
なお、上記各実施例においては、デジタルカメラ１と別個に画像処理装置２または２０，２０Ａを設けているが、デジタルカメラ１に画像処理装置２または２０，２０Ａを設けるようにしてもよい。
【００８６】
【発明の効果】
本発明の画像処理方法及び装置によれば、デジタル画像データの濃度を自動的、手動的に修正して、再生画像の濃度／階調が最適になるようにしたことにより、高品質の画像を得ることが可能になり、デジタルカメラでの露光不足を補正し、一定の画像濃度として再現できるようにデジタル画像データを変換することができる。
【００８７】
より詳細には、デジタルカメラ画像から得られるプリントのプリント濃度を薄くしても、濃度修正量に基づくハイライト部の階調修正により、撮像されたハイライト画像の大部分をプリント画像として再現することができる。すなわち、従来は、プリント濃度を薄くするように画像データを補正すると、背景等のハイライトの再現が失われるが、このような問題は解消される。
また、デジタルカメラ画像から得られるプリントのプリント濃度を濃くしても、濃度修正量に基づくハイライト部の階調修正により、撮像されたハイライト画像を、好ましい色／濃度のプリント画像として再現することができる。なお、デジタルカメラ画像の濃度を自動補正後、手動修正しても、高品質のプリントを得ることができる。
【００８８】
また、露出オーバー画像、露出アンダー画像に対して、それぞれハイライト側の階調を適正となるように修正することによって、デジタルカメラの露出ラチチュードを広げることができ、これにより失敗画像を減少させることができる。
さらに、特徴値をデジタル画像データにより表わされる画像における主要画像部を代表する代表値として求め、変換テーブルを得る際に代表値を基準として硬調化または軟調化を行うことにより、代表値により表わされる画像の濃度は変更されることなく処理済み画像データのハイライト部が硬調化及び軟調化されるため、主要画像部の濃度を硬調化及び軟調化の程度にかかわらず所望とする値となるように修正することができる。
【図面の簡単な説明】
【図１】 本発明の一実施例に係る画像処理装置を内包する画像再生システムの構成を示すブロック図である。
【図２】 色座標を示す図である。
【図３】 デジタル画像データにより表わされる画像を複数の領域に分割した状態を示す図である。
【図４】 第１の変換テーブルの一例を示す図である。
【図５】 第２の変換テーブルの一例を示す図である。
【図６】 第２の変換テーブルの他の例を示す図である。
【図７】 第２の変換テーブルのさらに他の例を示す図である。
【図８】 他の実施例における第２の変換テーブルの一例を示す図（その１）である。
【図９】 他の実施例における第２の変換テーブルの一例を示す図（その２）である。
【図１０】 本発明の他の実施例に係る画像処理装置を内包する画像再生システムの構成を示すブロック図である。
【図１１】 図１０に示した実施例に係る画像処理装置において用いられる、相対階調プロファイルの一例を示す図である。
【図１２】 図１１に示した相対階調プロファイルに対応するデータ変換曲線を示す図である。
【図１３】 図１０に示した実施例に係る画像処理装置の動作フローチャートである。
【図１４】 本発明のさらに他の実施例にかかる画像処理装置を内包する画像再生システムの構成を示すブロック図である。
【符号の説明】
１ デジタルカメラ
２ 画像処理装置
３ 画像出力手段
４ 入力手段
５ 平均値演算手段
６ 出力目標値決定手段
７ 修正値演算手段
８ 第１の変換テーブル作成手段
９ 第２の変換テーブル作成手段
１０ 修正手段
２０，２０Ａ 画像処理装置
２１ ラフ画像データ作成手段
２２ 濃度変換条件決定手段
２３ 階調変換条件決定手段
２４ 変換条件作成手段
２５ 画像データ変換手段
３１ 濃度／色成分データ変換部
３２ 濃度／色成分データ合成部
Ｓ デジタル画像データ
Ｓ’ 処理済み画像データ
Ｓ” 出力画像データ
Ｃ 修正値
ＬＵＴ１ 第１の変換テーブル
ＬＵＴ２ 第２の変換テーブル
Claims (16)
- デジタルカメラにより取得されたデジタル画像データに対し画像処理を施して再生画像を作成する画像処理方法であって、
前記デジタル画像データにより表わされる画像に対して、まず、前記画像の全体の濃度を修正するための濃度変換条件を決定し、
次いで、前記濃度変換条件に基づいて前記デジタル画像データにより表わされる画像の所定濃度域の階調を制御する階調変換条件を決定し、
前記階調変換条件は、前記濃度変換条件に基づいて前記デジタル画像データを変換した際に、変換した前記デジタル画像データにより表わされる画像の濃度が所定濃度よりも大きくなる場合には、予め定めた値を基準として、前記デジタル画像データの前記予め定めた値よりもハイライト側のデータを硬調化させ、前記変換したデジタル画像データにより表わされる画像の濃度が所定濃度よりも小さくなる場合には、前記デジタル画像データの前記予め定めた値よりもハイライト側のデータを軟調化させるように決定されるものであり、
前記濃度変換条件及び前記階調変換条件に基づいて前記デジタル画像データを修正して、
前記再生画像を作成することを特徴とする画像処理方法。 - デジタルカメラにより取得されたデジタル画像データに対し画像処理を施して再生画像を作成する画像処理方法であって、
前記デジタル画像データを濃度成分データと色成分データとに分け、
前記再生画像の全体の濃度を修正するように前記濃度成分データを変換する濃度変換条件を決定すると共に、該濃度変換条件に基づいて前記デジタル画像データの所定濃度域の階調を制御する階調変換条件を決定し、
前記階調変換条件は、前記濃度変換条件に基づいて前記濃度成分データを変換した際に、変換した前記濃度成分データにより表わされる画像の濃度が所定濃度よりも大きくなる場合には、予め定めた値を基準として、前記デジタル画像データの前記予め定めた値よりもハイライト側のデータを硬調化させ、前記変換した濃度成分データにより表わされる画像の濃度が所定濃度よりも小さくなる場合には、前記デジタル画像データの前記予め定めた値よりもハイライト側のデータを軟調化させるように決定されるものであり、
前記濃度変換条件と前記階調変換条件とにより前記濃度成分データを修正し、
修正された濃度成分データと前記色成分データとを合成することにより、前記再生画像を得るための画像データを作成することを特徴とする画像処理方法。 - 前記濃度変換条件は、前記デジタル画像データにより表わされる画像の特徴値に基づいて決定されるものである請求項１または２に記載の画像処理方法。
- 前記画像の特徴値は、前記デジタル画像データの濃度の平均値である請求項３に記載の画像処理方法。
- 前記特徴値は、前記デジタル画像データの各画素における、色により決定される重み係数に基づく重み付け平均値である請求項３に記載の画像処理方法。
- 前記階調変換条件は、前記デジタル画像データにより表わされる画像の最も明るい部分が、前記再生画像において白、または白に近似した濃度になるように決定される請求項１〜５のいずれかに記載の画像処理方法。
- 前記濃度変換条件は、前記デジタル画像データにより表わされる画像を表示手段に表示した際、該表示画像に基づく外部からの指示により決定される請求項１または２に記載の画像処理方法。
- 前記階調変換条件の決定において、前記デジタル画像データにより表わされる画像と前記濃度変換条件及び前記階調変換条件に基づいて前記デジタル画像データを修正して得られた修正画像データにより表わされる画像との相対階調に下限値を設ける請求項１〜７のいずれかに記載の画像処理方法。
- デジタルカメラにより取得されたデジタル画像データに対し画像処理を施して再生画像を作成する画像処理装置であって、
前記デジタル画像データにより表わされる画像に対して、前記画像の全体の濃度を修正するための濃度変換条件を決定する濃度変換条件決定手段と、
前記濃度変換条件に基づいて前記デジタル画像データにより表わされる画像の所定濃度域の階調を制御する階調変換条件を決定する階調変換条件決定手段と、
前記濃度変換条件及び前記階調変換条件に基づいて前記デジタル画像データを修正して、前記再生画像を作成する画像データ変換手段と
を有し、
前記階調変換条件決定手段は、前記濃度変換条件に基づいて前記デジタル画像データが変換された際に、変換された前記デジタル画像データにより表わされる画像の濃度が所定濃度よりも大きくなる場合には、予め定めた値を基準として、前記デジタル画像データの前記予め定めた値よりもハイライト側のデータを硬調化させ、前記変換されたデジタル画像データにより表わされる画像の濃度が所定濃度よりも小さくなる場合には、前記デジタル画像データの前記予め定めた値よりもハイライト側のデータを軟調化させるように前記階調変換条件を決定することを特徴とする画像処理装置。 - デジタルカメラにより取得されたデジタル画像データに対し画像処理を施して再生画像を作成する画像処理装置であって、
前記デジタル画像データを濃度成分データと色成分データとに分けるデータ分割手段と、
前記再生画像の全体の濃度を修正するように前記濃度成分データを変換する濃度変換条件を決定する濃度変換条件決定手段と、
前記濃度変換条件に基づいて前記デジタル画像データの所定濃度域の階調を制御する階調変換条件を決定する階調変換条件決定手段と、
前記濃度変換条件と階調変換条件とにより前記濃度成分データを修正するデータ変換手段と、
該修正された濃度成分データと前記色成分データとを合成するデータ合成手段と
を有し、
前記階調変換条件決定手段は、前記濃度変換条件に基づいて前記濃度成分データが変換された際に、変換された前記濃度成分データにより表わされる画像の濃度が所定濃度よりも大きくなる場合には、予め定めた値を基準として、前記デジタル画像データの前記予め定めた値よりもハイライト側のデータを硬調化させ、前記変換された濃度成分データにより表わされる画像の濃度が所定濃度よりも小さくなる場合には、前記デジタル画像データの前記予め定めた値よりもハイライト側のデータを軟調化させるように前記階調変換条件を決定することを特徴とする画像処理装置。 - 前記濃度変換条件決定手段は、前記濃度変換条件を、前記デジタル画像データにより表わされる画像の特徴値に基づいて決定するものである請求項９または１０に記載の画像処理装置。
- 前記画像の特徴値は、前記デジタル画像データの濃度の平均値である請求項１１に記載の画像処理装置。
- 前記特徴値は、前記デジタル画像データの各画素における、色により決定される重み係数に基づく重み付け平均値である請求項１１に記載の画像処理装置。
- 前記階調変換条件決定手段は、前記階調変換条件を、前記デジタル画像データにより表わされる画像の最も明るい部分が、前記再生画像において白、または白に近似した濃度になるように決定する請求項９〜１３のいずれかに記載の画像処理装置。
- 前記濃度変換条件決定手段は、前記濃度変換条件を、前記デジタル画像データにより表わされる画像を表示手段に表示した際、該表示画像に基づく外部からの指示により決定する請求項９または１０に記載の画像処理装置。
- 前記階調変換条件決定手段は、前記デジタル画像データにより表わされる画像と前記濃度変換条件及び前記階調変換条件に基づいて前記デジタル画像データを修正して得られた修正画像データにより表わされる画像との相対階調が、予め設けられた下限値以上となるように前記階調変換条件を決定する請求項９〜１５のいずれかに記載の画像処理装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP28964798A JP3668014B2 (ja) | 1998-03-09 | 1998-10-12 | 画像処理方法及び装置 |
| US09/263,842 US6919924B1 (en) | 1998-03-09 | 1999-03-08 | Image processing method and image processing apparatus |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10-56630 | 1998-03-09 | ||
| JP5663098 | 1998-03-09 | ||
| JP28964798A JP3668014B2 (ja) | 1998-03-09 | 1998-10-12 | 画像処理方法及び装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11331596A JPH11331596A (ja) | 1999-11-30 |
| JP3668014B2 true JP3668014B2 (ja) | 2005-07-06 |
Family
ID=26397586
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP28964798A Expired - Fee Related JP3668014B2 (ja) | 1998-03-09 | 1998-10-12 | 画像処理方法及び装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6919924B1 (ja) |
| JP (1) | JP3668014B2 (ja) |
Families Citing this family (33)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11266369A (ja) * | 1998-03-17 | 1999-09-28 | Fuji Photo Film Co Ltd | 画像の明るさ調整方法および装置 |
| US7113227B1 (en) * | 1999-11-25 | 2006-09-26 | Matsushita Electric Industrial Co., Ltd. | Gradation correcting apparatus gradation correcting method and video display apparatus |
| JP3520859B2 (ja) | 2000-09-01 | 2004-04-19 | セイコーエプソン株式会社 | 画像ファイルの出力画像調整 |
| JP4634591B2 (ja) * | 2000-09-29 | 2011-02-16 | 株式会社東芝 | Ｘ線診断装置 |
| EP1197917A3 (en) | 2000-10-13 | 2005-03-23 | Seiko Epson Corporation | Apparatus, method and computer program product for providing output image adjustment for image files |
| JP3487284B2 (ja) | 2000-11-02 | 2004-01-13 | セイコーエプソン株式会社 | プリンタシステム、プリンタドライバ、及びプリンタ |
| JP2002204353A (ja) | 2000-12-28 | 2002-07-19 | Fujitsu Ltd | 画像状態推定方法、画像補正方法および補正装置 |
| JP3725454B2 (ja) | 2001-01-17 | 2005-12-14 | セイコーエプソン株式会社 | 画像ファイルの出力画像調整 |
| WO2002065757A1 (fr) | 2001-02-09 | 2002-08-22 | Seiko Epson Corporation | Procede et appareil de reglage d'une image de sortie a partir de donnees d'image |
| JP3608533B2 (ja) | 2001-02-09 | 2005-01-12 | セイコーエプソン株式会社 | ネットワークを介した画像処理 |
| ATE527816T1 (de) | 2001-02-09 | 2011-10-15 | Seiko Epson Corp | Gerät und verfahren zum anpassen eines ausgangsbildes auf der basis von bilddaten |
| US7253923B2 (en) | 2001-03-15 | 2007-08-07 | Seiko Epson Corporation | Image processing apparatus |
| JP3991606B2 (ja) | 2001-03-15 | 2007-10-17 | セイコーエプソン株式会社 | 色空間変換装置および色空間変換方法 |
| JP4281311B2 (ja) | 2001-09-11 | 2009-06-17 | セイコーエプソン株式会社 | 被写体情報を用いた画像処理 |
| EP1337104B1 (en) * | 2002-02-19 | 2014-01-08 | FUJIFILM Corporation | Method, apparatus, and program for image processing |
| JP4007052B2 (ja) | 2002-05-07 | 2007-11-14 | セイコーエプソン株式会社 | 画像処理制御データ更新装置 |
| EP1411714B1 (en) | 2002-10-17 | 2008-11-05 | Noritsu Koki Co., Ltd. | Conversion correcting method of color image data and photographic processing apparatus implementing the method |
| JP2004252620A (ja) * | 2003-02-19 | 2004-09-09 | Sony Corp | 画像処理装置および方法、並びに、プログラム |
| US7684096B2 (en) * | 2003-04-01 | 2010-03-23 | Avid Technology, Inc. | Automatic color correction for sequences of images |
| US7362355B1 (en) * | 2003-08-04 | 2008-04-22 | Pixim, Inc. | Digital CMOS image sensor incorporating a programmable multi-functional lookup table |
| US7561753B2 (en) * | 2004-01-09 | 2009-07-14 | The Boeing Company | System and method for comparing images with different contrast levels |
| US7310625B2 (en) * | 2004-08-12 | 2007-12-18 | Sap Aktiengesellschaft | Knowledge network generation |
| JP2006074305A (ja) * | 2004-09-01 | 2006-03-16 | Ricoh Co Ltd | 階調再現方法、画像形成装置及びプリンタドライバ |
| JP4835900B2 (ja) * | 2004-11-30 | 2011-12-14 | Ｎｋワークス株式会社 | デジタルカメラからの画像データのための画像処理方法と画像処理装置 |
| US7916144B2 (en) * | 2005-07-13 | 2011-03-29 | Siemens Medical Solutions Usa, Inc. | High speed image reconstruction for k-space trajectory data using graphic processing unit (GPU) |
| US8111430B2 (en) * | 2005-09-13 | 2012-02-07 | Canon Kabushiki Kaisha | Color conversion apparatus and method |
| KR100691250B1 (ko) * | 2005-10-20 | 2007-03-12 | 삼성전자주식회사 | 휴대용 단말기의 자동 색 온도 보정 촬영 방법 |
| JP4765667B2 (ja) | 2006-02-27 | 2011-09-07 | ブラザー工業株式会社 | 画像処理プログラムおよび画像処理装置 |
| US7693341B2 (en) * | 2006-04-21 | 2010-04-06 | Apple Inc. | Workflows for color correcting images |
| US8022964B2 (en) * | 2006-04-21 | 2011-09-20 | Apple Inc. | 3D histogram and other user interface elements for color correcting images |
| US20070247647A1 (en) * | 2006-04-21 | 2007-10-25 | Daniel Pettigrew | 3D lut techniques for color correcting images |
| US9262833B2 (en) | 2011-12-01 | 2016-02-16 | Sony Corporation | Methodology for performing depth estimation with defocused images under extreme lighting conditions |
| US9595086B2 (en) | 2014-09-04 | 2017-03-14 | Samsung Electronics Co., Ltd. | Image processing device, image processing system and method for image processing |
Family Cites Families (33)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS52156624A (en) | 1976-06-22 | 1977-12-27 | Fuji Photo Film Co Ltd | Detection of skin color of color film |
| JPS5687044A (en) | 1979-12-17 | 1981-07-15 | Dainippon Screen Mfg Co Ltd | Method of determining adjusting items in image scanning recorder |
| JPH0767139B2 (ja) | 1983-07-04 | 1995-07-19 | 富士写真フイルム株式会社 | ネガ原稿の入力信号処理方法 |
| US4734763A (en) | 1983-07-04 | 1988-03-29 | Fuji Photo Film Co., Ltd. | Apparatus for generating positive or negative image output signals from either positive or negative originals |
| JPS6020993A (ja) | 1983-07-14 | 1985-02-02 | Seiko Epson Corp | 液晶組成物 |
| US4636845A (en) * | 1985-05-06 | 1987-01-13 | Eastman Kodak Company | Digital image processing method for over and under exposed photographic images |
| JP3101277B2 (ja) | 1988-08-31 | 2000-10-23 | キヤノン株式会社 | カラー画像処理装置 |
| US5287418A (en) * | 1989-10-25 | 1994-02-15 | Dainippon Screen Mfg. Co., Ltd. | Method and apparatus for producing a corrected image from an original image |
| US5144445A (en) | 1989-12-26 | 1992-09-01 | Sanyo Electric Co., Ltd. | Solid-state image pickup apparatus having a plurality of photoelectric transducers arranged in a matrix |
| JPH0777437B2 (ja) | 1989-12-26 | 1995-08-16 | 三洋電機株式会社 | 固体撮像装置及び画面表示方法 |
| US5046118A (en) * | 1990-02-06 | 1991-09-03 | Eastman Kodak Company | Tone-scale generation method and apparatus for digital x-ray images |
| JPH0435467A (ja) | 1990-05-31 | 1992-02-06 | Canon Inc | 画像記録装置 |
| JP2638691B2 (ja) | 1991-05-23 | 1997-08-06 | 富士写真フイルム株式会社 | 露光量決定方法 |
| US5278921A (en) | 1991-05-23 | 1994-01-11 | Fuji Photo Film Co., Ltd. | Method of determining exposure |
| EP0534430B1 (en) * | 1991-09-27 | 1996-12-27 | Dainippon Screen Mfg. Co., Ltd. | Method of and apparatus for converting image signal representing image having gradation |
| JP2741996B2 (ja) | 1992-10-30 | 1998-04-22 | 大日本スクリーン製造株式会社 | 正規化曲線の作成方法 |
| JP3316548B2 (ja) | 1993-03-12 | 2002-08-19 | オムロン株式会社 | 画像濃淡調整装置 |
| JP3346839B2 (ja) | 1993-06-29 | 2002-11-18 | 株式会社リコー | ディジタルスチルビデオカメラ |
| JP3344782B2 (ja) | 1993-09-06 | 2002-11-18 | 株式会社リコー | 特定画像検出方法 |
| JP3499305B2 (ja) | 1994-10-28 | 2004-02-23 | 富士写真フイルム株式会社 | 顔領域抽出方法及び露光量決定方法 |
| US5629752A (en) | 1994-10-28 | 1997-05-13 | Fuji Photo Film Co., Ltd. | Method of determining an exposure amount using optical recognition of facial features |
| US5790280A (en) | 1995-08-08 | 1998-08-04 | Fuji Photo Film Co., Ltd. | Digital image recording method and apparatus therefor and digital image processing apparatus |
| JP3530640B2 (ja) | 1995-08-08 | 2004-05-24 | 富士写真フイルム株式会社 | デジタル画像記録方法及び装置並びにデジタル画像処理装置 |
| US5812286A (en) | 1995-08-30 | 1998-09-22 | Hewlett-Packard Company | Automatic color processing to correct hue shift and incorrect exposure |
| JP3976810B2 (ja) * | 1995-10-17 | 2007-09-19 | 富士フイルム株式会社 | カラー画像の明るさ調整方法および装置 |
| JPH09172552A (ja) | 1995-12-19 | 1997-06-30 | Fuji Photo Film Co Ltd | 画像処理装置 |
| JPH09200559A (ja) | 1996-01-23 | 1997-07-31 | Ricoh Co Ltd | 画像濃度変換装置 |
| JPH09238257A (ja) | 1996-02-29 | 1997-09-09 | Dainippon Screen Mfg Co Ltd | 基準濃度点の設定装置 |
| US5828793A (en) * | 1996-05-06 | 1998-10-27 | Massachusetts Institute Of Technology | Method and apparatus for producing digital images having extended dynamic ranges |
| DE69737984T2 (de) * | 1996-06-12 | 2008-04-30 | Fujifilm Corp. | Bildverarbeitungsverfahren und -gerät |
| KR100200628B1 (ko) * | 1996-09-30 | 1999-06-15 | 윤종용 | 화질 개선 회로 및 그 방법 |
| JPH10181103A (ja) * | 1996-11-08 | 1998-07-07 | Fuji Photo Film Co Ltd | プリンタ |
| US6373533B1 (en) * | 1997-03-06 | 2002-04-16 | Matsushita Electric Industrial Co., Ltd. | Image quality correction circuit for video signals |
-
1998
- 1998-10-12 JP JP28964798A patent/JP3668014B2/ja not_active Expired - Fee Related
-
1999
- 1999-03-08 US US09/263,842 patent/US6919924B1/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11331596A (ja) | 1999-11-30 |
| US6919924B1 (en) | 2005-07-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3668014B2 (ja) | 画像処理方法及び装置 | |
| JP5761946B2 (ja) | 画像処理装置、画像処理方法及び記憶媒体 | |
| JP3584389B2 (ja) | 画像処理方法および画像処理装置 | |
| JP5665436B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP2000228747A (ja) | 画像処理装置 | |
| JP2001054013A (ja) | 撮像信号処理装置およびその処理方法 | |
| JP4600424B2 (ja) | 未現像画像データの現像処理装置、現像処理方法、および現像処理のためのコンピュータプログラム | |
| US6850272B1 (en) | Image processing method and system | |
| JP2000196890A (ja) | 画像処理方法および装置並びに記録媒体 | |
| JP3408770B2 (ja) | 画像処理装置 | |
| JP7296745B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| JP5070921B2 (ja) | 未現像画像データの現像処理装置、現像処理方法、および現像処理のためのコンピュータプログラム | |
| JPH1141622A (ja) | 画像処理装置 | |
| JPH1075374A (ja) | 画像処理方法および装置 | |
| JP2000092337A (ja) | 画像処理方法および装置並びに記録媒体 | |
| JP3836237B2 (ja) | 画像修正方法および装置 | |
| JP2002369004A (ja) | 画像処理装置と画像出力装置と画像処理方法及び記憶媒体 | |
| JP4807315B2 (ja) | 未現像画像データの現像処理装置、現像処理方法、および現像処理を実行するためのコンピュータプログラム | |
| JP3943611B2 (ja) | 画像再生方法及び画像再生装置 | |
| JPH11196324A (ja) | 画像出力方法および装置 | |
| JPH11284860A (ja) | 画像処理方法、画像処理装置および画像処理プログラムを記録したコンピュ―タ読み取り可能な記録媒体 | |
| JP2022151987A (ja) | 撮像装置 | |
| JP2004096444A (ja) | 画像処理装置およびその方法 | |
| JP2000261719A (ja) | 画像処理方法および装置並びに記録媒体 | |
| JP2005004582A (ja) | 画像処理装置、画像処理プログラム、および電子カメラ |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040226 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040309 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040510 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20041026 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041217 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20050221 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050322 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050407 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090415 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090415 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100415 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110415 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120415 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130415 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130415 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140415 Year of fee payment: 9 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |