JP3836237B2

JP3836237B2 - 画像修正方法および装置

Info

Publication number: JP3836237B2
Application number: JP35996097A
Authority: JP
Inventors: 隆章寺下
Original assignee: Fuji Photo Film Co Ltd
Current assignee: Fujifilm Holdings Corp
Priority date: 1997-12-26
Filing date: 1997-12-26
Publication date: 2006-10-25
Anticipated expiration: 2017-12-26
Also published as: JPH11191156A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像修正方法および装置に関し、とくにデジタルカメラなどにより取得されたデジタル画像信号により表される画像内に含まれる飽和画像の領域を修正する画像修正方法および装置に関するものである。
【０００２】
【従来の技術】
デジタル電子スチルカメラ（以下デジタルカメラとする）においては、撮影により取得した画像をデジタル画像信号としてデジタルカメラ内部に設けられた内部メモリやＩＣカードなどの記憶媒体に記憶し、記憶されたデジタル画像信号に基づいて、プリンタやモニタに撮影により取得した画像を表示することができる。このように、デジタルカメラにより取得した画像をプリントする場合においては、ネガフイルムからプリントされた写真と同様の高品位な画質を有するものとすることが期待されている。
【０００３】
このようなデジタルカメラによる撮像は、被写体の輝度をカメラ内の撮像部の絞りやシャッタにより露出制御し、測光した測光値を画像信号に変換し、画像信号に階調変換などの画像処理を施して記憶媒体に記憶することにより行われる。この画像信号の取り得る値の範囲は現在は８ビット＝０〜２５５であり、被写体の１００％の反射率の色（白）が２５５、完全な黒が０の値を取るように露出が制御される。この際、シャドー画像（小さい測光領域）では、カメラの固体撮像素子（ＣＣＤなど）が有するノイズが発生してＳ／Ｎが悪くなるため、可能な限りハイライト側一杯に階調を利用するように撮像を行う必要がある。
【０００４】
【発明が解決しようとする課題】
上述したデジタルカメラにおいては、カメラの露出制御やストロボ制御の失敗あるいは精度不足により撮像された画像が露出不足や露出オーバーとなる場合がある。画像が露出不足となる場合、ノイズが多くなるものの、画像内には階調が存在するためデジタル画像信号を大きくなるよう、例えばデジタル画像信号の最大値が２５５になるように変更することにより画像を再現することは可能である。しかしながら、露出オーバーの場合はハイライト側の画像信号が飽和（画像信号値が２５５を示す）してしまうため、画像に階調や色がなくなり、デジタル画像信号の階調を変更しても飽和画像信号により表される飽和画像域を再現することができない。例えば、デジタル画像信号を再現する際にプリント濃度を濃くしても、画像信号が飽和している飽和画像域は階調がなく、かつ色の繋がりのない不自然な画像として再現されることとなる。また、撮像された画像中には１００％の白以上に高い反射率を有する（ハイエスト）部分が存在し、画像の立体感や質感を表す上で重要であるが、このようなハイエスト部分についてもプリント濃度を濃くすると不自然な画像となってしまう。
【０００５】
このような露出オーバーについては、銀塩写真フイルムのように露出ラチチュードが広い場合には、撮像された画像をデジタル画像信号に変換し、このデジタル画像信号に対して画像処理を施すことによりプリンタやモニタに画像を再現することができる。しかしながら、デジタルカメラにおいては固体撮像素子のダイナミックレンジが銀塩写真フイルムと比較して狭いため、取得されたデジタル画像信号の飽和を完全になくすることは困難である。
【０００６】
本発明は上記事情に鑑みなされたものであり、デジタル画像信号に含まれる飽和画像域についても自然な画像として再現することができるように画像を修正することができる画像修正方法および装置を提供することを目的とするものである。
【０００７】
【課題を解決するための手段】
本発明による第１の画像修正方法は、デジタル画像信号を修正する画像修正方法において、
前記デジタル画像信号により表される画像から、該デジタル画像信号の飽和画像信号を含む飽和画像域を抽出し、
該飽和画像域の階調および／または色が再現されるように、該飽和画像域を表すデジタル画像信号を修正することを特徴とするものである。
【０００８】
また、本発明による第２の画像修正方法は、デジタル画像信号を修正する画像修正方法において、
前記デジタル画像信号により表される画像から主要画像領域を抽出し、
該主要画像領域から前記デジタル画像信号の飽和画像信号を含む飽和画像域を抽出し、
該飽和画像域の階調および／または色が再現されるように、該飽和画像域を表すデジタル画像信号を修正することを特徴とするものである。
【０００９】
ここで、主要画像とは、例えば画像中における人間の顔のように、その画像中において主要な部分をなす被写体のことをいう。
【００１０】
また、上記第１および第２の画像修正方法においては、前記デジタル画像信号の修正を、前記飽和画像域を表すデジタル画像信号に含まれる非飽和画像信号に基づいて行うようにしてもよく、前記飽和画像域内の非飽和画像域の色バランスに基づいて行うようにしてもよい。
【００１１】
さらに、前記デジタル画像信号の修正を、前記飽和画像域の略中心位置に向かって該飽和画像域内の色が徐々に変化するように行うようにしてもよく、前記飽和画像信号に基づいて算出された修正量に基づいて行うようにしてもよい。
【００１２】
また、本発明による第１の画像修正装置は、上記本発明による第１の画像修正方法を実施するためのものであり、
前記デジタル画像信号により表される画像から、該デジタル画像信号の飽和画像信号を含む飽和画像域を抽出する飽和画像域抽出手段と、
該飽和画像域の階調および／または色が再現されるように、該飽和画像域を表すデジタル画像信号を修正する修正手段とを備えたことを特徴とするものである。
【００１３】
さらに、本発明による第２の画像修正装置は、上記本発明による第２の画像修正方法を実施するためのものであり、
前記デジタル画像信号により表される画像から主要画像領域を抽出する主要画像領域抽出手段と、
該抽出された主要画像領域から前記デジタル画像信号の飽和画像信号を含む飽和画像域を抽出する飽和画像域抽出手段と、
該飽和画像域の階調および／または色が再現されるように、該飽和画像域を表すデジタル画像信号を修正する修正手段とを備えたことを特徴とするものである。
【００１４】
また、上記第１および第２の画像修正装置においては、前記修正手段は、前記デジタル画像信号の修正を、前記飽和画像域を表すデジタル画像信号に含まれる非飽和画像信号に基づいて行う手段であってもよく、前記飽和画像域内の非飽和画像域の色バランスに基づいて行う手段であってもよい。
【００１５】
さらに、前記修正手段は、前記デジタル画像信号の修正を、前記飽和画像域の略中心位置に向かって該飽和画像域内の色が徐々に変化するように行う手段であってもよく、前記飽和画像信号に基づいて算出された修正量に基づいて行う手段であってもよい。
【００１６】
【発明の効果】
本発明による第１の画像修正方法および装置によれば、デジタル画像信号により表される画像から飽和画像信号を含む飽和画像域が抽出され、この飽和画像域の階調および／または色が再現されるように、飽和画像域を表すデジタル画像信号が修正される。このため、修正された画像信号を再生することにより、撮影時に露出オーバーとなった画像あるいはこの画像に含まれるハイエスト領域について、適切な階調および／または色を有する自然な仕上がりの画像を得ることができる。
【００１７】
また、本発明による第２の画像修正方法および装置によれば、デジタル画像信号により表される画像から主要画像領域が抽出され、さらにこの抽出された主要画像領域から飽和画像信号を含む飽和画像域が抽出され、この飽和画像域の階調および／または色が再現されるように、飽和画像域を表すデジタル画像信号が修正される。このため、修正された画像信号を再生することにより、画像中の主要画像について適切な階調および／または色を有する自然な仕上がりを有する画像を得ることができる。
【００１８】
【発明の実施の形態】
以下図面を参照して本発明の実施形態について説明する。
【００１９】
図１は本発明の実施形態による画像修正装置をデジタル画像信号のプリントシステムの画像出力装置に適用した構成を示すブロック図である。図１に示すように、本発明の実施形態を適用した画像出力装置は、ＢＧＲの３色の色信号からなるデジタル画像信号を入力するための画像信号入力手段１と、入力されたデジタル画像信号を対数変換するための対数変換手段２と、対数変換されたデジタル画像信号から後述するようにして飽和画像域を検出する飽和画像域検出手段３と、飽和画像域検出手段３において検出された飽和画像域の色を推定する色推定手段４と、飽和画像域を表す飽和画像信号を修正する修正手段５と、飽和画像域が修正されたデジタル画像信号全体に対して画像処理を施す画像処理手段６と、画像処理が施されたデジタル画像信号を真数変換する真数変換手段７と、真数変換されたデジタル画像信号を出力手段９に適合するように、２次元または３次元のルックアップテーブルを使用して変換する出力画像信号変換手段８と、デジタル画像信号を可視像として出力するプリンタ、ＣＲＴなどの出力手段９とからなる。
【００２０】
画像信号入力手段１は、例えばデジタルカメラにより撮像されたデジタル画像データが入力されるものであるが、デジタルカメラと画像出力装置との直結、ＰＣカード、スマートメディアカード、コンパクトフラッシュメモリカード、ＣＤ−Ｒ、ＺＩＰなどの記録媒体、あるいはインターネットや画像通信手段による入力であってもよいものである。なお、入力されるデジタル画像信号はそれぞれ画素数が異なる場合があるため、一定の画素数となるように画像信号を補間あるいは間引いて画素数を調節する。
【００２１】
対数変換手段２は、真数値であるＢ（ブルー）、Ｇ（グリーン）、Ｒ（レッド）のデジタル画像信号を、後の演算を容易にするために対数値に変換する（Ｂ濃度信号、Ｇ濃度信号、Ｒ濃度信号：以下、単にＢ濃度、Ｇ濃度、Ｒ濃度とする）ものである。但し、この対数変換は、デジタル画像信号の全画素について行う必要はなく、以降の処理に必要な画素に対してのみ行えばよい。例えば、一定間隔で画素を間引いたり、複数画素の平均値やフィルタリングによってノイズを軽減したり、演算時間を短縮できるように適切な画素数とすることが好ましい。
【００２２】
画像処理手段６は、不図示の画像処理出力条件決定手段において決定された出力条件に従って、デジタル画像信号の全画素に対して画像処理を行うものである。具体的には、出力画像の濃度を変更するために、出力条件値（対数値）から求めた値（真数値）により全画素値を除することによって修正を行ったり、色調整のためのマトリクス処理、階調処理、シャープネス強調処理などの出力画像の画質を良好にするための処理を行うものである。
【００２３】
飽和画像域検出手段３は、デジタル画像信号中の少なくとも１色の色信号が最大画像信号値（２５５）である飽和画像信号からなる飽和画像域を全て検出するものである。この検出処理のフローチャートを図２に示す。図２に示すように、まずステップＳ１において最大画像信号値を有する飽和画素を選択する。そして、ステップＳ２において、飽和画素に隣接する画素により飽和画素の領域を抽出して仮の飽和画像域を決定する。次いで、ステップＳ３において、仮の飽和画像域に対して飽和画像条件を満たすか否かを判定し、この飽和画像条件を満たす仮の飽和画像域のみを真の飽和画像域として選択する。ここで、飽和画像条件とは、ノイズなどにより偶然最大画像信号値となった画像領域を飽和画像域として検出しないようにするための条件であり、具体的には仮の飽和画像域の面積あるいは面積率が所定値以上のものや、仮の飽和画像域の色が少なくとも所望とする色（例えば肌色または中性色）であるもの、あるいは仮の飽和画像域の色の彩度が所定値以上のもののみを選択するような条件である。
【００２４】
また、検出処理の他の例を表すフローチャートを図３に示す。図３に示すように、まずステップＳ１１において、色相、彩度および／または明度が類似する類似画素をクラスタリングする。この類似画素のクラスタリングは以下のようにして行う。なお、本実施形態では色に基づいて類似画素のクラスタリングを行うものとする。まず、対象とする画素について、この画素に隣接する上下、左右、左上、左下、右上および右下の８つの画素との色を比較して、色が類似している場合に類似画素としてラベリングを行う。このラベリングは、類似する画素に対しては同一の番号を付し、類似していない画素に対しては新たな番号を付することにより行う。そして各画素について順次その周囲の画素の色を調べることによって画素を色によって分類する。図４には類似画素のクラスタリングにより、白丸と黒丸との２色の色が存在する場合に２つの領域に分類した例を示す図である。図２において白丸の画素は隣接する画素と色が類似すると判定した結果である。なお、実際の画素では異なった色毎に多数の領域に分類される。
【００２５】
ここで、画素の色が類似するか否かの判定は、例えば２つの画素間における色の差が予め定めた値以下の場合に類似すると判定するものである。例えば、ある画素の濃度信号がＲＧＢ、これに隣接する画素の濃度信号がＲ′Ｇ′Ｂ′である場合には、２つの画素は、｜（Ｒ−Ｇ）−（Ｒ′−Ｇ′）｜＜ａかつ｜（Ｂ−Ｇ）−（Ｂ′−Ｇ′）｜＜ｂ（ａ，ｂは予め定めた値）のときに類似すると判定するものである。なお、判定方法はこれに限定されるものではなく、色を色相および彩度で定義し、色相および彩度が近似しているときに類似画素であると判定するようにしてもよい。また、明度（濃度）が類似または所定範囲内のときに類似画素であると判定するようにしてもよい。
【００２６】
ステップＳ１１の後、次のステップＳ１２においては、クラスタ内における飽和画像信号の領域が所定面積以上あるいは面積率が所定値以上となるクラスタを選択する。
【００２７】
次にステップＳ１３において、選択されたクラスタが飽和画像条件を満たすか否かを判定し、この飽和画像条件を満たす仮の飽和画像域のみを真の飽和画像域として選択する。この飽和画像域の選択は以下のようにして行う。図５は飽和画像域の選択を説明するための図である。図５における領域Ａはクラスタリングされた肌色領域であり、領域Ｂが飽和画像域である。なお、領域Ｂの中心を符号Ｐで示す。領域Ｂの被写体は肌色であるが、信号値は肌色を示しておらず、領域Ｂの内側に向かって順次肌色から完全に飽和した白に変化しているものである。領域Ｂにおいては、徐々に肌色から白に変化すれば、上記ステップＳ１１において類似画素であると判定されるため領域Ａとして判定される可能性もあるが、飽和画像域（例えばＲＧＢの３色が２５５の値となる）は容易に判定することができるため、飽和画素に着目した領域決定を行えば、領域Ｂを飽和画像域として定めることができ、この領域Ｂが飽和画像域として選択される。
【００２８】
なお、飽和画像域の選択は、図５に示すようにクラスタの中から選択するようにしてもよく、またクラスタ全体を飽和画像域（図５における領域Ａ）として選択するようにしてもよい。この場合、ステップＳ１における類似画素の判定の条件を厳しくするほど、飽和画像のクラスタが選択される率が多くなるものである。
【００２９】
色推定手段４は、飽和画像域検出手段３により検出された飽和画像域の色を推定する手段であり、具体的には飽和画像域に隣接する画素の色の平均値をもってその飽和画像域の色と推定する。この推定は、経験的にある画像領域内に飽和画像域が含まれる場合、その画像領域の中心部ほど画像信号が飽和していることが多いということに基づいて行われるものである。
【００３０】
修正手段５は、具体的には以下のようにして飽和画像信号を修正するものである。図６は飽和画像信号の修正を説明するための図であり、図６（ａ）は図５の飽和画像域とその中心Ｐを含む肌色の領域の濃度バランスとその位置との関係を模式的に示し、図６（ｂ）は修正後の濃度バランスとその位置との関係を模式的に示すものである。図６（ａ）に示す肌色領域には飽和画像域（横軸の矢印部分）が含まれており、再現画像における飽和画像域の色は中心に向かうにつれて濃度が下がりイエローから白に色が変化している。そしてこの修正手段５においては最も濃度が高いイエロー濃度を制御するＢ濃度に基づいて、肌色のバランスを保って図６（ｂ）に示すようにＧ濃度およびＲ濃度を定めるものである。以下、その具体的手法について説明する。
【００３１】
図７は、濃度修正の具体的手法を説明するための図である。なお図７においては再現画像の飽和画像域が肌色（イエロー濃度＞マゼンダ濃度＞シアン濃度）であって、この肌色を修正するものであり、再現画像のマゼンダ濃度およびシアン濃度を制御するＧおよびＲの２色の濃度が飽和している画像域を修正するものとする。まず、図７に示すように、ＢＧＲの各濃度の傾きが平行となるように階調を補正し、その後、Ｇ濃度およびＲ濃度をＢ濃度に基づいて下記の式により修正する（第１の修正条件）。
【００３２】
Ｇ＝（ａ−ｂ）−Ｂ
Ｒ＝（ａ−ｃ）−Ｂ
但し、ａ，ｂ，ｃは任意の位置における各色の濃度値
ここで、Ｇ，Ｒはマイナス濃度となるため、−Ｒ濃度分各画素の濃度値に加算する（第２の修正条件）。これにより、図７に示すようにＧおよびＲの２色の色が飽和している場合には、Ｂ濃度には−Ｒ、Ｇ濃度には（Ｇ−Ｒ）加算され、Ｒ濃度は０となる。そして、このように飽和画像信号を修正することにより、飽和して白っぽくなった再現画像の濃度を濃くすることができるものである。なお、第２の修正条件においては−Ｒ濃度分各画素の濃度値に加算しているが、肌濃度が好ましい濃度となるように修正してもよい。
【００３３】
また、飽和画像域が肌色であり、かつＲ濃度のみが飽和している場合の修正は以下のようにして行う。図８はＲ濃度のみが飽和している場合の修正を説明するための図である。この場合は非飽和画像域のＢＧＲ３色のバランスを保ちながら飽和しているＲの濃度値を以下の式により求める。
【００３４】
Ｒ＝｛（ｂ−ｃ）Ｂ−（ａ−ｃ）Ｇ｝／（ａ−ｂ）
ここで、Ｒはマイナス濃度となるため、図７の場合と同様に−Ｒ濃度分各画素の濃度値に加算する。そして、このように飽和画像信号を修正することにより、Ｒのみ飽和した肌色領域の濃度を修正することができる。
【００３５】
さらに、ＢＧＲの３色とも飽和している場合は、擬似的に階調を作るかまたは階調なしの一定色（本実施形態では肌色）となるように各色の濃度を修正する。このような方法であっても、飽和画像域の面積が小さい場合は再現画質は大きく改善され、さらに飽和画像域の面積が大きい場合でも、完全に白くなってしまう場合よりも画質を改善することができる。
【００３６】
また、飽和画像域に階調を持つ信号がわずかしかない場合の修正について図９を参照して説明する。図９（ａ）に示すように、飽和画像域に階調を持つ信号がわずかしかない場合画像のハイエストである可能性が高く、図９（ｂ）に示すように、ＢＧＲの全濃度値を大きくし、肌色から飽和画像域の中心に向かって徐々に白色に変化するように階調および色を修正する。但し、図９（ｂ）に示すような修正は、肌色の飽和画像域が全肌色画像の数％（例えば５％）以下の場合に可能であり、肌色の飽和画像域の面積が大きい場合、階調の情報がないと階調の不具合が目立ってくる。このため、肌色の飽和画像域の面積が大きい場合は図９（ｂ）に示すような修正を行うよりも一定色となるように修正した方が画像の破綻がない。したがって、飽和画像域の面積や、２色以下の飽和画像域の面積と３色の飽和画像域の面積との比較結果など飽和画像域の状況に応じて、修正の内容を変更することが好ましい。
【００３７】
次いで、本実施形態の動作について説明する。
【００３８】
まず、画像信号入力手段１より画像信号を入力し、対数変換手段２において画像信号を対数変換する。次いで、対数変換された画像信号に基づいて、飽和画像域検出手段３において、上述したように飽和画像域の検出を行う。ここで、飽和画像域が存在しない場合には、画像信号は画像処理手段６に入力される。飽和画像域が存在する場合には、次の色推定手段４において飽和画像域の色が推定され、修正手段５において飽和画像域の階調および濃度の補正が上述したように行われる。修正手段５により修正された画像信号は画像処理手段６において所定の画像処理が行われ、真数変換手段７において対数から真数への変換が行われ、さらに出力画像信号変換手段８において出力手段９において適合するように変換され、プリンタやＣＲＴなどの出力手段９において可視像として再現される。
【００３９】
このように、本実施形態においては、飽和画像域の階調や色を修正するようにしたため、露出オーバーとなったデジタルカメラ画像により取得された画像あるいはこの画像に含まれるハイエスト領域について、適切な階調および／または色を有する画像として再生することができる。
【００４０】
また、飽和画像信号を含む画像信号を、飽和画像信号を含まない画像信号からなる画像と同一の手法により画像を再現した場合、飽和画像域の不自然さのため濃度を上げることができずその結果白っぽい画像しか得ることができなかったが、本実施形態のように飽和画像信号の階調および／または濃度を修正することにより、出力濃度を適切に上げて再現される画像の画質を向上させることができる。
【００４１】
なお、上記実施形態においては、肌色の領域に含まれる飽和画像域を修正するものについて説明したが、これに限定されるものではなく、青空、曇天の空の領域あるいは彩度が高い色の車の車体や衣装における飽和画像域に対しても同様に修正を行うことができるのはもちろんである。
【００４２】
また、上記実施形態においては、画像信号を対数変換した後に飽和画像域の検出、色の推定、および修正を行うようにしているが、対数変換することなく真数の画像信号に対して処理を行うようにしてもよい。
【００４３】
さらに、上記実施形態においては、飽和画像域検出手段３により画像から飽和画像域を検出しているが、図１０に示すように、飽和画像域検出手段３に代えて飽和画像信号を検出する飽和画像信号検出手段１３を設け、この飽和画像信号検出手段１３により飽和画像信号のみを検出するようにしてもよい。この場合、飽和画像信号に隣接する非飽和画像信号の画素の色を用いて上記修正手段５における修正と同様の修正を行えばよい。この場合、隣接する画素とは１画素であっても、複数画素であってもよい。
【００４４】
また、上記実施形態においては、飽和画像域検出手段３により飽和画像域を検出するようにしているが、図１１に示すように、主要画像領域抽出手段１４を設けて画像から主要画像領域を抽出し、抽出された主要画像領域から飽和画像域検出手段３により飽和画像域を検出するようにしてもよい。以下、主要画像領域抽出手段１４の詳細について説明する。
【００４５】
図１２は主要画像領域抽出手段１４において行われる処理を示すフローチャートである。なお、本実施形態においては主要画像領域を人間の顔として説明する。まず、ステップＳ２１において、画像信号の画素が４００００画素となるように画素結合する。通常、デジタルカメラにより取得された画像信号の画素数は、数十万から数百万画素であるため、プリントサイズに相当する一定画素数（例えば百数十万画素）となるように画像信号を補完して画素数を増加させている。しかしながら、主要画像領域の抽出にはこれほど多数の画素を必要とせず、また画素数が多いと演算に時間を要するため、このように画素結合により画素数を減少させるものである。具体的には、６×６の画素内における画像信号を平均して１画素に変換することにより画素数を減少させる。
【００４６】
次のステップＳ２２においては、色相、明度および／または形状により画素をクラスタリングする。このクラスタリングは、例えば特開昭５２−１５６６２４号公報、特開平４−３４６３３２号公報に記載されている色、色相と彩度、または色相と彩度と明度によるクラスタリングや、特開平８−１２２９４４号公報に記載されている形状によるクラスタリングにより行うものである。
【００４７】
ここで、特開昭５２−１５６６２４号公報に記載された方法は、カラー画像信号を複数の測光点に分割するとともに、各測光点をＢＧＲの３色に分解して測光し、測光されたデータから計算した各測光点の色が肌色範囲内か否かを判定し、肌色範囲内であると判定された場合に、その測光点のクラスタを主要画像域として抽出するものである。
【００４８】
また、特開平４−３４６３３２号公報に記載された方法は、測光により得られたデータに基づいて色相値および彩度値についてのヒストグラムを求め、求めたヒストグラムを山毎に分解し、各画素が分割した山のいずれに属するかを判断して各画素を分割した山に対応する群に分け、各群毎にカラー画像を複数の領域に分割し、この複数の領域のうち人物の顔に相当する領域を推定するようにした方法である。
【００４９】
さらに、特開平８−１２２９４４号公報に記載された方法は、画像を二値化などの手法により複数領域に分割し、非人物領域を除外した後に人物の頭部の輪郭を表す形状パターンを検出し、検出したパターンに応じて顔候補領域を設定する。そして、顔の内部構造を表す形状パターン、胴体の輪郭を表す形状パターンを検出し、検出したパターンにより顔候補領域の整合性を判定することにより顔に相当する領域である確率が最も高い領域を顔領域として検出するものである。
【００５０】
次いで、ステップＳ２３において、クラスタリングされた画素から一定面積以上となる肌色の領域を顔画像領域として抽出して処理を終了する。
【００５１】
なお、主要画像抽出の処理においては、図１３に示すように、クラスタリングの後、ステップＳ３３に示すように、１つのクラスタリング中に１つまたは複数のクラスタが内包される場合にこれらを同一の領域として１つのクラスタに統合するようにしてもよい。
【００５２】
そして、主要画像領域抽出手段１４において抽出された顔画像領域に対して、上記と同様に飽和画像域の検出、色推定、修正、画像処理を行う。この場合、画像処理手段６においては、顔領域に相当する画像信号が所定の出力画像濃度（または色濃度）となるように変換することが好ましい。この場合、抽出された顔画像領域の特徴量（例えば平均値）によって画像処理条件を決定するようにしてもよく、飽和画像域が含まれている場合は、飽和画像域の情報を考慮して画像処理条件を決定すればよい。具体的には、本実施形態において飽和画像信号を修正してもなお飽和画像域が存在する場合には、顔画像領域の特徴量から求めた画像処理条件まで修正しないようにするものである。
【００５３】
なお、図１１に示す実施形態においては、主要画像領域抽出手段１４において肌色の顔画像領域を抽出しているため、色推定手段４を設けなくとも飽和画像信号の修正処理を行うことができる。
【００５４】
また、上記実施形態においては、主要画像領域の抽出後、抽出された主要画像領域から飽和画像域を検出するようにしているが、主要画像領域抽出手段１４の前段に飽和画像域検出手段３を設けるようにしてもよい。さらに、主要画像抽出処理と飽和画像域検出処理とを交互に行うようにしてもよい。この場合、主要画像領域抽出手段１４において、例えば顔であるか否かの判定に、丸または一塊りのクラスタであるという条件、または肌色領域が一定面積以上であるという条件を用いる。ここで、顔の中や外周に隣接して飽和画像域が存在する場合、中空や凹形の肌色領域になったり肌色面積が小さくなったりするため、顔画像領域の判定が困難になる。このため、主要画像領域の抽出と飽和画像域の検出とを交互に行って飽和画像域を内包した領域と飽和画像域とを同じ１つの領域に統合し、その領域が顔画像領域であるか否かを判定する。このように、主要画像領域の抽出と飽和画像域の検出とを交互に行うことにより、主要画像領域であるか否かの判定精度を向上させることができる。
【００５５】
さらに、上記実施形態においては、本発明による画像修正方法および装置をプリントシステムの画像出力装置に適用しているが、これに限定されるものではなく、例えばデジタルカメラに本発明による画像出力装置を設け、デジタルカメラ内において飽和画像域の修正を行うようにしてもよいものである。さらにまた、銀塩フイルムからのデジタル画像処理によるプリントシステムに本発明を適用してもよいものである。
【図面の簡単な説明】
【図１】本発明の実施形態による画像修正装置を適用した画像出力装置の構成を示すブロック図
【図２】飽和画像検出手段において行われる処理を示すフローチャート
【図３】飽和画像検出手段において行われる他の処理を示すフローチャート
【図４】図３の処理を説明するための図
【図５】図３の処理を説明するための図
【図６】修正手段において行われる処理を説明するための図（その１）
【図７】修正手段において行われる処理を説明するための図（その２）
【図８】修正手段において行われる処理を説明するための図（その３）
【図９】修正手段において行われる処理を説明するための図（その４）
【図１０】本発明の他の実施形態による画像修正装置を適用した画像出力装置の構成を示すブロック図
【図１１】本発明の他の実施形態による画像修正装置を適用した画像出力装置の構成を示すブロック図
【図１２】主要画像領域抽出手段において行われる処理を示すフローチャート
【図１３】主要画像領域抽出手段において行われる他の処理を示すフローチャート
【符号の説明】
１画像信号入力手段
２対数変換手段
３飽和画像域検出手段
４色推定手段
５修正手段
６画像処理手段
７真数変換手段
８出力画像信号変換手段
９出力手段
１４主要画像領域抽出手段

Claims

デジタル画像信号を修正する画像修正方法において、
前記デジタル画像信号により表される画像から、該デジタル画像信号の飽和画像信号を含む飽和画像域を抽出し、
該飽和画像域の階調および／または色が再現されるように、該飽和画像域を表すデジタル画像信号を修正することを特徴とする画像修正方法。
デジタル画像信号を修正する画像修正方法において、
前記デジタル画像信号により表される画像から主要画像領域を抽出し、
該主要画像領域から前記デジタル画像信号の飽和画像信号を含む飽和画像域を抽出し、
該飽和画像域の階調および／または色が再現されるように、該飽和画像域を表すデジタル画像信号を修正することを特徴とする画像修正方法。
前記デジタル画像信号の修正を、前記飽和画像域を表すデジタル画像信号に含まれる非飽和画像信号に基づいて行うことを特徴とする請求項１または２記載の画像修正方法。
前記デジタル画像信号の修正を、前記飽和画像域内の非飽和画像域の色バランスに基づいて行うことを特徴とする請求項１または２記載の画像修正方法。
前記デジタル画像信号の修正を、前記飽和画像域の略中心位置に向かって該飽和画像域内の色が徐々に変化するように行うことを特徴とする請求項１または２記載の画像修正方法。
前記デジタル画像信号の修正を、前記飽和画像信号に基づいて算出された修正量に基づいて行うことを特徴とする請求項１または２記載の画像修正方法。
デジタル画像信号を修正する画像修正装置において、
前記デジタル画像信号により表される画像から、該デジタル画像信号の飽和画像信号を含む飽和画像域を抽出する飽和画像域抽出手段と、
該飽和画像域の階調および／または色が再現されるように、該飽和画像域を表すデジタル画像信号を修正する修正手段とを備えたことを特徴とする画像修正装置。
デジタル画像信号を修正する画像修正装置において、
前記デジタル画像信号により表される画像から主要画像領域を抽出する主要画像領域抽出手段と、
該抽出された主要画像領域から前記デジタル画像信号の飽和画像信号を含む飽和画像域を抽出する飽和画像域抽出手段と、
該飽和画像域の階調および／または色が再現されるように、該飽和画像域を表すデジタル画像信号を修正する修正手段とを備えたことを特徴とする画像修正装置。
前記修正手段は、前記デジタル画像信号の修正を、前記飽和画像域を表すデジタル画像信号に含まれる非飽和画像信号に基づいて行う手段であることを特徴とする請求項７または８記載の画像修正装置。
前記修正手段は、前記デジタル画像信号の修正を、前記飽和画像域内の非飽和画像域の色バランスに基づいて行う手段であることを特徴とする請求項７または８記載の画像修正装置。
前記修正手段は、前記デジタル画像信号の修正を、前記飽和画像域の略中心位置に向かって該飽和画像域内の色が徐々に変化するように行う手段であることを特徴とする請求項７または８記載の画像修正装置。
前記修正手段は、前記デジタル画像信号の修正を、前記飽和画像信号に基づいて算出された修正量に基づいて行う手段であることを特徴とする請求項７または８記載の画像修正装置。
最大画像信号値を有する飽和画素に基づいて仮の飽和画像域を決定し、所定の飽和画像条件を満たす該仮の飽和画像域を前記飽和画像域として抽出することを特徴とする請求項１から６のいずれか１項記載の画像修正方法。
前記飽和画像域抽出手段は、最大画像信号値を有する飽和画素に基づいて仮の飽和画像域を決定し、所定の飽和画像条件を満たす該仮の飽和画像域を前記飽和画像域として抽出する手段であることを特徴とする請求項７から１２のいずれか１項記載の画像修正装置。