JP4351911B2

JP4351911B2 - デジタルスチルカメラにおける取り込み画像の写真品質を評価する方法及び装置

Info

Publication number: JP4351911B2
Application number: JP2003568611A
Authority: JP
Inventors: キアン・リン
Original assignee: Hewlett Packard Development Co LP
Current assignee: Hewlett Packard Development Co LP
Priority date: 2002-02-12
Filing date: 2003-02-12
Publication date: 2009-10-28
Anticipated expiration: 2023-02-12
Also published as: AU2003217423A1; WO2003069559A3; TWI255642B; EP1474779A2; US20030151674A1; WO2003069559A2; EP1474779B1; AU2003217423A8; TW200303139A; DE60324528D1; JP2005521927A; US7362354B2

Description

［発明の背景］
本発明は、包括的には、デジタル画像処理に関し、より詳細には、デジタルスチルカメラのユーザに写真品質フィードバックを提供する目的で取り込みデジタル画像の写真品質をカメラ内で評価する方法およびシステムに関する。

［発明の背景］
デジタル画像処理は、一般に、或る方法で取り込み画像を改善したり、取り込み画像から情報を抽出してさらに処理することに関係するものである。一般的なオペレーションは、取り込み画像からぶれを除去すること、画像の粒状性、スペックル、または雑音を平滑化して除去すること、画像の表示前に画像のコントラストを改善すること、オブジェクトや背景等の領域に画像をセグメント化すること、画像を拡大または回転すること等を含む。デジタル画像は、スキャナを使用したり、デジタルスチルカメラを使用して写真を直接撮ることによって、従来の写真印画、ネガ、またはスライドから作成することができる。

デジタルスチルカメラは、一部に、ＣＣＤ（電荷結合素子）またはＣＭＯＳ（相補型金属酸化膜半導体）センサ、レンズ、ファインダ、およびフラットＬＣＤ（液晶ディスプレイ）スクリーンを含む。フラットＬＣＤスクリーンは、取り込みモード中の実際のファンダとして、または、取り込み画像をプレビューするために使用される。あいにく、表示されたＬＣＤ画像は、一般に、あまりにも小さく、また、あまりにも解像度が低いので、写真の印刷を進める前に、取り込み画像の写真品質をユーザに正確に評価させることはできない。また、屋外で撮影する際に、空がほとんど曇っている場合を除いていずれの天候の下でも、ＬＣＤは、ウォッシュアウトする（wash out）傾向がある。デジタルカメラの価格は、ＬＣＤのサイズおよび／または解像度の増加に伴い高くなっているので、一般に、ＬＣＤスクリーンのサイズ、解像度、および明度は、ユーザがデジタルカメラを購入する際に検討する重要な要素となっている。皮肉なことに、撮影したばかりの写真を維持するのか、それともその写真を消去してより良い条件下で写真の取り直しを試みるのかをユーザがどれだけ正確に判断できるかを決定するものは、ＬＣＤスクリーン上でプレビューされている画像の品質である。代替的なものとしては、撮影したばかりの写真の拡大版をコンピュータモニタ上で観察して、より正確な写真品質の評価を行うことが挙げられるが、これは、かなり多くの時間を必要とし、特に現場では、現実的なプロセスではない。

デジタル写真撮影は、一般に、独特な課題を平均的なユーザに提示する。このような１つの課題は、カラー写真品質に関係するものである。デジタルカメラは、極めて高いカラー写真品質を達成する可能性を有するが、ユーザが写真撮影に十分習熟していない場合、操作の柔軟性および容易さが、一般に低品質な結果を生み出している。低品質な結果には、ハイライト部分または陰影部分の保存が可変であることによるのっぺりとした画像、飽和した画像、または不飽和の画像が含まれる。さらに、デジタルカメラが、ＣＣＤ／ＣＭＯＳ画像センサに記録されたダイナミックレンジを出力画像ファイルにどのようにマッピングするかも、カラー写真品質に重大な影響を与える。デジタルカメラは、例えば、空といった画像の大きく重要な部分をウォッシュアウトさせることが多い。これは、過度の飽和（フレア）につながる露出オーバによって引き起こされることがある。従来の写真撮影と異なり、ピクセルが一旦飽和すると、画像情報は失われるので、この種の露出オーバは、画像を取り込んだ後に補正することはできない。

特開２００１−１４５１１７号特開２０００−２６２５０１号米国特許第６０１６３５４号 JE-HO LEE他,「IMPLEMENTATION OF A PASSIVE AUTOMATIC FOCUSING ALGORITHM FOR DIGITAL STILL CAMERA」, 1995年8月１日, IEEE TRANSACTIONS ON CONSUMER ELECTRONICS, IEEE INC. NEW YORK, US, vol. 41, No. 3, p449-454 WEN-HSIN CHAN他,「VIDEO CCD BASED PORTABLE DIGITAL STILL CAMERA」, 1995年8月１日, IEEE TRANSACTIONS ON CONSUMER ELECTRONICS, IEEE INC. NEW YORK, US, vol. 41, No. 3, p455-459 A.K. Jain,「Fundamentals of Digital Image Processing」, 1989, Prentice Hall Edward M. Granger,「Photo Quality of Digital Cameras」, IS & T's 1998 PICS Conference, p188-191 Nicolas Tsapatsoulis, Yanis Avrithis及びStefanos Kollias, 「Efficient Face Detection For Multimedia Applications」, ICIP 2000会報, September, 2000, Vancouver, Canada, IEEE International Conference on Image Proceeding Tsuyoshi Kawaguchi, Daisuke Hidaka及びMohamed Rizon, 「Detection of Eyes From Human Faces by Hough Transform and Separability Filter」, ICIP 2000会報, September, 2000, Vancouver, Canada, IEEE International Conference on Image Proceeding K. Fukui及びO. Yamaguchi, 「Facial Feature Point Extraction Method Based on Combination of Shape Extraction and Pattern Matching」,1997, IEICE Transactions, Vol. J80-D-II, No. 8, p2170-2177

上記のように、写真の印刷を進める前に、取り込み画像の写真品質をユーザに正確に評価させることは困難である。
したがって、デジタルカメラは、より「知的な」装置として設計されることが必要とされている。より具体的には、客観的な写真品質フィードバックをユーザに提供できるシステム及び方法が必要とされている。

［発明の概要］
本発明は、デジタルカメラにおいて取り込み画像の写真品質を評価する方法を対象とする。この方法は、取り込み画像の写真品質をカメラ内でチェックして、その結果によって、写真品質が許容可能であるかどうかをカメラ内で判断するステップと、対応する写真品質フィードバックをカメラユーザに提供するステップとを含む。

本発明のこれらの態様および他の態様は、本発明の好ましい実施の形態の添付図面および以下の詳細な説明を見直すことにより明らかになる。

［好ましい実施の形態の詳細な説明］
本発明は、デジタルスチルカメラで取り込まれた画像の写真品質をカメラ内で評価する方法を対象とする。この方法は、取り込み画像の写真品質をチェックして適切な写真品質フィードバックをカメラユーザに提供できるように、（好ましくは）製造時にデジタルスチルカメラを構成することを含む。これにより、カメラユーザは、取り込み画像を維持するのか、それとも撮影し直すのかを客観的に判断できる。デジタルスチルカメラは、３つの写真品質属性、すなわち（ａ）写真のシャープネス、（ｂ）顔の画像品質、および（ｃ）フレアの存否に基づいて、写真品質を自動的にチェックする。具体的には、デジタルスチルカメラは、３つの写真品質属性のそれぞれの性能指数を計算し、次いで、各性能指数を、それぞれの予め設定された閾値と比較して、その性能指数が閾値を越えているかどうかを判断する。性能指数がすべての閾値を越えている場合、カメラは、取り込み画像が許容可能な品質であることをユーザに通知する。

図１に概ね示すように、デジタルスチルカメラ２０は、ファインダ２２、電源スイッチ２４、シャッタ２６、およびＬＣＤプレビュースクリーン２８を有する。このデジタルスチルカメラ２０は、特注の内蔵ＡＳＩＣ（特定用途向け集積回路、図示せず）、ＤＳＰ（デジタル信号プロセッサ、図示せず）、または汎用プロセッサ（図示せず）を使用して、取り込み画像（カラー写真）の写真品質をカメラ内で自動的にチェックし、写真品質フィードバックをユーザに提供するように、好ましくは製造時に構成される。通常、カメラユーザは、取り込み画像の写真品質に関する予備的な主観的判断を行おうとして、例えば画像３０（図２）または画像３２（図３）といった取り込み画像のサムネイル版をＬＣＤスクリーン２８上でプレビューする。ＬＣＤスクリーン２８は、ユーザが取り込み画像の写真品質をより客観的に評価できるには、比較的小さなサイズであり、低解像度であることから、このような判断は、一般に、平均的なユーザにとって容易に行える作業ではない。

同じオブジェクトおよび同じ背景の２つの写真が、同じデジタルスチルカメラ（２０）を使用して、表面的には同一の条件下で撮影されると、ＬＣＤスクリーン２８上の対応するサムネイル画像は、平均的なユーザには実質的に同一に見える。図２および図３に示すように、サムネイル画像３０およびサムネイル画像３２は、ＬＣＤスクリーン２８上にプレビューされると、ほぼ同一に見える。しかしながら、コンピュータモニタ上で拡大して観察したり、高品質印画紙に印刷したりすると、図４および図５に示すように、同じ画像は、写真品質において顕著な相違を示すことがある。具体的には、カメラユーザが、いずれの場合も、ほぼ同じ条件下で同じシーンを撮影していた場合であっても、図３のサムネイル画像３２に対応する図５の拡大画像３３のスイレン３９および背景４１は、図２のサムネイル画像３０に対応する図４の拡大画像３１のスイレン３５および背景３７と比較すると、幾分ぼけて見える。図５の明らかなぼけについて考えられる原因は、ユーザの手のわずかな動き、焦点、視角のわずかな変化等であった可能性がある。いずれにしても、比較的低解像度で小さなサイズのカメラＬＣＤスクリーン上でサムネイル画像を見せられた場合に、平均的なユーザが、取り込み画像の写真品質の予備的な客観的判断を行うことは事実上不可能である。

図６に概ね示すように、ステップ３６において、画像データが、内蔵ＣＣＤまたはＣＭＯＳセンサ（図示せず）を介して取り込まれ、ステップ３８において、従来のデジタル画像処理パイプラインによってカメラ内で処理され、カラー写真が作成される。このカラー写真は、ＬＣＤスクリーン２８上でプレビューすることができる。

本発明の好ましい実施の形態によると、従来技術のやり方から主に脱却した点として、取り込まれて処理された画像データ（カラー写真）が、ＬＣＤスクリーンのプレビュー用に直ちに利用可能にされるのではなく、ステップ４２（図６）において、処理された画像の写真品質を客観的にチェックする目的で、特注の内蔵ＡＳＩＣ、内蔵ＤＳＰ、または内蔵汎用プロセッサを使用してカメラ内で付加的な画像処理を受ける。カメラ内の写真品質チェックが完了した後（ステップ５４）、デジタルスチルカメラ２０は、それぞれステップ５６、５８において、処理された画像の写真品質が、許容可能であるのか、それとも許容可能でないのかについてユーザに通知する。この付加的なカメラ内の画像処理は、３つの写真品質属性、すなわち、写真のシャープネス、顔の画像品質、およびフレアの存否を評価するように、（デジタルスチルカメラ２０の）内蔵ＡＳＩＣまたは内蔵ＤＳＰまたは内蔵汎用プロセッサを、好ましくは製造時にプログラムすることによって可能にされる。具体的には、カメラＡＳＩＣまたはＤＳＰまたは汎用プロセッサは、（ａ）ステップ６０、６４、および６８（図７）において、３つの写真品質属性のそれぞれの性能指数を計算し、（ｂ）ステップ６２、６６、および７０（図７）において、計算した性能指数のそれぞれを事前に設定された各閾値と比較して、各性能指数がその各閾値を越えているかどうかを判断し、（ｃ）ステップ５６、５８（図６）において、適切な視覚的なおよび／または可聴式の写真品質フィードバックをＬＣＤプレビュースクリーン２８を介してユーザに提供する、ようにプログラムされる。

例えば、可聴式の写真品質フィードバックは、ビープ音によって提供することができ、それによって、（３つの）写真品質属性の１つに関連した問題があることを示すことができる。視覚的な写真品質フィードバックは、例えば、ＬＣＤプレビュースクリーン２８の所定の部分にテキストを表示することによって行うことができ、それによって、例えば、画像がぼけていることを、ぼけを補正できる方法に関する具体的な指示、例えば「再焦点設定」、「光量の増大」等と共に、ユーザに警告することができる。デジタルカメラ２０が、取り込み画像にフレアの存在を検出すると、適切な「フレア」警告メッセージを、例えば「窓の回避」、「アングルの変更」等といった、補正方法に関する簡単な指示と共に、ＬＣＤスクリーン２８上に表示することができる。

本発明の一実施の形態では、図８に概ね示すように、ＬＣＤプレビュースクリーン２８は、いくつかの警告灯を、取り込み（かつ処理された）画像４４の一方の側の列に配列して示すことができる。例えば、警告灯４６は、フレアが画像４４に存在することを示す赤の点滅光とすることができる。警告灯４８は、（画像４４に示される人の）顔の画像品質が許容可能であることを示す緑の光とすることができる。警告灯５０は、画像４４にぼけが存在しない、すなわち、画像４４が十分にシャープであることを示す緑の光とすることができる。

本発明の別の好ましい実施の形態によると、以下の１次元勾配アルゴリズムを実行することによって、画像３０（図２）等の、取り込まれて処理された画像の写真シャープネス属性を評価するように、デジタルスチルカメラ２０の内蔵ＡＳＩＣまたは内蔵ＤＳＰまたは内蔵汎用プロセッサをプログラムすることができる。

ステップ１。取り込み（サムネイル）画像３０（図２）のラインピクセルプロファイル（すなわち、赤チャネル用の、中心を横切る水平ラインのプロファイル）を生成する。このラインピクセルプロファイルは、赤チャネルのグレーレベル対ピクセル位置で、グラフ７６（図９）にプロットされる。

ステップ２。取り込み画像３０の水平方向に隣接するピクセル間の赤チャネルのグレーレベルの絶対差を、画像３０のラインピクセルプロファイル（図９）を使用して計算する。

ステップ３。（水平方向に隣接するピクセル間の赤チャネルのグレーレベルの）計算した絶対差を、グラフ８０（図１１）に、取り込み画像３０のピクセル位置に対してプロットする。

ステップ４。（水平方向に隣接するピクセル間の赤チャネルのグレーレベルの）最大絶対差を写真シャープネス性能指数として選択する。例えば、グラフ８０（図１１）の（水平方向に隣接するピクセル間の赤チャネルのグレーレベルの）最大絶対差は、約「７５」（写真シャープネス性能指数）である。

ステップ５。写真シャープネス性能指数が、予め設定された写真シャープネス閾値を越えているどうかを判断する。写真シャープネス性能指数がこの閾値を越えている場合には、取り込み画像は「シャープな画像」である。写真シャープネス性能指数がこの閾値を越えていない場合には、取り込み画像は「ぼけ画像」である。例えば、グラフ８０の写真シャープネス閾値は、（図１１の「絶対差」軸において）「２０」に示される。写真シャープネス性能指数＝７５＞２０であるので、取り込み画像３０は、「シャープな画像」である。図４も参照されたい。

以下のように同じ方法で、取り込み（サムネイル）画像３２（図３）の写真シャープネス属性を、デジタルスチルカメラ２０のＡＳＩＣまたはＤＳＰまたは汎用プロセッサによって評価することができる。

ステップ１。取り込み画像３２（図３）のラインピクセルプロファイル（すなわち、赤チャネル用の、中心を横切る水平ラインのプロファイル）を生成する。このラインピクセルプロファイルは、赤チャネルのグレーレベル対ピクセル位置で、グラフ７８（図１０）にプロットされる。

ステップ２。取り込み画像３２（図３）の水平方向に隣接するピクセル間の赤チャネルのグレーレベルの絶対差を、画像３２のラインピクセルプロファイル（図１０）を使用して計算する。

ステップ３。（水平方向に隣接するピクセル間の赤チャネルのグレーレベルの）計算した絶対差を、グラフ８２（図１２）に、取り込み画像３２のピクセル位置に対してプロットする。

ステップ４。（水平方向に隣接するピクセル間の赤チャネルのグレーレベルの）最大絶対差を写真シャープネス性能指数として選択する。例えば、グラフ８２（図１２）の（水平方向に隣接するピクセル間の赤チャネルのグレーレベルの）最大絶対差は、約「１６」（写真シャープネス性能指数）である。

ステップ５。写真シャープネス性能指数が、予め設定された写真シャープネス閾値を越えているどうかを判断する。この場合、グラフ８２の写真シャープネス閾値は、（図１２の「絶対差」軸において）「２０」に示される。写真シャープネス性能指数＝１６＜２０であるので、取り込み画像３２は、「ぼけた画像」である。画像３３（図５）のぼけたスイレン３９およびぼけた背景４１も参照されたい。

一例では、以下のＭＡＴＬＡＢ（商標）（マサチューセッツ州ナティックのMathWorks Companyのソフトウェア製品）コードを使用して、図９〜図１２のグラフを生成することができる。

％シャープな画像およびぼけた画像を読み込む
a=imread('big.jpg');
b=imread('big_blur.jpg');
％各画像の赤チャネル用の、中心を横切る水平ラインのプロファイルをプロットする
plot(a(600,1:2000,1));
figure
plot(b(600,1:2000,1));
％水平方向に隣接するピクセル間の絶対差を計算して、その絶対差をプロットする
a_int=double(a);
b_int=double(b);
for i=1:2000
c(i)=abs(a_int(600, i+1, 1)-a_int(600, i, 1));
end
plot(c)
for i=1:2000
d(i)=abs(b_int(600, i+1, 1)-b_int(600, i, 1));
end
plot(d)

本発明の代替的な実施の形態によると、絶対差の比較的大きなスパイクが、時に雑音に関係していることがあることを考慮して、ステップ４が、ロバスト性の観点から以下のように変更されることができる。

ステップ４ａ。計算した絶対差の値（またはデータ点）を大きな値から小さな値に並べる。例えば、グラフ８０（図１１）に示すように、データ点１＝７５、データ点２＝５３、データ点３＝４５、…、データ点２０００＝０．５となる。

ステップ４ｂ。ロバスト性を得るために、データ点の上位１％を写真シャープネス性能指数の考慮の対象から外す。例えば、２０００の１％＝２０個のデータ点、すなわちデータ点１およびデータ点２０を含めたデータ点１〜データ点２０の値が、雑音に関係しているものと仮定されることから、これらのデータ点が、性能指数の考慮の対象から外されることになる。

ステップ４ｃ。次の最上位の値のデータ点を写真シャープネス性能指数として選択する。この場合、データ点２１が、写真シャープネス性能指数として選択されることになる。データ点２１（すなわち、写真シャープネス性能指数）の値が２０を超える限り、取り込み画像は、「シャープな画像」となる。

デジタルスチルカメラ２０の内蔵ＡＳＩＣまたは内蔵ＤＳＰまたは内蔵汎用プロセッサを、上述した絶対差ロバスト性（ＡＤＲ（absolute difference robustness））アルゴリズムを実行するようにプログラムすることができる。さらに、カメラ製造者のニーズに応じて、上位１％ではなく、上位２％、上位３％、上位４％等を性能指数の考慮の対象から外すようにステップ４ｂを変更することも、このような変更が本発明の精神および範囲から逸脱しない限り、可能である。

本発明の別の実施の形態によると、以下の１次元勾配アルゴリズムを実行するように、デジタルスチルカメラ２０の内蔵ＡＳＩＣまたは内蔵ＤＳＰまたは内蔵汎用プロセッサを製造時にプログラムすることによって、取り込み画像の写真シャープネス属性をカメラ内において定量的に評価することができる。

ステップ１。取り込み画像データをＲＧＢ色空間からＹＣｒＣｂ色空間に変換する。ＹＣｒＣｂ色空間では、輝度（画像ピクセルの明度に対応する）情報が、単一の成分（Ｙ）として記憶され、クロミナンス（画像ピクセルの色に対応する）情報が、２つの色差成分（Ｃｂ）および（Ｃｒ）として記憶される。Ｃｂは、青成分と基準値との差を表す。Ｃｒは、赤成分と基準値との差を表す。

ステップ２。変換した画像データ（図示せず）のラインピクセルプロファイルを生成する。

ステップ３。生成したラインピクセルプロファイル（図示せず）を使用して、水平方向に隣接するピクセル間のＹチャネルのグレーレベルの絶対差を計算する。

ステップ４。計算した絶対差をピクセル位置に対してプロットする（図示せず）。

ステップ５。最大絶対差を写真シャープネス性能指数として選択する。このステップは、カメラ製造者のニーズに応じて、上述したＡＤＲアルゴリズムを使用して変更することができる。

ステップ６。写真シャープネス性能指数が、予め設定された写真シャープネス閾値「Ｎ」を越えているかどうかを判断する。写真シャープネス性能指数がＮを超えている場合、取り込み画像は「シャープな画像」である。写真シャープネス性能指数がＮより小さい場合、取り込み画像は「ぼけ画像」である。

本発明のさらに別の実施の形態によると、以下の１次元勾配アルゴリズムを実行するように、デジタルスチルカメラ２０の内蔵ＡＳＩＣまたは内蔵ＤＳＰまたは内蔵汎用プロセッサを製造時にプログラムすることによって、取り込み画像の写真シャープネス属性をカメラ内において定量的に評価することができる。

ステップ１。取り込み画像データをＲＧＢ色空間からＣ．Ｉ．Ｅ．（国際照明委員会）のＬ＊ａ＊ｂ＊色空間に変換する。Ｌ＊ａ＊ｂ＊色空間では、（Ｌ＊）が、輝度（または明度）成分を表し、（ａ＊ｂ＊）が、クロミナンス成分を表す。

ステップ３。生成したラインピクセルプロファイル（図示せず）を使用して、水平方向に隣接するピクセル間のＬ＊チャネルのグレーレベルの絶対差を計算する。

ステップ６。写真シャープネス性能指数が、予め設定された写真シャープネス閾値「Ｐ」を越えているかどうかを判断する。写真シャープネス性能指数がＰを超えている場合、取り込み画像は「シャープな画像」である。写真シャープネス性能指数がＰよりも小さい場合、取り込み画像は「ぼけ画像」である。

上述した１次元勾配アルゴリズムを変形したものが、緑チャネルもしくは青チャネルまたは垂直方向を利用できることは、当業者ならば容易に理解されよう。さらに、これらの１次元勾配アルゴリズムは、２次元勾配演算子と共に使用するように変更することもできる。

このタイプの勾配演算子は、従来、１対のマスクＨ_１、Ｈ_２によって表されていた。この１対のマスクは、２つの直交方向において、

から計算される勾配の大きさ（magnitude gradient）ｇ（ｍ，ｎ）を用いて画像ｕ（ｍ，ｎ）の勾配を測定する。ここで、ｇ_１（ｍ，ｎ）およびｇ_２（ｍ，ｎ）は双方向の勾配である。使用可能な１つの一般的な既知の勾配演算子は、

および

によって特徴付けられた平滑化（Prewitt）勾配（smoothed gradient）演算子である。他の一般的な勾配演算子には、Sobel勾配演算子および等方性勾配演算子が含まれる。これらの演算子は、平滑化（Prewitt）演算子と共に、局所的な和の水平差および垂直差を計算する。なお、この平滑化演算子は、データの雑音の影響を削減する。また、これらの演算子は、一様な領域に対してゼロをもたらす望ましい特性も有する。ｇ（ｍ，ｎ）が或る閾値Ｔを越えている場合、ピクセル位置（ｍ，ｎ）はエッジ位置に宣言される。エッジ点の位置は、以下のように定義されるエッジマップＥ（ｍ，ｎ）を構成する。

このエッジマップは、画像のオブジェクト境界をトレースするのに必要なデータを与える。最大勾配を有するピクセルの５％〜１０％がエッジとして宣言されるように、通常、ｇ（ｍ，ｎ）の累積ヒストグラムを使用してＴを選択することができる。２次元勾配演算子のさらに詳細な内容は、A. K. Jain著「Fundamentals of Digital Image Processing」Prentice Hall, 1989に見ることができる。

本発明のさらに別の好ましい実施の形態によると、デジタルスチルカメラ２０の内蔵ＡＳＩＣまたは内蔵ＤＳＰまたは内蔵汎用プロセッサを製造時にプログラムすることによって、取り込み画像の写真シャープネス属性をカメラ内において定量的に評価して、以下の２次元勾配アルゴリズムを実行することができる。

ステップ１。取り込み画像データをＲＧＢ色空間からＹＣｒＣｂ色空間に変換する。

ステップ２。上記特定した式を使用して、Ｙ成分（チャネル）の２次元勾配の大きさを計算する。

ステップ３。計算したＹ成分の２次元勾配の大きさをピクセル位置に対してプロットする（図示せず）。

ステップ４。最大（２次元）勾配の大きさを写真シャープネス性能指数として選択する。

ステップ５。写真シャープネス性能指数が、予め設定された写真シャープネス閾値「Ｔ」を越えているかどうかを判断する。写真シャープネス性能指数がＴを超えている場合、取り込み画像は「シャープな画像」である。写真シャープネス性能指数がＴよりも小さい場合、取り込み画像は「ぼけ画像」である。

あるいは、ロバスト性の観点から、以下のようにステップ４を変更することもできる。

ステップ４ａ。計算した２次元勾配の大きさの値（またはデータ点）を大きな値から小さな値に並べる。例えば、データ点１＝Ｋ１、データ点２＝Ｋ２、データ点３＝Ｋ３、…、データ点ｆ＝Ｋｆとなる。ここで、Ｋ１＞Ｋ２＞Ｋ３＞…＞Ｋｆである。

ステップ４ｂ。ロバスト性を得るために、データ点の上位１％を写真シャープネス性能指数の考慮の対象から外す。例えば、ｆの１％＝０．０１ｆ＝ｍ個のデータ点、すなわちデータ点１およびデータ点ｍを含めたデータ点１〜データ点ｍの値が、雑音に関係しているものと仮定されることから、これらのデータ点が、性能指数の考慮の対象から外されることになる。

ステップ４ｃ。次の最上位の値のデータ点を写真シャープネス性能指数として選択する。この場合、データ点（ｍ＋１）が、写真シャープネス性能指数として選択されることになる。データ点（ｍ＋１）（すなわち、写真シャープネス性能指数）の値がＴを越えている限り、取り込み画像は、「シャープな画像」となる。

デジタルスチルカメラ２０の内蔵ＡＳＩＣまたは内蔵ＤＳＰまたは内蔵汎用プロセッサを、上述した２次元勾配の大きさロバスト性（２−ＤＧＭＲ（two-dimensional gradient magnitude robustness））アルゴリズムを実行するようにプログラムすることができる。さらに、カメラ製造者のニーズに応じて、上位１％ではなく、上位２％、上位３％、または上位４％等を性能指数の考慮の対象から外すようにステップ４ｂを変更することも、このような変更が本発明の精神および範囲から逸脱しない限り、可能である。

一例では、ステップ１〜３に関して、以下のＭＡＴＬＡＢ（商標）コードを使用することができる。

a=imread('big.jpg');
b=imread('big_blur.jpg');

a_int=double(rgb2ycbcr(a));
b_int=double(rgb2ycbcr(b));

for i=2:1500
for j=2:2000
c(i,j)=abs((a_int(i+1,j-1,1)+a_int(i+1,j,1)+a_int(i+1,j+1,1))-(a_int(i-1,j-1,1)+a_int(i-1,j,1)+a_int(i-1,j+1,1)))+abs((a_int(i+1,j+1,1)+a_int(i,j+1,1)+a_int(i-1,j+1,1))-(a_int(i-1,j-1,1)+a_int(i,j-1,1)+a_int(i+1,j-1,1)));
end
end
for i=2:1500
for j=2:2000
a(i,j,1)=c(i,j)/3;
a(i,j,2)=c(i,j)/3;
a(i,j,3)=c(i,j)/3;
end
end
image(a);

figure;

for i=2:1500
for j=2:2000
d(i,j)=abs((b_int(i+1,j-1,1)+b_int(i+1,j,1)+b_int(i+1,j+1,1))-(b_int(i-1,j-1,1)+b_int(i-1,j,1)+b_int(i-1,j+1,1)))+abs((b_int(i+1,j+1,1)+b_int(i,j+1,1)+b_int(i-1,j+1,1))-(b_int(i-1,j-1,1)+b_int(i,j-1,1)+b_int(i+1,j-1,1)));
end
end
for i=2:1500
for j=2:2000
b(i,j,1)=d(i,j)/3;
b(i,j,2)=d(i,j)/3;
b(i,j,3)=d(i,j)/3;
end
end
image(b);

本発明の代替的な実施の形態によると、写真シャープネス性能指数は、以下の２次元勾配アルゴリズムを実行することによって、カメラ内で計算することができる。

ステップ１。取り込み画像データをＲＧＢ色空間からＬ＊ａ＊ｂ＊色空間に変換する。

ステップ２。上記式を使用して、Ｌ＊成分の２次元勾配の大きさを計算する。

ステップ３。Ｌ＊成分の２次元勾配の大きさをピクセル位置に対してプロットする（図示せず）。

ステップ４。最大（２次元）勾配の大きさを写真シャープネス性能指数として選択する。このステップは、カメラ製造者のニーズに応じて、上述した２−ＤＧＭＲアルゴリズムを使用して変更することができる。

ステップ５。写真シャープネス性能指数が、予め設定された写真シャープネス閾値「Ｍ」を越えているかどうかを判断する。写真シャープネス性能指数がＭを越えている場合、取り込み画像は「シャープな画像」である。写真シャープネス性能指数がＭよりも小さい場合、取り込み画像は「ぼけた画像」である。

デジタルスチルカメラ２０の写真シャープネス閾値は、デジタルスチルカメラ２０に対していわゆる「ナイフエッジ」テストを実行して、カメラがシャープなエッジにどのように反応するかを判断することによって、製造時に設定することができる。あらゆるデジタルスチルカメラは、このテストによって測定できる一定の周波数応答を有する。具体的には、このテストは、ＣＣＤアレイの列に対してわずかな角度で配置されたナイフエッジターゲットを使用する。ＣＣＤアレイの列に対するナイフエッジのピッチは、少なくとも１０：１であることが好ましい。すなわち、ナイフエッジは、１列のピクセルを横断する間に１０行を横切る。エッジは、このように使用されると、線広がり関数を拡大する。完全なエッジトレースを得るには、単一の列から読み取られたデータは、１０行と交差しなければならない。換言すると、広がり関数の倍率は１０：１である。列に沿って取得されたエッジデータは、次に、２次モーメントデータに直接変換される。この２次モーメントデータは、次に、変調伝達関数に変換でき、次いで、写真品質メトリックに変換できる。ナイフエッジテストに関するより詳細な内容は、例えば、ミシガン州グランビルにあるX-Rite, Inc.のEdward M. Granger著「Photo quality Of Digital Cameras」pp. 188-191, IS&T's 1998 PICS Conferenceに見ることができる。

あるいは、本発明の好ましい実施の形態によると、デジタルカメラの製造者は、理想的な条件下で一連のテスト写真を撮影して、各写真に存在する最大の１次元勾配を計算することができる。計算されたすべての１次元勾配の最大値の中から最小の１次元勾配を選択することによって、閾値を求めることができる。次いで、この閾値は、デジタルスチルカメラ２０の内蔵ＡＳＩＣまたは内蔵ＤＳＰまたは内蔵汎用プロセッサにプログラムされる。

上述したテストおよびアルゴリズムは、全体的にぼやけた取り込み画像に対して有益である。取り込み画像の一定の部分がぼけて、他の部分がシャープである場合には、従来の検出方法を使用して、注目領域（例えば、顔の領域）を検出し、上述の技法は、その検出された注目領域にのみ、写真シャープネスの評価を適用することができる。

さまざまな従来の顔および目の検出アルゴリズムを使用して、顔および目の領域を検出し、次いで、ステップ６４（図７）において、検出領域の顔の品質性能指数を計算することによって、顔の品質属性をカメラ内で評価することができる。計算された顔の品質性能指数は、ステップ６６（図７）において、予め設定された閾値と比較され、その性能指数が、閾値を越えているかどうかが判断される。性能指数が閾値を越えている場合には、取り込み（かつ処理された）画像の顔の品質は許容可能である。そうでない場合には、顔の品質は許容可能ではなく、適切な警告が、上述した方法でカメラユーザに発行される。

顔の品質性能指数の計算は、数個のステップで行われる。具体的には、デジタルスチルカメラ２０の内蔵ＡＳＩＣまたは内蔵ＤＳＰまたは内蔵汎用プロセッサは、各検出領域における（ａ）明度性能指数の計算、（ｂ）雑音レベル性能指数の計算、（ｃ）コントラスト性能指数の計算、および（ｄ）赤目の存否のチェック、を行うようにプログラムされる。

適切な顔の検出アルゴリズムは、例えば、２０００年９月のカナダのバンクーバでのIEEE International Conference on Image ProcessingにおけるNicolas Tsapatsoulis、Yannis Avrithis、およびStefanos Kolliasによる題名「Efficient Face Detection For Multimedia Applications」、Proceedings ICIP 2000の論文に記載されている。このアルゴリズムは、既知の多重解像度再帰的最短スパニングツリー（Ｍ−ＲＳＳＴ（multi-resolution recursive shortest spanning tree））色セグメント化アルゴリズム（color segmentation algorithm）を、皮膚の色分布のガウスモデルおよび全体形状の特徴と組み合わせ、続いて、その結果生成されたセグメントを顔の確率に関連付けるものである。顔の確率には、インデックスを付けることができ、この確率を使用して、マルチメディアデータベースから顔画像を検索することができる。具体的には、第１段階において、Ｍ−ＲＳＳＴ色セグメント化アルゴリズムが、検査対象の画像／フレームに適用される。第２段階において、各セグメントが、皮膚色確率に関連付けられ、第３段階において、形状の制約条件が、全体の顔の確率の推定値を提供するために考慮される。このアルゴリズムは、マクロブロックまたはピクセルではなくセグメントが皮膚色確率に関連付けられる点で、他の既知のアルゴリズムよりも顔の検出効率が良い。セグメント確率は、システム出力となり、顔のインデックスおよび検索に使用される。あらゆるセグメントが、その確率を保持するので、適応型皮膚色モデルを使用して、アルゴリズムの実行を拡張することができる。低い確率の顔セグメントは、適応後に再評価することができる。さらに、セグメントは、ピクセルやマクロブロックよりも照明条件の影響を受けにくい。これは、顔の形状がより効率的に取り込まれて、顔の形状を最後の段階で使用して肌色確率から顔確率に移ることができるので、かなり好都合である。顔検出アルゴリズムに関するより詳細な内容は、上記特定した刊行物に見ることができる。

適切な目の検出アルゴリズムは、例えば、２０００年９月のカナダのバンクーバでのIEEE International Conference on Image ProcessingにおけるTsuyoshi Kawaguchi、Daisuke Hidaka、およびMohamed Rizonによる題名「Detection Of Eyes From Human Faces By Hough Transform And Separability Filter」、Proceedings ICIP 2000の論文に記載されている。このアルゴリズムは、強度画像における人間の顔からの両眼の虹彩の検出を取り扱っている。画像は、無背景の頭から肩までのものであることが好ましい。両眼の虹彩は、画像内に現れていなければならない。すなわち、ｙ軸の回りの頭の回転は、約−３０度から３０度までである。FukuiおよびYamaguchiの可分離フィルタ（separability filter）を使用すると、アルゴリズムは、まず、強度の谷間、すなわち「ブロブ」を虹彩の可能な候補として抽出し、次いで、ハフ（Hough）変換および可分離フィルタを使用して各対のブロブのコストを計算して、ブロブ対の画像に対する適合性を計算する。アルゴリズムは、最小のコストを有するブロブ対を両眼の虹彩として選択するようにプログラムされている。最後のステップは、以下のサブステップ、すなわち（ａ）眼のテンプレートにおける虹彩の中心が、２つのブロブの中心に配置されるように、眼のテンプレートの縮尺、変換、および向きを正規化するサブステップ、（ｂ）FukuiおよびYamaguchiの可分離フィルタを使用して、テンプレートと画像との間の正規化された相互相関値を計算するサブステップ、および（ｃ）テンプレートと画像との間の正規化された相互相関値＜０．１である場合、その正規化された相互相関値＝０．１に設定するサブステップ、を含む。FukuiおよびYamaguchiの可分離フィルタは、例えば、K. FukuiおよびO. Yamaguchi著「Facial Feature Point Extraction Method Based On Combination Of Shape Extraction And Pattern Matching」,IEICE Transactions, Vol. J80-D-II, No. 8, pp. 2170-2177, 1997に記載されている。この眼の検出アルゴリズムの１つの利点は、テンプレートマッチングまたは主成分分析を利用する他の既知の眼の検出アルゴリズムで実践されているような、画像における顔のサイズおよび向きの正規化を行う必要がないということである。この眼の検出アルゴリズムのさらに詳細な内容は、上記特定したKawaguchi等の刊行物に見ることができる。

他の既知の顔および／または眼の検出アルゴリズムも、本発明の範囲内に含まれる限り使用できるということが、当業者には容易に理解されよう。

明度は、一般に、視覚の属性として定義され、その属性に応じて、或るエリアは、光を多く示すように見えたり、光を少なく示すように見えたりする。さまざまな従来の研究では、カメラユーザが、一定の明度レベルおよびコントラストレベルを有する写真および／またはデジタル画像を見ることを好むということを示されている。すなわち、検出した顔領域のピクセル値の平均偏差または標準偏差の望ましいレベル、すなわちいわゆる「ターゲット」レベルまたは「閾値」レベルが存在することが示されている。顔領域が検出されると、ステップ９０（図１３）において、以下のアルゴリズムを実行するようにデジタルスチルカメラ２０の内蔵ＡＳＩＣまたは内蔵ＤＳＰまたは内蔵汎用プロセッサを製造時にプログラムすることによって、明度性能指数を計算することができる。

ステップ１。ステップ９２（図１３）において、取り込み顔画像データをＲＧＢ色空間からＬ＊ａ＊ｂ＊色空間に変換する。

ステップ２。ステップ９４（図１３）において、検出した顔領域のＬ＊の平均を計算して、（ａ＊ｂ＊）成分を無視した明度性能指数を得る。

ステップ３。計算した明度性能指数が、予め設定された明度閾値範囲「Ｂ」内にあるかどうかを判断する。明度性能指数がＢ内に含まれる場合、検出した顔画像データは十分明るいことになる。明度性能指数がＢ内に含まれない場合、検出した顔画像データは十分明るくなく、デジタルスチルカメラ２０は、適切な可聴式のおよび／または視覚的な警告をユーザに発行する。

予め設定された明度閾値（またはターゲット）範囲は、主観的な画質の調査で得ることができる。主要な被写体として人々が写っているデジタル画像の明度を調整することができ、それに応じて、非常に多くのテストカメラユーザによってそのデジタル画像を評価することができる。顔領域の明度についてのユーザの好みを記録することができる。写真の顔が暗すぎるか、または、明るすぎると、ユーザの好みは、通常、低下し、カメラユーザのほとんどがその範囲の境界に同意したときに、閾値範囲またはターゲット範囲に到達する。すなわち、そのコントラストレベルを越えると画質が劣化する上限コントラストレベルおよび下限コントラストレベルのそれぞれに到達する。次いで、明度のターゲット／閾値範囲は、デジタルスチルカメラ２０の内蔵ＡＳＩＣまたは内蔵ＤＳＰまたは内蔵汎用プロセッサの論理回路にプログラムされる。

以下のアルゴリズムを実行するように、デジタルスチルカメラ２０の内蔵ＡＳＩＣまたは内蔵ＤＳＰまたは内蔵汎用プロセッサを製造時にプログラムすることによって、雑音性能指数を計算することができる。

ステップ２。ステップ９６（図１３）において、検出した顔領域のＬ＊の局所的な標準偏差を（直接隣接した３×３のピクセルを使用して）計算し、（ａ＊ｂ＊）成分を無視した雑音性能指数を得る。

ステップ３。ステップ９５（図１３）において、計算した雑音性能指数が、事前に設定された雑音閾値「Ｆ」を超えているかどうかを判断する。雑音性能指数がＦを越えている場合、検出した顔画像データの雑音レベルは許容可能である。雑音指数がＦよりも小さい場合、検出した顔画像データの雑音レベルは許容可能でなく、デジタルスチルカメラ２０は、適切な可聴式のおよび／または視覚的な警告をユーザに発行する。

雑音閾値は、上述した明度範囲の調査と同様に、主観的な画質の調査で求めることができる。具体的には、主要な被写体として人々が写っているデジタル画像の雑音レベルを調整することができ、それに応じて、非常に多くのテストカメラユーザによってそのデジタル画像を評価することができる。顔領域の雑音レベルについてのユーザの好みが記録される。一定の雑音レベルが高すぎる（許容可能でない）ことにテストユーザが同意すると、雑音閾値に到達する。次いで、この雑音閾値は、デジタルスチルカメラ２０の内蔵ＡＳＩＣまたは内蔵ＤＳＰまたは内蔵汎用プロセッサの論理回路にプログラムされる。

以下のアルゴリズムを実行するように、デジタルスチルカメラ２０の内蔵ＡＳＩＣまたは内蔵ＤＳＰまたは内蔵汎用プロセッサを製造時にプログラムすることによって、コントラスト性能指数を計算することができる。

ステップ２。ステップ９８（図１３）において、検出した顔領域のＬ＊の全体の標準偏差を計算し、（ａ＊ｂ＊）成分を無視したコントラスト性能指数を得る。

ステップ３。ステップ９７（図１３）において、計算したコントラスト性能指数が、予め設定されたコントラスト閾値範囲「Ｃ」内にあるかどうかを判断する。コントラスト性能指数がＣ内に含まれる場合、検出した顔画像データは十分なコントラストを有する。コントラスト性能指数がＣ内に含まれない場合、検出した顔画像データのコントラストは十分ではなく、デジタルスチルカメラ２０は、適切な可聴式のおよび／または視覚的な警告をユーザに発行する。

予め設定されたコントラストの「ターゲット」範囲または「閾値」範囲は、上述した明度および雑音レベルの画質の調査と同様に、主観的な画質の調査で得ることができる。具体的には、顔領域のコントラストについてのテストカメラユーザの好みがテストされて記録される。テストユーザのほとんどが、コントラスト範囲の境界、すなわち、そのコントラストレベルを越えると画質が劣化する上限コントラストレベルおよび下限コントラストレベルのそれぞれに同意すると、コントラスト閾値（ターゲット）範囲に到達する。次いで、このコントラスト閾値範囲は、デジタルスチルカメラ２０の内蔵ＡＳＩＣまたは内蔵ＤＳＰまたは内蔵汎用プロセッサの論理回路にプログラムされる。

Lin（本出願の発明者）他に付与された「Apparatus and A Method For Reducing Red-Eye in a Digital Image」という発明の名称の米国特許第６，０１６，３５４号に一般的に開示された技法を利用するように、デジタルスチルカメラ２０の内蔵ＡＳＩＣまたは内蔵ＤＳＰまたは内蔵汎用プロセッサをプログラムすることによって、検出した眼の領域における赤目の存否をカメラ内で計算することができる。この米国特許の内容は、参照により本明細書に援用される。具体的には、マスクモジュールが使用されて、マーキングされたエリアのカラー画像が読み取られ、カラー画像のピクセルデータが、２値マスクに変換される。この２値マスクでは、ピクセルのそれぞれが、「白」ピクセルまたは「黒」ピクセルのいずれかとなっている。２値マスクは、原画像のマーキングされたエリアと同じサイズとすることもできるし、マーキングされたエリアよりも小さなサイズとすることもできる。２値マスクは、マーキングされたエリアのすべての赤いピクセルを特定するのに使用され、したがって、赤色ピクセルを示す第１段階領域と、赤以外の色を有するピクセルを示す第２段階領域とを含む。第１段階領域は、白（最大グレースケール値）ピクセルによって表される一方、第２段階領域は、黒（最小グレースケール値）ピクセルによって表される。グレースケール値が８ビットデータによって表される場合、最大グレースケール値は２５５であり、最小グレースケール値は０である。２値マスクが白ピクセルを有しない場合、赤目は存在しないことになる。２値マスクが白ピクセルを含む場合、赤目が存在し、フラグが自動的に立てられ、それに伴って、適切な可聴式／視覚的警告がカメラユーザに発行される。この技法に関するより詳細な内容は、例えば、米国特許第６，０１６，３５４号の第５欄の第５行および第６７行を含む第５行〜第６７行ならびに第６欄の第１行および第４９行を含む第１行〜第４９行に見ることができる。

カメラのＡＳＩＣまたはＤＳＰまたは汎用プロセッサを製造時にプログラムすることによって、取り込みデジタル画像のフレアの存否をカメラ内で評価し、フレア性能指数を計算し（ステップ６８；図７）、次いで、フレア性能指数を予め設定された閾値と比較して、フレア性能指数がこの閾値を越えているかどうかを判断する（ステップ７０；図７）ことができる。具体的には、カメラのＡＳＩＣまたはＤＳＰまたは汎用プロセッサは、画像８４（図１４）等の取り込みデジタル画像において、ほぼ白である（２５５，２５５，２５５）のＲＧＢピクセルレベルのエリアを検出するようにプログラムされる。

フレアは、一般に、連続した領域（図１４）に多数の飽和したピクセルが存在する場合に問題となる。カメラ内のフレア検出は、以下のステップを含むことが好ましい。

ステップ１。取り込み画像８４の２値マッピングまたは２値画像８６（図１５）を生成する。一般に、２値画像は、そのピクセルが２つの可能な強度値しか有しない画像である。数値として、２つの値は、多くの場合、黒が０であり、白が１または２５５のいずれかである。（画像の）オブジェクトまたは領域をその背景から分離するために、２値画像は、通常、黒および白で表示され、通例、グレースケール画像またはカラー画像を閾値処理することによって生成される。オブジェクトの色（通例、白）は、前景色として参照される。その残りの色（通例、黒）は、背景色として参照される。閾値処理される画像に応じて、この極性は、反転されることがある。反転された場合、オブジェクトは、ゼロ値で表示される一方、背景は、非ゼロ値で表示される。

ステップ２。２値マッピング８６を複数の領域、例えば５×５領域（図１５）に分割する。

ステップ３。図１５の各領域において、飽和した（白）ピクセルの個数をカウントし、領域内の飽和した（白）ピクセルの割合を計算する。例えば、領域８８（図１５）は、大部分が飽和した（白）ピクセルを含む。

ステップ４。少なくとも１つの領域（例えば、図１５の領域８８）の飽和した（白）ピクセルの割合（フレア性能指数）が、予め設定された閾値（割合）を越えているかどうかを判断する。この閾値は、本発明を実践する最良の形態によると、少なくとも５０％であるべきである。少なくとも１つの領域のフレア性能指数が５０％を越えている場合、デジタル画像８４（図１４）には、フレアが存在することになる。この場合、対応する可聴式のまたは視覚的な警告をカメラユーザに与えることができる。警告は、例えば、赤い警告灯４６（図８）の形態、または、簡単なテキストメッセージをＬＣＤスクリーン２８の所定の部分に表示する形態で行うことができる。このテキストメッセージは、窓等の「明るいエリアを避けること」、「カメラを別の場所に移動させること」等（図示せず）をカメラユーザにアドバイスするものである。（２値画像８６の）各領域のフレア性能指数がいずれも５０％未満である場合、デジタル画像８４（図１４）にフレアは存在しないことになる。

一例では、以下のＭＡＴＬＡＢ（商標）コードを使用して、図１５に示すタイプの２値マッピングを生成することができる。

a=imread('dsc00001.jpg');
b=imread('dsc00001.jpg');
for i=1:1200
for j=1:1600
count=0;
b(i,j,1)=0;
b(i,j,2)= 0;
b(i,j,3)= 0;
if a(i,j,1)＞200
count=1;
end
if a(i,j,2)＞200
count=2;
end
if a(i,j,3)＞200
count=3;
end
if count=3
b(i,j,1)=255;
b(i,j,2)= 255;
b(i,j,3)= 255;
end
end
end
image(b)

デジタルスチルカメラ２０が、上述した３つの写真品質属性のそれぞれに関する問題を検出しない場合、カメラユーザには、取り込み画像の写真品質が許容可能な品質であることが通知される（ステップ５６；図６）。このような通知は、図８に概ね示すように、例えば、ＬＣＤスクリーン２８の一方の側に３つの緑の光を表示する形態で行うことができる。他のタイプおよび／またはモードの通知も、そのような他のタイプおよび／またはモードの通知が本発明の意図した目的から逸脱しない場合には、利用することができる。

デジタルカメラ２０のそれぞれのＡＳＩＣまたはＤＳＰまたは汎用プロセッサが、カメラ製造者によってどのように構成されているかに応じて、３つの写真品質属性のそれぞれのカメラ内での評価は、並列に実行することもできるし、逐次実行することもできることが、当業者には理解されよう。

図１６に示すように、本発明は、取り込み画像の写真品質をカメラ内で評価して、デジタルスチルカメラのユーザに写真品質のフィードバックを提供する、参照符号１００によって包括的に参照されるシステムをも対象とする。このシステム１００は、画像取り込み装置１０２と、画像プロセッサ１０４と、画像プロセッサ１０４と表示装置またはＬＣＤプレビュースクリーン１１４との間に動作可能に結合された写真品質チェック装置１０６とを備える。画像取り込み装置１０２は、ＣＣＤまたはＣＭＯＳセンサ（図示せず）を含むことができる。画像プロセッサ１０４は、取り込み画像データに対して画像処理パイプラインを実行する内蔵ＡＳＩＣまたは内蔵ＤＳＰまたは内蔵汎用プロセッサを含むことができる。

本発明の好ましい実施の形態によると、写真品質チェック装置１０６は、写真シャープネスチェックモジュール１０８と、顔品質チェックモジュール１１０と、フレアチェックモジュール１１２とを備える。これら３つのモジュール（１０８、１１０、１１２）のそれぞれは、ＡＳＩＣまたはＤＳＰまたは汎用プロセッサ上に実装され、それぞれ、図６〜図１５を参照して上述したように機能することを目的としたものである。これら３つのモジュール（１０８、１１０、１１２）のそれぞれは、カメラの構成に応じて、同じＡＳＩＣまたはＤＳＰまたは汎用プロセッサ上に実装されてもよいし、実装されなくてもよい。

取り込み（かつ、画像プロセッサ１０４によって処理された）画像データが各モジュール（１０８、１１０、１１２）によって処理される順序は、並列（図１６）に行うこともできるし、逐次（図示せず）に行うこともできる。写真シャープネスチェックモジュール１０８が、取り込んで処理した画像（カラー写真）にぼけを検出する場合、適切な可聴式／視覚的警告が、表示装置１１４上に提供される。顔品質チェックモジュール１１０が、例えば、カラー写真に赤目の存在を検出すると、それぞれの可聴式／視覚的警告が、カメラユーザに対して表示装置１１４上に提供される。フレアチェックモジュール１１２が、カラー写真にフレアを検出すると、それぞれの可聴式／視覚的警告が、カメラユーザに対して表示装置１１４上に提供される。３つのすべてのモジュールが、カラー写真に関して問題を検出しない場合、デジタルカメラ２０は、適切な可聴式／視覚的通知をユーザに発行する。このような通知は、例えば、表示装置１１４の一方の側の列に３つの緑の光（図示せず）を表示する形態等とすることができる。
このように、客観的な写真品質フィードバックがユーザに提供されることにより、画像の撮影およびプレビューの全プロセスは、はるかに効率的なものになる。

本発明の一実施の形態による、ＬＣＤプレビュースクリーンが使用されるデジタルスチルカメラの側面斜視図である。図１のデジタルカメラのＬＣＤプレビュースクリーン上に表示されたオブジェクトおよび背景の第１のサムネイル画像である。図１のデジタルカメラのＬＣＤプレビュースクリーン上に表示された同じオブジェクトおよび同じ背景の第２のサムネイル画像である。図２の第１のサムネイル画像の拡大図である。図３の第２のサムネイル画像の拡大図である。本発明の一実施の形態によるプロセスの動作フローチャートである。本発明の一実施の形態による別のプロセスの動作フローチャートである。本発明の一実施の形態による図１のデジタルスチルカメラの背面斜視図である。図４の画像のピクセル位置に対する赤チャネルのグレーレベルのグラフである。図５の画像のピクセル位置に対する赤チャネルのグレーレベルのグラフである。本発明の一実施の形態による、図４の画像のピクセル位置に対する隣接ピクセル間の赤チャネルのグレーレベルの絶対差のグラフである。本発明の一実施の形態による、図５の画像のピクセル位置に対する隣接ピクセル間の赤チャネルのグレーレベルの絶対差のグラフである。本発明の一実施の形態によるさらに別のプロセスの動作フローチャートである。図１のデジタルスチルカメラにより撮影された、フレア問題を示す写真である。本発明の一実施の形態による図１４の写真の２値マッピングである。本発明の一実施の形態によるデジタルスチルカメラの取り込み画像の写真品質を評価するシステムのブロック図である。

符号の説明

１００・・・システム
１０２・・・画像取り込み装置
１０４・・・画像プロセッサ
１０６・・・写真品質チェック装置
１０８・・・写真シャープネスチェックモジュール
１１０・・・顔品質チェックモジュール
１１２・・・フレアチェックモジュール
１１４・・・ＬＣＤプレビュースクリーン

Claims

デジタルカメラ（２０）で撮影された画像（３０）、（３２）の写真品質を評価する方法であって、
所定の条件下で撮影した複数のテスト写真のデータに基づいて、写真の品質を示し、前記撮影された画像の隣接ピクセル間の最大絶対差を示す写真シャープネス性能指数を含む指数の基準値を得ることと、
前記基準値に基づいて、前記撮影された画像（３０）、（３２）の前記写真品質をカメラ内でチェックして（４２）、（５４）、前記写真品質が許容可能であるかどうかをカメラ内で判断することと、
対応する写真品質フィードバックをカメラユーザに提供することと（５６）、（５８）
を含む
方法。
前記指数は、前記撮影された画像の隣接ピクセル間の最大絶対差を示す写真シャープネス性能指数であって、
前記チェックするステップ（４２）、（５４）は、
前記撮影された画像（３０）、（３２）の隣接ピクセル間の最大絶対差を示す写真シャープネス性能指数を計算することと（６０）、
前記計算された写真シャープネス性能指数を前記基準値と比較して（６２）、前記写真シャープネス性能指数が前記基準値を越えているかどうかを判断することと
を含む請求項１に記載の方法。
前記計算するステップ（６０）は、
前記撮影された画像（３０）、（３２）のラインピクセルプロファイルを生成することと（７６）、（７８）、
前記ラインピクセルプロファイルを使用して、水平方向に隣接するピクセル間のチャネルのグレーレベルの絶対差を計算することと（８０）、（８２）、
その最大絶対差を前記写真シャープネス性能指数として選択することと
を含む請求項２に記載の方法。
前記チェックするステップ（４２）、（５４）は、
チャネルの２次元勾配の大きさを計算することと、
最大の２次元勾配の大きさを前記写真シャープネス性能指数として選択することと
を含む請求項２に記載の方法。
デジタルカメラ（２０）で撮影された画像（３０）、（３２）の写真品質を評価する方法であって、
所定の条件下で撮影した複数のテスト写真のデータに基づいて、写真の品質を示す、前記撮影された画像の隣接ピクセル間の最大絶対差である写真シャープネス性能指数および複数の種類の顔の品質性能指数の基準値を得るステップと、
前記撮影された画像の隣接ピクセル間の最大絶対差を示す写真シャープネス性能指数をカメラ内で計算するステップ（６０）と、
前記計算された写真シャープネス性能指数を前記写真シャープネス性能指数の基準値とカメラ内で比較して、前記写真シャープネス性能指数が前記写真シャープネス性能指数の基準値を越えているかどうかを判断するステップ（６２）と、
対応する写真シャープネスフィードバックをカメラユーザに提供するステップと、
前記撮影された画像の複数の種類の顔の品質性能指数をカメラ内で計算するステップ（６４）と、
前記計算した複数の種類の顔の品質性能指数を前記複数の種類の顔の品質性能指数それぞれの基準値とカメラ内で比較して、前記複数の種類の顔の品質性能指数が前記複数の種類の顔の品質性能指数それぞれの基準値を越えているかどうかを判断するステップ（６６）と、
対応する顔の品質フィードバックを前記カメラユーザに提供するステップと
を含む方法。
デジタルカメラ（２０）で撮影された画像（３０）、（３２）の写真品質を評価するシステムであって、
画像取り込み装置（１０２）と、
前記画像取り込み装置（１０２）に動作可能に結合されて、前記取り込み画像（３０）、（３２）を処理する画像プロセッサ（１０４）と、
前記画像プロセッサ（１０４）に動作可能に結合されて、所定の条件下で撮影した複数のテスト写真のデータに基づいて得られた、写真の品質を示し、前記撮影された画像の隣接ピクセル間の最大絶対差である写真シャープネス性能指数を含む指数の基準値に基づいて、前記処理された画像の写真品質をカメラ内でチェックする写真品質チェック装置（１０６）と、
前記写真品質チェック装置（１０６）に動作可能に結合されて、対応する写真品質フィードバックをカメラユーザに提供する表示装置（１１４）と
を備える
システム。